Entropie

Entropie ist ein Begriff aus der Thermodynamik, der in die Informationstechnik übernommen wurde und den Informationsgehalt einer Nachricht repräsentiert. Da der Informationsinhalt einer Nachricht im Wesentlichen von der Nachrichtenquelle abhängt, spricht man auch von Source-Entropie oder Quellencodierung.

Die Entropie einer Nachricht wird aber auch vom Übertragungskanal bestimmt, so durch die Übertragungskapazität. Ist die Entropie der Quelle geringer als die des Übertragungskanals, dann werden die Nachrichten fehlerfrei übertragen. Im umgekehrten Fall sind die Nachrichten fehlerbehaftet.

Numerisch betrachtet entspricht die Source-Entropie der mittleren Rate des Informationstransfers von der Nachricht. Eine Informationsquelle, die zu 80 % die sprachlichen Möglichkeiten ausnutzt, hat eine Entropie von 0,8. Die Redundanz der resultierenden Nachricht beträgt 100 % minus der Entropie, bzw. minus 20 %.

Entropie-Verfahren werden zu verlustfreien Kompression eingesetzt. Die komprimierten Daten entsprechen nach der Dekompression den Ursprungsdaten. Verlustfreie Kompressionsverfahren bieten bei der Textkompression besonders hohe Kompressionsraten, geringere bei der Bild-, Video- und Audiokompression.

Informationen zum Artikel
Deutsch: Entropie
Englisch: entropy
Veröffentlicht: 13.12.2012
Wörter: 148
Tags: #Grundlagen der Informationstechnik
Links: Audiokompression, Daten, Dekompression, Informationstechnik, Kompression