Entropie

Entropie ist ein Begriff aus der Thermodynamik, der in die Informationstechnik übernommen wurde und den Informationsinhalt einer Nachricht repräsentiert. Da der Informationsinhalt einer Nachricht im Wesentlichen von der Nachrichtenquelle abhängt, spricht man auch von Source-Entropie. Die Entropie der Nachricht wird aber auch von dem Übertragungskanal bestimmt, so durch die Übertragungskapazität. Ist die Entropie der Quelle geringer als die des Übertragungskanals, dann werden die Nachrichten fehlerfrei übvertragen. Im umgekehrten Fall sind die Nachrichten fehlerbehaftet.

Numerisch betrachtet entspricht die Source-Entropie der mittleren Rate des Informationstransfers von der Nachricht. Eine Informationsquelle, die zu 80 % die sprachlichen Möglichkeiten ausnutzt, hat eine Entropie von 0,8. Die Redundanz der resultierenden Nachricht beträgt 100 % minus der Entropie, bzw. minus 20 %.

Entropie-Verfahren werden zu verlustfreien Kompression eingesetzt. Die komprimierten Daten entsprechen nach der Dekompression den Ursprungsdaten. Verlustfreie Kompressionsverfahren bieten bei der Textkompression besonders hohe Kompressionsraten, geringere bei der Bild-, Video- und Audiokompression.