16. Mai 2009

385

Während in der Biologie der Aspekt der Übertragung von Signalen von einem
Sender zu einem Empfänger zentral wird, in der Physik vor allem der Entropiebe-
griff, spielen in der Anwendung, die die Informationstheorie in der Informatik
gefunden hat, beide Aspekte eine wichtige Rolle. Dies zeigte Hans Burkhardt („Der
Informationsbegriff bei Claude Shannon“). Hier geht es anfangs schlicht um das
Problem einer möglichst sicheren und ökonomischen Datenübertragung, bei der die
Information im semantischen Sinn, die damit verbunden sein kann, keine Rolle
spielt. Es soll lediglich eine beliebige Nachricht sicher und ökonomisch von einem
Sender zu einem Empfänger befördert werden. Shannon hatte gezeigt, dass bei die-
ser Aufgabe eine binäre Kodierung, heute Digitalisierung genannt, große Vorteile
gegenüber einer Übertragung von analogen Signalen bietet. Wie in der Physik geht
es in der Informatik zunächst um die Wahrscheinlichkeitsverteilung von diskreten
Elementen (z.B. den Buchstaben in einem Text). Je unwahrscheinlicher ein solcher
Buchstabe ist, desto höher ist sein Informationsgehalt, und umgekehrt. Entropie ist
dann ein Maß für „die Unordnung, die Unsicherheit, den Überraschungsanteil“, der
in einem solchen zu übertragenden Element steckt. Da man in der Informatik im
Gegensatz zur Physik aber in aller Regel die Zahl und die Frequenz der diskreten
Elemente kennt, kann man dies bei der Kodierung ausnützen: Was besonders fre-
quent ist, kann knapp, was selten ist, muss dagegen umfangreicher codiert werden.
Bemerkenswert ist hier nun, dass die Informatik bei der Kodierung und Über-
tragung von Nachrichten in dem Maß Fortschritte gemacht hat, in dem der Infor-
mationsbegriff sich seiner allgemeinsprachlichen Bedeutung angenähert hat: Statt
nur diskrete Elemente zu betrachten, berücksichtigt man deren Übergangswahr-
scheinlichkeit von einem zum nächsten und geht schrittweise weiter: Was ist die
Wahrscheinlichkeit, dass auf vier diskrete Elemente ein bestimmtes fünftes folgt usw.
Man nennt das Verfahren Markov-Modelle oder Markov-Ketten. So gelangt man bei
sprachlichen Signalen schließlich zu Wort-Einheiten — mit welcher Wahrscheinlich-
keit folgt ein bestimmtes Wort auf ein anderes? Automatische Spracherkennungsver-
fahren (Diktierprogramme) arbeiten im Prinzip - inzwischen mit großem Erfolg —
bereits auf dieser Basis (freilich immer noch ohne den Sinn dessen, was da aufge-
zeichnet wird, wirklich zu ‘verstehen’).
Wie Burkhardt auf seinem Spezialgebiet, der Bildverarbeitung, zeigte, geht hier
die Entwicklung in eine ähnliche Richtung. Auch die Verfahren zur Kompression
von Bildern arbeiten im Prinzip mit Übergangswahrscheinlichkeiten zwischen
benachbarten Pixeln (das sind hier die diskreten Ausgangseinheiten) — die Aufgabe
ist allerdings wesentlich komplexer, weil es bereits um zwei Dimensionen geht. Noch
komplexer wird sie bei der Kompression von bewegten Bildern, wo die Übergangs-
wahrscheinlichkeit von Pixelgruppen im ersten zu solchen im zweiten Bild berück-
sichtigt werden muss. Dabei erreicht man bei Videos aber heute eine Kompression
von bis zu 1:1000 (MPEG4). Alle diese Verfahren sind „verlustbehaftet“, dieser
Verlust fällt aber dem menschlichen Betrachter erst bei extrem starker Kompression
auf.
In der Redeweise der Informatik sind diese auf Gruppierung von Elementen
(Buchstaben, Pixeln) basierenden Kompressionsverfahren bereits ‘semantische’Ver-