1.1 Gegenstand der Informations-und Kodierungstheorie Die Informations-und Kodierungstheorie [information and coding theory) ge hört zum theoretischen Fundament der Informatik. Sie dient der formalen Be schreibung, der Analyse und Bewertung informationeHer Prozesse (wie Erzeu gung, Übertragung und Speicherung von Informationen) in unterschiedlichen Anwendungsbereichen. Bemerkenswert dabei ist, daß die Information in diesen Prozessen immer nur in kodierter Form erscheint, womit bereits auf den engen Zusammenhang zwischen Information und Kodierung hingewiesen werden soll. Die Entstehung der Informationstheorie und der Kodierungstheorie fällt des halb nicht zufällig in die gleiche Zeit, die mit den grundlegenden Arbeiten von C. E. SHANNON [SHA 48) und R. W. HAMMING [HAM 50) datiert werden kann. In der Folgezeit haben sich beide Theorien dann jedoch weitgehend selb ständig entwickelt. Obwohl die Informationstheorie, historisch gesehen, aus den Bedürfnissen der Nachrichtenübertragung entstand, fand sie nach dem Erscheinen der Arbeit von SHANNON eine rasche Verbreitung in vielen Anwendungsbereichen. Da bei wurden aber auch bald ihre Grenzen erkannt, die darin bestehen, daß die Informationstheorie nur eine spezifische Seite der Information, nämlich ihren statistischen Aspekt, erfaßt, der sich auf die wahrscheinlichkeitstheoretische Verteilung der informationstragenden Elemente (z.B. Zeichen) bezieht. Man sagt deshalb auch zu Recht "Statistische Informationstheorie" oder ,,SHAN N 0 N sehe Informationstheorie". Für die Einbeziehung des semantischen Aspekts (Bedeutung der Information) und des pragmatischen Aspekts (Nutzen für den lnformationsempfänger) ist bisher noch keine gleichwertige und allgemeingültige Lösung gefunden worden.weiterlesen