HMM (Hidden Markov Modell)

Hidden Markov Modelle (HMM) kennzeichnen einen zweistufigen stochastischen Prozess. Arbeiten zu diesem Thema wurden bereits ab Mitte der sechziger Jahre von Leonard Baum veröffentlicht. Die erste Stufe entspricht einer Markov-Kette, deren Zustände von außen nicht sichtbar (hidden) sind. Eine zweite Stufe erzeugt einen stochastischen Prozess mit sogenannten Observationen, den jederzeit beobachtbaren Ausgangssymbolen, gemäß einer Wahrscheinlichkeitsverteilung. Das Ziel ist nun die Schlussfolgerung von der Sequenz der Ausgangssymbole auf die Sequenz der nicht sichtbaren Zustände.


HMMs werden in der Erkennung von Mustern in sequentiellen Daten verwendet. Das können sowohl gespeicherte Sprachsequenzen in Zusammenhang mit Spracherkennung sein oder auch DNA-Profile in der Biologie sein. Aber auch das Kursverhalten an der Börse kann als Hidden-Markov-Modell (HMM) modelliert werden. Dazu entsprechen die verborgenen Zustände der Markov-Kette semantischen Einheiten, die es letztendlich in den sequentiellen Daten zu erkennen gibt. Man spricht dabei auch von semantischen Modellen. Ein Hidden-Markov-Modell beschreibt einen zweistufigen stochastischen Prozess. Die erste Stufe bildet einen diskreten stochastischen Prozess, der als Folge von Zufallsvariablen

S=S(1),S(2),...S(T)

beschrieben werden kann. Diese können Werte aus einer diskreten, endlichen Zustandsmenge (d.h. von Zuständen) annehmen.

Endliche Zustandsmenge im Hidden Markov Modell (HMM)

Endliche Zustandsmenge im Hidden Markov Modell (HMM)

Der Prozess beschreibt also probabilistische Zustandsübergänge in einem diskreten, endlichen Zustandsraum. Der stochastische Prozess S ist:
  • Stationär, d.h. unabhängig von der (absoluten) Zeit t,
  • Kausal, d.h. die Wahrscheinlichkeitsverteilung der Zufallsvariablen S(t) hängt nur von vergangenen Zuständen ab und ggf.
  • Einfach, d.h. die Verteilung von St ist nur vom unmittelbaren Vorgängerzustand abhängig - - das entspricht dann einem HMM 1. Ordnung:

    Hidden Markov Modell (HMM) 1. Ordnung

    Hidden Markov Modell (HMM) 1. Ordnung

Der stochastische Prozess S kann als endlicher Automat mit Zustandsmenge {1,2,N} aufgefasst werden. Zustandsübergänge erfolgen gemäß der Zustandsübergangswahrscheinlichkeiten: Formel 1.

Formeln des Hidden Markov Modells

Formeln des Hidden Markov Modells

Diese lassen sich in einer Zustandsübergangswahrscheinlichkeitsmatrix (Formel 2) zusammenfassen. Anfangszustände werden gemäß der Startwahrscheinlichkeiten (Formel 3) eingenommen.

Die so erzeugte Folge von Zuständen der Kette ist von außerhalb nicht beobachtbar d.h. "hidden". Zu beobachten ist dagegen die Folge der sogenannten Observationen = = O(1),O(2),...O(T), die von dem stochastischen Prozess der zweiten Stufe zu jedem Zeitpunkt in Abhängigkeit vom aktuellen Zustand allein erzeugt (emittiert) wird gemäß Formel 4.

Bei diskreten HMMs stammen die Observationen aus einem endlichen Symbolinventar, Formel 5. Man kann dann die Matrix der Ausgabewahrscheinlichkeiten angeben als Formel 6.

Ein HMM (Lambda) - das ist die übliche Bezeichnung in der Literatur - ist daher vollständig beschrieben durch das Quintupel in Formel 7.

HMMs werden eingesetzt zur Mustererkennung insbesondere in der Spracherkennung, Genetik (DNA-Muster), Schrifterkennung wieso insbesondere bei Markov-Filtern im Zusammenhang mit Spamfiltern.

Informationen zum Artikel
Deutsch: Hidden Markov Modell - HMM
Englisch:
Veröffentlicht: 04.11.2013
Wörter: 438
Tags: #Sonstige Programmiersprachen
Links: Daten, Handschrifterkennung, Matrix, Mustererkennung, Ordnung