레이어드 히든 마르코프 모델

레이어드 히든 마코프 모델(LHM)은 히든 마코프 모델(HM)에서 파생된 통계 모델이다. 레이어드 히든 마코프 모델(LHMM)은 레벨 i + 1의 HMM이 관측 기호나 레벨 i의 확률 생성기에 해당하는 HMM의 N 레벨로 구성된다.LHMM의 모든 레벨 i는 병렬로_i 실행되는 K HMM으로 구성된다.^[1]

배경

LHMM은 학습과 일반화를 용이하게 할 수 있기 때문에 때때로 특정 구조에서 유용하다.예를 들어, 충분한 훈련 데이터를 이용할 수 있다면 완전히 연결된 HMM을 항상 사용할 수 있지만, 임의의 상태 전환을 허용하지 않음으로써 모델을 구속하는 것이 종종 유용하다.같은 방법으로 HMM을 계층 구조로 내장하는 것이 유익할 수 있는데, 이론적으로는 기본 HMM이 해결할 수 없는 문제를 해결할 수는 없지만, 훈련 데이터가 덜 필요하기 때문에 일부 문제를 더 효율적으로 해결할 수 있다.

레이어드 히든 마코프 모델

A layered hidden Markov model (LHMM) consists of ${\displaystyle N}$ levels of HMMs where the HMMs on level ${\displaystyle N+1}$ corresponds to observation symbols or probability generators at level ${\displaystyle N}$. Every level ${\displaystyle i}$ of the LHMM consists of ${\displaystyle K_{i}}$병렬로 실행되는 HMHs.

LHM의 $지정$된 $레벨{\displaystyle }$ L ${\$$displaystyle L}$에서 일련의 T L {\$displaystyle T_{L}$ 관측$$${\displaystyle {\mathbf{}}_{}}$ 기호 ${\displaystyle {}_{}}$=${\displaystyle }${ ${\displaystyle {o\mathrm{}}_{}}$ 1,${\displaystyle {}_{}{o\mathrm{}}_{}}$ 2,${\displaystyle }$… ,${\displaystyle {o{}_{}}_{}}$ ${\displaystyle {L_{}}_{}}$ ${\display \mathbf {o} _{L}=\o_{1}, o_{2}, dots ,o_{{{{{{{{}}}}}}}}}}}}$$T_{L}}\}}$ can be used to classify the input into one of ${\displaystyle K_{L}}$ classes, where each class corresponds to each of the ${\displaystyle K_{L}}$ HMMs at level ${\displaystyle L}$. This classification can then be used to generate a new observation for the level ${\displaystyle L-1}$ HMMs.가장 낮은 계층(예: $수준{\displaystyle }$ N ${\displaystyle N$ 원시 관찰 기호 ${\displaystyle {}_{}}$= {${\displaystyle {o\mathrm{}}_{}}$ 1,${\displaystyle {}_{}{}_{}}$ ${\displaystyle {2\mathrm{}}_{}}$,${\displaystyle }$…${\displaystyle {o{}_{}}_{}}$ ${\displaystyle {p_{}}_{}}$} ${\displaystyle \mathbf {o} _{p}=\{o_{1}, o_{2},\dots, o_{{}{{{}).$$T_{p}\}$은(는) 모델링된 프로세스의 관찰에서 직접 생성된다$$.예를 들어, 궤도 추적 작업에서 원시 관측 기호는 정량화된 센서 값에서 비롯된다.따라서 LHMM의 각 계층에서 관찰 기호가 관측된 프로세스의 측정에서 유래하는 가장 낮은 계층을 제외하고, 관찰은 기본 계층의 분류에서 비롯된다.

모든 레벨을 동시에 세부적으로 실행할 필요는 없다.예를 들어, LHMM의 레이어 위로 결과를 전달하기 전에 분류가 여러 분류의 평균을 고려하도록 구조물의 어느 수준에서든 윈도우 설정을 사용할 수 있다.^[2]

$L{\displaystyle }$+ 1 ${\displaystyle \mathrm{레벨}}$에서 승리 $HMM$을 단순히 L $레벨{\displaystyle }$ L ${\displaystyle L}$에서 HM의 입력 기호로 사용하는$$ 대신, LHM의 레이어 위로 완전한 확률 분포를 전달함으로써 확률 생성기로 사용할$$ 수 있다. 따라서 가장 프로페셔널한 "승자가 모든 것을 가져간다" 전략을 갖는 대신.Bable ${\displaystyle \mathrm{HMM}}$은 관측 기호로 선택되며$,$ $수준$ $L{\displaystyle }$+ ${\displaystyle 1}$ ${\displaystyle L(i$)$$HMM의 분류 불확실성을 설명하기 $위해{\displaystyle }$ 수준$$L {\$displaystyle L}$ HMH의$$ 재귀 공식에 사용할 수 있다$.$따라서 수준 $n{\displaystyle }$+ ${\displaystyle 1}$ ${\displaystyle n+1}$에서의 HMM의 분류가 불확실한$$ 경우 수준 $L{\displaystyle }$ ${\displaystyle L}$에서 HM에 인코딩된 a-priori 정보에 더 많은 주의를 기울일 수 있다$.$

실제로 LHMM은 모든 다른 모델들이 함께 결합되는 단일 레이어 HMM으로 변환될 수 있다.^[3]대규모 단일 계층 HMM에 대해 LHMM을 사용함으로써 예상할 수 있는 장점 중 일부는 개별 하위 구성 요소가 더 적은 양의 데이터에 대해 독립적으로 훈련되기 때문에 LHMM이 과도한 피팅으로 인해 어려움을 겪을 가능성이 낮다는 것이다.그 결과, LHMM이 HMM에 버금가는 성능을 달성하려면 훨씬 적은 양의 훈련 데이터가 필요하게 된다.또 다른 장점은 센서의 종류, 샘플링 속도 등 환경변화에 더 민감한 LHMM 하단의 레이어를 별도로 재교육할 수 있다는 것이다.LHMM의 더 높은 층을 변경하는 것.

참고 항목

• 계층적 숨겨진 마르코프 모델

참조