기대 최대화 알고리즘

통계학에서 기대-최대화(EM) 알고리즘은 모델이 관측되지 않은 잠재 변수에 따라 달라지는 통계 모델에서 매개변수의 (국소) 최대우도 또는 최대 사후(MAP) 추정치를 찾는 반복 방법이다.전자파 반복은 매개변수에 대한 현재 추정치를 사용하여 평가한 로그 우도 예상에 대한 함수를 생성하는 기대(E) 단계와 E 단계에서 발견된 예상 로그 우도를 최대화하는 매개변수를 계산하는 최대화(M) 단계를 번갈아 수행한다.이러한 모수 추정치는 다음 E 단계에서 잠재 변수의 분포를 결정하는 데 사용됩니다.

역사

전자파 알고리즘은 Arthur Dempster, Nan Laird 및 Donald Rubin에 ^[1]의해 1977년 고전적인 논문에서 설명되고 그 이름이 붙여졌습니다.그들은 이 방법이 초기 저자들에 의해 "특별한 상황에서 여러 번 제안되었다"고 지적했다.가장 이른 것 중 하나는 세드릭 ^[2]스미스에 의한 대립 유전자의 빈도를 추정하는 유전자 계수법이다.또 하나는 H.O.에 의해 제안되었다. 1958년에는 하틀리가, 1977년에는 하틀리와 호킹이, 뎀프스터-레어드-루빈지의 많은 아이디어의 ^[3]기원이 되었다.하틀리의 생각은 어떤 그룹화된 이산 분포로도 확장될 수 있다.지수족에 대한 전자파 방법에 대한 매우 상세한 처리는 Per Martin-Löf ^{[7][8][9][10][11][12][13]}및 Anders Martin-Löf와의 협업 이후 Rolf Sundberg가 논문과 여러 논문에서^[4][5][6] 발표했다.1977년 Dempster-Laird-Rubin 논문은 이 방법을 일반화하고 광범위한 종류의 문제에 대한 수렴 분석을 스케치했다.Dempster-Laird-Rubin 논문은 통계 분석의 중요한 도구로서 전자파 방법을 확립했다.

Dempster-Laird-Rubin 알고리즘의 수렴 분석에 결함이 있어 C에 의해 올바른 수렴 분석이 발표되었습니다. 1983년 ^[14]F. Jeff Wu.Wu의 증명은 뎀프스터-Laird-Rubin이 ^[14]주장한 것처럼 지수 패밀리 외부에서 전자파 방법의 수렴을 확립했다.

서론

전자파 알고리즘은 방정식을 직접 해결할 수 없는 경우 통계 모델의 최대우도 파라미터를(로컬) 찾는 데 사용됩니다.일반적으로 이러한 모형에는 알려지지 않은 모수 및 알려진 데이터 관측치 외에도 잠재 변수가 포함됩니다.즉, 결측값이 데이터 사이에 존재하거나 관측되지 않은 데이터 포인트가 추가로 존재한다고 가정함으로써 모델을 더 간단하게 공식화할 수 있다.예를 들어, 각 관측된 데이터 점에 대응하는 관측되지 않은 데이터 점 또는 각 데이터 점이 속한 혼합물 성분을 지정하는 잠재 변수가 있다고 가정하면 혼합물 모델을 보다 간단하게 설명할 수 있습니다.

최대우도해를 찾는 것은 일반적으로 모든 미지의 값, 파라미터 및 잠재변수에 관한 우도함수의 도함수를 취하여 동시에 결과 방정식을 풀어야 한다.잠재적 변수가 있는 통계 모델에서는 일반적으로 이 작업이 불가능합니다.대신, 그 결과는 전형적으로 매개 변수에 대한 해답이 잠복 변수의 값을 요구하며, 그 반대의 경우도 마찬가지이지만, 한 방정식을 다른 방정식으로 대체하면 해결할 수 없는 방정식이 생성됩니다.

전자파 알고리즘은 이 두 방정식을 수치적으로 푸는 방법이 있다는 관찰로부터 진행됩니다.알 수 없는 두 집합 중 하나에 대해 임의의 값을 선택하고, 두 번째 집합을 추정하기 위해 이 값을 사용한 다음, 이러한 새 값을 사용하여 첫 번째 집합을 더 잘 추정하고, 결과 값이 모두 고정점으로 수렴될 때까지 두 집합을 계속 번갈아 사용할 수 있습니다.이것이 효과가 있을지는 확실하지 않지만, 이러한 맥락에서 증명될 수 있습니다.또한 그 점에서 우도 도함수가 (임의적으로) 0에 가깝다는 것을 증명할 수 있으며, 이는 다시 그 점이 국소 최대점 또는 안장점 ^[14]중 하나임을 의미한다.일반적으로 여러 개의 최대값이 발생할 수 있지만 글로벌 최대값이 발견된다는 보장은 없습니다.어떤 가능성들은 또한 그것들에 특이점을 가지고 있다. 즉, 말도 안 되는 최대치이다.예를 들어 혼합물 모형에서 전자파가 찾을 수 있는 솔루션 중 하나는 성분 중 하나를 0으로 설정하고 동일한 성분의 평균 모수를 데이터 점 중 하나와 동일하게 설정하는 것입니다.

묘사

관측된 $데이터$의 집합$$X(\$displaystyle \mathbf$$${$X})$를 생성하는 통계 모델이 주어졌을 때$,$ 관측되지 않은 잠복 $데이터{\displaystyle \mathbf{}}$ 또는 결측값 Z(\displaystyle \$mathbf${Z$\}\})$ 및 알 수 없는 매개변수$\delta {\displaystyle \mathit{}}$(\$displaystyle \boldsymbol$ \$theta$ 벡터는 L${\displaystyle (\backslash ta\mathit{}}$ ${\displaystyle =}$Z)와 ${\displaystyle 함께\mathbf{}}$ 생성됩니다.${\displaystyle p}$ ${\displaystyle (X\mathbf{}}$ , ${\displaystyle Z\mathbf{}}$ ${\displaystyle \mid }$ $)$ ) ) { $displaystyle$ L ( { \ $bold$ symbol \$theta$} ; \ $mathbf { X }$ , \ $mathbf${ $Z$} ) =$p$( \ $mathbf${ X$$} , \$mid$ \ bold $symbol$\$theta }$ } } } } }$$、 \ , 、 、 、 、 ${\displaystyle paramet\mathit{}}$ paramet paramet paramet paramet parametersersersersersersers ( ( ( ( ( ( ( ( (ersersersers ( ( ( ( ( ( ( ( (

$({displaystyle L({\boldsymbol {theta }};\mathbf {X})=p(\mathbf {X})=\int p(\mathbf {X},\mathbf {Z})\mid(\boldsymbol {ta },\mathbf {ta })={ta })$

$단$$,$ Z$(\$$displaystyle$ \$mathbf${Z$\})$가 관측되지 않고$$Z$(\displaystyle$ \$mathbf {Z})$의 분포를 알 수 없기 $때문$에 이 양은 종종 다루기 어렵습니다$.$

EM 알고리즘은 다음 두 단계를 반복적으로 적용하여 한계우도의 MLE를 찾으려고 합니다.

예상 단계(E 단계):${\displaystyle \{\backslash }$$displaystyle}$의 로그우도 함수의 기대치로 Q$(\displaystyle$ Q$(\boldsymbol {theta$$})$ ${\displaystyle \{\backslash }$$mid$$${\$boldsymbol {theta$$$}^{($t$$)\})\}$를 $정의$합니다$.$$style \mathbf {X}$및$$ $파라미터$의 현재 추정치 ${\displaystyle {}^{}}$ (${\displaystyle t^{}}$) ${\displaystyle$ {\$boldsymbol${\$theta }}^{(t$ :

$Q{\{\{\dsymbold symbol)}$

최대화 단계(M 단계):이 수량을 최대화하는 매개 변수를 찾습니다.

${\displaystyle {\boldsymbol {\theta }^{(t+1)}= 언더셋 {\operatorname {boldsymbol {\theta }}}\mid {\boldsymbol {\theta }}{{(t)}}},$

EM이 적용되는 일반적인 모델은 Z$(\$를 잠재 변수로 $사용$합니다.

1. 관측된 데이터 $포인트{\displaystyle \mathbf{}}$X(\$displaystyle \mathbf {X})$는 이산(유한 또는 셀 수 있는 무한 집합의 값을 취함) 또는 연속(수없이 무한 집합의 값을 취함)일 수 있습니다.각 데이터 점과 연관된 것은 관측치의 벡터일 수 있습니다.
2. 결측값(잠재 변수라고도 $함{\displaystyle \mathbf{}}$)$$Z$(\displaystyle \mathbf$ {$Z})$는 관측 단위당 하나의 잠재 변수를 갖는 고정 개수의 값에서 도출된 이산형이다.
3. 파라미터는 연속적이며 두 종류로 구성되어 있습니다.모든 데이터 포인트와 관련된 파라미터와 잠복 변수의 특정 값(즉, 대응하는 잠복 변수가 해당 값을 갖는 모든 데이터 포인트와 관련된 파라미터).

단, EM을 다른 모델에 적용하는 것은 가능합니다.

그 동기는 다음과 같습니다.$파라미터{\displaystyle \mathit{}}$ ${\(\$ $})$의 값을 알고 있는 경우$,$ 일반적으로 $잠재{\displaystyle \mathbf{}}$ 변수 Z(\displaystyle\$mathbf${Z$$})의 값은$$Z(\$displaystyle$$\mathbf {Z$의 $가능$한 모든 값에 대한 로그 우도를 최대화하여 구할 수 있습니다.$\mathbf {Z} }$ 또는$$ 숨겨진 마르코프 모델에 대한 Viterbi 알고리즘과 같은 알고리즘을 사용합니다.반대로 $잠복변수{\displaystyle \mathbf{}}$ Z$(\$$\mathbf$$${$Z})$의 값을 알면 관측된 데이터 포인트를 관련 잠복변수 값과 평균값에 따라 그룹화함으로써 $파라미터의$추정치를 쉽게 구할 수 있다.각 그룹에 있는 점의 일부 함수입니다.$이$는$$\$displaystyle\boldsymbol\theta}$와 Z$\$가 모두 불분명한 경우 반복 알고리즘을 제안합니다.

1. 먼저 파라미터$${\(\$style\boldsymbol\theta })$를 임의의 값으로 초기화합니다.
2. $"\$ $\}"$에서 Z$(\$의 각 가능한 값의 확률을 계산합니다.
3. 그런 다음 방금 계산된 $(\$ 값을$$ 사용하여 파라미터 $"\$ $\}"$의 더 나은 추정치를 계산합니다.
4. 컨버전스가 될 때까지 스텝2와 3을 반복합니다.

앞에서 설명한 알고리즘은 비용 함수의 로컬 최소값에 단조롭게 접근합니다.

특성.

기대(E) 단계를 언급하는 것은 약간 잘못된 용어입니다.첫 번째 단계에서 계산되는 것은 $Q$의 고정 데이터 $의존$파라미터입니다$.Q$의 $파라미터$가 확인되면 완전히 결정되어 EM 알고리즘의 두 번째$($M$)$ 단계에서 최대화됩니다.

전자파 반복은 관측된 데이터(즉, 한계) 우도 함수를 증가시키지만 시퀀스가 최대우도 추정기로 수렴한다는 보장은 없다.다중 모드 분포의 경우, 이는 전자파 알고리즘이 시작 값에 따라 관측된 데이터 우도 함수의 로컬 최대값으로 수렴할 수 있음을 의미합니다.랜덤 재시작 힐 클라이밍(random-restart hill $,$ ($)$style {\$displaystyle$ {\$theta$}}^{(t)}}}}$$부터 시작) 또는 시뮬레이션 어닐링 방법을 적용하는 등 다양한 휴리스틱 또는 메타 휴리스틱 접근법이 존재한다.

EM은 특히 우도가 지수족일 때 유용합니다. E 단계는 충분한 통계량의 기대치의 합이 되고 M 단계는 선형 함수를 최대화합니다.이러한 경우, 일반적으로 Sundberg 공식(Per Martin-Löf 및 Anders Martin-Löf의 ^{[5][6][9][10][11][12][13]}미공개 결과를 사용하여 Rolf Sundberg에 의해 게시됨)을 사용하여 각 단계에 대한 닫힌 형태의 발현 업데이트를 도출할 수 있다.

전자파 방법은 뎀프스터, 레어드 및 루빈이 원본 논문에서 베이지안 추론에 대한 최대 사후(MAP) 추정치를 계산하기 위해 수정되었다.

구배 강하, 켤레 구배 또는 가우스-뉴턴 알고리즘의 변형과 같은 최대우도 추정치를 찾기 위한 다른 방법이 존재한다.전자파와는 달리, 그러한 방법은 일반적으로 우도 함수의 첫 번째 및/또는 두 번째 도함수를 평가해야 한다.

정확성 증명

기대 최대화는 로그 ${\displaystyle p}$p${\displaystyle }$( ${\displaystyle X\mathbf{}bold\mathit{}}$)가 ${\displaystyle \mathrm{아니라}}$ Q${\displaystyle }$( \$displaystyle$ Q ( \ bold $symbol$\$theta$} ) \$mid$$$( \ bold $symbol$\$theta }{$ ( t$$) } { \ $display style$ \$log$p ( \ $mid$ symbol$)$${\displaystyle {}^{}}$ \ $symbold$ } $boldboldboldboldboldboldboldboldboldboldboldboldboldboldboldboldboldboldboldboldboldboldboldboldboldboldboldboldboldboldboldbold$o ^[15]후자

$확률$이${\displaystyle }$0이 아닌 $($${\displaystyle Z\mathbf{}x\mathbf{}}$X , ${\displaystyle )}$)의 $임의$의 Z$(\displaystyle$ \$mathbf {Z}$ \$mid$ \$mathbf$ {X} , {\$boldsymbol \theta$ )에$$ 대해 다음과 같이 쓸 수 있습니다.

$(\displaystyle \log p(\mathbf {X} \mid \mathbf {X} ,\mathbf {Z} ) -\log p(\mathbf {Z} \mad \mathbf {X} ) =\log p(\mathbf {X} ) 、 \mboldbolta ） 。}$

현재 파라미터 $추정치{\displaystyle {}^{}}$ ${\displaystyle {(}^{}}$ ( ${\displaystyle t^{}}$) \ $displaystyle \theta$^ { ($t$ ) } the$$ 、 $p$( ${\displaystyle Z\mathbf{}}$ ) ${\displaystyle 、{}^{}}$ ${\displaystyle t^{}}$） \ $displaystyle p$ ( \ $mathbf { Z }$ \ $mid$ \ $mathbf${ Z$}$ $}$ values$$ $lying{\displaystyle }$ lying by by lying lying by by by lying lying the the lying the $the{\displaystyle \mathbf{}}$ the the the { { the the { { { { { { { { { the the the { { { { { { ${\displaystyle the\mathbf{}}$ the the the theng(또는 적분) $over{\displaystyle \mathbf{}}$Z {\$style \mathbf {Z$ 왼쪽은 상수의 기대치이므로 다음과 같은 결과가 나옵니다.

${\displaystyle{\begin{정렬}\log p(\mathbf{X}{\boldsymbol{\theta}}\mid)&, =\sum _{\mathbf{Z}}p(\mathbf{Z}\mid \mathbf{X},{\boldsymbol{\theta}}^{())})\log p(\mathbf{X},\mathbf{Z}\mid{\boldsymbol{\theta}})-\sum _{\mathbf{Z}}p(\mathbf{Z}\mid \mathbf{X},{\boldsymbol{\theta}}^{())})\log p(\mathbf{Z}\mid \mathbf{X},{년.대담한기호 {\theta }}\&=Q({\boldsymbol {\theta }})\mid {\boldsymbol {\theta }^{(t)}+H({\boldsymbol\theta}}\mid(\boldsymbol\theta}}^{(t)}),\end{aligned}})$

$여기$서${\displaystyle }$H ( ${\displaystyle \theta \mathit{}{}^{}}$ ${\displaystyle t^{}}$) { $displaystyle$ H ( { \ $bold$ symbol { \ $theta$} } \$mid$ { \ $bold$ symbol { \ $theta$} } $}^{$ ( t ) } } 에는$$ 치환하는 부정합이 정의되어 있습니다.이 마지막 방정식은 ${\displaystyle ={\mathit{}}^{}}$ ( ${\displaystyle t^{}}$) {\ $displaystyle${\$theta$}} =$boldsysysy$ sysysy sysy {\$theta }$ {{($t$을 포함한 $θ${\ displaystyle {\ta$$ }의 모든 값은 다음과 같습니다.

$(\displaystyle \log p(\mathbf {X} \mid {\boldsymbol {\theta }^{(t)})}=Q({\boldsymbol {\theta }}^{(t)})}\mid {\boldsymboldsymbol {\theta }^{(t)} +H({\boldsymbol {\theta }^{(t)}\mid {\boldsymbol {\theta }^{(t)}),}$

앞의 방정식에서 이 마지막 방정식을 빼면

$(\displaystyle \log p(\mathbf {X} \mid {\boldsymbol {X} \mad {\boldsymbol {theta } {{(t)})} = Q({\boldsymbol {ta } {{{{(ta})})})) --boldsymboldsymbol(\symboldsymbolH({\boldsymbol\theta}}\mid(\boldsymbol\theta}^{(t)})-H({\boldsymbol\theta }^{(t)})\mid(\boldsymbol\thembol\theta }^{{(t)})},$

그러나 깁스의 부등식은${\displaystyle }H{\displaystyle }$ ( ${\displaystyle t^{}}$) ${\displaystyle \ge H}$ ( ${\displaystyle t^{}}$ ) （ t${\displaystyle {}^{}}$ $h$ H ( t ) ${\displaystyle {}^{}}$ t$）$ $style$ H ( { \ $bold$ symbol { \ $theta }$ } \$mid$ \ $bold symbol${ \ $t$}{ ( t ) }$geq$ H ( ） 。

$(\displaystyle \log p(\mathbf {X} \mid \mathbf {X} \mad \boldsymbol {theta } {{(t)})\geq Q({\boldsymbol {ta }} {{{(t)})})\mboldsymboldsymbol {\mboldsymbol {\symbol {\symbald} {{{{(ta }}}}-}}}{{{{{{{}$

즉${\displaystyle ,}$ Q를 $개선$하기 $위해{\displaystyle \mathit{}}$ {\$displaystyle$${\displaystyle \{\backslash {\mathit{}}^{}}$ ${\$$theta$$}}$을(를${\displaystyle )}$ 선택하면 {\$displaystyle$Q({\$boldsymbol$ {$theta}}}{{(t$$)}}}}\$$displaystyle P(xf)가 발생$합니다.

최대화-최대화 절차로서

전자파 알고리즘은 두 개의 교대 최대화 단계, 즉 좌표 ^[16][17]강하의 예로 볼 수 있다.기능을 고려합니다.

$(\displaystyle F(q,\theta):=\operatorname {E} _{q}[\log L(\theta;x,Z)]+H(q),}$

여기서 q는 관측되지 않은 데이터 z에 대한 임의 확률 분포이고 H(q)는 분포 q의 엔트로피입니다.이 함수는 다음과 같이 쓸 수 있습니다.

${\displaystyle F(q,\theta)=-D_{\mathrm {KL}}{\big (}q\display p_{Z\mid X}(\cdot \mid x;\theta ){\big}+\log L(\theta ;x})}$

${\displaystyle {여기}_{}}$서 p Z${\displaystyle x_{}}$X ( ${\displaystyle \cdot }$ ;${\displaystyle x}$ $displaydisplaydisplaydisplaydisplaydisplaydisplay$ ){ displaystyle $p_{Z\mid$ X$}(cdot \mid$ x$;\theta$)는 관측되지 않은 $데이터$의 조건부 분포이며$,$ ${\displaystyle {\mathrm{DK}}_{}}$ L(\$displaystyle$$$$D_{$KL$})$은 Kullback-Divergence입니다.

다음으로 EM 알고리즘의 스텝은 다음과 같이 표시됩니다.

예상 단계:F를$최대화$하려면$q$\$displaystyle$q를$$ $선택$합니다$.$

${{displaystyle q^{(t)}=\operatorname {display,max}_{q}\F(q,\theta ^{(t)}}}$

최대화 단계:$F$ ${\$displaystyle$\$$theta}$를 선택하여 F {\$displaystyle$ F$\}$ 를 $최대화$합니다.

${\displaystyle \theta ^{(t+1)}=\operatorname {display,max}_{\theta}\F(q^{(t)},\theta}}}$

적용들

EM은 특히 ^[18][19]양적 ^[20]유전학에서 혼합 모델의 매개변수 추정에 자주 사용된다.

심리 측정학에서 전자파는 항목 매개 변수와 항목 반응 이론 모델의 잠재 능력을 추정하기 위한 중요한 도구이다.

누락된 데이터에 대처하고 확인되지 않은 변수를 관찰할 수 있는 기능을 통해 ^{[citation needed]}EM은 포트폴리오의 가격을 책정하고 위험을 관리하는 데 유용한 도구가 되고 있습니다.

전자파 알고리즘(및 그 빠른 변형 순서 부분 집합 기대 최대화)은 의료 영상 재구성, 특히 양전자 방출 단층 촬영, 단일 광자 방출 컴퓨터 단층 촬영 및 X선 컴퓨터 단층 촬영에도 널리 사용된다.그 외의 고속 EM 의 변형에 대해서는, 이하를 참조해 주세요.

구조 공학에서 기대 최대화를 이용한 구조 식별(^[21]STRIDE) 알고리즘은 센서 데이터를 사용하여 구조 시스템의 자연 진동 특성을 식별하기 위한 출력 전용 방법입니다(운용 모달 분석 참조).

EM은 데이터 클러스터링에도 사용됩니다.자연어 처리에서 알고리즘의 두 가지 중요한 예는 Baum-입니다.숨겨진 마르코프 모델에 대한 웰치 알고리즘과 확률론적 문맥 자유 문법의 비감독 유도를 위한 내부 외부 알고리즘.

EM 알고리즘 필터링 및 스무딩

Kalman 필터는 일반적으로 온라인 상태 추정에 사용되며 최소 분산 평활기는 오프라인 또는 배치 상태 추정에 사용될 수 있습니다.그러나 이러한 최소 분산 솔루션에는 상태 공간 모형 모수의 추정치가 필요합니다.EM 알고리즘은 접합 상태 및 매개변수 추정 문제를 해결하기 위해 사용될 수 있다.

필터링 및 평활 EM 알고리즘은 다음 2단계 절차를 반복함으로써 발생합니다.

E-스텝

현재 모수 추정치로 설계된 Kalman 필터 또는 최소 분산 평활기를 작동하여 업데이트된 상태 추정치를 얻습니다.

M 스텝

업데이트된 모수 추정치를 얻으려면 최대우도 계산 내에서 필터링되거나 평활된 상태 추정치를 사용하십시오.

Kalman 필터 또는 최소 분산 평활기가 추가 백색 노이즈를 가진 단일 입력-단일 출력 시스템의 측정에 작동한다고 가정합니다.업데이트된 측정 소음 분산 추정치는 최대우도 계산에서 얻을 수 있습니다.

${\displaystyle {\widehat }_{v}^{2}=sum _{k=1}^{N}{(z_{k}-{\widehat {x}_{k}}}^2}}$

$여기$서 x${\displaystyle {\stackrel{}{}}_{}}$^$$ {\$displaystyle {x}_{k$}}는$$ N개의 스칼라 $측정$에서 필터 또는 평활기로 계산된 스칼라 출력 추정치 ${\displaystyle z_{}}$k {\$displaystyle z_{k$입니다.위의 업데이트는 포아송 측정 노이즈 강도를 업데이트하는 데도 적용할 수 있습니다.마찬가지로 1차 자동 회귀 프로세스의 경우 업데이트된 프로세스 소음 분산 추정치는 다음과 같이 계산할 수 있습니다.

${\widehat {x}_{w}^{2}=sum _{k=1}^{N}{({\widehat {x}_{k+1}-{\widehat {x}}_{\widehat {x}}_{k}}}^2}}$

$여기$서 x${\displaystyle {\stackrel{}{}}_{}}$^ ${\displaystyle k_{}}${\$displaystyle {x}_{k}}$ $및$ x${\displaystyle {\stackrel{}{}}_{}}$^${\displaystyle {}_k}$ +$$ {\$displaystyle {x}_{k+1}$은 필터 또는 평활기에 의해 계산된 스칼라 상태의 추정치입니다.업데이트된 모델 계수 추정치는 다음을 통해 얻을 수 있습니다.

$({displaystyle {F}}={widehat {x}_{k=1}^{N}){{\widehat {x}-{\widehat {x}}{{{k}}}{{\sum _{k=1}{widehat {x}}^{}}}}}{{{}}}}}}{{{{{}}}}}}}}}}}}}}}{{{\widehat{{{{{{{{{{\widehat}}}}}}}}}}}}$

위와 같은 모수 추정치의 수렴은 잘 ^{[22][23][24][25]}연구되고 있다.

변종

공역 구배 및 수정된 뉴턴의 방법(뉴턴-라프슨)^[26]을 사용하는 방법과 같이 전자파 알고리즘의 느린 수렴을 가속화하기 위한 많은 방법이 제안되었다.또, EM은, 제약된 추정 방법에서도 사용할 수 있다.

파라미터 확장 기대 최대화(PX-EM) 알고리즘은 종종 "귀속된 전체 데이터에서 캡처된 추가 정보를 이용하여 M 단계의 분석을 수정하기 위한 "공분산 조정"을 통해 속도를 향상시킵니다.^[27]

기대 조건부 최대화(ECM)는 각 M 스텝을 조건부 최대화(CM) 스텝의 시퀀스로 대체하며,^[28] 여기서 각 파라미터 θ는_i 조건부로 고정된 다른 파라미터에 대해 개별적으로 최대화됩니다.그 자체는 Expectional Conditional Maximization one(^[29]ECME; 기대조건부 최대화) 알고리즘으로 확장할 수 있습니다.

이 아이디어는 Generalized Expectation Maximization(GEM; 일반화 기대 최대화) 알고리즘에서 더욱 확장되며, 이 알고리즘에서는 As a maximization-maximization 절차 ^[16]섹션에서 설명한 바와 같이 E 스텝과 M 스텝 모두에 대한 목적 함수 F의 증가만을 추구한다.GEM은 분산 환경에서 더욱 개발되어 유망한 ^[30]결과를 보여줍니다.

또한 EM 알고리즘을 MM(^[31]맥락에 따라 Majorize/Minimize 또는 Minorize/Maximize) 알고리즘의 하위 클래스로 간주하여 보다 일반적인 경우에 개발된 기계를 사용할 수도 있습니다.

알고리즘

EM 알고리즘에서 사용되는Q 함수는 로그 우도에 기초하고 있습니다.따라서 로그 EM 알고리즘으로 간주됩니다.로그 우도의 사용은 α-log 우도비로 일반화할 수 있습니다.그 후, α-log 우도비와 α-divergence의 Q-함수를 이용해 관측 데이터의 α-log 우도비를 정확하게 동등하게 표현할 수 있다.이 Q-함수의 취득은 일반적인E 단계입니다그 최대화는 일반화된 M 단계이다.이 쌍은 α-EM^[32] 알고리즘이라고 불리며 로그 EM 알고리즘을 서브클래스로 포함합니다.따라서 마츠야마 야스오의 α-EM 알고리즘은 log-EM 알고리즘의 정확한 일반화입니다.구배나 헤시안 행렬의 계산은 필요하지 않다.α-EM은 적절한 α를 선택함으로써 log-EM 알고리즘보다 빠른 컨버전스를 보여줍니다.α-EM 알고리즘은 숨겨진 마르코프 모델 추정 알고리즘의 더 빠른 버전으로 이어진다.

EM은 부분적으로 비베이지안 최대우도 방법이다.최종 결과는 잠재 변수(베이지안 스타일)에 대한 확률 분포를 δ(최대우도 추정치 또는 사후 모드)에 대한 점 추정치와 함께 제공한다.이것의 완전한 베이지안 버전이 필요할 수 있으며, θ 및 잠재 변수에 대한 확률 분포를 제공할 수 있습니다.추론에 대한 베이지안 접근법은 단순히 θ를 또 다른 잠재 변수로 취급하는 것이다.이 패러다임에서는 E 스텝과 M 스텝의 구분이 사라집니다.위에서 설명한 인수분해 Q 근사치(변수 베이즈)를 사용하면 각 잠복 변수(지금은 now 포함)를 반복하여 한 번에 하나씩 최적화할 수 있습니다.이제 반복당 k개의 단계가 필요합니다. 여기서 k는 잠재 변수의 수입니다.그래픽 모델의 경우 각 변수의 새로운 Q는 마르코프 블랭킷에만 의존하므로 로컬 메시지 전달이 효율적인 추론을 위해 사용될 수 있습니다.

기하학적 해석

정보 기하학에서 E 스텝과 M 스텝은 e-접속과 m-접속이라고 불리는 이중 아핀 연결 하에서의 투영으로 해석됩니다. 쿨백-라이블러 발산도 이러한 용어로 이해할 수 있습니다.

예

가우스 혼합

${\displaystyle {\mathbf{}}_{}}$ $=$ ( ${\displaystyle {}_{}{\mathbf{}}_{}}$, ${\displaystyle {}_{}}$2, ${\displaystyle ...}$ , ${\displaystyle {}_{}}$ )$${$displaystyle$ $\mathbf {x}$ =(\$mathbf {x} _{1$},\$ldots,\$$mathbf${$x}$ _${n})$ 두$$ 개의 다변량 $d차원$ 혼합에서 독립적인$$관측치의 $표본$이라고 $가정$합니다$.$2${\displaystyle {}_{}\dots ,}$ ${\displaystyle {}_{}{n}_{}}$ $)({displaystyle \mathbf {z} =(z_{1},z_{2},\ldots,z_{n})$는 관찰의 ^[17]원점을 결정하는 잠재적 변수이다.

${\displaystyle X_{}}$ i${\displaystyle {}_{}}$ ( ${\displaystyle Z_{}}$ i$$)${\displaystyle }$~ ${\displaystyle N_{}}$d ( ${\displaystyle {}_{}}$1 , ${\displaystyle {\delta \mathrm{}}_{}}$1)$$\ $style X$_ { $i$} \ mid ( $Z$_ { i } ${\displaystyle {}_{}}$ ${\displaystyle 1}$$$) \$sim$ { $mathcal${ $N$} }$_$ { d } ( { \ $boldsymbol$ { { mu }$_ {$1$}$ , \ $Sigma _$ {$$} ${\displaystyle \}}$ ) = ${\displaystyle {}_{}}$ . ${\displaystyle i_{}{}_{}}$ )

어디에

${\displaystyle P_{}}$ ${\displaystyle (}$ ( Z i ${\displaystyle {}_{}1}$) ${\displaystyle =}$ ${\displaystyle {1\mathrm{}}_{}{}_{}}$1 ( \ $displaystyle \operatorname$${$ $P$} ( Z$_$ { i$$=$$1) = \ ${\displaystyle {}_{}}$ _$${1} ,$$} 및$$ $P{\displaystyle \mathrm{}(}$ （ ${\displaystyle Z_{}}$ ${\displaystyle \mathrm{i}}$ ${\displaystyle =}$ ${\displaystyle {}_{}}$) ${\displaystyle =}$ ${\displaystyle {2\mathrm{}}_{}}$ ${\displaystyle 2}$ ${\displaystyle =}$ 1 - 1 - $1$ .$$\ $displaystyle \operatorname$ { $P =$ { \ $ti$ } ( Z _ t } }$}$

목적은 가우시안 및 각 평균 및 공분산 간의 혼합 값을 나타내는 알려지지 않은 매개변수를 추정하는 것이다.

${\displaystyle \theta = sigma big (\boldsymbol {\mu }}_{1}, {\boldsymbol {\mu }}_{2},\Sigma _{2}{\big}},$

여기서 불완전한 데이터 우도 함수는

${\displaystyle L(\theta;\mathbf {x})=\sum _{i=1}^{n}\sum _{j}\f(\mathbf {x}_{i};{\boldsymbol {mu}}_{j},\Sigma _{j})$

완전한 데이터 우도 함수는

$(\displaystyle L(\theta;\mathbf {x}),\mathbf {z} \mid \theta)=\display _{i=1}^{n}\display _f(\mathbf {x}_symbold } ).$

또는

${\displaystyle L(\theta;\mathbf {x},\mathbf {z})=\exp \left\{i=1}^{n}\sum _{j=1}\mathbbb {I}(z_{i}=j){\big [}\log \mathbuff {j}{j-{frac}}}}} {frac1}$

$여기$서 I$(\$는 지시 $함수$이고$$f(\$displaystyle$ f$)$는 다변량 정규 분포의 확률 밀도 함수입니다.

마지막 등식에서 각 i에 대해 하나의 ${\displaystyle {}_{}}$ I${\displaystyle (z_{}}$ i $=$ ${\displaystyle j}$ $)({displaystyle \mathbb {I}(z_{i$}=$j)}$은 0이고 하나의 표시기는 1이다.따라서 내부 합계는 하나의 항으로 감소합니다.

E 스텝

모수 θ의^(t) 현재 추정치를 고려할 때, Z의 조건부_i 분포는 θ에 의해 가중된 정규 밀도의 비례 높이인 Bayes 정리에 의해 결정된다.

${\displaystyle T_{j,i}^{(t):=\operatorname {P}(Z_{i}=j\mid X_{i}=\mathbf {x}_{i};\theta ^{(t)})}=frac {{{j}^(symbold}_i}, {symb}gma _{2}^{(t)}}}}.}.$

이것들은 「멤버십 확률」이라고 불리며, 통상은 E 스텝의 출력으로 간주됩니다(이것은 아래의 Q 함수는 아닙니다).

이 E 단계는 Q:에 대해 이 기능을 설정하는 것에 해당합니다.

${\displaystyle {begin{aligned}Q(\theta \mid \theta ^{(t)})&=\operatorname {E} _{\mathbf {Z} \mad \mathbf {X},\mathbf {(t)}} {\log L(\ta;\ta;\mathbf {x}\&=\operatorname {E} _{\mathbf {Z} \mid \mathbf {X} ,\mathbf {theta }^{(t)}} [\log \mathbf _{i=1}^{n}L(\theta ;\mathbf {x} _{i},Z_{i})]\&=\operatorname {E} _{\mathbf {Z} \mid \mathbf {X} ,\mathbf {theta }^{(t)}} [\sum _{i=1}^{n}\log L(\theta ;\mathbf {x} _{i},Z_{i})]\&=\sum _{i=1}^{n}\operatorname {E}_{Z_{i}\mid \mathbf {X};\mathbf {(t)}}[\log L(\theta;\mathbf {x}_{i}\]\&=\sum _{i=1}^{n}\sum _{j=1}^{2}P(Z_{i}=j\mid X_{i}=\mathbf {x}_{i};\theta ^{(t)})\log L(\theta _{j};\mathbf {x}_i})\&=\sum _{i=1}^{n}\sum _{j=1}^2}T_{j,i}^{(t)}{\big [}\log \tau _{j}-{\tfrac {1}{2}\log \Sigma _{j}-{i}-{\boldsymbol {mu}_{j}\gma}_{\igma}_{\gma}_{\gma}_{\gma}_{{{{\gma}}}}}{{\}}{\gma}}{\gma}}{\}}}}{\}\end { aligned}}$

합계 내의 로그${\displaystyle \delta }$L (${\displaystyle {}_{}}$ ;${\displaystyle {}_{}}$x ${\displaystyle i_{}}$ , ${\displaystyle {}_{}}$i${\displaystyle {}_{}}$) { $displaystyle \log$ L ( \ $theta$; \$mathbf${ $x$} _ {$i$ ,$Z _${ i } )의 기대치는 확률 $밀도{\displaystyle }$ ${\displaystyle {}_{}}$P ( Z ${\displaystyle i_{}}$ ${\displaystyle {}_{}}$ ${\displaystyle X_{}}$ i ${\displaystyle {}_{}}$ ${\displaystyle {}^{}{}_{}}$） (${\displaystyle {}^{}}$( （ ${\displaystyle t^{}}$） \ $style P _$ mid _ $i }$에 대해 구한다.${\displaystyle {\mathbf{트레이닝}}_{}}$ 세트의 $\$${i$}.E 스텝의 모든 것은 스텝이 실행되기 전에 알려져 있습니다.${\displaystyle {단}_{}}$, T${\displaystyle {}_{}}$j , ${\displaystyle i_{}}$\ $displaystyle T_{j,i$는 E 스텝 섹션의 선두에 있는 방정식에 따라 계산됩니다.

δ와 μ/Ω은 별도의 선형 항으로 나타나며 따라서 독립적으로 최대화할 수 있기 때문에 이 완전한 조건부 기대치를 한 번에 계산할 필요가 없다.

M 스텝

Q(θ)가^(t) 2차라는 것은 is의 최대값을 구하는 것이 비교적 간단하다는 것을 의미한다.또한 δ, (μ₁, δ₁) 및 (μ₂, δ₂)는 모두 별도의 선형으로 나타나므로 독립적으로 최대화할 수 있다.

먼저 제약 조건₁ + + = = 1을₂ 갖는 ,에 대해 생각해 보겠습니다.

${\displaystyle {\begin{aligned}{\boldsymbol {\tau }}^{(t+1)}&={\underset {\boldsymbol {\tau }}{\operatorname {arg\,max} }}\ Q(\theta \mid \theta ^{(t)})\\&={\underset {\boldsymbol {\tau }}{\operatorname {arg\,max} }}\ \left\{\left[\sum _{i=1}^{n}T_{1,i}^{(t)}\right]\log \tau _{1}+\left[\sum _{i=1}^{n}T_{2,i}^{(t)}\right]\log \tau _{2}\right\}.\end{aligned}}}$

This has the same form as the MLE for the binomial distribution, so

${\displaystyle \tau _{j}^{(t+1)}={\frac {\sum _{i=1}^{n}T_{j,i}^{(t)}}{\sum _{i=1}^{n}(T_{1,i}^{(t)}+T_{2,i}^{(t)})}}={\frac {1}{n}}\sum _{i=1}^{n}T_{j,i}^{(t)}.}$

For the next estimates of (μ₁,Σ₁):

${\displaystyle {\begin{aligned}({\boldsymbol {\mu }}_{1}^{(t+1)},\Sigma _{1}^{(t+1)})&={\underset {{\boldsymbol {\mu }}_{1},\Sigma _{1}}{\operatorname {arg\,max} }}\ Q(\theta \mid \theta ^{(t)})\\&={\underset {{\boldsymbol {\mu }}_{1},\Sigma _{1}}{\operatorname {arg\,max} }}\ \sum _{i=1}^{n}T_{1,i}^{(t)}\left\{-{\tfrac {1}{2}}\log \Sigma _{1} -{\tfrac {1}{2}}(\mathbf {x} _{i}-{\boldsymbol {\mu }}_{1})^{\top }\Sigma _{1}^{-1}(\mathbf {x} _{i}-{\boldsymbol {\mu }}_{1})\right\}\end{aligned}}.}$

This has the same form as a weighted MLE for a normal distribution, so

${\displaystyle {\boldsymbol {\mu }}_{1}^{(t+1)}={\frac {\sum _{i=1}^{n}T_{1,i}^{(t)}\mathbf {x} _{i}}{\sum _{i=1}^{n}T_{1,i}^{(t)}}}}$ and ${\displaystyle \Sigma _{1}^{(t+1)}={\frac {\sum _{i=1}^{n}T_{1,i}^{(t)}(\mathbf {x} _{i}-{\boldsymbol {\mu }}_{1}^{(t+1)})(\mathbf {x} _{i}-{\boldsymbol {\mu }}_{1}^{(t+1)})^{\top }}{\sum _{i=1}^{n}T_{1,i}^{(t)}}}}$

and, by symmetry,

${\displaystyle {\boldsymbol {\mu }}_{2}^{(t+1)}={\frac {\sum _{i=1}^{n}T_{2,i}^{(t)}\mathbf {x} _{i}}{\sum _{i=1}^{n}T_{2,i}^{(t)}}}}$ and ${\displaystyle \Sigma _{2}^{(t+1)}={\frac {\sum _{i=1}^{n}T_{2,i}^{(t)}(\mathbf {x} _{i}-{\boldsymbol {\mu }}_{2}^{(t+1)})(\mathbf {x} _{i}-{\boldsymbol {\mu }}_{2}^{(t+1)})^{\top }}{\sum _{i=1}^{n}T_{2,i}^{(t)}}}.}$

Termination

Conclude the iterative process if ${\displaystyle E_{Z\mid \theta ^{(t)},\mathbf {x} }[\log L(\theta ^{(t)};\mathbf {x} ,\mathbf {Z} )]\leq E_{Z\mid \theta ^{(t-1)},\mathbf {x} }[\log L(\theta ^{(t-1)};\mathbf {x} ,\mathbf {Z} )]+\varepsilon }$ for ${\displaystyle \varepsilon }$ below some preset threshold.

Generalization

The algorithm illustrated above can be generalized for mixtures of more than two multivariate normal distributions.

Truncated and censored regression

The EM algorithm has been implemented in the case where an underlying linear regression model exists explaining the variation of some quantity, but where the values actually observed are censored or truncated versions of those represented in the model.^[34] Special cases of this model include censored or truncated observations from one normal distribution.^[34]

Alternatives

EM typically converges to a local optimum, not necessarily the global optimum, with no bound on the convergence rate in general. It is possible that it can be arbitrarily poor in high dimensions and there can be an exponential number of local optima. Hence, a need exists for alternative methods for guaranteed learning, especially in the high-dimensional setting. Alternatives to EM exist with better guarantees for consistency, which are termed moment-based approaches^[35] or the so-called spectral techniques^{[36][37][citation needed]}. Moment-based approaches to learning the parameters of a probabilistic model are of increasing interest recently^[when?] since they enjoy guarantees such as global convergence under certain conditions unlike EM which is often plagued by the issue of getting stuck in local optima. Algorithms with guarantees for learning can be derived for a number of important models such as mixture models, HMMs etc. For these spectral methods, no spurious local optima occur, and the true parameters can be consistently estimated under some regularity conditions^{[citation needed]}.

See also

• mixture distribution
• compound distribution
• density estimation
• Principal component analysis
• total absorption spectroscopy
• The EM algorithm can be viewed as a special case of the majorize-minimization (MM) algorithm.^[38]

References

Further reading

• Hogg, Robert; McKean, Joseph; Craig, Allen (2005). Introduction to Mathematical Statistics. Upper Saddle River, NJ: Pearson Prentice Hall. pp. 359–364.
• Dellaert, Frank (2002). "The Expectation Maximization Algorithm". CiteSeerX 10.1.1.9.9735. {{cite journal}}: Cite journal requires journal= (help) gives an easier explanation of EM algorithm as to lowerbound maximization.
• Bishop, Christopher M. (2006). Pattern Recognition and Machine Learning. Springer. ISBN 978-0-387-31073-2.
• Gupta, M. R.; Chen, Y. (2010). "Theory and Use of the EM Algorithm". Foundations and Trends in Signal Processing. 4 (3): 223–296. CiteSeerX 10.1.1.219.6830. doi:10.1561/2000000034. A well-written short book on EM, including detailed derivation of EM for GMMs, HMMs, and Dirichlet.
• Bilmes, Jeff (1998). "A Gentle Tutorial of the EM Algorithm and its Application to Parameter Estimation for Gaussian Mixture and Hidden Markov Models". CiteSeerX 10.1.1.28.613. {{cite journal}}: Cite journal requires journal= (help) includes a simplified derivation of the EM equations for Gaussian Mixtures and Gaussian Mixture Hidden Markov Models.
• McLachlan, Geoffrey J.; Krishnan, Thriyambakam (2008). The EM Algorithm and Extensions (2nd ed.). Hoboken: Wiley. ISBN 978-0-471-20170-0.

External links

• Various 1D, 2D and 3D demonstrations of EM together with Mixture Modeling are provided as part of the paired SOCR activities and applets. These applets and activities show empirically the properties of the EM algorithm for parameter estimation in diverse settings.
• Class hierarchy in C++ (GPL) including Gaussian Mixtures
• The on-line textbook: Information Theory, Inference, and Learning Algorithms, by David J.C. MacKay includes simple examples of the EM algorithm such as clustering using the soft k-means algorithm, and emphasizes the variational view of the EM algorithm, as described in Chapter 33.7 of version 7.2 (fourth edition).
• Variational Algorithms for Approximate Bayesian Inference, by M. J. Beal includes comparisons of EM to Variational Bayesian EM and derivations of several models including Variational Bayesian HMMs (chapters).
• The Expectation Maximization Algorithm: A short tutorial, A self-contained derivation of the EM Algorithm by Sean Borman.
• The EM Algorithm, by Xiaojin Zhu.
• EM algorithm and variants: an informal tutorial by Alexis Roche. A concise and very clear description of EM and many interesting variants.