일반화 필터링

일반화 필터링은 비선형 상태-공간 모델을 위한 일반적인 베이지안 필터링 체계다.^[1] 그것은 일반화된 좌표로 공식화된 최소 조치의 변동 원리에 기초한다.^[2] 여기서 사용되는 "일반화된 좌표"의 개념은 (멀티바디) 동적 시스템 분석에서 사용되는 동작의 일반화된 좌표 개념과 다르다는 점에 유의한다. 일반화된 필터링은 라플라스 가정에 따라 가변 자유 에너지에 대한 일반화된 구배 강하를 사용하여 관측된 데이터를 생성하는 숨겨진 상태(및 매개변수)에 대한 후방 밀도를 제공한다. 고전적(예: Kalman-Bucy 또는 입자) 필터링과 달리 일반화된 필터링은 무작위 변동에 대한 마르코비안 가정을 지지한다. 더욱이, 그것은 온라인상에서, 미지의 양에 대해 후방 밀도를 근사하게 하기 위해 데이터를 동화시켜, 후진 패스 없이도 운용한다. 특별한 경우로는 변동 필터링,^[3] 동적 기대 극대화^[4] 및 일반화된 예측 코딩이 있다.

정의

정의: 일반화 필터링은 튜플$({\displaystyle \mathrm{\Omega }}$, ${\displaystyle U}$, X${\displaystyle }$, ${\displaystyle S}$, p ,${\displaystyle q}$) ${\displaystyle(\Oomega ,U,X,S,p,q)}$에 위치한다$.$

• 랜덤 변동${\displaystyle }\Omega {\displaystyle }$$${\$displaystyle \Oomega}$이(${\displaystyle \mathrm{가}}$) 그려지는$$ 샘플 공간 $\Omega {\displaystyle \mathrm{}}$ ${\displaystyle \omega \in \Oomega$}
• ${\displaystyle 제어\mathbb{}}$ 상태 $U{\displaystyle }$ ${\displaystyle \in }$ R ${\$- 외부 원인, 입력 또는 강제 조건의 역할을 함
• Hidden${\displaystyle \mathrm{state}}$X : ${\displaystyle X}$× U$×$ ${\displaystyle \mathrm{\Omega }}$ → ${\displaystyle R\mathbb{}}$ {\$displaystyle X:X\$time U\time U\$Time \Oomega$\to $\mathb {R}$ – $$감각 상태를 유발하고 제어 상태에 의존함
• ${\displaystyle 센서\mathbb{}}$ 상태 $S{\displaystyle }$: ${\displaystyle X}$ ${\displaystyle \times }$ ${\displaystyle U}$ ${\displaystyle \times }$ ${\displaystyle \mathrm{\Omega }}$→ R ${\$ - $$은닉 상태 및 제어 상태의 확률적 매핑
• 생성 밀도 $p{\displaystyle (s\stackrel{}{}}$~${\displaystyle }$, x ~${\displaystyle u}$ ~${\displaystyle \stackrel{}{}\mid }$ m )${\displaystyle$ p$({\tilde {{s},{\tilde{x},{\tilde{u}}\mid$ m$)}$ $$– 생성 모델 $m{\displaystyle }$ ${\displaystym m}$에 따른 감각, 숨겨진 상태 및 제어 상태
• 가변 밀도 $q{\displaystyle (x\stackrel{}{}}$~ ,${\displaystyle u\stackrel{}{}}$ ~${\displaystyle \mu \stackrel{}{}}$~${\displaystyle }$) ${\displaystyle q({\tilde{x},{\tilde{\mid{\tilde{\mu }})$ $$– 숨겨진 상태 및 $제어{\displaystyle \stackrel{}{}}$ 상태 ~${\displaystyle \stackrel{}{}}$μs ~ $∈$ ${\displaystyle R\mathbb{}}$ ${\tilde{\mu}}\mathb {R}}}$

여기서 ~는 동작의 일반화된 좌표에서 변수를 나타낸다: $u{\displaystyle \stackrel{}{}}$~${\displaystyle }$=${\displaystyle }$[ ${\displaystyle u,}$ ${\displaystyle {}^{}\prime ,}$ ${\displaystyle {}^{}}$″ ,${\displaystyle }$u ″${\displaystyle }$, …${\displaystyle {}^T}$ ${\$${T}$

일반화 필터링

목표는 센서 상태와 생성 모델에서 은닉 상태와 제어 상태에 대한 후방 밀도를 대략적으로 측정하고, 모델 $증거{\displaystyle }$ p${\displaystyle (s\stackrel{}{}}$~${\displaystyle }$( ${\displaystyle t}$) m$){\displaystyle p({\tilde{s})(t)\vert m)}$을 추정하여$$ 다른 모델을 비교하는 것이다. 이것은 일반적으로 숨겨진 상태에 대한 난치할 수 없는 한계화를 수반하므로 모델 증거(또는 한계우도)는 변동 자유 에너지로 대체된다.^[5] 다음과 같은 정의가 주어진다.

${\displaystyle {\tilde{\mu }}}={\underset {\tilde}{arg\,min}}}}}}{F({\tilde {s})(t),{\tilde{\mu }\}\}}}\}}}}}}}}$

${\displaystyle G({\tilde{s},{\tilde{x},{\tilde{u}})=-\ln p({\tilde {s},{\tilde {x},{\tilde}},{\tilde}}\vertm)}}}$

$밀도{\displaystyle }$ $q{\displaystyle }$ ${\displaystyle q}$의 섀넌 엔트로피를 H [ ${\displaystyle q]}$ = ${\displaystyle {}_{}}$ ${\displaystyle q_{}}$[${\displaystyle }$- ${\displaystyle \log }$ ${\displaystyle }$ (${\displaystyle q}$ ) ${\displaystyle ]}$ ${\displaystyle$H[$q]=$로 나타낸다.$E_{q}[-\log(q$ 그러면 변동 가능한 자유 에너지를 다음과 같은 두 가지 방법으로 쓸 수 있다.

${\displaystyle F({\tilde {s},{\tilde {\mu }})=E_{q}[G({\tilde {s}},{\tilde {x}},{\tilde {u}})]-H[q({\tilde {x}},{\tilde {u}}\vert {\tilde {\mu }})]=-\ln p({\tilde {s}}\vert m)+D_{KL}[q({\tilde {x}},{\tilde {u}}\vert {\tilde {\mu }})\vert \vert p({\tilde {x}},{\tilde {u}}\vert {\tilde {s}},m)]}$

두 번째 동일성은 변동 자유 에너지(i)를 최소화하는 것이 변동 자유 에너지와 진정한 후방 밀도 사이의 Kullback-Leibler 차이를 최소화하고 (ii) 변동 자유 에너지(비교적 자유 에너지)를 음의 로그 증거에 렌더링(비교적 근사치)한다는 것을 보여준다(비교차가 결코 0보다 작을 수 없기 때문이다).^[6] Under the Laplace assumption ${\displaystyle q({\tilde {x}},{\tilde {u}}\mid {\tilde {\mu }})={\mathcal {N}}({\tilde {\mu }},C)}$ the variational density is Gaussian and the precision that minimizes free energy is ${\displaystyle C^{-1}=\mathrm{\Pi }={\mathrm{\partial }}_{\tilde{\mu }\tilde{\mu }}G(\tilde{\mu })}$${\displaystyle C^{-1}=\Pi =\partial _{\tilde{\mu }{\$tilde{\$mu }}G({\tilde {\mu$ $\}\}\})\}.$ 즉, 자유 에너지는 변동 평균(소거 상수) 단위로 표현할 수 있다.

${\displaystyle F=G({\tilde{\mu }}})+\텍스트스타일 {1\over 2}\ln \vert \partial _{\tilde{\mu }}}{\tilde{\mu }}}G({\tilde {\mu }}}})\vertime }}}}}$

자유 에너지의 (경로 일체형)을 최소화하는 변동 수단은 이제 일반화된 필터를 해결함으로써 복구할 수 있다.

${\dot {\tilde {\mu}}=D{\tilde {\mu}-\partial _{\tilde {\\mu}F({\tilde {s},{\tilde {\mu }}})}$

여기서 $D{\displaystyle }$ ${\displaystyle D}$은(는) ${\displaystyle D^{}\stackrel{}{}u\stackrel{}{}}$ ~${\displaystyle }$=${\displaystyle }$[ ${\displaystyle {}^{}}$ ${\displaystyle {\prime }^{}}$ ,${\displaystyle {}^{}}$ ${\displaystyle {″}^{}}$,${\displaystyle }$…${\displaystyle {}^{}}$T {\$displaystyle D{\tilde$ {$u}=[u',u']",\ldots ]^$와 $같은$ 식별 행렬의 블록 매트릭스 파생 연산자다.${T}$

변동기준

일반화 필터링은 다음과 같은 보조정리 방법을 기반으로 한다. The self-consistent solution to ${\displaystyle {\dot {\tilde {\mu }}}=D{\tilde {\mu }}-\partial _{\tilde {\mu }}F(s,{\tilde {\mu }})}$ satisfies the variational principle of stationary action, where action is the path integral of variational free energy

${\displaystyle S=\intdt\,F({\tilde{s})(t),{\tilde {\mu }(t)}$

증명: 자기 일관성은 평균의 움직임이 움직임의 평균이 되어야 하며 (변동 미적분학의 기본 보조정리)

${\displaystyle {\dot {\tilde {\mu }}}=D{\tilde {\mu }}\Leftrightarrow \partial _{\tilde {\mu }}F({\tilde {s}},{\tilde {\mu }})=0\Leftrightarrow \delta _{\tilde {\mu }}S=0}$

간단히 말해서, 평균의 경로에 대한 작은 동요는 변동 가능한 자유 에너지를 변화시키지 않으며 가능한 모든 (지역) 경로 중에서 최소한의 작용을 가진다.

설명: Heuristically, generalized filtering performs a gradient descent on variational free energy in a moving frame of reference: ${\displaystyle {\dot {\tilde {\mu }}}-D{\tilde {\mu }}=-\partial _{\tilde {\mu }}F(s,{\tilde {\mu }})}$, where the frame itself minimizes variational 자유 에너지 통계 물리학의 관련 예는 일반화된 좌표에서 앙상블 역학을 사용하여 Langevin의 일반화된 위상 공간 버전과 관련 Fokker-Plank 방정식을 제공하는 커와 그레이엄을 참조한다.

실제로 일반화 필터링은 개별 업데이트를 복구하기 위해$$ 간격 ${\displaystyle \Delta }$ t ${\displaystyle \Delta t}$에 대한 로컬 선형화를^[9] 사용한다.

${\displaystyle {\begin{aigned}\Delta {\tilde}}&=(\exp)(\Delta t\cdot J)-I)J^{-1}{\dot {\tilde{\\mu}}\\\\J&=\partial _{\tilde{\mu}}{\dot {\tilde{\mu}}}=D-\partial _{\tilde{\\mu }F({\tilde{\s},{\tilde {\mu }}}}}}}}{\tilde}}}}}}}}}\departed}}).$

이것은 각 구간(보통 관측치 사이의 구간)에서 숨겨진 변수의 평균을 업데이트한다.

일반화된 좌표에서의 생성(상태 공간) 모델

일반적으로 생성 밀도 또는 모델은 연속 비선형 함수를 갖는 비선형 입력-상태-출력 모델의 관점에서 지정된다.

${\displaystyle {\just}s&=g(x,u)+\omega _{s}\\{\dot{x}}=f(x,u)+\omega _{x}\ended}}}}$

해당 일반화 모델(현지 선형성 가정 하에서)은 체인 규칙에서 를 얻는다.

${\displaystyle{\begin{정렬}{\tilde{s}}&={\tilde{g}}({\tilde{x}},{\tilde{너}})+{\tilde{\omega}}_{s}\\\\s&, =g(x,u)+\omega _{s}\\s'&,=\partial _{)}g\cdotx'+\partial _{u}g\cdot u'+\omega '_{s}\\s"&=\partial _{)}g\cdot x"+\partial _{u}g\cdot 너"+\omega"_{s}\\&, \vdots}\qquad{\begin{정렬}{\dot{\tilde{)}\\\end{정렬}.}}&={\tilde{f}}({\tilde {x}},{\tilde {u}})+{\tilde {\omega }}_{x}\\\\{\dot {x}}&=f(x,u)+\omega _{x}\\{\dot {x}}'&=\partial _{x}f\cdot x'+\partial _{u}f\cdot u'+\omega '_{x}\\{\dot {x}}''&=\partial _{x}f\cdot x''+\partial _{u}f\cdot u''+\omega ''_{x}\\&\vdots \end{aligned}}}$

무작위 변동 $\Omega {\displaystyle }$ ${\displaystyle \omega}$에 대한 가우스 가정은 숨겨진$$ 상태의 움직임에 대한 우도 및 경험적 이전 값을 규정한다.

${\displaystyle{\begin{정렬}({\tilde{s}},{\tilde{x}},{\tilde{너}}\vertm\right)&, =p\left({\tilde{s}}\vert{\tilde{x}},{\tilde{너}},m\right)p\left({D{\tilde{x}}\vert x,{\tilde{너}},m}\right)p(mx\vert)p({\tilde{너}}\vert m)\\p\left({\tilde{s}}\vert{\tilde{x}},{\tilde{너}},m\right)&, ={{N\mathcal}}({\tilde{g}}({\tilde{)}},{\t.ilde{u}}),{\tilde {\Sigma }}({\tilde {x}},{\tilde {u}})_{s})\\p\left({D{\tilde {x}}\vert x,{\tilde {u}},m}\right)&={\mathcal {N}}({\tilde {f}}({\tilde {x}},{\tilde {u}}),{\tilde {\Sigma }}({\tilde {x}},{\tilde {u}})_{x})\\\end{aligned}}}$

$공분산{\displaystyle \stackrel{}{\mathrm{}}}$ ~${\displaystyle \stackrel{}{}}$~${\displaystyle }$= ${\displaystyle V}$ ${\displaystyle \otimes }$ ${{\displaystyle {\tilde {\\Sigma }}=V\otimes \Sigma }}$은(는) 자기 상관을 인코딩하는 일반화된 변동 $중$에서 변수와 상관 V ${\displaystytyle V$} 사이의 공분산을 인수한다$$.

${\displaystyle V={\begin{bmatrix}1&0&{\ddot {\rho }}(0)&\cdots \\0&-{\ddot {\rho }}(0)&0\ &\ \\{\ddot {\rho }}(0)\ &0\ &{\ddot {\ddot {\rho }}}(0)\ &\ \\\vdots \ &\ &\ &\ddots \ \\\end{bmatrix}}}$

여기서 $\rho {\displaystyle \stackrel{}{}}$ ($){\displaystyle$ {\dot${\rho$}}}}은$($는) 0에서 평가한 자기 상관 함수의 두 번째 파생물이다. 이것은 확률적 과정 이론에서 흔히 볼 수 있는 거칠기의 척도다.^[10] 결정적으로 고차파생물의 정밀도(역분산)는 상당히 빠르게 0으로 떨어지며, 이는 주어진 자기 상관 함수 또는 매개변수화된 자기 상관 함수에 대해 상대적으로 저차 일반화된 운동(보통 2와 8 사이)만 모델링하면 된다는 것을 의미한다.

특례

이산형 시계열 필터링

시계열이 $N{\displaystyle }$ ${\displaystyle N}$ 관측치의$$ 이산 시퀀스로 관찰되는 경우 암묵적 샘플링은 생성 과정의 일부로 취급되며 여기서(테일러의 정리 사용)

${\displaystyle [s_{1},\dots ,s_{N}]^{T}=(E\otimes I)\cdot {\tilde{s}}(t):\qquad E_{ij}={\frac {(i-t)^{(j-1)}{{(j-1)}{(j-1)!}}}$

원칙적으로 전체 시퀀스는 각 시점의 숨겨진 변수를 추정하는 데 사용될 수 있다. 그러나 과거와 미래의 표본 정밀도는 빠르게 떨어져 무시할 수 있다. 이를 통해 이 계획은 각 시점(일반적으로 2~8개 사이)을 중심으로 한 국지적 관찰을 사용하여 온라인에서 데이터를 동화시킬 수 있다.

일반화된 필터링 및 모델 매개 변수

For any slowly varying model parameters of the equations of motion ${\displaystyle f(x,u,\theta )}$ or precision ${\displaystyle {\tilde {\Pi }}(x,u,\theta )}$ generalized filtering takes the following form (where ${\displaystyle \mu }$ corresponds to the variational mean of the parameters)

${\displaystyle {\begin{aigned}{\dot {\mu }}}{\mu '}}}=\mu '}\mu '}-\partial _{\mu }F({\tilde},\mu )-\cappa '\ended{aigned}}}}}}}}}}}}}}}}}}}}}}}$

여기서 용액 $\mu {\displaystyle \stackrel{}{\stackrel{}{}}}$ ~${\displaystyle \stackrel{}{}}$μ${\displaystyle }$= ${\displaystyle 0}$ ${\dot {\$tilde {\$mu }}=0}$은(는) 평균의 움직임이 작을 때 변동 자유 에너지를$$ 최소화한다. This can be seen by noting ${\displaystyle {\dot {\mu }}={\dot {\mu }}'=0\Rightarrow \partial _{\mu }F=0\Rightarrow \delta _{\mu }S=0}$. It is straightforward to show that this solution corresponds to a classical Newton update.^[11]

베이시안 필터링 및 예측 코딩과의 관계

일반화 필터링 및 Kalman 필터링

마르코비안이나 위너 가설에 따른 고전적 필터링은 무작위 변동의 운동 정밀도를 0으로 가정하는 것과 같다. 이 제한적인 경우 상태와 첫 번째 파생 $\mu {\displaystyle \stackrel{}{}}$ ~${\displaystyle }$= ($,$ μ${\displaystyle {}^{}}$μ ) $displaystyle {\tilde{\mu }}=(\mu,{\mu }')$만 고려하면 된다$.$ 즉, 일반화된 필터링은 Kalman-Bucy 필터의 형태를 취하며 예측 및 수정 용어는 다음과 같다.

${\displaystyle{\begin{ligned}{\dot{\mu }}}{\mu '-\partial _{\mu '-}F(s, {\tilde{\mu }}}}}}}\mu '-partial _{parted}}}}}}}}}}}}}}$

위의 개별 업데이트 방식으로 이 1차 필터링을 대체하면 Kalman 필터링과 동등한 (확장) Kalman 필터링을 제공한다.^[12]

일반화 필터링 및 입자 필터링

입자 필터링은 가변적 또는 대략적인 후방 밀도의 형태에 대한 가정을 완화하는 샘플링 기반 체계다. 이에 상응하는 일반화된 필터링 방식을 변수 필터링이라고 한다.^[3] 가변 필터링에서 입자의 앙상블은 앙상블의 예상된 (일반화된) 움직임과 함께 움직이는 기준 프레임에서 자유 에너지 풍경 위로 확산된다. 이것은 가우스(단일) 가정을 지지하는 비교적 간단한 체계를 제공한다. 입자 필터링과 달리 제안 밀도 또는 입자의 제거 또는 생성을 요구하지 않는다.

일반화된 필터링 및 변동 베이

변동 베이는 변동 밀도의 평균 필드 파티션에 위치한다.

${\displaystyle q({\tilde{x},{\tilde{u}},\teta \vert {\tilde {\mu}, {\tilde {x}, {\tilde {\\mu }}q(\ta \tevert \mu \mu )}}}}$

이 파티션은 각 한계 밀도에 대한 변동 업데이트 또는 단계를 유도한다. 이 단계는 대개 결합 전자를 사용하여 분석적으로 해결된다. 일반화된 필터링에서 이는 동적 기대 극대화로 이어진다.^[4] 알 수 없는 상태의 충분한 통계를 최적화하는 D-step, 매개변수에 대한 E-step, 정밀도에 대한 M-step으로 구성된다.

일반화된 필터링 및 예측 코드화

일반화 필터링은 일반적으로 다음 형식의 계층적 모델을 반전시키는 데 사용된다.

${\displaystyle {\begin{aligned}{\tilde {s}}&={\tilde {g}}^{1}({\tilde {x}}^{1},{\tilde {u}}^{(1)})+{\tilde {\omega }}_{s}^{(1)}\\{\dot {\tilde {x}}}^{(1)}&={\tilde {f}}^{(1)}({\tilde {x}}^{(1)},{\tilde {u}}^{(1)})+{\tilde {\omega }}_{x}^{(1)}\\\vdots \\{\tilde {u}}^{(i-1)}&={\tilde {g}}^{(i)}({\tilde {x}}^{(i)},{\tilde {u}}^{(i)})+{\tilde {\omega }}_{u}^{(i)}\\{\dot {\tilde {x}}}^{(i)}&={\tilde {f}}^{(i)}({\tilde {x}}^{(i)},{\tilde {u}}^{(i)})+{\tilde {\omega }}_{x}^{(i)}\\\vdots \end{aligned}}}$

자유 에너지에 대한 일반화 경사로 강하 후 이어지는 일반화 경사로를 예측 오류 측면에서 압축적으로 표현할 수 있다. 여기서(고차 항 발생):

${\displaystyle{\begin{정렬}{\dot{\tilde{\mu}}}_{u}^{(나는)}&amp을 말한다.=D{\tilde{\mu}}^{(u,i)}-\partial _{u}{\tilde{\varepsilon}}^{(나는)}\cdot \Pi ^{(나는)}{\tilde{\varepsilon}}^{(나는)}-\Pi ^{(i+1)}{\tilde{\varepsilon}}_{u}^{(i+1)}\\{\dot{\tilde{\mu}}}_{)}^{(나는)}&amp을 말한다.=D{\tilde{\mu}}^{(x,i)}-\partial _{)}{\tilde{\varepsilon}}^{(나는)}\cdot\Pi ^{(나는)}{\tild.e {\varepsilon }}^{(i)}\\\\{\tilde {\varepsilon }}_{u}^{(i)}&={\tilde {\mu }}_{u}^{(i-1)}-{\tilde {g}}^{(i)}\\{\tilde {\varepsilon }}_{x}^{(i)}&=D{\tilde {\mu }}_{x}^{(i)}-{\tilde {f}}^{(i)}\end{aligned}}}$

여기서 $\pi {\displaystyle {\mathrm{}}^{}}$( $){\$는 i번째 수준의 랜덤 변동 정밀도$$ 입니다. 이를 일반화된 예측 코딩[11]이라고 하며, 특별한 경우로서 선형 예측 코딩이 있다.

적용들

일반화된 필터링은 주로 생물학적 시간 기록(특히 기능 자기 공명 영상 및 전기생리학 데이터)에 적용되었다. 이것은 대개 데이터를 생성하는 (신규) 시스템의 기초 구조에 대해 추론하기 위한 동적 인과 모델링의 맥락에 있다.^[13] 또한 뇌에서 일반화(계층적) 예측 코딩의 관점에서 추론을 시뮬레이션하는 데도 사용된다.^[14]

참고 항목

• 동적 베이시안 네트워크
• 칼만 필터
• 선형예측코드
• 최적제어
• 입자 필터
• 재귀 베이시안 추정
• 시스템 식별
• 가변 베이지안 방법

참조

외부 링크

• 소프트웨어 데모 및 애플리케이션은 SPM의 DEM 도구 상자에서 학술용 프리웨어(Matlab 코드)로 제공됨
• 기술 및 응용 논문 모음집.