직교성 원리

통계와 신호 처리에서 직교성 원리는 베이시안 추정기의 최적성을 위해 필요하고 충분한 조건이다.직교성 원리는 (평균 사각 오차 감지에서) 최적 추정기의 오차 벡터가 가능한 추정기와 직교한다고 대략적으로 말한다.직교성 원리는 선형 추정기에 대해 가장 일반적으로 명시되지만 더 일반적인 제형이 가능하다.원리는 최적성을 위해 필요하고 충분한 조건이기 때문에 최소 평균 제곱 오차 추정기를 찾는 데 사용할 수 있다.

선형 추정기의 직교합성 원리

직교성 원리는 선형 추정의 설정에서 가장 일반적으로 사용된다.^[1]이 맥락에서 x는 관측 벡터 y에 기초하여 추정해야 하는 알 수 없는 랜덤 벡터가 되도록 한다.선형 추정기 $x{\displaystyle \stackrel{}{}}$ ${\displaystyle \stackrel{}{^}}$= ${\displaystyle H}$ ${\displaystyle y}$+ ${\displaystyle c}$ ${\displaystyle {\hat{x}}=$를 구성하려는 경우일부 행렬 H 및 벡터 c에 대한 $Hy$$+c}.$그런 다음, 직교 원리는 추정기 $x{\displaystyle \stackrel{}{}}$ ${\displaystyle \stackrel{}{^}}$ ${\$이(가) 다음과 같은 경우에만 최소 평균 제곱 오차를 달성한다고$$ 명시한다.

• ${\displaystyle \operatorname {E} \{\hat {x}-x)y$$T$$}\}=0,}$ 및
• ${\displaystyle \operatorname {E} \{\hat {x}-x\}=0.}$

x와 y의 평균이 0이면 첫 번째 조건을 요구해도 충분하다.

예

Suppose x is a Gaussian random variable with mean m and variance ${\displaystyle \sigma _{x}^{2}.}$ Also suppose we observe a value ${\displaystyle y=x+w,}$ where w is Gaussian noise which is independent of x and has mean 0 and variance ${\displaystyle \sigma _{w}^{2}.$$}}$ MSE를 $최소화$하는${\displaystyle \stackrel{}{}}$선형${\displaystyle \mathrm{추정기}}$ ${\displaystyle x}$^ =$$h y + c {\$displaystyle${\x}=$hy$$+c}$을(를) 찾으려고 함$$. $x{\displaystyle \stackrel{}{}}$ ${\displaystyle \stackrel{}{^}}$= ${\displaystyle h}$ y${\displaystyle }$+ c ${\displaystyle {\x}=hy+c}$을(를) 정형성 원리의 두 가지 요구 사항으로$$ 대체하여 얻음

${\displaystyle 0=\operatorname {E} \{\hat {x}-x)y\}}}$

${\displaystyle 0=\operatorname {E} \{(hx+hw+c-x)(x+w)\}}$

${\displaystyle 0=h(\displaystyle _{x}^{2}+{w}^{2}}+cm-\m^{x}^{x}-m^{2}}}}$

그리고

${\displaystyle 0=\operatorname {E} \{{\hat {x}-x\}}$

${\displaystyle 0=\operatorname {E} \{hx+hw+c-x\}}$

$0=(h-1)m+c.}$

h와 c에 대해 이 두 개의 선형 방정식을 풀면 다음과 같은 결과를 얻을 수 있다.

${\displaystyle h={\frac {\frac}^{2}}:{\x}^{n2}+{w}^{2}}:\frac c={w}^{w}^{w}}}}{x}^{x}+{w}^{w}^,}}}}$

선형 최소 평균 제곱 오차 추정기는 다음과 같이 지정된다.

${\displaystyle {\x}={x}^{2}}:{x}^{2}}:{x}^{2}+\flama _{w}^{w}2}}:Y+{w}}{w}^{w}^{w}}}}}{x}^+{w}}}}}}}}}}}}.$

이 추정기는 노이즈 측정 y와 이전 예상값 m 사이의 가중 평균으로 해석할 수 있다.소음 분산 $\sigma {\displaystyle {}_{}^{}}$ w ${\displaystyle {\mathrm{}}_{}^{}}$ ${\$ (높은 SNR에 대응) 이전 σ x ${\displaystyle {\mathrm{}}_{}^{}}$ ${\$ $$(높은 SNR에 대응)의 분산과 비교하여 낮은$$ 경우, 대부분의 중량이 측정 y에 주어지며, 이는 이전 정보보다 신뢰도가 높은 것으로 간주된다.반대로 소음 분산이 상대적으로 높으면 측정치가 이전 정보를 초과할 정도로 신뢰할 수 없기 때문에 추정치는 m에 가깝다.

마지막으로 변수 x와 y가 공동으로 가우스 값이기 때문에 최소 MSE 추정기는 선형이라는 점에 유의하십시오.^[2]따라서 이 경우 위의 추정기는 선형 추정기뿐만 아니라 모든 추정기 중에서 MSE를 최소화한다.

일반 제형

$V{\displaystyle }$ ${\displaystyle V}$을(를)${\displaystyle }$variables x ,${\displaystyle }$y ${\displaystyle ⟩}$= ${\displaystyle \mathrm{E}}$ ${\displaystyle }${ x ${\displaystyle H^{}}$ ${}$ {\$displaystyle \langle$x,$y\rangle$=\$operatorname${E$}{x^}$에 의해 정의된 내부 제품을 가진 랜덤 변수의 힐버트 공간으로 두십시오$$.$H}y$ $W{\displaystyle }$ ${\displaystyle W}$이$($가) $가능$한 모든$$추정기의 $공간$을 나타내는 V {\$displaystyle$ V$}$의 닫힌 하위 공간이라고$$ 가정하십시오.One wishes to find a vector ${\displaystyle {\hat {x}}\in W}$ which will approximate a vector ${\displaystyle x\in V}$. More accurately, one would like to minimize the mean squared error (MSE) ${\displaystyle \operatorname {E} \ x-{\hat {x}}\ ^{2}}$ between ${\display$$스타일 {\hat{x}}$ $및{\displaystyle }$ x$$ ${\displaystyle x$

위에서 설명한 특별한 선형 추정기의 경우 공간 $V{\displaystyle }$ ${\displaystyle V}$은(는$)$ $x{\displaystyle }$ {\$displaystyle x}$$$및 $y$ {\$displaystyle y}$의 모든 함수 집합이고$,$ $W{\displaystyle }$ ${\displaystyle$ W}은$$y$$ ${\displaysty$ y$}$의 $선형{\displaystyle }$ 추정기 집합이다$$.이 방법으로 공식화할 수 있는 다른 설정에는 인과 선형 필터의 하위 공간과 모든 (비비선형) 추정기의 하위 공간이 포함된다.

기하학적으로 $W{\displaystyle }$ ${\displaystyle W}$이(가) 1차원 하위 공간인 다음과 같은 간단한 사례를 통해 이 문제를 확인할 수 있다.

우리는 공간 $W{\displaystyle }$ ${\displaystyle W}$에서 벡터 $x{\displaystyle \stackrel{}{}}$$$${\displaystyle \stackrel{}{^}}$ ${\$에 가장 가까운 근사치, 즉 가장 작은 오차는 오류 $벡터{\displaystyle }$ e ${\displaystyle$ $e$$}가$정형일 때 발생하는 것이 직관적이다$.$공간 $W{\displaystyle }$ ${\displaystyle W}$의 온- 벡터에 연결$.$

보다 정확히 말하면 일반적인 직교성 원리는 다음과 같이 명시한다: $힐버트{\displaystyle }$ 공간$$V {\$displaystyle V}$ 내에 있는 추정기의$$ 닫힌 하위 $공간{\displaystyle }$ W ${\displaystyle W}$와 $V{\displaystyle }$ ${\displaystyle V}$에 있는 요소 $x{\displaystyle }$ ${\$$displaystyle x}$이$($$가)$ $displaystystytype {x}$에 따라 최소 M을$$ 얻음${\displaystyle \mathrm{E}{}^{}}$ { ( x - x${\displaystyle }$^ )${\displaystyle }$y T } = 0 ${\displaystyle \operatorname {E}$인 경우에만$$ $W{\displaystyle }$ ${\displaystyle W}$의 모든 요소 중 SE모든 $y{\displaystyle }$$for$ W . ${\display$${\displaystyle w}$. ${\displaystyle y\in W.}$

그런 식으로 진술하면, 이 원칙은 힐버트 투영 정리에 대한 진술일 뿐이다.그럼에도 불구하고 이 결과를 신호 처리에 광범위하게 사용함으로써 "정통성 원리"라는 명칭이 나오게 되었다.

오류 최소화 문제 해결

다음은 직교성 원리를 사용하여 최소 평균 제곱 오차 추정기를 찾는 한 가지 방법이다.

$벡터{\displaystyle }$ x ${\displaystyle$ x$}$의 대략적인$$ 값을

${\displaystyle x={\hat{x}+e\,}$

, where

${\displaystyle {\x}=\sum _{i}c_{i}p_{i}}}}$

$p{\displaystyle {}_{}}$ ${\displaystyle {1\mathrm{}}_{}}$,${\displaystyle {}_{}{}_{}}$ ${\displaystyle {2\mathrm{}}_{}}$,${\displaystyle }$. .$${\$displaystyle p_{1}, p_{2},\ldots.}$에 의해 확장된$$ 하위 공간 $W{\displaystyle }$ ${\displaystyle$ W$}$에 있는 벡터의 선형 조합으로서의$$ $x{\displaystyle }$ ${\displaystyle x}$의 근사치입니다. 따라서$$ 계수$$c ${\displaystyle i_{}}$ {\$displaystyc_{i}$에 대해 해결할 수 있기를 원합니다$.$알려진 말로

직교성 정리를 통해 오류 벡터의 ${\displaystyle {\mathrm{제곱규격}}^{}}$인${\displaystyle {}^{\mathrm{}}}$ e ${\displaystyle {\Vert }^{}}$ 2 ${\$e$\right\$Vert$^{2$ 모든 j에 대해

${\displaystyle \left\langle x-\sum _{i}c_{i_{i}}p_{j}\rigle =0.}$

이 방정식을 개발하여, 우리는

${\displaystyle \left\langle x,p_{j}\right\rangle =\langle \sum_{i}p_{i}}{j}\right\rangele =\sum _{i}c_\langle p_{i},p_{j}\rigle .}}$

벡터 $p{\displaystyle {}_{}}$ ${\displaystyle i_{}}$ ${\$의 유한 숫자 $n{\displaystyle }$ ${\displaystyle n}$이(가) 있는 경우, 이 방정식을 행렬 형식으로 다음과 같이 쓸 수 있다$.$

${\displaystyle{\begin{bmatrix}\left\langle x,p_{1}\right\rangle,\left\langle p_{2},p_{1}\right\rangle&\cdots &,\left\langle p_{n},p_{1}\right\rangle \\\left\langle p_{1},p_{2}\right\rang x,p_{2}\right\rangle \\\vdots \\\left\langle x,p_{n}\right\rangle \end{bmatrix}}={\begin{bmatrix}\left\langle p_{1},p_{1}\right\rangle 및 \\\left\langle.르&\left\langle p_{2},p_{2}\right\rangle &\cdots &\left\langle p_{n},p_{2}\right\rangle \\\vdots &\vdots &\ddots &\vdots \\\left\langle p_{1},p_{n}\right\rangle &\left\langle p_{2},p_{n}\right\rangle &\cdots &\left\langle p_{n},p_{n}\right\rangle \end{bmatrix}}{\begin{bmatrix}c_{1}\\c_{2}\\\vdots \\c_{n}\end{bmatrix}}.}$

$p{\displaystyle {}_{}}$ ${\displaystyle i_{}}$ ${\$가 선형적으로 독립적이라고 가정하면 Gramian 행렬을 반전시켜 얻을 수 있다.

${\displaystyle{\begin{bmatrix}c_{1}\\c_{2}\\\vdots \\c_{n}\end{bmatrix}}={\begin{bmatrix}\left\langle p_{1},p_{1}\right\rangle&\left\langle p_{2},p_{1}\right\rangle&\cdots &, \left\langle\\\left\langle p_{1},p_{2}\right\rangle 및 p_{n},p_{1}\right\rangle,\left\langle p_{2},p_{2}\right\rangle&\cdots &,\left\langle p_{n},p_{2}.\right\rangle \\\vdots &.\vdots &\ddots &\vdots \\\left\langle p_{1},p_{n}\right\rangle &\left\langle p_{2},p_{n}\right\rangle &\cdots &\left\langle p_{n},p_{n}\right\rangle \end{bmatrix}}^{-1}{\begin{bmatrix}\left\langle x,p_{1}\right\rangle \\\left\langle x,p_{2}\right\rangle \\\vdots \\\left\langle x,p_{n}\right\rangle \end{bmatrix}},}$

따라서 최소 평균 제곱 오차 추정기의 계수$$ ${\displaystyle c_{}}$ i ${\$에 대한 식을 제공한다.

참고 항목

• 최소 평균 제곱 오차
• 힐버트 투영 정리

메모들

참조

• Kay, S. M. (1993). Fundamentals of Statistical Signal Processing: Estimation Theory. Prentice Hall. ISBN 0-13-042268-1.
• Moon, Todd K. (2000). Mathematical Methods and Algorithms for Signal Processing. Prentice-Hall. ISBN 0-201-36186-8.