공분산 행렬

이 기사는 대부분의 독자들이 이해하기에는 너무 전문적일 수 있다. 기술적인 세부사항을 삭제하지 않고 비전문가가 이해할 수 있도록 개선해 주세요.(2022년 1월) (이 템플릿메시지를 삭제하는 방법과 타이밍에 대해 설명합니다)

통계에 관한 시리즈의 일부
상관 및 공분산
랜덤 벡터의 경우 자기 상관 행렬 교차 상관 행렬 자동 공분산 행렬 교차 공분산 행렬
확률적 프로세스의 경우 자기 상관 함수 교차 상관 함수 자기변동함수 교차 공분산 함수
결정론적 신호의 경우 자기 상관 함수 교차 상관 함수 자기변동함수 교차 공분산 함수
v t

확률론과 통계학에서 공분산 행렬(자동 공분산 행렬, 분산 행렬, 분산 행렬 또는 분산-공분산 행렬이라고도 함)은 주어진 랜덤 벡터의 각 요소 쌍 사이의 공분산을 제공하는 정사각형 행렬입니다.공분산 행렬은 대칭 및 양의 반확정 행렬이며 주 대각선에는 분산(즉, 각 원소와 각 원소의 공분산)이 포함됩니다.

직관적으로 공분산 행렬은 분산의 개념을 다차원으로 일반화합니다.예를 들어, 2차원 공간에서의 랜덤 포인트 집합의 변동은 하나의 숫자로 완전히 특징지을 수 $없으며{\displaystyle }$ x$(\displaystyle$ x$$$)$$및{\displaystyle }$ y(\$displaystyle$y) 방향의 변동에$$ 필요한 정보가 모두 포함되어 있지 않습니다${\displaystyle .}$ 2 ×$$(\$displaystyle$ 2$\times$ 2)$$행렬이$$ $필요$합니다.2차원 변형을 완벽하게 특징짓기 위해.

랜덤 $벡터{\displaystyle \mathbf{}}$ X$(\$displaystyle $\mathbf {X})$의 공분산 행렬은 ${\displaystyle {일반적}_{}}$으로 ${\displaystyle {K\mathbf{}}_{}}$ X$(\$ 또는$$$\sigma {\displaystyle \mathrm{}}$(\$displaystyle \Sigma$로 표시됩니다.

정의.

이 문서에서는 랜덤 벡터를 나타내기 위해 굵은 글씨로 표시된 $언스크립트{\displaystyle \mathbf{}}$X(\$displaystyle \mathbf {X})$와$$Y$(\$$displaystyle \mathbf {Y})$가 사용되고, 스칼라 변수를 나타내기 위해 굵은 글자로 표시된 $(\$와 ${\displaystyle Y_{}}$(\$displaystyle Y_{i$})가$$ 사용됩니다.

열 벡터의 엔트리가

${\displaystyle \mathbf {X} =(X_{1},X_{2},...X_{n})^{\mathrm {T}}$

각각 유한한 분산과 기대치를 갖는 랜덤 변수이며, 공분산 $행렬{\displaystyle {\mathrm{}}_{}}$ ${\displaystyle {K\mathbf{}}_{}}$ $(\$는 (${\displaystyle i}$ ${\displaystyle ,j}$) \$displaystyle (i,j)$ 엔트리가$$ 공분산^{[1]: p. 177} 행렬이다$.{\displaystyle }$

${\displaystyle \operatorname {K}_{X_{j}=\operatorname {cov}[X_i},X_{j}=\operatorname {E}[X_i}-\operatorname {E}(X_i})(X_{i}-{j}) {j}$

$여기$서 연산자$$E$(\displaystyle$ \$operatorname${E$})$는 인수의 예상값(평균)을 나타냅니다.

상호 모순되는 명명법 및 표기법

명명법이 다릅니다.일부 통계 학자들은 probabilist 윌리엄 펠러 그의 두권짜리 책에 이어도입 확률 이론에 왜냐하면 그렇게 만들면 자연입니다 Applications,[2]KX}_{\mathbf{X}\mathbf{X}{\displaystyle \operatorname{K}}}, 매트릭스를 확률 벡터 X{\displaystyle \mathbf{X}의 변화 부른다. ge1차원 분산의 더 높은 차원으로 네랄라이제이션합니다.$다른$ 사람들은 이것을 공분산 행렬이라고 부르는데$,$ $왜냐하면{\displaystyle \mathbf{}}$ 그것은 벡터 X의 스칼라 성분들 사이의 $공분산 행렬$이기 때문이다$.$

${\displaystyle \operatorname {var}(\mathbf {X})=\operatorname {E} \left[(\mathbf {X} -\operatorname {E}[\mathbf {X})} {cov}(\mathbf {X})=\operatorname {E}}$

두 형태 모두 매우 표준적이며, 두 형태 사이에는 모호함이 없습니다.$행렬{\displaystyle {\mathrm{}}_{}}$ ${\displaystyle {K\mathbf{}}_{}}$ ${\displaystyle {X\mathbf{}}_{}}$ X$(\style$ \$operatorname {K}_{\mathbf {X}\mathbf {X}})$는 대각항이 실제로는 분산이기 때문에 분산-공분산 행렬이라고도 합니다.

그에 비해, 두 벡터 사이의 교차 공분산 행렬의 표기법은 다음과 같다.

$\displaystyle \operatorname {cov}(\mathbf {X},\mathbf {Y})=\operatorname {K}_{\mathbf {X} =\left[\mathbf {X} -\operatorname {E}}$

특성.

자기 상관 행렬과의 관계

$자동공분산행렬{\displaystyle {\mathrm{}}_{}}$ ${\displaystyle {K\mathbf{}}_{}}$ ${\displaystyle {X\mathbf{}}_{}}${\$displaystyle \operatorname {K} _{\mathbf {X}$ \$mathbf$${$$X}}$은(는) $자기상관행렬{\displaystyle {\mathrm{}}_{}}$ R ${\displaystyle {X\mathbf{}}_{}}${$R} _{\displaystyle \operatorname {R}$ _{\$mathbf${X}}}에$$ 의해 관련됩니다$.$

$\displaystyle \operatorname {K} _{\mathbf {X} \mathbf {X} =\operatorname {E} [(\mathbf {X} -\operatorname {E})(\mathbf {X} -\operatorname {E})$

여기서 자기상관행렬은 R ${\displaystyle {X\mathbf{}}_{}}$ ${\displaystyle {=}_{}}$ ${\displaystyle \mathrm{E}}$ ${\displaystyle }$ [ ${\displaystyle X{\mathbf{}}^{}}$ X $]$ { $displaystyle \operatorname {R }$ _ { \ $mathbf { X$ } = \$operatorname${ E } [ \ $mathbf${ X } \ $mathbf${ X }$$$^$ { RM }$$= \ rmathbf { T } 로 $정의$됩니다.

상관 행렬과의 관계

공분산 행렬과 밀접하게 관련된 실체는 랜덤 $벡터{\displaystyle \mathbf{}}$ X$(\$의 각 랜덤 변수 사이의 피어슨 곱-순간 상관 계수의 행렬이며, 다음과 같이 쓸 수 있다.

$\displaystyle \operatorname {corr}(\mathbf {X})=\operatorname {diag}(\operatorname {K}_{\mathbf {X}){\big}{-{\frac1}{2}},\operatorname {K})_mathb}$

${\displaystyle \mathrm{여기}}$서 diag${\displaystyle ((}$ ${\displaystyle {K\mathbf{}}_{}}$ X$)(\displaystyle$$\operatorname {$$diag}(\operatorname {K} _{\$$mathbf$${X}$\mathbf ${X}$$}$ )는$$ $X의$대각 요소 $행렬입니다.$${\displaystyle \dots ,}$ $(displaystyle$ i$=1,\display,n}).$

마찬가지로 상관행렬은 i ${\displaystyle =1}$,${\displaystyle \dots ,}$ {\$displaystyle$ i$=1,\$displaystyle,$n$에$대해$ 표준화된 랜덤 변수 ${\displaystyle X_{}}$i /$})$ ( X $i$ ) / \$sigma{\displaystyle {}_{}}$( X$_${ $i }$ )의 공분산 행렬로 볼 수 있다.

${\displaystyle \operatorname{corr}(\mathbf{X})={\begin{bmatrix}1&,{\frac{\operatorname{E}[(X_{1}-\mu_{1})(X_{2}-\mu_{2})]}{\sigma(X_{1})\sigma(X_{2})}}&\cdots &,{\frac{\operatorname{E}[(X_{1}-\mu_{1})(X_{n}-\mu_{n})]}{\sigma(X_{1})\sigma(X_{n})}}\\\\{\frac{\operatorname{E}}[(X_{2}-\mu_{2})(X_{1}-\mu_{1})]{\sigma(X_.{2})\sigma(X_{1})}}&1&, \cdots &,{\frac{\operatorname{E}[(X_{2}-\mu_{2})(X_{n}-\mu_{n})]}{\sigma(X_{2})\sigma(X_{n})}}\\\\\vdots, \vdots &, \ddots &, \vdots([(X_{n}-\mu_{n})(X_{1}-\mu_{1})]}{\sigma(X_{n})\sigma(X_{1})}}&&{\frac{\operatorname{E}[(X_{n}-\mu_{n})(X_{2}-\mu_{2})]}{\sigma(X_{n})\si.gma(X_{2})}}&\cdots &, 1\end{bmatrix}.}$

상관 행렬의 주요 대각선의 각 요소는 랜덤 변수와 그 자체의 상관 관계이며, 항상 1과 같습니다.각 엇대각 요소는 -1과 +1 사이에 있습니다.

공분산 행렬의 역행렬

이 $행렬$의 역행렬인 ${\displaystyle K_{}^{}}$X -$(\displaystyle$ \$operatorname$ {$K}_{\mathbf {X}$ \$mathbf {X}$}^{-$1$은 존재하는 경우 농도 행렬 또는 정밀 ^[3]행렬이라고도 하는 역공분산 행렬이다.

기본 속성

$K$ ${\displaystyle {X\mathbf{}}_{}}$ ${\displaystyle {=}_{}}$ ${\displaystyle \mathrm{var}}$ ${\displaystyle (}$ (${\displaystyle X\mathbf{}}$ ) $=$ ${\displaystyle \mathrm{E}[}$[ ${\displaystyle X\mathbf{}{}^{}]}$ (${\displaystyle {X\mathbf{}}^{}}$ - ${\displaystyle {\mathrm{E}}^{})}$ [ X ] [ X${\displaystyle {]}^{}}$ ) $](\displaystyle \operatorname$ {$K}$ _${\$mathbf {$X}$=\$operatorname {var})$의 $경우{\displaystyle {\mathrm{}}_{}}$$^{\rm {T}}\right]$ $및$ ${\displaystyle {\mu \mathbf{}}_{}}$ X $= E$ ${\displaystyle }$ [$X$]{ displaystyle $\mathbf$ { X$$}$$= \operatorname { $E }$ [ { \ $textbf${ X }$$} $。$$여기$서 X$=$ ( ${\displaystyle {X\mathrm{}}_{}}$ 1, ${\displaystyle ...,}$ ${\displaystyle X_{}{}^{}}$n ) $=$ \$style$ \$mathbf { X$}

1. ${\displaystyle \operatorname {K} _{\mathbf {X} \mathbf {X} =\operatorname {E} (\mathbf {XX^{\rm {T}})-\mathbf {{X} \mathbf {X} ^{X} } ^{\rm {T} } } } }$
2. ${\displaystyle {K\mathbf{}}_{}}$ $displaystyle \operatorname {K} _{\mathbf {X}$ \${\displaystyle {mathbf\mathbf{}}_{}}$${X}$ ${\displaystyle {\}}_{}}$ ,} )는 양의 반무한입니다. $즉{\displaystyle {\mathbf{}}^{},}$ ${\displaystyle {모든\mathbf{}}_{}}$ ${\displaystyle {}^{}}${\$displaystyle \mathbf {a}$ ${\displaystyle 0\mathbf{}}$ 입니다$.$
3. ${\displaystyle {K\mathbf{}}_{}}$ $displaystyle \operatorname {K} _{\mathbf {X}$ \$mathbf$${X$$}$ $},})$는 대칭입니다. $즉{\displaystyle {\mathrm{}}_{}^{}}$, ${\displaystyle {K\mathbf{}}_{}^{}}$ ${\displaystyle X_{\mathrm{}}^{}}$ $K$ {$displaystyle \operatorname$ {K}$$_{\$mathbf {X$} } $。$
4. 임의의 상수${\displaystyle (}$즉, 비표준) $m{\displaystyle }$ ×$$ {\$displaystyle m\$$times$ n$}$ $행렬$$$A${\displaystyle (\backslash \mathrm{displaystyle}}$ \$mathbf$ {A}) 및 상수 m$$×$$1(\$displaystyle$ m$\times$1) $벡터$ a${\displaystyle (\backslash }$$displaystyle \mathbf {a$${\displaystyle \})}$에 대해 var${\displaystyle =}$ $($ ${\displaystyle {\mathrm{}}^{}}$A)가 ${\displaystyle \mathrm{있습니다}}$.$bf {a} =\mathbf {A} ,\operatorname {var} (\mathbf {X} ) ,\mathbf {A} ^{\rm {T}}}$
5. Y$(\$가 X$(\$와 같은 차원을 가진 다른 랜덤 벡터일 ${\displaystyle \mathrm{경우}}$ var${\displaystyle \mathrm{display}}$(${\displaystyle X\mathbf{}}$+ Y ) ${\displaystyle =}$ var${\displaystyle display\mathbf{}}$(${\displaystyle X\mathbf{}}$,${\displaystyle }$Y ) + ${\displaystyle \mathrm{cov}display\mathbf{}}$ (${\displaystyle Y}$ ) + cov$display$ 、 var${\displaystyle }$（${\displaystyle }$Y ) 、 var${\displaystyle }$（ \ $displaystyle$ ） ${\displaystyle ）}$。$또는$ 이름 ${cov}(\mathbf {X},\mathbf {Y})+\operatorname {cov}(\mathbf {Y},\mathbf {X})+\operatorname {var}(\mathbf {Y})\$operatorname${\displaystyle }${$co}($ 표시합니다.

블록 행렬

X$(\$와 Y$(\$ {$Y})$의 $(\$와 접합공분산행렬$\delta {\displaystyle \mathbf{}}$(\$displaystyle \mathbf$$${$Sigma})$는 블록 형태로 쓸 수 있다.

$\displaystyle \mathbf {mu } = mathbf {X} \ mathbf { Y} \ mathbf { \ end { bmatrix } , \ qquad \ mathbf { Sigma } = mat{ bmatrix } _ { \ operbxx}$

${\displaystyle {여기}_{}}$서 K ${\displaystyle {\mathbf{X}}_{}}$ ${\displaystyle {=}_{}}$ ${\displaystyle \mathrm{var}}$ ${\displaystyle (}$ (${\displaystyle X\mathbf{}}$) \ $displaystyle \operatorname {K} _${\$mathbf {X}$= \$operatorname {var}$ (\$mathbf${X$\}$ ) , ${\displaystyle {K\mathbf{}}_{}}$ ${\displaystyle Y}$ ${\displaystyle =}$ ${\displaystyle var\mathbf{}（}$ Y$$） _ $displaystyle$ \$operatorname$ {$K}$ _ $Y }$ _ {K}$\mathbf {XY}$=$\operatorname {K} _{\mathbf {YX}$ $\}^\{\backslash$$rm {T$}}=\$operatorname {cov}(\mathbf {X}$ ,\$mathbf {Y}$).

${\displaystyle {}_{}}$${\displaystyle {K\mathbf{}}_{}}$ $(\$${\displaystyle {\mathbf{mathbf}}_{}}$${X}}$ 및 K$$ $(\${$Y$$}}})$는 X$(\$$displaystyle$ \$mathbf${X$})$ 및 Y$(\$displaystyle$)$에 대한 한계 분포의 분산 행렬로 식별할 수 $있습니다$.

X$(\$와$$Y(\$displaystyle \mathbf {Y})$가 함께 정규 분포를 따르는 $경우{\displaystyle \mathbf{}}$,

$(\displaystyle \mathbf {X},\mathbf {Y} \sim \mathcal {N},\operatorname {\mathbf {Sigma}),})$

그러면 X$({$${X$$})$에 $대한{\displaystyle \mathbf{}}$ Y$(\displaystyle$ \$mathbf$${Y$$})$에 대한 조건부 분포는 다음과 같습니다.

$\displaystyle \mathbf {Y} \mid \mathbf {X} \sim \{mathcal {N} \mathbf {Y X} ,\operatorname {K} _{\mathbf {Y X} } } )$^[5]

조건부 평균에 의해 정의되다

${\displaystyle \mathbf {Y X} =\mathbf {Y} +\operatorname {K} _{\mathbf {YX} } \operatorname {K} _{-1}\left(\mathbf {X} \mathbf {X} \mathbf {X} ) _{\mu}$

및 조건부 분산

${\displaystyle \operatorname {K} _{\mathbf {Y} =\operatorname {K} _{\mathbf {Y} } -\operatorname {K} _{\mathbf {YX} } } } \operatorname {K} ^{\mathbf {K}}$

${\displaystyle {\mathrm{행렬}}_{}^{}}$ ${\displaystyle {K\mathbf{}}_{}}$ ${\displaystyle {\mathbf{Y}}_{}}$ X${\displaystyle {}_{}^{\mathrm{}}}$ K ${\displaystyle {\mathbf{X}}_{}^{}}$ - 1$(\$$displaystyle$ \$operatorname {K} _{\mathbf {YX}$} \$operatorname {K} _{\mathbf {X}$ }$^{-1$} )은 $선형{\displaystyle {\mathrm{}}_{}}$ ${\displaystyle {대수\mathbf{}}_{}}$ K X $디스플레이$\style에서 회귀 계수의 행렬로 알려져 있다.$e \operatorname {K} _{\mathbf {XX} }$ $e$ e \$style \mathbf {Sigma }$$。$

회귀 계수의 행렬은 $종종$ 전치 형식인 ${\displaystyle {\mathbf{K}}_{}^{}}$ X${\displaystyle {}_{}^{}}$- 1${\displaystyle {}_{}^{}{\mathrm{}}_{}}$ ${\displaystyle {K\mathbf{}}_{}}$ X ${\displaystyle {\mathbf{Y}}_{}}${\$displaystyle \operatorname {K}_{\mathbf {X}}^{-$1}\operatorname {K}$_{\mathbf${XY$}}}$_{\$mathbf$ {$K{\displaystyle {\mathbf{}}^{}}$}}}_{\mathbf {$X$로 주어질 수 있다.열 $벡터{\displaystyle \mathbf{}}$ X$(\$를 곱한 값입니다. 이 형식에서는 정규 최소 제곱(OLS) 방정식의 행렬을 반전시킨 계수에 해당합니다.

부분 공분산 행렬

0이 아닌 모든 원소가 포함된 공분산 행렬은 모든 개별 랜덤 변수가 상호 연관되어 있음을 나타냅니다.즉, 변수는 직접 상관될 뿐만 아니라 다른 변수를 통해 간접적으로 상관됩니다.대부분의 경우 이러한 간접적인 공통 모드 상관관계는 사소하고 흥미롭지 않습니다.부분 공분산 행렬, 즉 상관 관계의 흥미로운 부분만 표시하는 공분산 행렬을 계산하여 이러한 행렬을 억제할 수 있습니다.

랜덤 $변수{\displaystyle \mathbf{}}$ X$(\$와$$Y(\$displaystyle \mathbf {Y})$의 두 벡터가 다른 $벡터{\displaystyle \mathbf{}}$I(\$displaystyle \mathbf {I$를 통해 상관되어 있는 경우, 후자의 상관관계가 행렬로^[6] 억제됩니다.

$\displaystyle \operatorname {K} _{\mathbf {XY\mid I} =\operatorname {pcov} (\mathbf {X} ,\mathbf {I} ) =\operatorname {cov} (\mathbf {X} ,\mathbf {I} )}$

부분 공분산 $행렬{\displaystyle {\mathrm{}}_{}}$ K ${\displaystyle {X\mathbf{}}_{}}$ ${\displaystyle {\mathbf{Y}\mathbf{i}}_{}}$I {\$displaystyle$$\operatorname {K} _{\mathbf {XY\mid I}}$는 사실상 단순 공분산 $행렬{\displaystyle {\mathrm{}}_{}}$ K ${\displaystyle {\mathbf{X}}_{}}$ Y$$_${displaystyle \operatorname {K} _{\$$mathbf$${XY$$}}}}$와 같습니다$.$

분포의 모수로서의 공분산 행렬

n개의$$\$displaystyle$ n의$$열 $벡터$$$X(\$displaystyle \mathbf {X})$가 공통 정규 분포이거나 보다 일반적인 타원 분포일 경우, 그 확률 밀도 $함수{\displaystyle \mathrm{}}$ f${\displaystyle }$θ ($)$ \$displaystyle \operatorname {f}(\mathbf${X$})$는 covar로 표현될 수 있다.iance 매트릭스$\delta {\displaystyle \mathbf{}}$(\$displaystyle\mathbf\Sigma})$는 다음과^[6] 같습니다$.$

$\displaystyle \operatorname {f}(\mathbf {X})=(2\pi)^{-n/2}\mathbf {-1/2}\exp \tfrac {1}{{2}\mathbf {(X-\mu)^{T}\sigma(X)^-1)$

$여기$서 μ $=$ ${\displaystyle \mathrm{E}}$ ${\displaystyle \mathbf{}}$ [ $]{$ $displaystyle \mathbf { E$} [ $X$] $}$ σdisplaydisplaydisplay$$${\displaystyle \sigma \sigma display\mathbf{}}$ σ display $displaydisplaydisplay$ display $displaydisplaydisplay{\displaystyle \mathbf{}}$ display \ $displaystyle$\$mathbf$}{ $Sigma$$}$ $}$의 행렬식입니다$.$

선형 연산자로서의 공분산 행렬

하나의 벡터에 적용된 공분산 행렬은 랜덤 변수 X의 선형 조합 c를 $변수{\displaystyle {\mathbf{}}^{}}$ ${\displaystyle {\mathrm{}}^{}}$ ${\displaystyle {\delta }^{}\mathrm{}}$ $=$ ${\displaystyle \mathrm{cov}}$δ ( ${\displaystyle c^{}\mathbf{}}$ T${\displaystyle }$X ,${\displaystyle X\mathbf{}}$) { $display$style \$mathbf {c} ^{\rm {T}}$ =\$operatorname {co{c}$ ($mathbf} ^$f})와 함께 공분산 벡터에 매핑합니다.두 선형 조합 사이의 공분산을 산출한다. $d{\displaystyle {\mathbf{}}^{}}$ ${\displaystyle {\mathrm{}}^{}}$ ${\displaystyle \delta \mathbf{}}$ c $=$ ${\displaystyle \mathrm{cov}{\mathbf{}}^{}}$ ( d ${\displaystyle {\mathrm{}}^{}{X}^{}\mathbf{}}$ , ${\displaystyle {\mathrm{}}^{}}$ ${\displaystyle X^{}\mathbf{}}$) { $displaystyle \mathbf {d} ^{\rm {T}$ \$sigma \mathbf {c}$ =\$operatorname {cov}(\mathbf {d}$ {c$} ）$$선형{\displaystyle {\mathbf{}}^{}}$ 조합의 분산은 ${\displaystyle {\mathrm{}}^{}}$ ${\displaystyle T\Omega \mathbf{}}$c {\$displaystyle \mathbf {c}^{\rm {T}}\Sigma \mathbf {c$이며, 이 값은 그 자신과의 공분산이다.

마찬가지로 (의사-) 역공분산행렬은 ^{[citation needed]}c의 "비슷한" 측정값인 마할라노비스 거리를 유도하는 내부곱${\displaystyle \delta }$ c - $δ$ c $-$μ ${\displaystyle \mu }$δ { $displaystyle \langle$ c - \mu \Sigma $^{+}$c -$mu \rangle$ $\}$를 제공한다.

공분산 행렬은 무엇입니까?

위의 아이덴티티에서 b${\displaystyle$\mathbf$$ {$b}$를${\displaystyle }$a$($ ×$$1) {$displaystyle ($p\times 1$)$ 실값$$ 벡터라고 $합니다{\displaystyle \mathbf{}}$.

${\displaystyle \operatorname {var}(\mathbf {b} ^{\rm {T} ^{\rm {T}}\operatorname {var}(\mathbf {X})\mathbf {b} , , , , , , )$

이는 실수값 랜덤 변수의 분산이므로 항상 음이 아니어야 하므로 공분산 행렬은 항상 양의-반한 행렬입니다.

위의 인수는 다음과 같이 전개할 수 있습니다.

여기서 마지막 부등식은 w ${\displaystyle T\mathbf{}{}^{}}$(${\displaystyle \mathrm{X}}$ - E ${\displaystyle }$ [ ${\displaystyle X\mathbf{}]}$ $){style w^{\rm$ {$T}}(mathbf {X}$ -$\operatorname {E}[\mathbf {X}}})}$가 스칼라라는 관측에서 온다.

반대로 모든 대칭 양의 반확정 행렬은 공분산 행렬입니다.$이$를 확인하기 위해 M ${\displaystyle$ M$}$을${\displaystyle p}$× p {\$displaystyle$p\times p$}$ 대칭$$ 양의 반무한 행렬이라고 $가정$합니다.스펙트럼 정리의 유한 차원 사례에서 M$(\displaystyle$ M$)$은 M으로 나타낼^1/2 수 있는 음이 아닌 대칭 제곱근을 가진다.$X{\displaystyle }$$(\$를 p${\displaystyle }$× 1$(\displaystyle$p\$times$1) 열 벡터 값 랜덤 변수로 $하며{\displaystyle \mathbf{}}$, 공분산 행렬은${\displaystyle }p{\displaystyle }$ ×$$ \$displaystyle$ p$\times$p} ID$$ 행렬입니다.그리고나서

${\displaystyle \operatorname {var}(\mathbf {M} ^{1/2}\mathbf {X})=\mathbf {M} ^{1/2} =\mathbf {M}$

복소 랜덤 벡터

$기대값$이$μ$인 복잡한 스칼라$$값 $랜덤$ 변수의 분산은 일반적으로 복잡한 활용을 사용하여 정의된다$.$

$\displaystyle \operatorname {var} (Z)=\operatorname {E} \left[(Z-\mu_{Z})\overline {(Z-\mu_{Z}}}}\right,}$

여기서 $z의$$$복소수 켤레는 z${\(\$ {$z})$로 표시되므로$$복소수 랜덤 변수의 분산은 실수입니다.

$Z{\displaystyle \mathbf{}}$ $=$ ( ${\displaystyle {Z\mathrm{}}_{}}$ ${\displaystyle 1_{}}$, ${\displaystyle ...}$ , ${\displaystyle {}_{}{}^{n\mathrm{}}}$ )$$T ${\displaystyle$ \$mathbf {$Z} =($Z_{1$},\$ldots,Z_{$n}^{\$mathrm${$T}}}}$ 이$$ 복소수 랜덤 변수의 열 벡터라면 켤레 $전치{\displaystyle {\mathbf{}}^{}}$ ${\displaystyle {\mathrm{}}^{}}$ H ${\$다음 식에서, 켤레 전치 벡터의 곱은 ^{[7]: p. 293} 기대대로 공분산 행렬이라고 불리는 정사각형 행렬이 됩니다.

${\displaystyle {K\mathbf{}}_{}}$ ${\displaystyle {Z\mathbf{}}_{}}$ ${\displaystyle {=}_{}}$ ${\displaystyle \mathrm{cov}}$ ${\displaystyle }$ [${\displaystyle Z\mathbf{}}$ ,${\displaystyle Z\mathbf{}}$ ] $=$ ${\displaystyle \mathrm{E}}$ ${\displaystyle }$[ (${\displaystyle }$Z - ${\displaystyle {\mu \mathbf{}}_{}}$Z${\displaystyle }$) (${\displaystyle Z\mathbf{}}$ - ${\displaystyle {\mu \mathbf{}}_{}{}^{}}$Z ) $](\displaystyle$ \$operatorname {$K} _${\mathbf {Z}$=\$operatorname {v}$ {v} $\mathb$} {Mathb} {$F},$

이렇게 얻어진 행렬은 에르미트 양의 ^[8]반유한이며, 실수는 대각선에 있고 복소수는 대각선에 있다.

특성.

• 공분산 행렬은 에르미트 행렬입니다. $즉{\displaystyle {\mathrm{}}_{}^{}}$, ${\displaystyle {K\mathbf{}}_{}^{}}$ Z ${\displaystyle H_{\mathrm{}}^{}}$ $=$ ${\displaystyle {\mathrm{}}_{}}$ ${\displaystyle {Z\mathbf{}}_{}}$ {\$displaystyle \operatorname {K} _{\mathbf {Z}$ \$mathbf${Z$}$}^{\$mathrm {H}$ =\$operatorname {K}$ \$mathbf$ {K$}$\mathbf$}$
• 공분산 행렬의 대각 원소는 ^{[1]: p. 179} 실재합니다.

의사공분산행렬

복소수 랜덤 벡터의 경우, 또 다른 종류의 두 번째 중심 모멘트인 의사 공분산 행렬(관계 행렬이라고도 함)은 다음과 같이 정의됩니다.

${\displaystyle \operatorname {J} _{\mathbf {Z} } =\operatorname {cov} [\mathbf {Z} } =\operatorname {E} \left[\mathbf {Z} \mathbf} }$

위에서 정의한 공분산 행렬과 달리 에르미트 전치는 정의에서 전치로 대체됩니다.대각선 요소는 복잡한 값을 매길 수 있습니다. 복잡한 대칭 행렬입니다.

견적

${\displaystyle {\mathbf{}}_{}}$ X$(\$${\mathbf {X}}}$ $및{\displaystyle {\mathbf{}}_{}}$ Y(\$displaystyle \mathbf {M})$ _${\mathbf {Y}}})$가 각각$$ n개의 관측치를 갖는 차원${\displaystyle }p{\displaystyle }$ ×$$$displaystyle$p$\$$times$$$n$)$의 중심 데이터 행렬인 $경우{\displaystyle {\mathbf{}}_{}}$.행 평균을 감산한 경우, 행 평균을 데이터에서 추정하면 샘플 공분산 ${\displaystyle {\mathbf{}}_{}}$ Q $X{\displaystyle {\mathbf{}}_{}}$ X$(\$Q$}_{\mathbf${XX$}})$와 Q ${\displaystyle {\mathbf{}}_{}}$ $(\$를 정의하도록 할 수 있다.

${\displaystyle \mathbf {Q} _{\mathbf {XX} =snf {1} {M} _{\mathbf {X} \mathbf {M} _{\mathbf {X} } } ^{\rm {T} },\qad \mathbf {Mathbf {Q} _MathbF {Mathb}$

또는 행의 평균이 선험적으로 알려진 경우,

${\displaystyle \mathbf {Q} _{\mathbf {XX} =param frac {1} {n} \mathbf {X} _{\mathbf {M} _{\mathbf {X} } },\qad \mathbf {Q} _mathbf {Q} _mathbf {M}}$

이러한 경험적 표본 공분산 행렬은 공분산 행렬에 가장 간단하고 자주 사용되는 추정치이지만, 더 나은 속성을 가질 수 있는 정규화 또는 수축 추정치를 비롯한 다른 추정치들도 있습니다.

적용들

공분산 행렬은 여러 영역에서 유용한 도구입니다.로부터 변환 매트릭스, 미백 변태라 불리는 하나의 완전히 또는, 다른 입장에서 그 data[표창 필요한]decorrelate에 다량 way[표창 필요한]의 데이터를 나타내는에 대한 최적의 근거를 찾기 위해(공식적인 증거와 covaria의 추가 속성에 대한 레일리 몫 볼 수 있도록 파생될 수 있다.nce 매트릭스).이를 주성분 분석(PCA) 및 카르후넨-로브 변환(KL-변환)이라고 합니다.

공분산 매트릭스는 특히 포트폴리오 이론과 뮤추얼 펀드 분리 정리 및 자본 자산 가격 결정 모델에서 금융 경제학에서 중요한 역할을 합니다.다양한 자산의 수익률 간 공분산 매트릭스는 특정 가정 하에서 (규범적 분석에서) 투자자가 다양화의 맥락에서 보유해야 하거나 (긍정적 분석에서) 보유할 것으로 예상되는 다른 자산의 상대적 금액을 결정하기 위해 사용된다.

최적화에 사용

무작위 검색 휴리스틱스의 특정 제품군인 진화 전략은 근본적으로 메커니즘의 공분산 행렬에 의존합니다.특성 돌연변이 연산자는 진화하는 공분산 행렬을 사용하여 다변량 정규 분포에서 업데이트 단계를 끌어냅니다.진화 전략의 공분산 행렬이 검색 환경의 헤시안 행렬의 역행렬에 스칼라 인자와 작은 랜덤 변동까지 적응한다는 공식 증거가 있다(인구 크기가 증가함에 따라 2차 ^[9]근사에 의존하여 한 부모 전략과 정적 모델에 대해 입증됨).직관적으로, 이 결과는 최적의 공분산 분포가 균등 확률 등고선이 경관의 수준 집합과 일치하는 돌연변이 단계를 제공할 수 있다는 근거에 의해 뒷받침되며, 따라서 진행률을 극대화할 수 있다.

공분산 매핑

공분산 매핑에서 ${\displaystyle \mathrm{cov}}$θ(${\displaystyle X\mathbf{},}$ $)$ {{$displaystyle \operatorname {cov}(\mathbf {X},\mathbf${$Y$$})}$ 또는$$ ${\displaystyle \mathrm{pcov}}$θ(${\displaystyle X\mathbf{},}$ ${\displaystyle Y\mathbf{}i\mathbf{}}$I$)$ {$displaystyle \operatorname {pcov}(\mathbf},$Y)의 값.$벡터{\displaystyle \mathbf{}}$X(\$displaystyle \mathbf {X})$와$$Y(\$displaystyle \mathbf {Y})$가 이산 랜덤 함수일 경우 맵은 랜덤 함수의 서로 다른 영역 간의 통계 관계를 표시합니다.함수의 통계적으로 독립적인 영역은 지도에 0레벨 평지로 표시되고 양의 상관관계 또는 음의 상관관계는 각각 언덕 또는 계곡으로 표시됩니다.

실제로 열 $벡터{\displaystyle \mathbf{}}$ X${\displaystyle ,}$ $(\$ \$mathbf {Y}$및 $(\$$displaystyle$\$mathbf {I} })$는$$n개의 $샘플$ 행으로 실험적으로 수집됩니다.

${\displaystyle [\mathbf {X} _{1},\mathbf {X} _{2}...\mathbf {X} _{n} = begin {bmatrix} X_{1}(t_{1}) & X_{2}(t_{1}) & \ \ \ \ \ \ \ \ X _ {1} ( t_{2} & X _ {2} & CDOTs & { 2 }$

${\displaystyle {여기}_{}}$서 X${\displaystyle {}_{}}$j ( ${\displaystyle {}_{}{i}_{}}$ $){style X_{j}(t_$${\displaystyle \{}$$i})$는 랜덤$$ 함수${\displaystyle }X{\displaystyle }$ ( t $){displaystyle$X($t$의 샘플 j의 i번째 이산값입니다.공분산 공식에 필요한 기대값은 표본 평균을 사용하여 추정됩니다.

$\displaystyle \mathbf {X} \rangle = sum _ {j=1}^{n} \mathbf {X} _{j}$

그리고 공분산 행렬은 표본 공분산 행렬에 의해 추정됩니다.

$\displaystyle \operatorname {cov}(\mathbf {X},\mathbf {Y})\about \langle \mathbf {T} \rangle -\langle \mathbf {X} \rangle \langle \l \mathbf {Y} ^{X} ^{T} },$

여기서 각 괄호는 편향을 방지하기 위해 베셀 보정을 수행해야 한다는 점을 제외하고 이전과 같은 표본 평균을 나타냅니다.이 추정을 사용하여 부분 공분산 행렬을 다음과 같이 계산할 수 있습니다.

$\displaystyle \operatorname {pcov}(\mathbf {X},\mathbf {I})=\operatorname {cov}(\mathbf {X},\mathbf {Y})-\operatorname {cov}(\mathbf {X},\mathbf {I})$

여기서 백슬래시는 행렬 반전 요건을 우회하고 Matlab과 ^[10]같은 일부 계산 패키지에서 사용할 수 있는 왼쪽 행렬 나눗셈 연산자를 나타냅니다.

그림 1은 ^[11]함부르크의 FLASH 자유 전자 레이저에서 수행된 실험의 예에서 부분 공분산 맵을 구성하는 방법을 보여줍니다.무작위 $함수{\displaystyle }$X ( ${\displaystyle t}$)$${$style$X($t)}$는 레이저 펄스에 의해 이온화된 질소 분자의 쿨롱 폭발에서 발생하는 이온의 비행 시간 스펙트럼이다.각 레이저 펄스에서 수백 개의 분자만 이온화되기 때문에 싱글샷 스펙트럼은 크게 변동한다.단, $일반적$으로 m ${\displaystyle =}$ ${\displaystyle {10\mathrm{}}^{}}$ 4$${\$displaystyle$ m=$10^{4}$개의$$ $스펙트럼{\displaystyle {\mathbf{}}_{}}$ ${\displaystyle {}_{}j}$ $(\displaystyle \mathbf${$X$$} _{j}(t$를 수집하여 j$${\$displaystyle$$$j$}$에 대해 평균을 구하면 매끄러운 스펙트럼${\displaystyle \delta \mathbf{}}$X ( ${\displaystyle t}$) ${\displaystyle ⟩}$⟩ \ $displaystyle$ \ $mathbf {$ $X$ （ t } ( t } ( t ） } ( $tranglangle$ 。평균 스펙트럼${\displaystyle \delta \mathbf{}}$ X$$δ {\$displaystyle \langle \mathbf {X}$ \$rangle }$은 운동 에너지에 의해 넓어진 피크 형태로 여러 질소 이온을 나타내지만 이온화 단계와 이온 모멘타의 상관관계를 찾으려면 공분산 맵을 계산해야 한다.

그림 1의 $스펙트럼{\displaystyle {\mathbf{}}_{}}$ ${\displaystyle {}_{}}$j ( ${\displaystyle t}$) { $displaystyle \mathbf {X} _{j}(t$)} ${\displaystyle {}_{}}$Y ${\displaystyle j}$ (${\displaystyle }$t$$) {$style$ \$mathbf {Y}$ _${j}(t$)}는$$ 비행 $시간{\displaystyle }$ t {$displaystyle$$$t$}$의 범위가 다르다는 점을 제외하고 동일하다.패널 a에는${\displaystyle }$「${\displaystyle {XY\mathrm{}}^{}}$ T$」({displaystyle \langle \mathbf {XY^{\rm {T}})$ \$rangle$ 패널 b에는 「X${\displaystyle 」({X\mathrm{}}^{})}$ 「$」(\displaystyle \langle \langle \mathbf {X})$ {$T})$가 표시됩니다.$thbf${$Y}}($색척도 변경에 주의).안타깝게도 이 지도는 샷 간에 변동하는 레이저 강도에 의해 유도되는 재미없는 공통 모드 상관에 의해 압도된다.이러한 상관 관계를 억제하기 위해 레이저 $강도{\displaystyle {}_{}}$ ${\displaystyle I_{}}$ j$$j {\$displaystyle I_{j}$를$$I(\$displaystyle \mathbf {I})$ 및$$ ${\displaystyle \mathrm{PCOv}}$ ${\displaystyle (}$ (${\displaystyle X\mathbf{}}$ , ${\displaystyle Y\mathbf{}i\mathbf{}}$I$$)(\$displaystyle \operatorname {pcov$} (\$mathbf {X$$},\mathbf {I})$에 $넣습니다{\displaystyle \mathbf{}}$.그러나 레이저 강도 이외에 공통 모드 변동의 다른 소스가 있고 원칙적으로 이러한 모든 선원은 $벡터{\displaystyle \mathbf{}}$I$(\displaystyle \mathbf${I} $\})$로 모니터링되어야 하기 때문에 관심 없는 상관의 억제는 불완전하다. 그러나 실제로는 부분 공분산 상관을 과도하게 보상하는 것으로 종종 충분하다.패널 f와 같이 이온 모멘타의 흥미로운 상관관계가 원자 질소의 이온화 단계를 중심으로 하는 직선으로 명확히 나타난다.

2차원 적외선 분광법

2차원 적외선 분광법은 상관 분석을 사용하여 응축된 위상의 2D 스펙트럼을 얻는다.이 분석에는 동기 및 비동기 두 가지 버전이 있습니다.수학적으로 전자는 표본 공분산 행렬로 표현되며 이 기법은 공분산 ^[12]매핑과 동일합니다.

「 」를 참조해 주세요.

• 다변량 통계량
• 르완도스키-쿠로위카-조에 분포
• 그라미안 행렬
• 고유값 분해
• 2차 형식(통계량)
• 주요 컴포넌트

레퍼런스

추가 정보

• "Covariance matrix", Encyclopedia of Mathematics, EMS Press, 2001 [1994]
• Weisstein, Eric W. "Covariance Matrix". MathWorld.
• van Kampen, N. G. (1981). Stochastic processes in physics and chemistry. New York: North-Holland. ISBN 0-444-86200-5.