분산

확률론 및 통계학에서 분산은 모집단 평균 또는 표본 평균에서 랜덤 변수의 편차 제곱에 대한 기대치입니다.분산은 산포의 측정값으로, 일련의 숫자들이 평균값에서 얼마나 멀리 퍼져 있는지를 나타내는 측정값입니다.분산은 통계학에서 중심적인 역할을 하며, 이를 사용하는 일부 아이디어에는 기술 통계학, 통계 추론, 가설 검정, 적합도 및 몬테 카를로 표본 추출이 포함된다.분산은 데이터의 통계 분석이 일반적인 과학에서 중요한 도구이다.분산은 표준 편차의 제곱, 분포의 두 번째 중심 모멘트 및 랜덤 변수와의 공분산이며, 종종 $(\$$sigma$$$^{$2$ $(\$$displaystyle$s$^{$$2$$\}),$ $X$）,${\displaystyle }$Var$$${\displaystyle （}$ X$$）로 표시됩니다.$playstyle$ V$(X$ 또는 $)$ {$displaystyle \mathbb {V}(X$^[1]

분산의 척도로서의 분산의 장점은 예상되는 절대편차와 같은 분산의 다른 척도보다 대수적 조작에 더 적응할 수 있다는 것이다. 예를 들어, 상관되지 않은 랜덤 변수의 분산은 분산의 합과 같다.실제 적용에서 분산의 단점은 표준 편차와 달리 단위가 랜덤 변수와 다르다는 것입니다. 따라서 표준 편차는 계산이 완료되면 분산의 척도로 더 일반적으로 보고됩니다.

둘 다 "바리안스"라고 불리는 두 가지 뚜렷한 개념이 있습니다.하나는 위에서 설명한 바와 같이 이론적인 확률 분포의 일부이며 방정식에 의해 정의된다.다른 분산은 관측치 집합의 특성입니다.관측치에서 분산을 계산할 때 이러한 관측치는 일반적으로 실제 시스템에서 측정됩니다.시스템에 가능한 모든 관측치가 있으면 계산된 분산을 모집단 분산이라고 합니다.그러나 일반적으로 부분 집합만 사용할 수 있으며 여기서 계산된 분산을 표본 분산이라고 합니다.표본에서 계산된 분산은 전체 모집단 분산의 추정치로 간주됩니다.아래 절에서 설명하는 것처럼 모집단 분산의 추정치를 계산하는 방법은 여러 가지가 있습니다.

두 종류의 분산은 밀접하게 관련되어 있습니다.방법을 알아보려면 이론 확률 분포를 가설 관측치의 생성자로 사용할 수 있다고 생각해 보십시오.분포를 사용하여 무한한 수의 관측치를 생성하는 경우 해당 무한 집합에서 계산된 표본 분산은 분포의 분산 방정식을 사용하여 계산된 값과 일치합니다.

정의.

$랜덤$ $변수{\displaystyle }$ X$({displaystyle$X})의$$ 분산은$$X({$displaystyle$X$\}),$ $\mu {\displaystyle }$ $=$ ${\displaystyle \mathrm{E}}$ ${\displaystyle [}$ [${\displaystyle X}$]({$displaystyle \mu$ =\$operatorname {E}$ [$X$의 평균으로부터의 편차 제곱의 예상값입니다.

$\displaystyle \operatorname {Var}(X)=\operatorname {E} \left[(X-\mu)^{2}\right]}$

이 정의에는 이산형, 연속형, 둘 다 또는 혼합형 프로세스에 의해 생성되는 랜덤 변수가 포함됩니다.분산은 랜덤 변수 자체와의 공분산으로도 간주할 수 있습니다.

${\displaystyle \operatorname {Var}(X)=\operatorname {Cov}(X,X).}$

이 분산은 X$(\displaystyle$ X$)$를 $생성$하는 확률 분포의 두 번째 누적액과도 동일합니다.이 분산은 $보통$ Var ${\displaystyle (}$($$X ) \$operatorname {Var$ ($$X ) 、 V${\displaystyle }$($X$)$$、 $V{\displaystyle \mathbb{}}$ ( $X$ ) 、 V${\displaystyle }$( X ) 、 ${\displaystyle \mathrm{xた}}$ 、 X$$） 、 \ $displaystyle$ \ $mathbbb { V$（ $X$） $、$$$2$$ $2{\displaystyle }$ 、 $2$ ${\displaystyle 2_{}^{}}$ 2 2 ${\displaystyle {\mathrm{}}_{}^{}}$ {\2$$222222 $22 22222222222222222222222 （$ \ $display$stystystyle \ $sign$ $style$ma square" (마 제곱")분산 표현식은 다음과 같이 확장할 수 있습니다.

${\displaystyle {\operatorname {Var}(X)&=\operatorname {E} \left[(X-\operatorname {E} [X])]^{2}\right]\\[4pt]&=\operatorname {E}\left[X^{2}-2X\operatorname {E}+\operatorname {E}[X]^{2}\right]\\[4pt]&=\operatorname {E} \left[X^{2}\right]-2\operatorname {E}[X]+\operatorname {E}[X][X]^{2}\[4pt]&=\operatorname {E} \[X] \ ^2} \ }$

즉, X의 분산은 X의 제곱 평균에서 X의 평균 제곱을 뺀 값과 같습니다.방정식의 두 성분이 크기가 비슷할 경우 치명적인 취소가 발생하기 때문에 부동소수점 연산을 사용하는 계산에는 이 방정식을 사용하지 마십시오.안정적인 다른 수치적 대안은 분산 계산 알고리즘을 참조하십시오.

이산 랜덤 변수

랜덤 $변수{\displaystyle }$ X$({displaystyle$X})의$$ 생성기가 확률 질량 $함수{\displaystyle {}_{}}$ ${\displaystyle {x\mathrm{}}_{}{}_{}{}_{}}$1, ${\displaystyle {x\mathrm{}}_{}{2\mu p\mathrm{}}_{}}$2,${\displaystyle \dots ,}$ ${\displaystyle x_{}}$ n${\displaystyle {}_{}{}_{}}$ ${\displaystyle n_{}}$ {$displaystyle x_{1}\mapsto p_{2}\mapsto p_{2},\ldots,x_n$인 경우,

${\displaystyle \operatorname {Var}(X)=\sum _{i=1}^{n}p_{i}\cdot (x_{i}-\mu)$

$여기$서$$μ {\$displaystyle \mu}$는 예상값입니다.그것은,

${\displaystyle \mu =\sum _{i=1}^{n}p_{i}x_{i}.}$

(이러한 이산 가중 분산을 합계가 1이 아닌 가중치로 지정하면 가중치의 합으로 나눕니다.)

The variance of a collection of ${\displaystyle n}$ equally likely values can be written as

${\displaystyle \operatorname {Var}(X)=sum frac {1}{n}\sum _{i=1}^{n}(x_{i}-\mu)^2}$

$여기$서$$μ {\$displaystyle \mu}$는 평균값입니다.그것은,

${\displaystyle \mu = sum frac {1}{n}\sum _{i=1}^{n}x_{i}.}$

n$$\$style$ n \style n \$display$ n$$}개 $값$의 분산은 평균을 직접 참조하지 않고 서로 ^[2]점의 모든 쌍방향 제곱 거리의 제곱 편차로 동등하게 표현할 수 있다.

${{displaystyle \operatorname {Var}(X)=sum frac {1}{n^{2}}\sum _{i=1}^{n}{\sum _{j}{\frac {1}{2}(x_i}-x_{j})^2}=sum frac {{n1}{n^{n^{n}_sum}_sum}_sum$

절대 연속 랜덤 변수

랜덤 $변수{\displaystyle }$X({$displaystyle$ X$}$에 확률 밀도 $함수{\displaystyle }$ f$)$ {$displaystyle$ f$(x$가 있고 F$x)$ {$displaystyle$ F$(x)}$가 대응하는 누적 분포 함수인 경우,

${\displaystyle{\begin{정렬}\operatorname{바르}(X)=\sigma ^{2}&, =\int _{\mathbb{R}}(x-\mu)[4pt]&, =\int _{\mathbb{R}};=\int _{\mathbb{R}}}\,dF())\\는 경우에는 4p\int _{\mathbb{R}}x\,dF())+\mu ^{2}\int _{\mathbb{R}x^ᆾ\,dF())-2\mu\int _{\mathbb{R}}xf())\,dx+\mu ^{2}\int _{\mathbb{R}}fᆯ\,dx\\[4pt]& x^ᆹf())\,dx-2\mu.t]&=\int_{)mathbb {R}x{2},dF(x)-2\mu \cdot \mu +\mu^{2}\cdot 1\\[4pt]&=int _{\mathbb {R} }x{2},dF(x)-\mu^{2},\end {aligned}}$

또는 동등하게

${\displaystyle \operatorname {Var}(X)=\int _{\mathbb {R}}x^{2}f(x),syslog-\mu ^{2}$

$여기$서$$μ {\$displaystyle \mu}$는 X$${\$displaystyle$ X$}$의 예상값입니다.

${\displaystyle \mu =\int _{\mathbb {R} }sube(x),sube=\int _{\mathbb {R} }x,dF(x).}$

이 공식에서 d $(\displaystyle$ dx$)$ 및$$ $d{\displaystyle }$ $(\displaystyle dF(x))$에 $대한{\displaystyle }$ 적분은 각각 Lebegue 및 Lebegue-Stieltjes 적분입니다.

$함수{\displaystyle {}^{}}$ ${\displaystyle {x\mathrm{}}^{}}$ 2${\displaystyle {}^{}}$ (${\displaystyle x}$ $){displaystyle$ x$^{2}f(x)}$가 모든 유한${\displaystyle }$간격 [${\displaystyle a,}$ b${\displaystyle ]}$r${\displaystyle R\mathbb{}}$ ,$${\$displaystyle [a, b]\subset \mathbb {R}$ , }에서$$ 리만 적분 가능한 경우

${\displaystyle \operatorname {Var}(X)=\int _{-\infty }^{+\infty }x^{2}f(x), scapter-\mu ^{2}$

여기서 적분은 부적절한 리만 적분이다.

예

지수 분포

모수 θ를 갖는 지수 분포는 확률 밀도 함수가 다음과 같이 주어지는 연속 분포이다.

$\displaystyle f(x)=\displayda e^{-\displayda x}$

[0, ]의 인터벌로 설정합니다.그 평균은 다음과 같다.

${\displaystyle \operatorname {E} [X]=\int _{0}^{\infty}\displayda xe^{-\displayda x},display=displayfrac {1}{\displayda }}.}$

부품별 통합을 사용하고 이미 계산된 예상 값을 활용하면 다음과 같은 이점이 있습니다.

${\displaystyle {displaystyle}\operatorname {E} \left[X^{2}\infty}\int _{0}^{\infty}\displayda x^{-\display\=\left[-x^2}e^{-\right]_0+infty}^{\infty}\&=syslogfrac {2}{\sysda ^{2}}}.\end { aligned}}$

따라서 X의 분산은 다음과 같이 주어진다.

${{displaystyle \operatorname {Var}(X)=\operatorname {E}\left[X^2}-\operatorname {E}-\operatorname {E}[X]^{2}=frac {2}-\fright\frac {1}-\fright\frac {\fr} {E} {E}}$

공정한 주사위

공정한 6면 다이스는 각각 같은 확률 1/6을 갖는 결과 1~6을 갖는 이산 랜덤 변수 X로 모델링할 수 있다.X 의 예상치는${\displaystyle }$(${\displaystyle 1}$+${\displaystyle 2}$ + ${\displaystyle 3}$+ ${\displaystyle 4}$+ ${\displaystyle 5}$+${\displaystyle 6}$) / ${\displaystyle 6\mathrm{}}$ ${\displaystyle =7}$ /${\displaystyle \mathrm{}2}$. \ $display$style ($1$ +$2$ +$3$ + $4$+ $5 + 6$ ) / 6$$=$7/$2 입니다$.$$$ 따라서 X의 분산은

${{displaystyle {displaystyle}\operatorname {Var}(X)&=\sum _{i=1}^6}{\frac {1}{6}\left(i-{\frac {7}{2}\right)^2}\\[5pt]&=frac {6}{{6}\left(+2)\left(왼쪽)\\[5pt]&=blac{35}{12}\약 2.92.\end { aligned}}$

n면 다이의 결과 X의 분산에 대한 일반적인 공식은 다음과 같다.

${\displaystyle {displaystyle {var}\operatorname {Var}(X)=\operatorname {E}\left(X^2}\right)-(\[5pt]&=frac {1}{n}\sum {i=1}{n2}^2}-(왼쪽)-(왼쪽)\end { aligned}}$

일반적으로 사용되는 확률 분포

다음 표에는 일반적으로 사용되는 확률 분포에 대한 분산이 나와 있습니다.

확률 분포 이름	확률분포함수	의미하다	분산
이항 분포	${\displaystyle \Pr \,(X=k)=binom {n}{k}p^{k}(1-p)^{n-k}$	${\displaystyle np}$	${\displaystyle np(1-p)}$
기하 분포	${\displaystyle \Pr \,(X=k)=(1-p)^{k-1}p}$	${\displaystyle\frac{1}{p}}$	$(\displaystyle\frac{(1-p)}{p^{2}}})$
정규 분포	${\displaystyle f\left(x\mid \mu,\right ^{2}\flac {1}{\flac {2\pi \pi ^{2}}e^{-{\frac {(x-\mu)^2}}{2\flac }}}$	${\displaystyle\mu}$	$\displaystyle \display ^{2}}$
균일한 분포(연속)	${\displaystyle f(x\mid a,b)=cases{\frac {1}{b-a}}&{\text{for}a\leq x\leq b,\\[3pt]0&{\text{for}x<a\mid a, }}}x>b\end{cases}}$	${\displaystyle\frac{a+b}{2}}}$	${{displaystyle {(b-a)^{2}}:{12}}$
지수 분포	${\displaystyle f(x\mid\displayda)=\displayda e^{-\displayda x}$	${\displaystyle {1}{\displayda }}$	$(\displaystyle {1}{\displayda ^{2}}})$
포아송 분포	${\displaystyle f(k\mid \displayda)=sq frac {e^{-\sqda}\sqda^{k}{k!}}}$	$\displaystyle \displayda }$	$\displaystyle \displayda }$

특성.

기본 속성

제곱이 양수이거나 0이므로 분산이 음수가 아닙니다.

${\displaystyle\operatorname{Var}(X)\geq 0.}$

상수의 분산은 0입니다.

${\displaystyle\operatorname{Var}(a)=0.}$

반대로 랜덤 변수의 분산이 0이면 거의 확실히 상수입니다.즉, 이 값은 항상 동일합니다.

$\displaystyle \operatorname {Var}(X)=0\iff\fa:p(X=a)=1.}$

분산은 위치 매개 변수의 변경과 관련하여 변하지 않습니다.즉, 변수의 모든 값에 상수가 추가되면 분산은 변경되지 않습니다.

$\displaystyle \operatorname {Var}(X+a)=\operatorname {Var}(X).}$

모든 값이 상수에 따라 조정되는 경우 분산은 해당 상수의 제곱에 따라 조정됩니다.

$\displaystyle \operatorname {Var}(aX)=a^{2}\operatorname {Var}(X).}$

두 개의 랜덤 변수 합계의 분산은 다음과 같습니다.

${\displaystyle \operatorname {Var}(aX+bY)=a^{2}\operatorname {Var}(X)+b^{2}\operatorname {Var}(Y)+2ab,\operatorname {Cov}(X,Y)}$

${\displaystyle \operatorname {Var}(aX-bY)=a^{2}\operatorname {Var}(X)+b^{2}\operatorname {Var}(Y)-2ab,\operatorname {Cov}(X,Y)}$

${\displaystyle \mathrm{여기}}$서 Cov ${\displaystyle (}$ (${\displaystyle X}$ ,${\displaystyle Y}$) { $displaystyle \operatorname {Cov}(X$,$Y$)는$$ 공분산입니다.

선형 조합

일반적으로 N$(\displaystyle$ N$)$ 랜덤$$${\displaystyle }$변수 {${\displaystyle {X1\mathrm{}}_{}\dots ,}$ $}(\displaystyle$\{$X_{1},\dots,X_{N$의 합계에서는 다음과 같이 됩니다.

$\displaystyle \operatorname {Var} \left(\sum _{i=1}^{N}\오른쪽)=\sum _{i,j=1}^{N}\operatorname {Cov}(X_{i,X_{j})=\sum _i=1}^{N}\operatorname {Var}$

비에나예메 장군의 신원도 확인하세요

이러한 결과는 다음과 같은 선형 조합의 분산을 초래합니다.

${\displaystyle{\begin{정렬}\operatorname{바르}\left(\sum_{i=1}^{N}a_{나는}X_{나는}\right)&, =\sum _{i,j=1}^{N}a_{나는}a_{j}\operatorname{Cov}(X_{나는},X_{j})\\&, =\sum _{i=1}^{N}a_{나는}^{2}\operatorname{바르}(X_{나는})+\sum _{i\not =j}a_{나는}a_{j}\operatorname{Cov}(X_{나는},X_{j})\\&, =\sum _{i=1}^{N}a_{나는}^{2}\operatorname{바르}(X_{나는})+2\sum_{1\leq i&.그것은, j\leq N}a_{나는}a_{j}\operatorname {Cov}(X_{i},X_{j}).\end { aligned}}$

${\displaystyle {}_{}}$ $변수{\displaystyle {}_{}}$ ${\displaystyle {X\mathrm{}}_{}}$1,${\displaystyle \dots ,}$ ${\displaystyle X_{}}$ N$(\$이 다음과 같은 경우

${\displaystyle \operatorname {Cov}(X_{i},X_{j})=0\,\forall \(i\neq j),}$

상관관계가 없는 것으로 알려져 있습니다.이는 랜덤 $변수{\displaystyle {}_{}}$ ${\displaystyle {X\mathrm{}}_{}}$1,${\displaystyle \dots ,}$ ${\displaystyle X_{}}$ N$(\$이 상관관계가 없는 경우 분산의 합과 같거나 심볼적으로 표현된다는 앞에서 설명한 식에서 바로 나옵니다.

$\displaystyle \operatorname {Var} \left(\sum _{i=1}^{N}\오른쪽)=\sum _{i=1}^{N}\operatorname {Var}(X_{i}).}$

독립 랜덤 변수는 항상 상관 관계가 없으므로(공분산 unc 상관성 및 독립성 참조), 위의 방정식은 랜덤 $변수{\displaystyle {}_{}}$ X ${\displaystyle {1\mathrm{}}_{}}$,${\displaystyle \dots ,}$ ${\displaystyle X_{}}$ n$(\$})이$$ 독립적일 때 특히 유지됩니다.따라서 독립성은 충분하지만 합계의 분산이 분산의 합과 동일하기 위해서는 필요하지 않습니다.

최종성의 문제

Cauchy 분포의 경우와 같이 분포에 유한한 기대값이 없으면 분산도 유한할 수 없습니다.그러나 일부 분포는 기대치가 유한함에도 불구하고 유한한 분산을 가지지 않을 수 있습니다.예를 들어 $k$가 1$$< 2를 하는 Pareto 분포가 있습니다$.{$ $displaystyle$1 <$k$ \ $leq$ 2}

상관되지 않은 변수의 합계(비네임 공식)

분산의 다른 측도보다 분산을 사용하는 한 가지 이유는 상관 관계가 없는 랜덤 변수의 합계(또는 차이)의 분산이 분산의 합계이기 때문입니다.

$\displaystyle \operatorname {Var} \left(\sum _{i=1}^{n}\right)=\sum _{i=1}^{n}\operatorname {Var}(X_{i}).}$

이 문장은 비에나예메^[3] 공식이라고 불리며 ^[4][5]1853년에 발견되었다.변수가 독립적이지만 상관 관계가 없는 것으로 충분하다는 더 강한 조건을 사용하여 생성되는 경우가 많습니다.따라서 모든 변수의 분산이² 같다면, n으로 나누면 선형 변환이므로, 이 공식은 평균의 분산이 다음과 같은 것을 즉시 암시합니다.

${\displaystyle \operatorname {Var} \leftforname {X} \right} = \operatorname {Var} \leftfrac {1} {n} X_{i} \right} = sum frac {1} {n^{2}} \sum {i=1} {n} \opername {n}}$

즉, n이 증가하면 평균의 분산이 감소합니다.이 평균 분산 공식은 표본 평균의 표준 오차 정의에 사용되며, 표본 평균은 중심 한계 정리에 사용됩니다.

최초의 진술을 증명하기 위해, 그것은 ...을 증명하는 것으로 충분하다.

$\displaystyle \operatorname {Var}(X+Y)=\operatorname {Var}(X)+\operatorname {Var}(Y)}$

그 후 일반적인 결과는 유도된다.정의부터 시작해서

${\displaystyle {displaystyle {var}(X+Y)\operatorname {E} \left[(X+Y)^{2}\right]-(X+Y)^{2}\[5pt]&=\operatorname {E} \left[X^{2}+2XY+Y^{2}\right]-(연산자 이름 {E}[X]+\연산자 이름 {E}[Y])^{2}.\end { aligned}}$

기대 연산자의 선형성과 X와 Y의 독립성(또는 상관 없음) 가정을 사용하면 다음과 같이 더욱 단순해집니다.

${\displaystyle {signed}\operatorname {Var}(X+Y)&=\operatorname {E}\left[XY]+2\operatorname {E}\left[XY]+\operatorname {E}\left]Y^{2}\right]-\left(\operatorname {E}[X]^{2}+2\operatorname {E}[X]+\operatorname {E}[Y]^{2}\오른쪽)\\[5pt]&=\operatorname {E} \left[X^{2}\right]+\operatorname {E} \left[Y^{2}\right]-\operatorname {E}[X]^{2}-\operatorname {E}[Y]^{2}\\[5pt]&=\operatorname {Var}(X)+\operatorname {Var}(Y).\end { aligned}}$

상관 변수의 합계

상관 관계 및 고정 표본 크기

일반적으로 n개의 변수 합계의 분산은 공분산의 합계입니다.

${\displaystyle \operatorname {Var} \left(\sum _{i=1}^{n}\right)=\sum _{i=1}^{n}\operatorname {Cov} \left(X_{i},X_{j}\right)=_sum^{n}}$

(참고: 두 번째 등식은 Cov(X_i,X_i) = Var(X_i)라는 사실에서 나옵니다.)

여기서 ${\displaystyle \mathrm{Cov}}$ ${\displaystyle (}$ ( ${\displaystyle \cdot }$ , ${\displaystyle )}$) { $displaystyle \operatorname {Cov }$ ( \$cdot$, \$cdot$)는 독립된$$ 랜덤 변수(존재하는 경우)에 대해 0인 공분산입니다.공식은 합계의 분산이 성분의 공분산 행렬에 있는 모든 원소의 합과 같다는 것을 나타냅니다.다음 식에서는 합계의 분산이 공분산 행렬의 대각선 합계에 상위 삼각 요소(또는 하위 삼각 요소)의 합계를 두 배 더한 값임을 나타냅니다. 이는 공분산 행렬이 대칭임을 강조합니다.이 공식은 고전 테스트 이론에서 크론바흐 알파 이론에서 사용됩니다.

따라서 변수의 분산이 같고² 개별 변수의 평균 상관 관계가 θ이면 평균의 분산은 다음과 같습니다.

${\displaystyle \operatorname {Var} \left operatorname {X} \right} = frac {n} + {\frac {n-1} \rho ^{2} 。}$

이는 평균의 분산이 상관 관계의 평균과 함께 증가함을 의미합니다.즉, 추가적인 상관 관측치는 평균의 불확실성을 감소시키는 데 있어 추가적인 독립 관측치만큼 효과적이지 않습니다.또한 변수가 단위 분산을 갖는 경우(예: 변수가 표준화되어 있는 경우)에는 다음과 같이 단순화됩니다.

${\displaystyle \operatorname {Var} \left frac {X} \right} = snfrac {1} {n} + {\frac {n1} {n} \rho .}$

이 공식은 고전 검정 이론의 스피어맨-브라운 예측 공식에 사용됩니다.평균 상관관계가 일정하게 유지되거나 수렴되는 경우 n이 무한대로 되면 이 값은 θ로 수렴됩니다.따라서 동일한 상관 관계 또는 수렴 평균 상관 관계를 갖는 표준화된 변수의 평균의 분산에 대해서는

${\displaystyle \lim _{n\to \infty}\operatorname {Var}\leftfline {X}\rho}=\rho .}$

따라서 많은 수의 표준화된 변수의 평균 분산은 평균 상관 관계와 거의 동일합니다.이는 큰 수의 법칙이 표본 평균이 독립 변수에 대해 수렴할 것이라고 명시되어 있음에도 불구하고 상관 변수의 표본 평균이 일반적으로 모집단 평균에 수렴되지 않는다는 것을 알 수 있습니다.

무작위로 샘플 크기를 가진 신분증

어떤 기준에 따라 몇 개의 관측치가 허용될지 미리 알지 못한 채 표본을 채취하는 경우가 있다.이 경우 표본 크기 N은 변동이 X의 변동에 더해지는 랜덤 변수입니다.

${\displaystyle \operatorname {Var} \left(\sum _{i=1}^{n}\right)=\operatorname {E} \left[N\right]\operatorname {Var}(X)+\operatorname {Var}(N)\operatorname {E} \2} \light}$^[6]

이는 전분산의 법칙에서 비롯됩니다.

N이 포아송 분포를 갖는 경우, $E{\displaystyle \mathrm{}}$display [${\displaystyle N}$ ] ${\displaystyle =}$ ${\displaystyle \mathrm{Var}}$ ${\displaystyle (}$ (${\displaystyle N}$) \ $displaystyle \operatorname {E}$ [N] ${\displaystyle =\underset{}{\overset{}{}}}$ \$operatorname${Var$}($${\displaystyle \underset{}{\overset{}{N}}}$$)$ 추정치 N = ${\displaystyle \underset{}{\overset{}{\mathrm{n}}}}$. 따라서 Var${\displaystyle \underset{}{\overset{}{=}}}$ ${\displaystyle \underset{}{\overset{}{}}}$ \$operatorname$$$i$\$입니다.$aystyle$ n${S_{x}^{2}+n{X}^2}}$ ${\displaystyle \mathrm{SE<img\; alt="\{\backslash displaystyle\; n\{S\_\{x\}\}^\{2\}+n\{\backslash bar\; \{X\}\}^\{2\}\}"\; aria-hidden="true"\; class="mwe-math-fallback-image-inline"\; src="https://wikimedia.org/api/rest\_v1/media/math/render/svg/fdcdb1d253071f4e5c27837ba8af2ad1e33e7c5c"\; style="vertical-align:\; -0.671ex;\; width:12.316ex;\; height:3.343ex;">}}$ ${\displaystyle }$ ( ${\displaystyle X\stackrel{}{}}$ ${\displaystyle )}$ ) ${\displaystyle =}$ ${\displaystyle \sqrt{\frac{{S_{}}^{}}{}}}$ ${\displaystyle \sqrt{\frac{{{}_{}}^{\mathrm{}}}{}}}$2 + ${\displaystyle \sqrt{\frac{{\stackrel{}{}2}^{\mathrm{}}}{}}}$ ${\displaystyle \sqrt{\frac{{}^{}}{}}}$n ( \ $display$style \$operatorname${ $SE }$ ( \$bar$ { X } ) =$sqrt${$frac${$S$_ { x _ { x $}$} + { n } } } } } { n } } } 2 } se se se se se se se se 。

선형 조합의 분산에 대한 행렬 표기법

X$(\$$displaystyle$ X$)$를 ${\displaystyle {n개}_{}}$의$랜덤$ $변수{\displaystyle {}_{}}$ X${\displaystyle {}_{}{1\mathrm{}}_{}}$,${\displaystyle \dots ,}$$(\$$displaystyle X_{1$},\$ldots, X_{n$의 $열{\displaystyle }$ 벡터로 정의하고$,$ c(\$displaystyle$ n$}$의 $스칼라{\displaystyle {}_{}{c\mathrm{}}_{}}$1,$…,$ ${\displaystyle c_{}}$ {$displaystyle$$$$c_1},$ {$n$의 열 벡터로 $정의$합니다.$(\displaystyle$ c$^{\mathsf {T}})$는 이들 랜덤 변수의 선형 조합입니다.${\displaystyle {여기}^{}}$서 c$(\$ c$^{\mathsf {T}})$는 c$(\displaystyle$ c$\})$의 전치입니다.또, $(\displaystyle \Sigma })$는 X$(\displaystyle$ X$)$의 공분산 행렬이라고 합니다.${\displaystyle {다음}^{}}$으로 ${\displaystyle c^{}}$ T X$(\style$ c$^{\mathsf {T}}X})$의 분산을 ^[7]구한다.

$\displaystyle \operatorname {Var} \left(c^{\mathsf {T}}X\right)=c^{\mathsf {T}}\Sigma c.}$

즉, 평균의 분산은 (1의 열 벡터를 사용하여) 다음과 같이 쓸 수 있습니다.

${\displaystyle \operatorname {Var} \leftforname {x} =\operatorname {Var} \leftfrac {1} {n}1'X'\right'=snfrac {1}{n^{2}}1'\Sigma 1.}$

변수의 가중치 합

스케일링 특성과 비에나예 공식은 공분산 Cov(aX, bY) = ab Cov(X, Y)의 특성과 함께 다음을 의미한다.

$\displaystyle \operatorname {Var}(aX\pm bY)=a^{2}\operatorname {Var}(X)+b^{2}\operatorname {Var}(Y)\pm 2ab,\operatorname {Cov}(X,Y).}$

즉, 가중치 합계에서 가중치가 가장 큰 변수는 총량의 분산에서 불균형적으로 큰 가중치를 가집니다.예를 들어, X와 Y가 상관 관계가 없고 X의 무게가 Y의 두 배인 경우 X 분산의 무게는 Y의 네 배입니다.

위의 식은 여러 변수의 가중치 합계로 확장할 수 있습니다.

${\displaystyle \operatorname {Var} \left(\sum _{i}^{i}\right)=\sum _{i=1}^{n}a_{i}^{2}\operatorname {Var}(X_{i}+2\sum_1\leq}_sum_jle$

독립 변수의 곱

두 변수 X와 Y가 독립적일 경우 곱의 분산은 다음과^[8] 같습니다.

${{displaystyle \operatorname {Var}(XY)=[\operatorname {E}(X)]^{2}\operatorname {Var}(Y)+[\operatorname {Var}(X)\operatorname {Var}(X)\operatorname {Var}(X)}$

마찬가지로, 기대의 기본 속성을 사용하여 다음과 같이 구한다.

${\displaystyle \operatorname {Var}(XY)=\operatorname {E} \left(X^{2}\right)\operatorname {E}-[\operatorname {E}(X)]^{2}[\operatorname {E}(Y)^2}.}$

통계적으로 종속된 변수의 산물

일반적으로 두 변수가 통계적으로 종속된 경우 곱의 분산은 다음과 같습니다.

${\displaystyle\operatorname {Var}(XY)={}&\operatorname {E} \left[X^{2}Y^{2}\right]-[\operatorname {E}(XY)]^{2}\[5pt]={}&\operatorname {Cov} \left(X^{2})Y^{2}\right)+\operatorname {E}(X^{2}\operatorname {E}\left(Y^{2}\right)-[\operatorname {E}(XY)]^{2}\\[5pt]={}&\operatorname {Cov} \left(X^{2})Y^{2}\right)+\left(\operatorname {Var}(X)+[\operatorname {E}(X)]^{2}\right)\left(\operatorname {Var}(Y)+[\operatorname {E}(Y)]^2}\right)\\[5pt]&-[\operatorname {Cov}(X,Y)+\operatorname {E}(X)\operatorname {E}(Y)]^{2}\end{aligned}}$

분해

분산 분해 또는 전분산의 법칙의 일반적인 공식은 다음과 같습니다.X$(\displaystyle$X)와 Y$(\displaystyle$ Y$)$가 2개의 랜덤 변수이고 X$(\displaystyle$ X$)$의 분산이 존재하는 $경우{\displaystyle }$,

${\displaystyle \operatorname {Var} [X]=\operatorname {E} (\operatorname {Var} [X\mid Y])+\operatorname {Var} (\operatorname {E} [X\mid Y])}$

Y$({displaystyle$Y$\})$로 지정된$$X({$displaystyle$$$X$}$의 $조건부{\displaystyle }$ $기대치{\displaystyle \mathrm{}}$ E$($X${\displaystyle y}$Y$)$와 조건부 ${\displaystyle \mathrm{분산}}$ Var ${\displaystyle ((Xy}$Y$)$로 해석할 수 있습니다.{ displaystyle $\operatorname {Var$}(X$\mid$ Y$)$랜덤 변수 Y의 특정 값 y가 주어졌을 때, 이벤트 Y = y가 주어졌을 때 조건부 $기대{\displaystyle \mathrm{}}$ E${\displaystyle }$δ ( ${\displaystyle X}$∣ ${\displaystyle Y}$ ${\displaystyle =y}$) { $displaystyle \operatorname {E}(X\mid$ Y$=y)}$가 존재한다.이 양은 특정 값 y에 따라 달라집니다.$g{\displaystyle }$(${\displaystyle y}$ ) ${\displaystyle =}$ ${\displaystyle \mathrm{E}}$ ${\displaystyle (}$ ( ${\displaystyle X}$ ${\displaystyle \mid }$ ${\displaystyle Y}$ ${\displaystyle =y}$) { $displaystyle$g ( y ) = \$operatorname${ $E$} ($X$ \ $mid$ Y $= y$ )$$} 。랜덤 변수 Y에서 평가된 동일한 함수는 조건부 $기대치{\displaystyle \mathrm{}}$ E${\displaystyle x}$ ( X${\displaystyle y}$Y ) $=$ (${\displaystyle Y}$) .$${ $displaystyle \operatorname {E}(X\mid$ Y)=$g(Y)$입니다.$}$

특히 Y$${$displaystyle$ Y$}$가 가능한 $값{\displaystyle {}_{}}$ ${\displaystyle {y1\mathrm{}}_{}}$ ${\displaystyle {y2\mathrm{}}_{}}$ ${\displaystyle {y3\mathrm{}}_{}}$ $…,$ {$displaystyle y_{1}, y_{2}, y_{3}\ldots$$$$}$을(를) 가정한 이산 랜덤 $변수$일 $경우{\displaystyle {}_{}}$, 다음 식에서 총$$, $,$ ${\displaystyle {p3\mathrm{}}_{}}$ ${\displaystyle \dots ,}${$displaystyle p_1}, p_{2$}, $p3\ldots$오른쪽이 되다

${\displaystyle \operatorname {E}(\operatorname {Var} [X\mid Y])=\sum _{i}p_{i}\sum _{i}^2}$

여기서 ${\displaystyle i}$ i ${\displaystyle {\mathrm{}}_{}^{}}$ ${\displaystyle {}_{}^{}}$ Var ${\displaystyle }$ [ ${\displaystyle Xy}$ Y $=$ ${\displaystyle {yi}_{}}$]{$displaystyle \displaystyle$ _${i}^{$2}=\$operatorname {Var}$ [$X\mid$ Y$=y_{i$ 마찬가지로 오른쪽의 두 번째 항은

${\displaystyle \operatorname {Var}(\operatorname {E}[X\mid Y])=\sum _{i}p_{i}\mu _{i}-\left(\sum _i}p_{i}\mu _{i})^2}-\left(\sum _2}=\sum _i}_i}_i}_{i}_{i}_{i}_{i}_{i}_{i}_{{{{{{{{i}_{{{{{{{{i}$

$여기$서 ${\displaystyle {\mu }_{}}$ i ${\displaystyle {}_{}}$ ${\displaystyle \mathrm{E}}$ ${\displaystyle }$ [ ${\displaystyle Xy}$ Y $=$ ${\displaystyle y_{}}$ i$]{$ $displaystyle \mu$_ {$i}=\operatorname$ {$E} [X\mid$ Y$=y_{i}}}$ $및$ μ ${\displaystyle =}$ ${\displaystyle \underset{}{}}$ ${\displaystyle \underset{}{}{}_{}}$ ${\displaystyle {\mu }_{}}$ i$$= \ $displaystyle$ \$mu =$ \$sum$ _${i}p_i}\mu$ {$i$ {i} {i} {i} {i} {i} {i}입니다$.$따라서 총 분산은 다음과 같이 구한다.

$\displaystyle \operatorname {Var} [X]=\sum _{i}p_{i}\sum _{i}+\left(\sum _{i}p_{i}\mu _{2}-\mu ^{2}\오른쪽).}$

분산 분석에도 유사한 공식이 적용되며, 여기서 해당 공식은 다음과 같습니다.

${\displaystyle {MS}_{\text{total}}={\text{between}}+{\mathit {MS}}_{\text{within}};}$

${\displaystyle \mathit{여기}}$서 MS$(\displaystyle$ {$MS})$는 제곱의 평균을 나타냅니다.선형 회귀 분석에서 해당 공식은 다음과 같습니다.

$({displaystyle {MS}_{\text{total}}={\text{regression}}+{\mathit {MS}}_{\text{residual}}}).}$

총(관측) 점수는 예측 점수와 오차 점수의 합계이므로 분산의 가산성에서도 도출할 수 있으며, 여기서 후자의 두 점수는 상관 관계가 없다.

편차의 제곱합(제곱합, $(\$에도 유사한 분해가 가능합니다.

${\displaystyle {SS}_{\text{total}}={\text{between}}+{\mathit {SS}}_{\text{within}}}}$

${\displaystyle {\mathit {SS}}_{\text{total}}={\mathit {SS}}_{\text{regression}}+{\mathit {SS}}_{\text{residual}}.}$

Calculation from the CDF

The population variance for a non-negative random variable can be expressed in terms of the cumulative distribution function F using

${\displaystyle 2\int _{0}^{\infty }u(1-F(u))\,du-\left(\int _{0}^{\infty }(1-F(u))\,du\right)^{2}.}$

This expression can be used to calculate the variance in situations where the CDF, but not the density, can be conveniently expressed.

Characteristic property

The second moment of a random variable attains the minimum value when taken around the first moment (i.e., mean) of the random variable, i.e. ${\displaystyle \mathrm {argmin} _{m}\,\mathrm {E} \left(\left(X-m\right)^{2}\right)=\mathrm {E} (X)}$. Conversely, if a continuous function ${\displaystyle \varphi }$ satisfies ${\displaystyle \mathrm {argmin} _{m}\,\mathrm {E} (\varphi (X-m))=\mathrm {E} (X)}$ for all random variables X, then it is necessarily of the form ${\displaystyle \varphi (x)=ax^{2}+b}$, where a > 0. This also holds in the multidimensional case.^[9]

Units of measurement

Unlike the expected absolute deviation, the variance of a variable has units that are the square of the units of the variable itself. For example, a variable measured in meters will have a variance measured in meters squared. For this reason, describing data sets via their standard deviation or root mean square deviation is often preferred over using the variance. In the dice example the standard deviation is √2.9 ≈ 1.7, slightly larger than the expected absolute deviation of 1.5.

The standard deviation and the expected absolute deviation can both be used as an indicator of the "spread" of a distribution. The standard deviation is more amenable to algebraic manipulation than the expected absolute deviation, and, together with variance and its generalization covariance, is used frequently in theoretical statistics; however the expected absolute deviation tends to be more robust as it is less sensitive to outliers arising from measurement anomalies or an unduly heavy-tailed distribution.

Approximating the variance of a function

The delta method uses second-order Taylor expansions to approximate the variance of a function of one or more random variables: see Taylor expansions for the moments of functions of random variables. For example, the approximate variance of a function of one variable is given by

${\displaystyle \operatorname {Var} \left[f(X)\right]\approx \left(f'(\operatorname {E} \left[X\right])\right)^{2}\operatorname {Var} \left[X\right]}$

provided that f is twice differentiable and that the mean and variance of X are finite.

Population variance and sample variance

Real-world observations such as the measurements of yesterday's rain throughout the day typically cannot be complete sets of all possible observations that could be made. As such, the variance calculated from the finite set will in general not match the variance that would have been calculated from the full population of possible observations. This means that one estimates the mean and variance from a limited set of observations by using an estimator equation. The estimator is a function of the sample of n observations drawn without observational bias from the whole population of potential observations. In this example that sample would be the set of actual measurements of yesterday's rainfall from available rain gauges within the geography of interest.

The simplest estimators for population mean and population variance are simply the mean and variance of the sample, the sample mean and (uncorrected) sample variance – these are consistent estimators (they converge to the correct value as the number of samples increases), but can be improved. Estimating the population variance by taking the sample's variance is close to optimal in general, but can be improved in two ways. Most simply, the sample variance is computed as an average of squared deviations about the (sample) mean, by dividing by n. However, using values other than n improves the estimator in various ways. Four common values for the denominator are n, n − 1, n + 1, and n − 1.5: n is the simplest (population variance of the sample), n − 1 eliminates bias, n + 1 minimizes mean squared error for the normal distribution, and n − 1.5 mostly eliminates bias in unbiased estimation of standard deviation for the normal distribution.

Firstly, if the true population mean is unknown, then the sample variance (which uses the sample mean in place of the true mean) is a biased estimator: it underestimates the variance by a factor of (n − 1) / n; correcting by this factor (dividing by n − 1 instead of n) is called Bessel's correction. The resulting estimator is unbiased, and is called the (corrected) sample variance or unbiased sample variance. For example, when n = 1 the variance of a single observation about the sample mean (itself) is obviously zero regardless of the population variance. If the mean is determined in some other way than from the same samples used to estimate the variance then this bias does not arise and the variance can safely be estimated as that of the samples about the (independently known) mean.

Secondly, the sample variance does not generally minimize mean squared error between sample variance and population variance. Correcting for bias often makes this worse: one can always choose a scale factor that performs better than the corrected sample variance, though the optimal scale factor depends on the excess kurtosis of the population (see mean squared error: variance), and introduces bias. This always consists of scaling down the unbiased estimator (dividing by a number larger than n − 1), and is a simple example of a shrinkage estimator: one "shrinks" the unbiased estimator towards zero. For the normal distribution, dividing by n + 1 (instead of n − 1 or n) minimizes mean squared error. The resulting estimator is biased, however, and is known as the biased sample variation.

Population variance

In general, the population variance of a finite population of size N with values x_i is given by

$${\displaystyle {\begin{aligned}\sigma ^{2}&={\frac {1}{N}}\sum _{i=1}^{N}\left(x_{i}-\mu \right)^{2}={\frac {1}{N}}\sum _{i=1}^{N}\left(x_{i}^{2}-2\mu x_{i}+\mu ^{2}\right)\\[5pt]&=\left({\frac {1}{N}}\sum _{i=1}^{N}x_{i}^{2}\right)-2\mu \left({\frac {1}{N}}\sum _{i=1}^{N}x_{i}\right)+\mu ^{2}\\[5pt]&=\left({\frac {1}{N}}\sum _{i=1}^{N}x_{i}^{2}\right)-\mu ^{2}\end{aligned}}}$$

where the population mean is

${\displaystyle \mu ={\frac {1}{N}}\sum _{i=1}^{N}x_{i}.}$

The population variance can also be computed using

${\displaystyle \sigma ^{2}={\frac {1}{N^{2}}}\sum _{i<j}\left(x_{i}-x_{j}\right)^{2}={\frac {1}{2N^{2}}}\sum _{i,j=1}^{N}\left(x_{i}-x_{j}\right)^{2}.}$

This is true because

$${\displaystyle {\begin{aligned}&{\frac {1}{2N^{2}}}\sum _{i,j=1}^{N}\left(x_{i}-x_{j}\right)^{2}\\[5pt]={}&{\frac {1}{2N^{2}}}\sum _{i,j=1}^{N}\left(x_{i}^{2}-2x_{i}x_{j}+x_{j}^{2}\right)\\[5pt]={}&{\frac {1}{2N}}\sum _{j=1}^{N}\left({\frac {1}{N}}\sum _{i=1}^{N}x_{i}^{2}\right)-\left({\frac {1}{N}}\sum _{i=1}^{N}x_{i}\right)\left({\frac {1}{N}}\sum _{j=1}^{N}x_{j}\right)+{\frac {1}{2N}}\sum _{i=1}^{N}\left({\frac {1}{N}}\sum _{j=1}^{N}x_{j}^{2}\right)\\[5pt]={}&{\frac {1}{2}}\left(\sigma ^{2}+\mu ^{2}\right)-\mu ^{2}+{\frac {1}{2}}\left(\sigma ^{2}+\mu ^{2}\right)\\[5pt]={}&\sigma ^{2}\end{aligned}}}$$

The population variance matches the variance of the generating probability distribution. In this sense, the concept of population can be extended to continuous random variables with infinite populations.

Sample variance

Biased sample variance

In many practical situations, the true variance of a population is not known a priori and must be computed somehow. When dealing with extremely large populations, it is not possible to count every object in the population, so the computation must be performed on a sample of the population.^[10] Sample variance can also be applied to the estimation of the variance of a continuous distribution from a sample of that distribution.

We take a sample with replacement of n values Y₁, ..., Y_n from the population, where n < N, and estimate the variance on the basis of this sample.^[11] Directly taking the variance of the sample data gives the average of the squared deviations:

${\displaystyle {\tilde {S}}_{Y}^{2}={\frac {1}{n}}\sum _{i=1}^{n}\left(Y_{i}-{\overline {Y}}\right)^{2}=\left({\frac {1}{n}}\sum _{i=1}^{n}Y_{i}^{2}\right)-{\overline {Y}}^{2}={\frac {1}{n^{2}}}\sum _{i,j\,:\,i<j}\left(Y_{i}-Y_{j}\right)^{2}.}$

Here, ${\displaystyle {\overline {Y}}}$ denotes the sample mean:

${\displaystyle {\overline {Y}}={\frac {1}{n}}\sum _{i=1}^{n}Y_{i}.}$

Since the Y_i are selected randomly, both ${\displaystyle {\overline {Y}}}$ and ${\displaystyle {\tilde {S}}_{Y}^{2}}$ are random variables. Their expected values can be evaluated by averaging over the ensemble of all possible samples {Y_i} of size n from the population. For ${\displaystyle {\tilde {S}}_{Y}^{2}}$ this gives:

${\displaystyle {\begin{aligned}\operatorname {E} [{\tilde {S}}_{Y}^{2}]&=\operatorname {E} \left[{\frac {1}{n}}\sum _{i=1}^{n}\left(Y_{i}-{\frac {1}{n}}\sum _{j=1}^{n}Y_{j}\right)^{2}\right]\\[5pt]&={\frac {1}{n}}\sum _{i=1}^{n}\operatorname {E} \left[Y_{i}^{2}-{\frac {2}{n}}Y_{i}\sum _{j=1}^{n}Y_{j}+{\frac {1}{n^{2}}}\sum _{j=1}^{n}Y_{j}\sum _{k=1}^{n}Y_{k}\right]\\[5pt]&={\frac {1}{n}}\sum _{i=1}^{n}\left({\frac {n-2}{n}}\operatorname {E} \left[Y_{i}^{2}\right]-{\frac {2}{n}}\sum _{j\neq i}\operatorname {E} \left[Y_{i}Y_{j}\right]+{\frac {1}{n^{2}}}\sum _{j=1}^{n}\sum _{k\neq j}^{n}\operatorname {E} \left[Y_{j}Y_{k}\right]+{\frac {1}{n^{2}}}\sum _{j=1}^{n}\operatorname {E} \left[Y_{j}^{2}\right]\right)\\[5pt]&={\frac {1}{n}}\sum _{i=1}^{n}\left[{\frac {n-2}{n}}\left(\sigma ^{2}+\mu ^{2}\right)-{\frac {2}{n}}(n-1)\mu ^{2}+{\frac {1}{n^{2}}}n(n-1)\mu ^{2}+{\frac {1}{n}}\left(\sigma ^{2}+\mu ^{2}\right)\right]\\[5pt]&={\frac {n-1}{n}}\sigma ^{2}.\end{aligned}}}$

Hence ${\displaystyle {\tilde {S}}_{Y}^{2}}$ gives an estimate of the population variance that is biased by a factor of ${\displaystyle {\frac {n-1}{n}}}$. For this reason, ${\displaystyle {\tilde {S}}_{Y}^{2}}$ is referred to as the biased sample variance.

Unbiased sample variance

Correcting for this bias yields the unbiased sample variance, denoted ${\displaystyle S^{2}}$:

${\displaystyle S^{2}={\frac {n}{n-1}}{\tilde {S}}_{Y}^{2}={\frac {n}{n-1}}\left[{\frac {1}{n}}\sum _{i=1}^{n}\left(Y_{i}-{\overline {Y}}\right)^{2}\right]={\frac {1}{n-1}}\sum _{i=1}^{n}\left(Y_{i}-{\overline {Y}}\right)^{2}}$

Either estimator may be simply referred to as the sample variance when the version can be determined by context. The same proof is also applicable for samples taken from a continuous probability distribution.

The use of the term n − 1 is called Bessel's correction, and it is also used in sample covariance and the sample standard deviation (the square root of variance). The square root is a concave function and thus introduces negative bias (by Jensen's inequality), which depends on the distribution, and thus the corrected sample standard deviation (using Bessel's correction) is biased. The unbiased estimation of standard deviation is a technically involved problem, though for the normal distribution using the term n − 1.5 yields an almost unbiased estimator.

The unbiased sample variance is a U-statistic for the function ƒ(y₁, y₂) = (y₁ − y₂)²/2, meaning that it is obtained by averaging a 2-sample statistic over 2-element subsets of the population.

Distribution of the sample variance

Being a function of random variables, the sample variance is itself a random variable, and it is natural to study its distribution. In the case that Y_i are independent observations from a normal distribution, Cochran's theorem shows that S² follows a scaled chi-squared distribution:^[12]

${\displaystyle (n-1){\frac {S^{2}}{\sigma ^{2}}}\sim \chi _{n-1}^{2}.}$

As a direct consequence, it follows that

${\displaystyle \operatorname {E} \left(S^{2}\right)=\operatorname {E} \left({\frac {\sigma ^{2}}{n-1}}\chi _{n-1}^{2}\right)=\sigma ^{2},}$

and^[13]

${\displaystyle \operatorname {Var} \left[S^{2}\right]=\operatorname {Var} \left({\frac {\sigma ^{2}}{n-1}}\chi _{n-1}^{2}\right)={\frac {\sigma ^{4}}{(n-1)^{2}}}\operatorname {Var} \left(\chi _{n-1}^{2}\right)={\frac {2\sigma ^{4}}{n-1}}.}$

If the Y_i are independent and identically distributed, but not necessarily normally distributed, then^[14]

${\displaystyle \operatorname {E} \left[S^{2}\right]=\sigma ^{2},\quad \operatorname {Var} \left[S^{2}\right]={\frac {\sigma ^{4}}{n}}\left(\kappa -1+{\frac {2}{n-1}}\right)={\frac {1}{n}}\left(\mu _{4}-{\frac {n-3}{n-1}}\sigma ^{4}\right),}$

where κ is the kurtosis of the distribution and μ₄ is the fourth central moment.

If the conditions of the law of large numbers hold for the squared observations, S² is a consistent estimator of σ². One can see indeed that the variance of the estimator tends asymptotically to zero. An asymptotically equivalent formula was given in Kenney and Keeping (1951:164), Rose and Smith (2002:264), and Weisstein (n.d.).^[15][16][17]

Samuelson's inequality

Samuelson's inequality is a result that states bounds on the values that individual observations in a sample can take, given that the sample mean and (biased) variance have been calculated.^[18] Values must lie within the limits ${\displaystyle {\bar {y}}\pm \sigma _{Y}(n-1)^{1/2}.}$

Relations with the harmonic and arithmetic means

It has been shown^[19] that for a sample {y_i} of positive real numbers,

${\displaystyle \sigma _{y}^{2}\leq 2y_{\max }(A-H),}$

where y_max is the maximum of the sample, A is the arithmetic mean, H is the harmonic mean of the sample and ${\displaystyle \sigma _{y}^{2}}$ is the (biased) variance of the sample.

This bound has been improved, and it is known that variance is bounded by

${\displaystyle \sigma _{y}^{2}\leq {\frac {y_{\max }(A-H)(y_{\max }-A)}{y_{\max }-H}},}$

${\displaystyle \sigma _{y}^{2}\geq {\frac {y_{\min }(A-H)(A-y_{\min })}{H-y_{\min }}},}$

where y_min is the minimum of the sample.^[20]

Tests of equality of variances

Testing for the equality of two or more variances is difficult. The F test and chi square tests are both adversely affected by non-normality and are not recommended for this purpose.

Several non parametric tests have been proposed: these include the Barton–David–Ansari–Freund–Siegel–Tukey test, the Capon test, Mood test, the Klotz test and the Sukhatme test. The Sukhatme test applies to two variances and requires that both medians be known and equal to zero. The Mood, Klotz, Capon and Barton–David–Ansari–Freund–Siegel–Tukey tests also apply to two variances. They allow the median to be unknown but do require that the two medians are equal.

The Lehmann test is a parametric test of two variances. Of this test there are several variants known. Other tests of the equality of variances include the Box test, the Box–Anderson test and the Moses test.

Resampling methods, which include the bootstrap and the jackknife, may be used to test the equality of variances.

History

The term variance was first introduced by Ronald Fisher in his 1918 paper The Correlation Between Relatives on the Supposition of Mendelian Inheritance:^[21]

The great body of available statistics show us that the deviations of a human measurement from its mean follow very closely the Normal Law of Errors, and, therefore, that the variability may be uniformly measured by the standard deviation corresponding to the square root of the mean square error. When there are two independent causes of variability capable of producing in an otherwise uniform population distributions with standard deviations ${\displaystyle \sigma _{1}}$ and ${\displaystyle \sigma _{2}}$, it is found that the distribution, when both causes act together, has a standard deviation ${\displaystyle {\sqrt {\sigma _{1}^{2}+\sigma _{2}^{2}}}}$. It is therefore desirable in analysing the causes of variability to deal with the square of the standard deviation as the measure of variability. We shall term this quantity the Variance...

Moment of inertia

The variance of a probability distribution is analogous to the moment of inertia in classical mechanics of a corresponding mass distribution along a line, with respect to rotation about its center of mass.^{[citation needed]} It is because of this analogy that such things as the variance are called moments of probability distributions.^{[citation needed]} The covariance matrix is related to the moment of inertia tensor for multivariate distributions. The moment of inertia of a cloud of n points with a covariance matrix of ${\displaystyle \Sigma }$ is given by^{[citation needed]}

${\displaystyle I=n\left(\mathbf {1} _{3\times 3}\operatorname {tr} (\Sigma )-\Sigma \right).}$

This difference between moment of inertia in physics and in statistics is clear for points that are gathered along a line. Suppose many points are close to the x axis and distributed along it. The covariance matrix might look like

${\displaystyle \Sigma ={\begin{bmatrix}10&0&0\\0&0.1&0\\0&0&0.1\end{bmatrix}}.}$

That is, there is the most variance in the x direction. Physicists would consider this to have a low moment about the x axis so the moment-of-inertia tensor is

${\displaystyle I=n{\begin{bmatrix}0.2&0&0\\0&10.1&0\\0&0&10.1\end{bmatrix}}.}$

Semivariance

The semivariance is calculated in the same manner as the variance but only those observations that fall below the mean are included in the calculation:

It is also described as a specific measure in different field of application. For skewed distributions, the semivariance can provide additional information that a variance does not.^[22]

For inequalities associated with the semivariance, see Chebyshev's inequality § Semivariances.

Generalizations

For complex variables

If ${\displaystyle x}$ is a scalar complex-valued random variable, with values in ${\displaystyle \mathbb {C} ,}$ then its variance is ${\displaystyle \operatorname {E} \left[(x-\mu )(x-\mu )^{*}\right],}$ where ${\displaystyle x^{*}}$ is the complex conjugate of ${\displaystyle x.}$ This variance is a real scalar.

For vector-valued random variables

As a matrix

If ${\displaystyle X}$ is a vector-valued random variable, with values in ${\displaystyle \mathbb {R} ^{n},}$ and thought of as a column vector, then a natural generalization of variance is ${\displaystyle \operatorname {E} \left[(X-\mu )(X-\mu )^{\operatorname {T} }\right],}$ where ${\displaystyle \mu =\operatorname {E} (X)}$ and ${\displaystyle X^{\operatorname {T} }}$ is the transpose of ${\displaystyle X,}$ and so is a row vector. The result is a positive semi-definite square matrix, commonly referred to as the variance-covariance matrix (or simply as the covariance matrix).

If ${\displaystyle X}$ is a vector- and complex-valued random variable, with values in ${\displaystyle \mathbb {C} ^{n},}$ then the covariance matrix is ${\displaystyle \operatorname {E} \left[(X-\mu )(X-\mu )^{\dagger }\right],}$ where ${\displaystyle X^{\dagger }}$ is the conjugate transpose of ${\displaystyle X.}$^{[citation needed]} This matrix is also positive semi-definite and square.

As a scalar

Another generalization of variance for vector-valued random variables ${\displaystyle X}$, which results in a scalar value rather than in a matrix, is the generalized variance ${\displaystyle \det(C)}$, the determinant of the covariance matrix. The generalized variance can be shown to be related to the multidimensional scatter of points around their mean.^[23]

A different generalization is obtained by considering the Euclidean distance between the random variable and its mean. This results in ${\displaystyle \operatorname {E} \left[(X-\mu )^{\operatorname {T} }(X-\mu )\right]=\operatorname {tr} (C),}$ which is the trace of the covariance matrix.

See also

• Bhatia–Davis inequality
• Coefficient of variation
• Homoscedasticity
• Least-squares spectral analysis for computing a frequency spectrum with spectral magnitudes in % of variance or in dB
• Popoviciu's inequality on variances
• Measures for statistical dispersion
• Variance-stabilizing transformation

Types of variance

• Correlation
• Distance variance
• Explained variance
• Pooled variance
• Pseudo-variance

References