최소 분산 불편 추정기

이 글은 검증을 위해 추가 인용문이 필요합니다. 신뢰할 수 있는 출처에 인용문을 추가하여 이 기사를 개선하는 데 도움을 주십시오. 조달되지 않은 자재는 제거될 수 있습니다.출처 : '최소분산무편향추정기'– 뉴스 · 신문 · 서적 · 학자 · JSTOR (2009년 11월) (이 템플릿 메시지 삭제 방법 및 삭제 시기 확인)

통계학에서 최소분산 비바이어스 추정기(MVUE) 또는 균일 최소분산 비바이어스 추정기(UMVUE)는 파라미터의 가능한 모든 값에 대해 다른 비바이어스 추정기보다 낮은 분산을 갖는 비바이어스 추정기입니다.

실제 통계 문제의 경우, MVUE가 존재하는 경우, 최적보다 덜한 절차는 자연스럽게 피할 수 있고, 다른 사항은 동일하기 때문에 MVUE가 존재하는 경우 결정하는 것이 중요하다.이것은 최적 추정의 문제와 관련된 통계 이론의 상당한 발전을 가져왔다.

편중성의 제약 조건을 최소 분산의 만족도 측정 기준과 결합하면 대부분의 실제 환경에서 좋은 결과를 얻을 수 있지만, MVUE를 광범위한 분석의 자연스러운 시작점으로 만들 수 있지만, 목표 사양은 주어진 문제에 대해 더 나은 성능을 발휘할 수 있다. 따라서 MVUE가 항상 최선의 정지점은 아니다.

정의.

$데이터{\displaystyle {}_{}}$ ${\displaystyle {X1\mathrm{}}_{}}$ ${\displaystyle {X2\mathrm{}}_{}\dots ,}$ $(\$}, X_{n${\displaystyle {}_{}}$ i$$.i.d$.$를 ${\displaystyle {바탕}_{}}$으로 g${\displaystyle }$( ${\displaystyle )}$ )$$( \ $displaystyle$ g ( \ $theta )$를 $추정$합니다$.$${\displaystyle g(}$ ${\displaystyle ）}$（ \ $displaystyle$g （ \ $theta$$$） $の$ ${\displaystyle {}_{}}$、 ${\displaystyle {X\mathrm{}}_{}}$ 2 、 ...${\displaystyle {}_{}、{}_{}{X}_{}}$ n$$） { $displaystyle$\$delta$($X$_${\displaystyle {}_{}}${$1$ , $X$_ ${2$} , \$ldots$, $X$ { $n$} )는 UMVUE ${\displaystyle \mathrm{if}}$ \ $display$ style \ $tyl$ \ tyle \ tyle \ tyle \ tyle \ tyle$） ）$ 。

${\displaystyle \operatorname {var}(\delta (X_{1},X_{n})\leq \operatorname {var}(\tilde {delta }}}(X_{1},X_{2},\ldots,X_{n})}})$

$다른$ 어떤 편견 없는$$추정치에$대해서도요{\displaystyle \stackrel{}{}}$$}$

${\displaystyle g}$($$ ) \ $displaystyle$ g ( \ $theta$)의 편견이 없는 추정치가 존재하는 경우 본질적으로 고유한 MVUE가 ^[1]있음을 증명할 수 있습니다.또한 Rao-Blackwell 정리를 사용하여 MVUE를 결정하는 것은 단순히 p ${\displaystyle {}_{}}$ ${\displaystyle \mathrm{\omega }}$ ${\$ \ $display$ style $p_{\theta$},\$theta \in$\Omega $}$ $계열$에 대한 완전한 충분한 통계량을 찾고 그 위에 편향되지 않은 추정기를 조정하는 문제라는 것을 증명할 수 있다.

또한 Lehmann-Schefé 정리에 따르면 완전하고 충분한 통계량의 함수인 편향되지 않은 추정기는 UMVUE 추정기이다.

정식적으로는${\displaystyle }$(${\displaystyle {X\mathrm{}}_{}}$1, ${\displaystyle {X\mathrm{}}_{}}$2,${\displaystyle \dots ,}$ ${\displaystyle {}_{}}$ $)$ {$displaystyle \delta$(${\displaystyle \mathrm{X\_}}$${1$},$X_{2},\ldots,X_{n}}$가 g${\displaystyle }$( $))$ {$displaystyle$ g$(\theta$에 $대해{\displaystyle }$ 편견이 없으며$$T {\$displaystyle$ T$}$가 밀도 패밀리에 충분한 통계량이라고 $가정$합니다.그리고나서

${\displaystyle \eta (X_{1},X_{n})=\operatorname {E}(\displaystyle (X_{1},X_{2},\ldots,X_{n}\mid T),}$

는${\displaystyle }$g${\displaystyle (}$ )의$MVUE$ 입니다.\ $displaystyle$ g$(\theta$).$}$

베이지안 아날로그는 특히 최소 평균 제곱 오차(MMSE)를 가진 베이즈 추정기입니다.

견적자 선택

효율적인 추정기가 존재할 필요는 없지만 존재한다면 그리고 그것이 편견이 없다면 MVUE입니다.추정기 θ의 평균 제곱 오차(MSE)는 다음과 같기 때문에

${\displaystyle \operatorname {MSE}(\displaystyle)=\operatorname {var}(\display)+[\operatorname {var}(\display)]^{2}\}$

MVUE는 편향되지 않은 추정기 사이의 MSE를 최소화한다.편중 추정치는 편중 추정치보다 분산이 작기 때문에 MSE가 더 낮은 경우도 있습니다. 자세한 내용은 편중 추정치 편중을 참조하십시오.

예

밀도의 R ${\$에 $대한$ 절대 연속 분포의 단일 관측치라고 간주한다.

$({displaystyle p_{\theta }(x)=parc {theta e^{-x}}{(1+e^{-x})^{\theta +1}})$

그리고 우리는 UMVU의 추정치를 찾고 싶다.

${\displaystyle g(\theta)=param frac {1}{\theta ^{2}}}}$

우선 밀도가 다음과 같이 기록될 수 있음을 인식합니다.

$(\displaystyle {e^{-x}}{1+e^{-x}}\exparam\theta \log(1+e^{-x})+\log(\theta)})})$

즉, 충분한 $통계량{\displaystyle }$ T $=$ log${\displaystyle \mathrm{\theta }}$ (${\displaystyle 1^{}}$+ e${\displaystyle {}^{}}$-$$x ) {{$displaystyle T=\log(1+e^{-x$의 지수 계열입니다. 실제로 이는 전체 순위 지수 $계열$이므로$$T {\$displaystyle$ T$}$로도 충분합니다.다음을 나타내는 파생 정보에 대해서는 지수 패밀리를 참조하십시오.

${\displaystyle \operatorname {E}(T)=pairfrac {1}{\theta}},\pair\operatorname {var}(T)=pairfrac {1}{\theta ^2}}}}}$

그러므로,

${\displaystyle \operatorname {E}(T^{2})=param frac {2}{\theta ^{2}}}}$

여기서 우리는 MVUE를 얻기 위해 레만-셰페 정리를 사용한다.

$명확$하게 ${\displaystyle (}$ (${\displaystyle X}$ ) ${\displaystyle =}$ ${\displaystyle \frac{{}^{}}{\mathrm{}}}$( \ $displaystyle \ display$ ( X ) ${\displaystyle =}$ ${\displaystyle \mathrm{fr}}$ frac {$T^$ { T^ {$2}}$ {$2}}$ 은$$ 치우침이 $없고{\displaystyle }$ T = ${\displaystyle \log +}$ (${\displaystyle {}^{}}$ + ${\displaystyle e^{}}$-${\displaystyle {}^{}}$x ) { $displaystyle$ T = \$log$( 1 + $e^$ { - $x$}} } } 은$$ 완전하므로 UMVU 추정자는 충분하다.

$\displaystyle \eta (X)=\operatorname {E} (\displaystyle (X)\mid T)=\operatorname {E} \left (\left){\frac {T^{2}}:{2}},\right,T\right}=frac {T^{2}}{2}=frac {log(1+e^{-X}^{2}}{2}}$

이 예는 레만-셰페 정리처럼 완전한 충분한 통계량의 편견이 없는 함수는 UMVU가 될 것이라는 것을 보여준다.

기타 예

• 평균과 분산을 알 수 없는 정규 분포의 경우 표본 평균과 (편향되지 않은) 표본 분산은 모집단 평균과 모집단 분산에 대한 MVUE입니다.

  그러나 표본 표준 편차는 모집단 표준 편차에 대해 치우치지 않습니다. 즉, 치우치지 않은 표준 편차의 추정을 참조하십시오.

  또한 다른 분포의 경우 표본 평균과 표본 분산이 일반 MVUE에 있지 않다. 상한과 하한을 알 수 없는 균일한 분포의 경우 중간 범위는 모집단 평균에 대한 MVUE이다.

• k개의 샘플이 알 수 없는 상한 N의 집합 {1, 2, ..., N}에 대한 이산 균일한 분포에서 선택되는 경우, N에 대한 MVUE는 다음과 같다.

${\displaystyle {k+1}{k}m-1,$

여기서 m은 샘플의 최대값입니다.이것은 충분한 완전 통계량인 표본 최대값의 크기 조정 및 이동(편향되지 않음) 변환입니다.자세한 내용은 독일 탱크 문제를 참조하십시오.

「 」를 참조해 주세요.

• 크라메르-라오행
• 최적 선형 불편 추정기(BLUE)
• 바이어스-분산 트레이드오프
• 레만-셰페 정리
• U통계

베이지안 아날로그

• 베이즈 추정기
• 최소 평균 제곱 오차(MMSE)

레퍼런스

• Keener, Robert W. (2006). Statistical Theory: Notes for a Course in Theoretical Statistics. Springer. pp. 47–48, 57–58.
• Voinov V. G., Nikulin M.S. (1993). Unbiased estimators and their applications, Vol.1: Univariate case. Kluwer Academic Publishers. pp. 521p.