추정기

통계학에서 추정치는 관측된 데이터를 기반으로 주어진 수량의 추정치를 계산하는 규칙입니다. 따라서 규칙(추정기), 관심량(추정기) 및 결과(추정치)가 ^[1]구별됩니다.예를 들어, 표본 평균은 일반적으로 사용되는 모집단 평균 추정기입니다.

점 추정기와 구간 추정기가 있습니다.점 추정기는 단일 값 결과를 생성합니다.이것은 결과가 그럴듯한 값의 범위가 되는 구간 추정기와는 대조적이다."단일 값"은 반드시 "단일 숫자"를 의미하는 것은 아니지만 벡터 값 또는 함수 값 추정기를 포함한다.

추정 이론은 추정기의 속성과 관련이 있습니다. 즉, 동일한 데이터를 기반으로 동일한 양에 대해 서로 다른 추정기(추정 생성에 대한 서로 다른 규칙)를 비교하는 데 사용할 수 있는 속성을 정의하는 것입니다.이러한 속성은 주어진 상황에서 사용할 최적의 규칙을 결정하는 데 사용할 수 있습니다.그러나 강력한 통계학에서 통계이론은 엄격하게 정의된 가정이 유지되는 경우 좋은 속성을 갖는 것과 더 넓은 조건에서 유지되는 덜 좋은 속성을 갖는 것 사이의 균형을 계속 고려한다.

배경

"추정자" 또는 "점 추정치"는 통계 모델에서 알 수 없는 모수의 값을 추론하는 데 사용되는 통계량(즉, 데이터의 함수)이다.일반적인 표현 방법은 "추정기는 알려지지 않은 모수의 추정치를 얻기 위해 선택된 방법"입니다.추정되는 모수를 추정치라고도 합니다.유한 차원(파라미터 및 반파라미터 모델) 또는 무한 차원(반파라미터 및 비파라미터 모델)^[2]일 수 있습니다. $\theta$ 가 ${\$ { $displaystyle$ \theta $\theta$ }로 $\theta$ 표시되어 있는 경우, 추정치는 $^$ { $displaystyle \widehat$ { $theta$ ${\widehat {\theta }}$ 기호 ${\widehat {\theta }}$ 에 곡선을 추가하여 작성됩니다.추정자 자체는 데이터의 함수이므로 이 랜덤 변수의 특정 실현을 "추정"이라고 합니다.때때로 "추정자"와 "추정자"라는 단어가 번갈아 사용되기도 한다.

이 정의에서는 데이터의 함수를 "추정자"라고 부를 수 있는 제한은 거의 없습니다.다른 추정기의 매력은 불편함, 평균 제곱 오차, 일관성, 점근 분포 등과 같은 특성을 보고 판단할 수 있다.추정기의 구성과 비교는 추정 이론의 대상이다.의사결정 이론의 맥락에서 추정자는 의사결정 규칙의 한 종류이며, 그 성과는 손실 함수를 사용하여 평가될 수 있다.

한정자 없이 "추정자"라는 단어를 사용하는 경우 일반적으로 점 추정을 나타냅니다.이 경우 추정치는 모수 공간의 단일 지점입니다.또 다른 유형의 추정기(구간 추정기)도 있습니다. 여기서 추정치는 모수 공간의 하위 집합입니다.

밀도 추정 문제는 두 가지 애플리케이션에서 발생합니다.첫째, 랜덤 변수의 확률 밀도 함수를 추정할 때, 둘째, 시계열의 스펙트럼 밀도 함수를 추정할 때.이러한 문제에서 추정치는 무한 차원 공간에서 점 추정치로 간주할 수 있는 함수이며, 이에 대응하는 구간 추정 문제가 있습니다.

정의.

고정 파라미터 $\theta$ {\(\ $displaystyle$ \ $theta)$ 를 $\theta$ 추정해야 한다고 가정합니다.그런 다음 "추정기"는 표본 공간을 표본 추정치 집합에 매핑하는 함수입니다. ${\$ { $displaystyle$ \theta $\theta$ }는 $\theta$ 보통 ${\widehat {\theta }}$ $^$ { $displaystyle$ { $widehat {theta$ 로 표시되며, 랜덤 변수의 대수를 사용하여 이론을 표현하는 것이 편리합니다.따라서 X가 관측 데이터에 대응하는 랜덤 변수를 나타내는 데 사용되는 경우 추정치(임의 va로 취급됨)riable)은 ${\widehat {\theta }}(X)$ 변수 ${\widehat {\theta }}(X)$ ( X $){$ $displaystyle$ {\ $widehat }}(X$ 의 함수로 표시됩니다.특정 관측 데이터 $값$ x $($ , X $X=x$ $X=x$ ${\displaystyle$ X $=x$ 의 $X=x$ )의 추정치는 $)$ {\ $displaystyle$ {\ $theta }}(x$ 로 고정값입니다. ${\widehat {\theta }}$ })을 ${\widehat {\theta }}$ 랜덤 변수로 직접 해석하는 약어 표기법이 사용되지만, 이로 인해 혼란이 발생할 수 있습니다.

수량화된 속성

다음 정의 및 속성이 ^[3]관련됩니다.

에러

특정 $샘플$ x(\ $displaystyle$ x $x$ 의 경우 ${\widehat {\theta }}$ $^$ {\ $displaystyle$ {\ $theta }}$ 의 ${\widehat {\theta }}$ "오류"는 다음과 같이 정의됩니다.

e(x)=와이드햇 {\theta }}(x)-\theta,

$\theta$ 서 $"\displaystyle\theta"$ 는 $\theta$ 추정되는 파라미터입니다.오차 e는 추정기(추정 공식 또는 절차)뿐만 아니라 표본에 따라 달라집니다.

평균 제곱 오차

${\widehat {\theta }}$ $^$ { $style$ {\ $widehat$ {\ $theta }}$ 의 ${\widehat {\theta }}$ 평균 제곱 오차는 제곱 오차의 예상값(모든 샘플에 대한 확률 가중 평균)으로 정의됩니다. 즉,

{MSE}(\widehat {theta })=\operatorname {E} [(\widehat {theta }}-\theta}^2})]

추정치 수집이 추정되는 단일 모수로부터 평균적으로 얼마나 떨어져 있는지를 나타내는 데 사용됩니다.다음과 같은 유추를 생각해 보십시오.모수가 과녁의 과녁 중심이고 추정기는 과녁에 화살을 쏘는 공정이며 개별 화살은 추정치(표본)라고 가정합니다.MSE가 높으면 과녁의 눈에서 화살의 평균 거리가 높음을 의미하고 MSE가 낮으면 과녁의 눈에서 평균 거리가 낮음을 의미합니다.화살표는 군집화되거나 군집화되지 않을 수 있습니다.예를 들어, 모든 화살표가 같은 지점에 맞았지만 목표를 크게 빗나가더라도 MSE는 여전히 상대적으로 큽니다.그러나 MSE가 상대적으로 낮은 경우 화살표는 (고분산보다는) 타깃 주위에 더 높게 군집화됩니다.

표본편차

특정 $샘플$ x({ $displaystyle$ x $x$ 에 대해 ${\widehat {\theta }}$ $^$ {\ $displaystyle$ {\ $theta }$ 의 ${\widehat {\theta }}$ 샘플링 편차는 다음과 같이 정의됩니다.

{\displaystyle d(x)=widehat {theta }}(x)-\operatorname {E}({\widehat {theta }}(X)= 와이드햇 {Theta }}(x)-\operatorname {E}({\widehat {Theta }}),

$\operatorname {E} ({\widehat {\theta }}(X))$ 서 E $\operatorname {E} ({\widehat {\theta }}(X))$ ( $\operatorname {E} ({\widehat {\theta }}(X))$ $){$ $displaystyle \operatorname {E}({\widehat {theta }}}}(X)})$ 는 $\operatorname {E} ({\widehat {\theta }}(X))$ 추정치의 기대치입니다.표본 편차 d는 추정기뿐만 아니라 표본에 따라 달라집니다.

분산

$^(\$ {\ $widethhat$ ${\$ ${\widehat {\theta }}$ }})의 ${\widehat {\theta }}$ 분산은 표본 편차의 제곱의 예상값이다. $\operatorname {Var} ({\widehat {\theta }})=\operatorname {E} [({\widehat {\theta }}-\operatorname {E} [{\widehat {\theta }}])^{2}]$ , $\operatorname {Var} ({\widehat {\theta }})=\operatorname {E} [({\widehat {\theta }}-\operatorname {E} [{\widehat {\theta }}])^{2}]$ ( $\operatorname {Var} ({\widehat {\theta }})=\operatorname {E} [({\widehat {\theta }}-\operatorname {E} [{\widehat {\theta }}])^{2}]$ ^ ) $\operatorname {Var} ({\widehat {\theta }})=\operatorname {E} [({\widehat {\theta }}-\operatorname {E} [{\widehat {\theta }}])^{2}]$ $\operatorname {Var} ({\widehat {\theta }})=\operatorname {E} [({\widehat {\theta }}-\operatorname {E} [{\widehat {\theta }}])^{2}]$ $\operatorname {Var} ({\widehat {\theta }})=\operatorname {E} [({\widehat {\theta }}-\operatorname {E} [{\widehat {\theta }}])^{2}]$ [ ( $\operatorname {Var} ({\widehat {\theta }})=\operatorname {E} [({\widehat {\theta }}-\operatorname {E} [{\widehat {\theta }}])^{2}]$ - $\operatorname {Var} ({\widehat {\theta }})=\operatorname {E} [({\widehat {\theta }}-\operatorname {E} [{\widehat {\theta }}])^{2}]$ ] [ $\operatorname {Var} ({\widehat {\theta }})=\operatorname {E} [({\widehat {\theta }}-\operatorname {E} [{\widehat {\theta }}])^{2}]$ $\operatorname {Var} ({\widehat {\theta }})=\operatorname {E} [({\widehat {\theta }}-\operatorname {E} [{\widehat {\theta }}])^{2}]$ $](\displaystyle$ \ $operatorname$ {Var $}(\widehat {ta$ } } = {\ $ta$ } } ） = ${OPERON})$ $}])^{2$ 견적수집량이 예상값에서 평균 얼마나 떨어져 있는지를 나타낼 때 사용합니다.(MSE와 분산의 차이를 주의해 주세요).모수가 목표물의 과녁 중심이고 화살표가 추정치인 경우 분산이 상대적으로 높으면 화살표가 분산되고 분산이 상대적으로 낮으면 화살표가 군집화됨을 의미합니다.분산이 낮더라도 화살표 군집은 여전히 목표에서 멀리 벗어날 수 있으며 분산이 높더라도 화살의 확산 집합은 여전히 치우치지 않을 수 있습니다.마지막으로, 모든 화살표가 표적을 완전히 빗나가더라도, 화살표가 모두 같은 점에 맞으면 분산은 0이 됩니다.

편견

$^$ {\ $displaystyle$ {\ $widehat$ {\ $theta }}$ 의 ${\widehat {\theta }}$ 바이어스는 B ( $B({\widehat {\theta }})=\operatorname {E} ({\widehat {\theta }})-\theta$ } ) $B({\widehat {\theta }})=\operatorname {E} ({\widehat {\theta }})-\theta$ ( $B({\widehat {\theta }})=\operatorname {E} ({\widehat {\theta }})-\theta$ ) - $B({\widehat {\theta }})=\operatorname {E} ({\widehat {\theta }})-\theta$ （ \ $displaystyle$ B ( { \ $widehat$ { $theta$ }} = \ $operatorname$ {E $B({\widehat {\theta }})=\operatorname {E} ({\widehat {\theta }})-\theta$ ( \ $widehat$ {\ $theta$ } $}$ )로 $B({\widehat {\theta }})=\operatorname {E} ({\widehat {\theta }})-\theta$ 됩니다.수집 평균 $거리$ 입니다. $^\$ 의 $편향은 ^\$ $displaystyle$ $\theta$ 의 $\theta$ 진정한 ${\widehat {\theta }}$ $가치$ 의 함수이므로 $^\$ displaystyle의 편향은 $b\displaystyle$ 라고 ${\widehat {\theta }}$ $b$ $\theta$ 하는 $\theta$ 은 $\theta$ $^\$ 편향을 의미합니다. $widehat(와이드햇)$ 은 b( $b$ b $)$ 입니다 $b$

추정치에는 편향된 추정치와 편향되지 않은 추정치의 두 가지 종류가 있습니다. $\operatorname {E} ({\widehat {\theta }})-\theta$ or ( $\operatorname {E} ({\widehat {\theta }})-\theta$ $\operatorname {E} ({\widehat {\theta }})-\theta$ ) - $（$ \ $displaystyle \operatorname$ { $E$ } （ \ $widehat \theta$ } } ） - \theta $\operatorname {E} ({\widehat {\theta }})-\theta$ $}$ 와 0의 $\operatorname {E} ({\widehat {\theta }})-\theta$ 에 의해 추정치의 편향 여부를 식별할 수 있습니다.

$\operatorname {E} ({\widehat {\theta }})-\theta \neq 0$ $\operatorname {E} ({\widehat {\theta }})-\theta \neq 0$ $\operatorname {E} ({\widehat {\theta }})-\theta \neq 0$ ） - $\operatorname {E} ({\widehat {\theta }})-\theta \neq 0$ 0 $\operatorname {E} ({\widehat {\theta }})-\theta \neq 0$ \ $displaystyle \operatorname$ { $E$ }({\ $widehat$ {theta }})-\ $theta \neq$ 0 $\operatorname {E} ({\widehat {\theta }})-\theta \neq 0$ 일 $\operatorname {E} ({\widehat {\theta }})-\theta \neq 0$ $^$ ^ {\ $displaystyle$ \ $widehat$ {\theta ${\widehat {\theta }}$ }}}은 ${\widehat {\theta }}$ 바이어스입니다.
$\operatorname {E} ({\widehat {\theta }})-\theta =0$ $\operatorname {E} ({\widehat {\theta }})-\theta =0$ ） - $\operatorname {E} ({\widehat {\theta }})-\theta =0$ $(\displaystyle$ \ $operatorname$ {E $})({\widehat$ { $theta$ }})-\ $theta =0$ 일 ${\widehat {\theta }}$ $^(\$ {\ $theta$ }})은 ${\widehat {\theta }}$ 편향되지 않습니다.

E $\operatorname {E} ({\widehat {\theta }})-\theta =\operatorname {E} ({\widehat {\theta }}-\theta )$ $\operatorname {E} ({\widehat {\theta }})-\theta =\operatorname {E} ({\widehat {\theta }}-\theta )$ $\operatorname {E} ({\widehat {\theta }})-\theta =\operatorname {E} ({\widehat {\theta }}-\theta )$ ） - $\operatorname {E} ({\widehat {\theta }})-\theta =\operatorname {E} ({\widehat {\theta }}-\theta )$ $\operatorname {E} ({\widehat {\theta }})-\theta =\operatorname {E} ({\widehat {\theta }}-\theta )$ $\operatorname {E} ({\widehat {\theta }})-\theta =\operatorname {E} ({\widehat {\theta }}-\theta )$ ^ - $\operatorname {E} ({\widehat {\theta }})-\theta =\operatorname {E} ({\widehat {\theta }}-\theta )$ ） $\operatorname {E} ({\widehat {\theta }})-\theta =\operatorname {E} ({\widehat {\theta }}-\theta )$ { $displaystyle \operatorname {E}({\widehat$ { $theta$ }}) - \ $theta$ = \ $operatorname {E}({\widehat {theta$ }}- $ta$ 이({\ta})가 bull 파라미터인 경우)이기 때문에 바이어스도 에러의 예상치입니다.화살의 평균 위치가 표적을 벗어났음을 의미하며, 상대적으로 낮은 절대 바이어스는 화살의 평균 위치가 표적에 있음을 의미합니다.분산되거나 클러스터될 수 있습니다.치우침과 분산의 관계는 정확도와 정밀도 사이의 관계와 유사합니다.

$^(\$ {\ $widetheta$ })는 ${\widehat {\theta }}$ $B({\widehat {\theta }})=0$ ) $=$ 0(\ $displaystyle$ B $({\widehat {theta$ }})= $0$ 인 $B({\widehat {\theta }})=0$ 에만 추정치 $^(\displaystyle \theta$ })의 $\theta$ 편향되지 않은 추정치입니다. 편향은 추정치의 속성이 아닙니다.종종 사람들은 "편향된 추정치" 또는 "편향되지 않은 추정치"를 언급하지만, 그들은 "편향된 추정치에 의한 추정치" 또는 "편향되지 않은 추정치에 의한 추정치"에 대해 이야기하고 있다.또한 사람들은 종종 단일 추정치의 "오차"와 추정치의 "바이어스"를 혼동한다.한 추정치의 오차가 크다고 해서 추정치가 치우친 것은 아닙니다.실제로 모든 추정치에 오차에 대한 천문학적인 절대값이 있더라도 오차의 기대값이 0이면 추정치는 치우치지 않습니다.또한 추정치가 편향되었다고 해서 특정 사례에서 추정치의 오차가 0이 되는 것을 배제하는 것은 아니다.이상적인 상황은 분산이 낮은 치우침이 없는 추정기를 사용하는 것이며 오차가 극심할 경우(즉, 특이치가 거의 없음) 표본의 수를 제한하려고 시도하는 것입니다.하지만 편견은 필수적이지 않다.종종 약간의 치우침만 허용되면 평균 제곱 오차가 더 작거나 특이치 표본 추정치가 더 적은 추정치를 사용할 수 있습니다.

위의 "편향되지 않음" 버전에 대한 대안은 "중간편향되지 않음"입니다. 여기서 추정치 분포의 중위수는 실제 값과 일치합니다. 따라서 장기적으로 추정치의 절반은 너무 낮고 절반은 너무 높습니다.이는 스칼라 값 추정치에만 즉시 적용되지만 분포의 중심 경향에 대한 모든 측정치로 확장할 수 있습니다. 즉, 중위수 비편향 추정치를 참조하십시오.

${\widehat {\theta }}$ 문제에서 ^ $^$ { style \ $widehat \theta }$ 는 ${\widehat {\theta }}$ $^$ { $display$ $\theta$ style \ $theta$ $p_{1}=1/4\cdot (\theta +2)$ 와 항상 함수 관계를 가질 수 있습니다. 예를 들어, 유전학상으로는 녹말녹색은 p $1 = 1$ /4 $†$ ( $p_{1}=1/4\cdot (\theta +2)$ + $2 )$ 의 $p_{1}=1/4\cdot (\theta +2)$ 로 발생한다고 합니다 $.$ $0<\theta <1$ < $0<\theta <1$ < $0<\theta <1$ { $displaystyle$ 0 < \ $theta < 1$ $0<\theta <1$ $N_{1}$ 。n { $displaystyle$ n}leave의 $n$ $경우$ , 녹말 $N_{1}$ 의 녹색 $N_{1}$ 잎의 $수인$ 랜덤 $변수$ N 1 { $N_{1}$ $displaystyle$ N_ ${1}$ 은 $Bin(n,p_{1})$ ( $Bin(n,p_{1})$ n $Bin(n,p_{1})$ , $Bin(n,p_{1})$ 1) $분포로 모델링할$ 수 있습니다. ${\widehat {\theta }}=4/n\cdot N_{1}-2$ 숫자는 ${\\$ $displaystyle$ $\theta$ \ $theta$ ${\widehat {\theta }}=4/n\cdot N_{1}-2$ : ${\widehat {\theta }}=4/n\cdot N_{1}-2$ ^ ${\widehat {\theta }}=4/n\cdot N_{1}-2$ 4 / ${\widehat {\theta }}=4/n\cdot N_{1}-2$ N ${\widehat {\theta }}=4/n\cdot N_{1}-2$ - ${$ ${\widehat {\theta }}$ $displaystyle$ { $wide$ ${\widehat {\theta }}$ } $=$ 4 $/$ $n$ \ $cdot N_{1}-$ 2 $}$ 의 ${\widehat {\theta }}$ 추정치를 나타내는 데 사용할 수 있습니다 $.$ $E[{\widehat {\theta }}]=E[4/n\cdot N_{1}-2]$ [ $E[{\widehat {\theta }}]=E[4/n\cdot N_{1}-2]$ / $E[{\widehat {\theta }}]=E[4/n\cdot N_{1}-2]$ $E[{\widehat {\theta }}]=E[4/n\cdot N_{1}-2]$ $E[{\widehat {\theta }}]=E[4/n\cdot N_{1}-2]$ 1 $E[{\widehat {\theta }}]=E[4/n\cdot N_{1}-2]$ - $]{$ $displaystyle$ E [ { \ $widehat$ { $theta$ } $= E$ [ 4 / $n$ \ $cdot$ $N$ _ { $1 }$ $E[{\widehat {\theta }}]=E[4/n\cdot N_{1}-2]$ $=4/n\cdot E[N_{1}]-2$ / $=4/n\cdot E[N_{1}]-2$ $=4/n\cdot E[N_{1}]-2$ [ $=4/n\cdot E[N_{1}]-2$ 1 $=4/n\cdot E[N_{1}]-2$ - $=4/n\cdot E[N_{1}]-2$ { $displaystyle = 4$ $=4/n\cdot np_{1}-2$ / $n }$ $=4/n\cdot np_{1}-2$ $=4/n\cdot np_{1}-2$ / $=4/n\cdot np_{1}-2$ $=4/n\cdot E[N_{1}]-2$ } $4\cdot 1$ /4 $\cdot (\theta +2)-2$ $=$ + $=\theta +2-2$ + 2 - $=\theta +2-2$ { $displaystyle$ =\ $theta$ } $=$ {\ $displaydisplaydisplay$ { displaystyle =\ $theta$ } $=\theta$ 。

수량 간의 관계

평균 제곱 오차, 분산 및 바이어스는 관련이 있습니다. $\operatorname {MSE} ({\widehat {\theta }})=\operatorname {Var} ({\widehat {\theta }})+(B({\widehat {\theta }}))^{2},$ $\operatorname {MSE} ({\widehat {\theta }})=\operatorname {Var} ({\widehat {\theta }})+(B({\widehat {\theta }}))^{2},$ ( $\operatorname {MSE} ({\widehat {\theta }})=\operatorname {Var} ({\widehat {\theta }})+(B({\widehat {\theta }}))^{2},$ ) $\operatorname {MSE} ({\widehat {\theta }})=\operatorname {Var} ({\widehat {\theta }})+(B({\widehat {\theta }}))^{2},$ Var $\operatorname {MSE} ({\widehat {\theta }})=\operatorname {Var} ({\widehat {\theta }})+(B({\widehat {\theta }}))^{2},$ （ $\operatorname {MSE} ({\widehat {\theta }})=\operatorname {Var} ({\widehat {\theta }})+(B({\widehat {\theta }}))^{2},$ ^ $\operatorname {MSE} ({\widehat {\theta }})=\operatorname {Var} ({\widehat {\theta }})+(B({\widehat {\theta }}))^{2},$ + $\operatorname {MSE} ({\widehat {\theta }})=\operatorname {Var} ({\widehat {\theta }})+(B({\widehat {\theta }}))^{2},$ ( $\operatorname {MSE} ({\widehat {\theta }})=\operatorname {Var} ({\widehat {\theta }})+(B({\widehat {\theta }}))^{2},$ ( $\operatorname {MSE} ({\widehat {\theta }})=\operatorname {Var} ({\widehat {\theta }})+(B({\widehat {\theta }}))^{2},$ ) $\operatorname {MSE} ({\widehat {\theta }})=\operatorname {Var} ({\widehat {\theta }})+(B({\widehat {\theta }}))^{2},$ ) $\operatorname {MSE} ({\widehat {\theta }})=\operatorname {Var} ({\widehat {\theta }})+(B({\widehat {\theta }}))^{2},$ 2 , \ $display \operatorname$ {MSE } ( \ $wide hat$ { \ theta } = \ $operatorname {Var$ } ( \ wide $hat$ { Var } ) ）（ \ $wide$ ）） $。$ $^{2},$ 즉 $\operatorname {MSE} ({\widehat {\theta }})=\operatorname {Var} ({\widehat {\theta }})+(B({\widehat {\theta }}))^{2},$ 평균 제곱 오차 = 분산 + 치우침 제곱.특히 치우치지 않은 추정기의 경우 분산은 평균 제곱 오차와 같습니다.
추정치 $^$ 의 표준편차 ^(\ $displaystyle\$ theta $)$ 또는 추정치 ${\widehat {\theta }}$ ${\$ 의 표준편차 ^(\ $displaystyle\theta$ 의 ${\widehat {\theta }}$ 표준편차 추정치 ${\widehat {\theta }}$ ^(\ $displaystyle\theta$ )를 표준오차라고 한다. $^$ { $displaystyle$ } { $widehat$ } $。$
바이어스-분산 트레이드오프는 모델의 복잡성, 과적합 및 과소적합에 사용됩니다.주로 알고리즘의 성능을 진단하기 위해 지도 학습 및 예측 모델링 분야에서 사용됩니다.

동작 속성

일관성.

일관된 추정기 수열은 지수(일반적으로 표본 크기)가 경계 없이 증가할 때 추정되는 수량에 확률로 수렴하는 추정기 수열입니다.즉, 표본 크기를 늘리면 추정기가 모집단 모수에 근접할 확률이 증가합니다.

수학적으로, 추정기_n {t; n } 0}의 시퀀스는 모든 > > 0에 대해 얼마나 작은지에 관계없이, 모수 if에 대한 일관된 추정기입니다.

\lim _{n\to \infty }\Pr \left\{\left|t_{n}-\theta \right|<\varepsilon \right\}=1

n

\lim _{n\to \infty }\Pr \left\{\left|t_{n}-\theta \right|<\varepsilon \right\}=1

\lim _{n\to \infty }\Pr \left\{\left|t_{n}-\theta \right|<\varepsilon \right\}=1

{

\lim _{n\to \infty }\Pr \left\{\left|t_{n}-\theta \right|<\varepsilon \right\}=1

-

\lim _{n\to \infty }\Pr \left\{\left|t_{n}-\theta \right|<\varepsilon \right\}=1

< }

=

\lim _{n\to \infty }\Pr \left\{\left|t_{n}-\theta \right|<\varepsilon \right\}=1

{

displaystyle \lim

_ {

n\to \infty

}\

Pr \left

\ {\

left t_{n}-\theta \right <\varepsilon \right

}

위에서 정의한 일관성은 약한 일관성이라고 할 수 있습니다.순서는 거의 확실하게 참값으로 수렴될 경우 매우 일관됩니다.

파라미터의 배수로 수렴하는 추정기는 추정기에 스케일 팩터, 즉 실제 값을 추정기의 점근 값으로 나눈 값을 곱함으로써 일관된 추정기로 만들 수 있다.이는 통계적 분산 측정에 의한 척도 모수의 추정에서 자주 발생한다.

점근 정규성

점근정규 추정기는 시료 크기 n이 커짐에 따라 표준편차가 $1/{\sqrt {n}}$ 1/ $(\$ 1 $/{\sqrt {n})$ 에 $1/{\sqrt {n}}$ 비례하여 축소되고 참 파라미터 θ 주위의 분포가 정규분포에 근접하는 일관성 있는 추정기이다.분포의 수렴을 나타내기 위해 ${\xrightarrow {D}}$ $(\$ 를 $\xrightarrow{D}$ 사용하면 다음과_n 같은 경우 t는 점근적으로 정상입니다.

\displaystyle {sqrt {n}(t_{n}-\theta) {\xright 화살표 {D}N(0,V)},}

V를 위해서요.

이 공식에서 V/n은 추정기의 점근 분산이라고 할 수 있습니다.그러나 일부 저자는 V를 점근 분산이라고도 합니다.어떤 유한한 "n"에 대해서도 수렴이 반드시 발생하지는 않으므로, 이 값은 추정기의 실제 분산에 대한 근사치일 뿐이며, 한계에서는 점근 분산(V/n)이 0입니다.좀 더 구체적으로 말하면, 추정기_n t의 분포는 ${\(\style \theta$ 를 중심으로 한 디랙 델타 함수로 약하게 수렴됩니다.

중심 한계 정리는 참 평균의 추정치로서 표본 ${\bar {X}}$ X ${\bar {X}}$ bar ${\bar {X}}$ {X})의 점근 정규성을 의미합니다.보다 일반적으로, 최대우도 추정치는 상당히 약한 규칙성 조건에서 점근적으로 정규적입니다. 최대우도 기사의 점근성 섹션을 참조하십시오.그러나 모든 추정치가 점근 정규 분포인 것은 아닙니다. 가장 간단한 예는 모수의 참 값이 허용 모수 영역의 경계에 있을 때 찾을 수 있습니다.

효율성.

추정기의 효율성은 "최소 오차" 방식으로 관심량을 추정하는 데 사용됩니다.실제로는 명시적인 최선의 추정치는 없으며 더 나은 추정기만 있을 수 있습니다.추정기의 효율성의 좋고 나쁨은 특정 손실 함수의 선택에 기초하며, 추정기의 두 가지 자연 바람직한 특성에 의해 반영된다. 즉, $\operatorname {E} ({\widehat {\theta }})-\theta =0$ 되지 않은 E $\operatorname {E} ({\widehat {\theta }})-\theta =0$ δ ( $\operatorname {E} ({\widehat {\theta }})-\theta =0$ ) - = $\operatorname {E} ({\widehat {\theta }})-\theta =0$ (\ $displaystyle \operatorname {E}$ (\ $wide {theta$ }}})-\ $theta = 0$ )- 최소 $\operatorname {E} ({\widehat {\theta }})-\theta =0$ 오차 제곱(MSE)이다. $\operatorname {E} [({\widehat {\theta }}-\theta )^{2}]$ - $\operatorname {E} [({\widehat {\theta }}-\theta )^{2}]$ ) $2$ ] ${\style \operatorname$ {E} $[(\widehat$ {\theta }-\ $theta)^{$ 2 $\operatorname {E} [({\widehat {\theta }}-\theta )^{2}]$ 일반적으로 이 두 가지를 동시에 충족할 수 없습니다. 치우치지 않은 추정기의 평균 제곱 오차는 치우친 추정기보다 낮을 수 있습니다(추정기 치우침 참조).함수는 평균 제곱 오차를 추정기 ^[4]편향과 연관시킵니다.

$\displaystyle \operatorname {E} [(\widehat {theta }-\theta)^{2}=(\operatorname {E})(\widehat {theta })^2}+\operatorname {Var}(\theta)\}$

첫 번째 항은 평균 제곱 오차를 나타내고, 두 번째 항은 추정기 치우침의 제곱을 나타내며, 세 번째 항은 표본의 분산을 나타냅니다.추정기의 품질은 분산, 추정기 치우침의 제곱 또는 MSE 간의 비교를 통해 확인할 수 있습니다.좋은 추정치의 분산(좋은 효율성)은 나쁜 추정치의 분산(나쁜 효율성)보다 작습니다.좋은 추정치가 있는 추정치 치우침의 제곱은 나쁜 추정치가 있는 추정치 치우침보다 작습니다.좋은 추정치의 MSE는 나쁜 추정치의 MSE보다 작습니다.2개의 에스티메이터가 $\theta _{1}$ 가정합니다.1 ${$ $displaystyle \theta _$ { $}$ $\theta _{2}$ {\2 ${$ $displaystyle \theta$ _ { $}$ 。위의 관계는 다음 공식으로 나타낼 수 있습니다.

$\operatorname {Var}(\theta _{1}) <\operatorname {Var}(\theta _{2})$

$\displaystyle \operatorname {E}({\theta}_{1})-\theta < \operatorname {E}({2}})-\theta }$

$\operatorname {MSE}(\theta _{1}) <\operatorname {MSE}(\theta _{2})$

추정기의 효율성을 식별하기 위해 공식을 사용하는 것 외에도 그래프를 통해 식별할 수 있습니다.추정기가 효율적일 경우 주파수 대 값 그래프에서 중심에는 높은 주파수의 곡선이 있고 양쪽에 낮은 주파수의 곡선이 있습니다.예를 들어 다음과 같습니다.

주파수 대 값 그래프인 추정기가 효율적이지 않으면 비교적 완만한 곡선이 나타납니다.

간단히 말하면, 좋은 추정치는 곡선이 좁은 반면 나쁜 추정치는 곡선이 큽니다.이 두 곡선을 공유 Y축을 사용하여 하나의 그래프에 표시하면 차이가 더욱 뚜렷해집니다.

편중되지 않은 추정치 중에는 최소 분산 편중 추정치(MVUE)라고 하는 분산이 가장 낮은 추정치가 있는 경우가 많습니다.어떤 경우에는 편향되지 않은 추정치들 사이에서 가장 낮은 분산을 갖는 것 외에 변수의 통계량에 대한 절대 하한인 크라메르-라오 경계를 충족하는 편향되지 않은 효율적인 추정치가 존재한다.

그러한 "최상의 편견이 없는 추정량"에 관해서는 크라메르-라오 결합, 가우스-마르코프 정리, 레만-셰페 정리, 라오-블랙웰 정리를 참조한다.

견고성

「」를 참조해 주세요.

레퍼런스

^ Mosteller, F.; Tukey, J. W. (1987) [1968]. "Data Analysis, including Statistics". The Collected Works of John W. Tukey: Philosophy and Principles of Data Analysis 1965–1986. Vol. 4. CRC Press. pp. 601–720 [p. 633]. ISBN 0-534-05101-4 – via Google Books.
^ Kosorok(2008), 섹션 3.1, 페이지 35-39.
^ Jaynes (2007), 페이지 172.
^ Dekking, Frederik Michel; Kraaikamp, Cornelis; Lopuhaä, Hendrik Paul; Meester, Ludolf Erwin (2005). "A Modern Introduction to Probability and Statistics". Springer Texts in Statistics. doi:10.1007/1-84628-168-7. ISSN 1431-875X.

추가 정보

를 클릭합니다Bol'shev, Login Nikolaevich (2001) [1994], "Statistical estimator", Encyclopedia of Mathematics, EMS Press.
를 클릭합니다Jaynes, E. T. (2007). Probability Theory: The logic of science (5 ed.). Cambridge University Press. ISBN 978-0-521-59271-0..
Kosorok, Michael (2008). Introduction to Empirical Processes and Semiparametric Inference. Springer Series in Statistics. Springer. doi:10.1007/978-0-387-74978-5. ISBN 978-0-387-74978-5.
Lehmann, E. L.; Casella, G. (1998). Theory of Point Estimation (2nd ed.). Springer. ISBN 0-387-98502-6.
Shao, Jun (1998), Mathematical Statistics, Springer, ISBN 0-387-98674-X

외부 링크

추정 이론의 기초

[1] Mosteller, F.; Tukey, J. W. (1987) [1968]. "Data Analysis, including Statistics". The Collected Works of John W. Tukey: Philosophy and Principles of Data Analysis 1965–1986. Vol. 4. CRC Press. pp. 601–720 [p. 633]. ISBN 0-534-05101-4 – via Google Books.

[2] Kosorok(2008), 섹션 3.1, 페이지 35-39.

[3] Jaynes (2007), 페이지 172.

[4] Dekking, Frederik Michel; Kraaikamp, Cornelis; Lopuhaä, Hendrik Paul; Meester, Ludolf Erwin (2005). "A Modern Introduction to Probability and Statistics". Springer Texts in Statistics. doi:10.1007/1-84628-168-7. ISSN 1431-875X.

[1]

[2]

[3]

[4]

Search

추정기

네임스페이스

더

목차

배경

정의.

수량화된 속성