일관성 추정기

통계에서 일관성 있는 추정기 또는 무증상적으로 일관된 추정기는 데이터 포인트 수가 무한정 증가할수록 추정의 결과 순서는 확률로₀ 수렴되는 특성을 갖는 추정기(모수 θ의₀ 추정치를 계산하는 규칙)이다. 이는 추정치 분포가 추정되는 모수의 참값 근처에 점점 더 집중되어 추정치가 임의로 θ에₀ 근접할 확률은 1로 수렴된다는 것을 의미한다.

실제로 추정기를 n 크기의 사용 가능한 샘플의 함수로 구성한 다음 계속해서 데이터를 수집하고 샘플 광고 인피니텀을 확장할 수 있다고 상상한다. 이러한 방식으로 n에 의해 지수화된 일련의 추정치를 얻을 수 있으며, 일관성은 표본 크기가 "무한으로 이동"하면서 발생하는 속성이 된다. 추정의 순서가 실제 값 θ에₀ 확률로 수렴하는 것을 수학적으로 보여줄 수 있는 경우에는 일관된 추정기라고 하고, 그렇지 않으면 추정기가 일관되지 않는다고 한다.

여기서 정의한 일관성을 약한 일관성이라고 부르기도 한다. 확률의 수렴을 거의 확실한 수렴으로 대체할 때, 추정기는 강하게 일관된다고 한다. 일관성은 편향과 관련이 있다. 편향 대 일관성을 보라.

정의

형식적으로 말하면, 매개변수 θ의 추정기 T는_n 매개변수의 참값으로 확률적으로 수렴되는 경우,^[1] 일관성이 있다고 한다.

${\displaystyle {\n\to \infit }{\putname {plim}}}\;T_{n}=\theta .}$

즉, 만약, 모든 0 > 0에 대해

$\displaystyle \lim _{n\to \flt }\Pr {\big (}T_{n}-\theta >\varepsilon {\big )}=0.}$

보다 엄격한 정의는 θ이 실제로 알려져 있지 않다는 사실을 고려하며, 따라서 확률의 수렴은 이 매개변수의 가능한 모든 값에 대해 이루어져야 한다. {p_θ: θ ∈ }}이(가) 분포의 패밀리(모수 모델)이고, X^θ = {X₁, X₂, … : X_i ~ p_θ}이(가_θ) 분포 p의 무한 표본이라고 가정한다. { T_n(X^θ) }을(를) 일부 매개 변수 g(을)에 대한 추정기의 시퀀스가 되도록 한다. 일반적으로 T는_n 표본의 첫 번째 n개 관측치에 기초한다. 그렇다면 이 시퀀스 {T_n}은(는) 다음과 같이 (약하게) 일관된다고 한다.

${\displaystyle {\n\to \infit }{\putname {plim}}}\;T_{n}(X^{\theta }})=g(\theta }),\\\{\text{all}\\\theta \in.}$

이 정의는 단순히 θ 대신에 g(θ)를 사용한다. 왜냐하면 종종 어떤 함수나 기본 매개변수의 하위 벡터를 추정하는 데 관심이 있기 때문이다. 다음 예에서는 모형의 위치 모수를 추정하지만 척도는 추정하지 않는다.

예

정규 랜덤 변수의 표본 평균

하나의 관측치가 정규 N(μ, μ²) 분포에서 {X, X₁₂, ...}의 관측치 시퀀스를 가지고 있다고 가정합시다. 첫 번째 n개의 관측치를 바탕으로 μ를 추정하려면 표본 평균을 다음과 같이 사용할 수 있다. T_n = (X₁ + … + X)/n_n 이것은 표본 크기 n에 의해 색인화된 추정기의 순서를 정의한다.

정규 분포의 속성에서 이 통계량의 표본 분포는 다음과 같다. T는_n 그 자체로 보통 분포하며 평균 μ와 분산 σ²/n이다. 동등하게${\displaystyle }$( ${\displaystyle {}_{}}$ ${\displaystyle n_{}}$- ${\displaystyle \mu }$ )${\displaystyle }$/ (${\displaystyle )}$/ ${\displaystyle n\sqrt{}}$) ${\$은(는) 표준 정규 분포를 가지고 있다$$.

${\displaystyle \Pr \!\왼쪽[\, T_{n}-\mu \geq \varepsilon \,\right]=\Pr \!\left[{\frac {{\sqrt {n}}\,{\big }T_{n}-\mu {\big }}{\sigma }}\geq {\sqrt {n}}\varepsilon /\sigma \right]=2\left(1-\Phi \left({\frac {{\sqrt {n}}\,\varepsilon }{\sigma }}\right)\right)\to 0}$

n은 무한대로, 어떤 고정된 ε > 0에 대해서. 따라서 표본 평균의 시퀀스 T는_n 모집단 평균 μ에 대해 일관된다($EXT{\displaystyle \mathrm{}}$ ${\displaystyle \Phi }$이(가) 정규 분포의 누적 분포임을 상기).

일관성 설정

무증상 일관성의 개념은 확률의 수렴 개념과 거의 동의어로 매우 가깝다. 이와 같이 확률의 수렴을 설정하는 정리, 보조정리 또는 속성을 사용하여 일관성을 입증할 수 있다. 그러한 툴은 다음과 같이 많이 존재한다.

• 정의에서 직접 일관성을 입증하기 위해 불평등을 사용할 수 있다.

${\displaystyle \Pr \!{\big [}h(T_{n}-\theta )\geq \varepsilon {\big ]\frac {\properatorname {E} {\big [}h(T_-\ta){\big ]}{h(varepsilon),}},}},}},},},}$

함수 h에 대한 가장 일반적인 선택은 절대값(이 경우 마르코프 불평등이라고 알려져 있음) 또는 2차 함수(존중 체비셰프의 불평등)이다.

• 또 다른 유용한 결과는 연속 매핑 정리: T가_n θ에 대해 일관성이 있고 g(·)가 θ 지점에서 연속되는 실제 값 함수라면 g(T_n)는 g(()에 대해 일관성이 있을 것이다.^[4]

${\displaystyle T_{n}\\\xrightarrow {p}\theta \quad \Rightarrow \quad g(T_{n})\\\xrightarrow {p}\g(\theta )}$

• 슬루츠키의 정리는 여러 가지 다른 추정기 또는 비랜덤 수렴 시퀀스를 가진 추정기를 결합하는 데 사용될 수 있다. T_n ^d→α, S ^p→β일_n 경우

$디스플레이 스타일 {\displaystyle}&T_{n}+S_{n}\ {\xrightarrow {d}}\ \alpha +\beta ,\\&T_{n}S_{n}\ {\xrightarrow {d}}\ \alpha \beta ,\\&T_{n}/S_{n}\ {\xrightarrow {d}}\ \alpha /\beta ,{\text{ provided that }}\beta \neq 0\end{aligned}}}$

• 추정자 T가_n 명시적 공식에 의해 주어진다면, 이 공식은 대부분 난수 합계를 채택할 것이고, 그 다음 큰 숫자의 법칙을 사용할 수 있다: 난수 변수의 순서 {X_n}에 대해 적절한 조건 하에서,

${\displaystyle {\frac {1}{n1}\sum _{i=1}^{n(X_{i})\\\xrightarrow {p}\\\operatorname {E}[\,g(X)\,]}$

• 추정기 T가_n 예를 들어 특정 객관적 기능을 최대화하는 값으로 암묵적으로 정의된다면(극단추정기 참조), 확률적 등거리와 관련된 보다 복잡한 주장을 사용해야 한다.^[6]

치우침 대 일관성

치우치지 않지만 일관되지 않음

추정기는 편향되지 않을 수 있지만 일관성이 없다. 예를 들어 iid 샘플 {x
₁,..., x
_n}의 경우 T
_n(X) = x를
_n 평균 E[x]의 추정기로 사용할 수 있다. 여기서 T의
_n 표본 분포는 기초 분포와 같으므로(어떤 n에 대해서도 마지막 점을 제외한 모든 점을 무시하므로), E[T
_n(X)] = E[x]이며 치우치지 않지만 어떤 값에도 수렴되지 않는다.

그러나 일련의 추정기가 치우치지 않고 어떤 값으로 수렴되는 경우에는 정확한 값으로 수렴해야 하므로 일관성이 있다.

편향적이지만 일관적인

또는 추정자는 편향될 수 있지만 일관될 수 있다. 예를 들어 평균이 ${\displaystyle \frac{\mathrm{1n}}{}}$ ${\displaystyle \sum }$ x ${\displaystyle i_{}}$+ ${\displaystyle \frac{\mathrm{1n}}{}}$ ${\$1$\over n}\sum x_{i}+{1 \n}}}$로 추정되면$$ 편향되지만 $n{\displaystyle }$→ ${\displaystyle \mathrm{\infty }}$ ${\displaysty n\rightarrow \infty}$로 정확한 값에 근접하므로 일관성이 있다$.$

중요한 예로는 표본 분산과 표본 표준 편차를 들 수 있다. 베셀의 보정이 없으면(즉, $자유$도 ${\displaystyle \mathrm{n}}$- 1$${\$displaystyle n-1}$ 대신$$ $표본{\displaystyle }$ 크기$$n {\$displaystyle$ n$}$을 사용할 때),$$ 이들은 모두 부정적으로 편향되지만 일관된 추정기입니다. 보정을 통해 보정된 표본 분산은 편향되지 않은 반면 보정된 표본 표준 편차는 여전히 편향되지만 덜 편향되며, 두 가지 모두 일관성이 있다: 보정 계수는 표본 크기가 커질수록 1로 수렴된다.

여기 다른 예가 있어. $T{\displaystyle {}_{}}$ ${\displaystyle n_{}}$ ${\$을(를) $\theta {\displaystyle }$ ${\displaystyle \theta}$ 에 대한 추정기의 시퀀스로 두십시오$$$.$

${\displaystyle \Pr(T_{n})={\begin{case}1-1/n,&\mbox{n}\ta \1/n,&\mbox{ifa}}}}\,T_{n}=n\delta +\ta \case}}}}}}}}}$

${\displaystyle {Tn}_{}\stackrel{}{}}$→ p ${\displaystyle T_{n}{\xrightarrow{p}}\theta$ $E{\displaystyle \mathrm{}}$ ${\displaystyle }$ [${\displaystyle {Tn}_{}]}$ = ${\displaystyle \delta }$+ ${\displaystyle \Delta }$ ${\displaysty \operatorname {E} [T_{n}]=\ta +\delta$ $\},$ 치우침이 0으로 수렴되지 않는 것을 알 수 있다.

참고 항목

• 효율 추정기
• Fisher 일관성 - 추정기에 대해 일관성의 개념은 거의 사용되지 않지만 대안
• 회귀 희석
• 통계 가설 검정

메모들

참조

• Amemiya, Takeshi (1985). Advanced Econometrics. Harvard University Press. ISBN 0-674-00560-0.
• Lehmann, E. L.; Casella, G. (1998). Theory of Point Estimation (2nd ed.). Springer. ISBN 0-387-98502-6.
• Newey, W. K.; McFadden, D. (1994). "Chapter 36: Large sample estimation and hypothesis testing". In Robert F. Engle; Daniel L. McFadden (eds.). Handbook of Econometrics. 4. Elsevier Science. ISBN 0-444-88766-0. S2CID 29436457.
• Nikulin, M. S. (2001) [1994], "Consistent estimator", Encyclopedia of Mathematics, EMS Press
• Sober, E. (1988), "Likelihood and convergence", Philosophy of Science, 55 (2): 228–237, doi:10.1086/289429.

외부 링크

• Mark Thoma의 YouTube에서 Econometrics 강의(주제: 불편함 vs. 일관성 있음)