추정기의 치우침
Bias of an estimator통계학에서 추정기(또는 치우침 함수)의 치우침은 이 추정기의 기대값과 추정할 모수의 실제 값 사이의 차이입니다.치우침이 0인 추정자 또는 결정 규칙을 비편향이라고 합니다.통계학에서 "바이어스"는 추정기의 객관적 속성입니다.치우침은 일관성과는 다른 개념입니다. 일관된 추정치는 모수의 실제 값으로 수렴되지만 편향되거나 편향되지 않을 수 있습니다. 자세한 내용은 치우침 대 일관성을 참조하십시오.
다른 모든 것이 동일하다면, 편향되지 않은 추정기가 편향된 추정기보다 선호되지만, 실제로는 편향된 추정기(일반적으로 편향이 작은)가 자주 사용된다.치우친 추정기를 사용하면 치우침의 한계가 계산됩니다.편향된 추정기는 다양한 이유로 사용될 수 있다: 모집단에 대한 추가적인 가정 없이는 편향되지 않은 추정기가 존재하지 않기 때문에; (표준 편차의 편향되지 않은 추정에서처럼) 추정기를 계산하기가 어렵기 때문에; 편향된 추정기는 중심 경향의 다른 측정치에 대해 편향되지 않을 수 있기 때문에;편향 추정기는 편향되지 않은 추정기(수축 추정기에 포함)에 비해 일부 손실 함수(특히 평균 제곱 오차)의 낮은 값을 제공하거나, 일부 경우에 편향되지 않은 것이 너무 강한 조건이고, 편향되지 않은 추정기만이 유용하지 않기 때문이다.
치우침은 또한 평균(기대값)이 아닌 중앙값과 관련하여 측정할 수 있으며, 이 경우 중앙값-편향되지 않은 특성을 일반적인 평균-편향 특성과 구별할 수 있다.평균-불편향성은 비선형 변환에서는 보존되지 않지만(변환의 § 효과 참조), 예를 들어 표본 분산은 모집단 분산에 대한 편향 추정기이다.이것들은 모두 다음에 나타나 있습니다.
정의.
관측 데이터에 대한 확률 분포를 생성하는 실수 ,에 의해 매개 변수화된 통계 모델, ( ) ( )= P ( x ) = ( x ) =P ( x \ \ theta)및 통계 ( \ \ sheat )가 있다고 가정합니다.x즉, 데이터가 미지의 P ))(x )(여기서 is는 이 분포의 일부인 고정 미지의 상수)를 따른다고 가정하고 관측 데이터를 가까운 값에 매핑하는 추정기 \theta})를 구축합니다.에 ^(\displaystyle\theta의 편향은 다음과 같이 정의됩니다[1].
서 E x { style \ } { \ \ } 、 \ P \ \ ( \ ) ( \ displaystyle x) 。두 번째 방정식은 is가 조건부 P ( P (에 대해 측정 가능하기 때문에 다음과 같습니다.
추정기는 그 치우침이 파라미터 θ의 모든 값에 대해 0과 같거나 추정기의 기대치가 [2]파라미터의 값과 일치하면 치우침이 없다고 한다.
추정기의 특성에 관한 시뮬레이션 실험에서 추정기의 바이어스는 평균 부호차를 사용하여 평가할 수 있다.
예
표본 분산
랜덤 변수의 표본 분산은 추정기 편중의 두 가지 측면을 보여준다. 첫째, 스케일 인자에 의해 보정될 수 있는 순진한 추정기는 편중되어 있다. 둘째, 편중되지 않은 추정기는 다른 스케일 인자를 사용하여 최소화할 수 있는 평균 제곱 오차(MSE)의 측면에서 최적화되지 않으며, 결과적으로 낮은 e를 가진 편중 추정기를 생성한다.비편향 추정기보다 rMSE가 높습니다.구체적으로, 순진한 추정기는 편차의 제곱을 합산하고 편향된 n으로 나눕니다.대신 n - 1로 나누면 치우치지 않은 추정치가 생성됩니다.반대로 MSE는 (분포에 따라) 다른 수로 나누어 최소화할 수 있지만, 이로 인해 편향된 추정기가 발생합니다.이 값은 항상 n - 1보다 크므로 비편향 추정기를 0으로 "수축"하기 때문에 수축 추정기라고 합니다. 정규 분포의 경우 최적 값은 n + 1입니다.
X, ..., X가n 독립적이고 기대 μ 및 분산 θ를2 갖는(즉, 동일 분포) 랜덤 변수라고 가정합니다1.표본 평균 및 보정되지 않은 표본 분산을 다음과 같이 정의하는 경우:
S는2 θ의2 편향된 추정치이다.
이어서 X의 에서({ { 1n Xi {X}) =1} { {X_를 빼면 과 같이 됩니다.
즉, (교차 곱셈에 ) ( X - ) ( - ) (\ n \ ( \ {} - \ ) = \ _ { i n } ( _ { } - \ ) 그 후, 전자는 다음과 같습니다.
이는 위의 보정되지 않은 표본 분산에 대한 예상 부등식 에 대해 비에나예 공식에 따라 E [ ( - ) 2] 2 { } { \ [ \ { X \ } { E } { \ big } ( { \ big overline { X \ mu μ } } } ^{ 2 } } ^{ 2 } } ^{ } } ^{ } } ^{ } } } } ^{ } } }.
즉, 보정되지 않은 표본 분산의 기대값은 정규화 인자를 곱하지 않는 한 모집단 분산 θ과2 같지 않습니다.반면 표본 평균은 모집단 평균 [2]μ의 편향되지 않은 추정치입니다[3].
샘플 분산의 일반적인 정의는 S n - i n ( X - ) ( \ S이며, 이는 unator 입니다.
대수적으로 말하면 E [ S 2 { \{ E } [ {2}]는 다음과 같은 이유로 치우침이 없다.
여기서 두 번째 라인으로의 전환은 편향된 추정치에 대해 위에서 도출한 결과를 사용합니다. E [S ] \ } = \ ^ {2}= \ sigma ^ {2} ( i- \ S^ { - { 1 { n } { sum }분산의 치우친(수정되지 않은) 추정치와 치우치지 않은 추정치 사이의 비율을 베셀 보정이라고 합니다.
그 이유는 사실 μ에 샘플 평균은 평범한 가장 맞아떨어지는군(광학 착륙 시스템)추정자:X는 합 ∑게 만든다 나는 갈1n(X나는 X− ¯)2{\displaystyle \sum_{i=1}(X_{나는}-{\overline{X}})^{2}({\displaystyle{\overline{X}}}은 번호}로서 틀린 표본 분산, S2는 편향된 줄기. s가능한 한 많이.즉, 이 합계에 다른 숫자를 대입하면 합계가 증가할 수 있습니다. 선택지 μ X ( \ \ 는 다음과 같습니다.
그리고 나서.
위의 설명은 기하학적 용어로 이해할 수 있다. ( -μ , , -μ) { = (, \, ) u 으로 "평균 부분"으로 분해할 수 있다.그리고 그 방향의 직교 보완 초평면에 도달합니다.u ( - , , X - )( style { } ={X} - \ mu , \ , { \ { } - \ ) →、 、、 。는 보완 부품입니다.이것은 직교 분해이므로, 피타고라스의 정리는 2 + 2 2} = + {B} 2}})라고 하며, 기대치를 - nμ (X이 된다와 같이 {2 \ [ ( n {\ n에서 X_})를 추출한 경우와 같이 C {{ {의 분포가 회전 대칭인 경우, 평균적으로 { {u의 치수는 C {C}에 기여한다.lly는 u에 인n-1({}) {{{ 2 2 { \ left {X→ {\fright} 2 = ^ \ [ {2} ] ={ ( n - )\ ^ {} } 이것은 위에서 설명한 바와 같이 사실 일반적으로 사실이다.
포아송 확률 추정
치우치지 않은 추정치보다 편향된 추정치가 더 나은 극단적인 경우는 포아송 [4][5]분포에서 발생합니다.X의 포아송 분포가 기대 θ라고 가정합니다.추정하는 것이 바람직하다고 가정합니다.
(예를 들어 전화 교환기에서의 착신 콜이 포아송 프로세스로서 모델화되어 분당 평균 콜 수, e가−2λ 다음 2분 이내에 콜이 도착하지 않을 확률)의 샘플입니다.
편향되지 않은 추정치 δ(X)의 기대치는 추정치와 같기 때문에, 즉,
편향되지 않은 추정치를 구성하는 데이터의 유일한 함수는 다음과 같다.
이를 확인하기 위해, e를 기대 표현식에서 분해할−λ 때 남은 합계는 ee−λ = e를−2λ 산출하는−λ−λ Taylor 급수 확장도 된다는 점에 유의하십시오(지수 함수의 특성화 참조).
X의 관측값이 100이면 추정치는 1이지만 추정 수량의 실제 값은 0에 가까울 가능성이 매우 높습니다. 이는 정반대 극단값입니다.그리고 X가 101로 관찰되면 추정치는 더 터무니없다.추정 수량은 양수여야 하지만 -1입니다.
이 편견이 없는 추정치보다 훨씬 낫습니다.그것의 값은 항상 양수일 뿐만 아니라 그것의 평균 제곱 오차가 있다는 점에서 더 정확하다.
더 작습니다.편향되지 않은 추정치의 MSE를 비교합니다.
MSE는 true 값 λ의 함수입니다.최대우도 추정기의 치우침은 다음과 같습니다.
이산 균일한 분포의 최대값
최대우도 추정치의 치우침은 상당할 수 있습니다.1 ~ n의 번호가 매겨진 티켓이 1개씩 상자에 담겨져 1개가 랜덤으로 선택되고 값 X가 주어지는 경우를 생각해 보겠습니다.n을 알 수 없는 경우 n의 최대우도 추정치는 X가 됩니다.이것은 주어진 X의 기대치가 (n + 1)/2에 불과하지만, n이 적어도 X이고, 아마도 그 이상이라는 것만을 확신할 수 있습니다.이 경우 자연 불편 추정치는 2X - 1입니다.
중위수-편향되지 않은 추정치
중앙값 비편향 추정기 이론은 1947년 [6]조지 W. 브라운에 의해 부활했다.
1차원 모수 θ의 추정치는 고정 θ에 대해 추정 분포의 중앙값이 값 θ에 있는 경우 중앙값 비편향이라고 한다. 즉, 추정치는 과대평가되는 빈도와 동일하게 과소평가된다.이 요건은 대부분의 경우 평균 비편향 요건만큼 달성되는 것으로 보이며 일대일 변환 시 불변하다는 추가 특성이 있다.
중앙값 비편향 추정기의 추가 특성은 Lehmann, Birnbaum, van der Vaart 및 Panzagl에 [citation needed]의해 확인되었다.특히, 평균 비편향 추정기와 최대우도 추정기가 존재하지 않는 경우 중위수 비편향 추정기가 존재합니다.이들은 일대일 변환에서는 항상 변함이 없습니다.
단일 모수 지수군과 같이 최적(평균-편향 추정기에 [7][8]고려되는 최소 분산 특성과 유사한 의미)을 보장하기 위해 단조 우도-함수를 갖는 확률 분포에 대해 중위수-편향 추정기를 구성하는 방법이 있다.그러한 절차 중 하나는 평균 비편향 추정기에 대한 Rao-Blackwell 절차의 유사점이다.이 절차는 평균 비편향 추정에 대한 Rao-Blackwell 절차보다 더 작은 수준의 확률 분포에 대해 유지되지만 손실 [8]함수의 더 큰 등급에 대해 유지된다.
다른 손실 함수에 대한 편견
가우스가 관찰한 바와 같이,[9] 모든 최소 분산 평균 비편향 추정기는 (평균 비편향 추정기 중) 제곱 오차 손실 함수와 관련하여 위험(예상 손실)을 최소화한다.최소 평균 절대 편차 중위수 비편향 추정기는 Laplace에서 [9][10]관찰한 바와 같이 절대 손실 함수(중앙값 비편향 추정기 중)와 관련된 위험을 최소화합니다.기타 손실 함수는 통계, 특히 견고한 [9][11]통계에서 사용됩니다.
변혁의 효과
일변량 모수의 경우 중위수 비편향 추정치는 순서를 보존하는 변환(또는 역순서)에서 중위수 비편향 상태로 유지됩니다.변환이 평균 비편향 추정기에 적용될 때, 결과는 해당 모집단 통계량의 평균 비편향 추정기가 될 필요는 없습니다.옌센의 부등식에 의해 변환으로서의 볼록함수는 양의 편견을 도입하고, 오목함수는 음의 편견을 도입하며, 혼합 볼록함수는 특정 함수와 분포에 따라 어느 방향으로든 편견을 도입할 수 있다.즉, 비선형 함수 f와 모수 p의 평균-편향 추정기 U의 경우, 복합 추정기 f(U)는 f(p)의 평균-편향 추정기일 필요는 없다.예를 들어, 모집단 분산의 비편향 추정기의 제곱근은 모집단 표준 편차의 평균 비편향 추정기가 아닙니다. 즉, 비편향 표본 분산의 제곱근인 보정 표본 표준 편차가 치우쳐 있습니다.치우침은 추정기의 표본 분포와 변환에 따라 달라지며, 계산에 상당히 관여할 수 있습니다. 이 경우 표준 편차의 치우침 없는 추정을 참조하십시오.
치우침, 분산 및 평균 제곱 오차

능선 회귀 분석은 약간의 편향을 허용하면 분산이 상당히 감소하고 전체적으로 더 신뢰할 수 있는 추정치가 되는 기술의 한 예입니다.
바이어스는 추정기와 기본 파라미터 사이에 예상되는 평균 차이를 수량화하는 반면, 유한샘플에 기초한 추정기는 샘플의 랜덤성 때문에 파라미터와 다를 것으로 추가적으로 예상할 수 있다.
두 가지 유형의 차이를 모두 반영하기 위해 사용되는 한 가지 척도는 평균 제곱 [1]오차입니다.
이는 편중의 제곱과 [1]분산을 더한 값입니다.
파라미터가 벡터일 경우 유사한 분해가 적용됩니다.[12]
어디에
추정기의 공분산 행렬 추적입니다.
편향을 최소화하는 추정기가 반드시 평균 제곱 오차를 최소화하는 것은 아니다.
예: 모집단 분산 추정
예를 들어,[13] 형식의 추정자가
위와 같이 모집단 분산을 구하지만 이번에는 MSE를 최소화하기 위해 구한다.
변수1 X가...X는n 정규 분포를 따르며, nS2/θ는2 n - 1 자유도의 카이 제곱 분포를 가지며, 다음과 같은 값을 제공합니다.
그래서
약간의 대수학으로 이 결합 손실 함수를 최소화하는 것은 바이어스 항만을 최소화하는 c = 1/(n - 1)가 아니라 c = 1/(n + 1)임을 확인할 수 있다.
보다 일반적으로, 모수 값과 독립적으로 MSE를 최소화하는 추정기가 존재하는 것은 제한된 종류의 문제일 뿐이다.
그러나 편중-분산 트레이드오프가 있을 수 있으므로 편중 증가가 분산의 큰 감소와 교환되어 전체적으로 더 바람직한 추정치를 얻을 수 있다.
베이지안 뷰
대부분의 베이시안들은 추정치의 편중성에 대해 다소 무관심하다(적어도 위의 형식적인 표본 추출 이론의 의미).예를 들어, 겔만과 공저자(1995)는 다음과 같이 쓰고 있다: "베이지안 관점에서 보면, 편중성의 원리는 큰 표본의 한계에서는 타당하지만, 그렇지 않으면 잠재적으로 오해를 일으킬 [14]수 있다."
기본적으로, 베이지안 접근법과 위의 샘플링 이론 접근법의 차이는 샘플링 이론 접근법에서 매개변수가 고정된 것으로 받아들여진 다음 데이터의 예측 샘플링 분포에 기초하여 통계량의 확률 분포를 고려한다는 것이다.그러나 베이지안의 경우, 그것은 알려져 있고 고정된 데이터이며, 베이지스의 정리를 사용하여 확률분포를 구성하려는 시도가 이루어지는 미지의 매개변수이다.
여기서 두 번째 항에서는 미지의 파라미터 값 θ가 주어지는 데이터의 우도는 취득한 데이터와 데이터 생성 프로세스의 모델링에만 의존한다.그러나 베이지안 계산에는 데이터가 들어오기 전에 분석가가 §에 대해 알고 있거나 의심할 수 있는 모든 것을 고려하는 §에 대한 사전 확률인 첫 번째 항도 포함된다.이 정보는 샘플링 이론 접근법에는 관여하지 않는다. 실제로 이 정보를 포함하려는 시도는 순수하게 데이터에 의해 지적된 것과 동떨어진 "편견"으로 간주될 수 있다.베이지안 계산이 사전 정보를 포함하는 한, 따라서 그들의 결과가 샘플링 이론의 관점에서 "편향되지 않는" 것은 필연적으로 불가피하다.
그러나 베이지안 접근법의 결과는 베이지안이 "비정보적"을 먼저 채택하려고 해도 샘플링 이론 접근법과 다를 수 있다.
예를 들어, 평균이 불분명한 정규 분포의 알 수 없는 모집단 분산 θ의2 추정치를 다시 고려하십시오. 여기서 기대 손실 함수에서 c를 최적화하는 것이 좋습니다.
이 문제에 대한 정보를 제공하지 않는 표준적인 선택은 Jeffreys previor p 1/ 2 \ \ style ( \ ^ { } \ ;\ \ ; / \ ^ {}}。이는 ln(')에2 대해 rescaling-variant plative plative plative plat를 채택하는 것과 동일합니다.
이를 채택한 한 가지 결과는2 S/θ가 중추적인 양으로 유지된다는2 것이다. 즉, S/θ의2 확률2 분포는 S 또는2 θ의2 값과2 무관하게 S/θ에만 의존한다2.
단,
그에 반해서
- 베이지안 케이스에서와 같이 주어진 S의22 확률 분포에 대한 기대가 받아들여지면, 주어진 S가2 아니라2, 더 이상 θ를4 상수로 받아들여 인수할 수 없다.그 결과, 표본이론 계산과 비교하여 베이지안 계산은 (표본이론 계산에서는 할 수 없는 것처럼) 이 제곱 손실 함수에서 θ의2 큰 값을 과소평가하는 결과가 제곱 손실 측면에서 보다 비용이 많이 든다는 것을 적절히 고려하면서 더 큰 θ의2 값에 더 무게를 둔다.values의2 작은 값을 과대평가하는 것.
계산된 베이지안 계산은 θ의2 후방 확률 분포에 대해 n - 1 자유도의 스케일 역 카이 제곱 분포를 제공한다.예상되는 손실은2 cnS = <cn2>일 때 최소화됩니다.이것은 c = 1/(n - 3)일 때 발생합니다.
따라서 사전 정보가 없어도 베이지안 계산은 대응하는 샘플링 이론 계산과 동일한 기대 손실 최소화 결과를 제공하지 않을 수 있다.
「 」를 참조해 주세요.
메모들
- ^ a b c Kozdron, Michael (March 2016). "Evaluating the Goodness of an Estimator: Bias, Mean-Square Error, Relative Efficiency (Chapter 3)" (PDF). stat.math.uregina.ca. Retrieved 2020-09-11.
- ^ a b Taylor, Courtney (January 13, 2019). "Unbiased and Biased Estimators". ThoughtCo. Retrieved 2020-09-12.
- ^ Richard Arnold Johnson; Dean W. Wichern (2007). Applied Multivariate Statistical Analysis. Pearson Prentice Hall. ISBN 978-0-13-187715-3. Retrieved 10 August 2012.
- ^ J. P. 로마노와 A.F. Siegel(1986) 확률과 통계의 반례 표본, Wadsworth & Brooks / Cole, California, Montrey, California, 168페이지
- ^ Hardy, M. (1 March 2003). "An Illuminating Counterexample". American Mathematical Monthly. 110 (3): 234–238. arXiv:math/0206006. doi:10.2307/3647938. ISSN 0002-9890. JSTOR 3647938.
- ^ 브라운(1947), 583페이지
- ^ Pfanzagl, Johann (1979). "On optimal median unbiased estimators in the presence of nuisance parameters". The Annals of Statistics. 7 (1): 187–193. doi:10.1214/aos/1176344563.
- ^ a b Brown, L. D.; Cohen, Arthur; Strawderman, W. E. (1976). "A Complete Class Theorem for Strict Monotone Likelihood Ratio With Applications". Ann. Statist. 4 (4): 712–722. doi:10.1214/aos/1176343543.
- ^ a b c Dodge, Yadolah, ed. (1987). Statistical Data Analysis Based on the L1-Norm and Related Methods. Papers from the First International Conference held at Neuchâtel, August 31–September 4, 1987. Amsterdam: North-Holland. ISBN 0-444-70273-3.
- ^ Jaynes, E. T. (2007). Probability Theory : The Logic of Science. Cambridge: Cambridge Univ. Press. p. 172. ISBN 978-0-521-59271-0.
- ^ Klebanov, Lev B.; Rachev, Svetlozar T.; Fabozzi, Frank J. (2009). "Loss Functions and the Theory of Unbiased Estimation". Robust and Non-Robust Models in Statistics. New York: Nova Scientific. ISBN 978-1-60741-768-2.
- ^ Taboga, Marco (2010). "Lectures on probability theory and mathematical statistics".
- ^ DeGroot, Morris H. (1986). Probability and Statistics (2nd ed.). Addison-Wesley. pp. 414–5. ISBN 0-201-11366-X. 단, 예를 들어 의 설명과 비교해 보십시오.
- ^ Gelman, A.; et al. (1995). Bayesian Data Analysis. Chapman and Hall. p. 108. ISBN 0-412-03991-5.
레퍼런스
- 브라운, 조지 W. "소표본 추정"수학통계연보, 제18권, 제4호(1947년 12월), 582-585페이지. JSTOR 2236236.
- Lehmann, E. L. "불편향의 일반적 개념" 수학통계연보, 제22권, 제4호(1951년 12월), 587-592쪽. JSTOR 2236928.
- 앨런 번바움, 1961년"통합추정이론, I", 수학통계연보, 제32권, 제1호(1961년 3월), 페이지 112–135.
- 판 데르 파르트, H. R., 1961년"편향 관념의 일부 확장" 수학 통계 연보, 제32권, 제2호(1961년 6월), 페이지 436–447.
- 판자글, 요한 1994년파라메트릭 통계 이론.월터 드 그루이터.
- 를 클릭합니다Stuart, Alan; Ord, Keith; Arnold, Steven [F.] (2010). Classical Inference and the Linear Model. Kendall's Advanced Theory of Statistics. Vol. 2A. Wiley. ISBN 978-0-4706-8924-0..
- Voinov, Vassily [G.]; Nikulin, Mikhail [S.] (1993). Unbiased estimators and their applications. Vol. 1: Univariate case. Dordrect: Kluwer Academic Publishers. ISBN 0-7923-2382-3.
- Voinov, Vassily [G.]; Nikulin, Mikhail [S.] (1996). Unbiased estimators and their applications. Vol. 2: Multivariate case. Dordrect: Kluwer Academic Publishers. ISBN 0-7923-3939-8.
- Klebanov, Lev [B.]; Rachev, Svetlozar [T.]; Fabozzi, Frank [J.] (2009). Robust and Non-Robust Models in Statistics. New York: Nova Scientific Publishers. ISBN 978-1-60741-768-2.
외부 링크
- "Unbiased estimator", Encyclopedia of Mathematics, EMS Press, 2001 [1994][검증 필요]