점추정

Point estimation

통계학에서 점 추정은 표본 데이터를 사용하여 알 수 없는 모집단 모수(예: 모집단 평균)의 "최상의 추측" 또는 "최상의 추정치" 역할을 하는 단일 값(일부 모수 공간의 점을 식별하기 때문에 점 추정치라고 함)을 계산하는 것과 관련이 있습니다.좀 더 형식적으로, 점 추정치를 얻기 위해 데이터에 점 추정기를 적용하는 것입니다.

점 추정은 구간 추정과 대조될 수 있다. 그러한 구간 추정은 일반적으로 빈도주의 추론의 경우 신뢰 구간이거나 베이지안 추론의 경우 신뢰 구간이다.보다 일반적으로 점 추정기를 설정된 추정기와 비교할 수 있습니다.예시는 신뢰 집합 또는 신뢰할 수 있는 집합으로 제시된다.점 추정기는 분포 추정기와 대조될 수도 있다.신뢰 분포, 랜덤화 추정기 및 베이지안 포스터에 의해 예가 제공됩니다.

점 추정치 속성

편향성

"바이어스"는 추정기의 예상 값과 추정할 모집단 모수의 실제 값 사이의 차이로 정의됩니다.또한 모수의 기대값이 측정된 모수에 가까울수록 치우침이 적다는 것을 설명할 수 있습니다.추정된 수와 참 값이 같으면 추정기는 치우치지 않은 것으로 간주됩니다.이것은 편견이 없는 추정치라고 불립니다.추정기는 분산이 최소인 경우 최상의 치우침 없는 추정기가 됩니다.그러나 분산이 작은 치우침 추정기가 [1]분산이 큰 치우침 추정기보다 더 유용할 수 있습니다.가장 중요한 것은 평균 제곱 오차가 가장 작은 점 추정기를 선호한다는 것입니다.

T = h(X1,X2,...,Xn)를 랜덤 샘플1 X,X2,...,X에n 기초한 추정기로 하면 추정기 T는 [1]θ의 값에 관계없이 E[T] = θ의 파라미터 θ에 대해 편향되지 않은 추정기라고 불립니다.예를 들어, 동일한 랜덤 샘플에서 E(xdiag) = mean(평균) 및 E2(s) = variance2(평균)를 얻으면 xdiag와2 s는 and와 σ에2 대한 편향되지 않은 추정치가 됩니다.차이 E[T ] - θ를 T의 바이어스라고 하며, 이 차이가 0이 아니면 T를 바이어스라고 합니다.

일관성.

일관성은 모수가 크기를 늘릴 때 점 추정치가 값에 근접하는지 여부에 대한 것입니다.표본 크기가 클수록 추정치가 더 정확합니다.점 추정기가 일관성이 있는 경우 점 추정기의 기대값과 분산은 모수의 참 값에 가까워야 합니다.추정기 T의 분산 한계가 0인 경우 치우치지 않은 추정기는 일관됩니다.

효율성.

T와2 T를 동일한 모수 θ에 대해 두 개의 비편향 추정치로 한다1.추정기2 T는 Var(T) < Var(T21)이면 추정기1 T보다 효율적이라고 할 수 있다.[1]우리는 또한 가장 효율적인 추정치는 결과의 변동성이 가장 적은 추정치라고 말할 수 있다.따라서 추정기가 표본 간 분산이 가장 작으면 가장 효율적이고 치우치지 않습니다.우리는 T의2 MSE(평균 제곱 오차)가 [1]T의1 MSE보다 작을 경우 추정기2 T가 추정기1 T보다 더 효율적이라고 말함으로써 효율의 개념을 확장한다.

일반적으로 추정치의 효율성을 결정할 때 모집단의 분포를 고려해야 합니다.예를 들어, 정규 분포에서는 평균이 중위수보다 더 효율적인 것으로 간주되지만 비대칭 분포 또는 치우친 분포에서는 해당되지 않습니다.

충분.

통계학에서 통계학자의 역할은 수집한 데이터를 해석하고 조사대상 모집단에 대해 통계적으로 유효한 결론을 도출하는 것이다.그러나 많은 경우 저장하기에는 너무 많고 비용이 많이 드는 원시 데이터는 이러한 목적에 적합하지 않습니다.따라서 통계학자는 일부 통계를 계산하여 데이터를 압축하고, 이러한 통계를 바탕으로 분석하여 관련 정보의 손실이 없도록 한다. 즉, 통계학자는 표본에 포함된 매개변수에 대한 모든 정보를 소진하는 통계를 선택하고자 한다.다음과 같이 충분한 통계정보를 정의합니다.X =( X1, X2, ..., Xn)를 랜덤 표본으로 합니다.통계량 T(X)는 주어진 T의 조건부 분포가 [2]θ가 아닌 경우 θ(또는 분포 패밀리)에 대해 충분하다고 한다.

점 추정 유형

베이지안 점 추정

베이지안 추론은 일반적으로 사후 분포에 기초한다.많은 베이지안 점 추정치는 후방 분포의 중심 경향 통계량(예: 평균, 중위수 또는 모드):

  • 후방 평균 - 오차 제곱 손실 함수에 대한 (후방) 위험(예상 손실)을 최소화한다. 베이지안 추정에서 위험은 가우스에 [3]의해 관찰된 후방 분포의 관점에서 정의된다.
  • Laplace에 [3][4]의해 관찰된 절대값 손실 함수에 대한 사후 위험을 최소화하는 후방 중위수.
  • 후방 분포의 최대값을 구하는 최대 사후 분포(MAP)입니다. 균일한 사전 확률의 경우 MAP 추정기는 최대우도 추정기와 일치합니다.

MAP 추정기는 최대우도 추정기가 어려움을 겪는 많은 어려운 문제에도 좋은 점근 특성을 가지고 있다.최대우도 추정기가 일관적인 정규 문제의 경우, 최대우도 추정기는 궁극적으로 MAP [5][6][7]추정기와 일치합니다.베이지안 추정자는 Wald의 [6][8]정리에 의해 허용된다.

최소 메시지 길이(MML) 포인트 추정기는 베이지안 정보 이론에 기초하고 있으며 사후 분포와 직접 관련이 없습니다.

베이지안 필터의 특수한 경우는 중요합니다.

계산 통계의 몇 가지 방법은 베이지안 분석과 밀접한 관련이 있습니다.

점 추정치를 찾는 방법

다음은 이러한 중요한 특성 중 일부를 가진 추정기를 제공할 것으로 예상되는 알려지지 않은 모수를 추정하는 데 일반적으로 사용되는 몇 가지 방법입니다.일반적으로 상황 및 연구 목적에 따라 포인트 추정 방법 중 적합한 방법을 적용합니다.

최대우도법(MLE)

이 최대우도 방법은 R.A.에 기인합니다.피셔.그것은 가장 중요한 일반적인 추정 방법이다.이 추정기 방법은 우도 함수를 최대화하는 알 수 없는 모수를 수집하려고 합니다.알려진 모형(예: 정규 분포)을 사용하고 모형의 값을 사용하여 [9]우도 함수를 최대화하여 데이터에 가장 적합한 일치를 찾습니다.

X = (X1, X2, ..., Xn)는 접합부가 p.d.f 또는 p.m.f. f(x, θ)인 무작위 표본을 나타낸다(latus는 벡터일 수 있음).θ의 함수로 간주되는 함수 f(x, θ)를 우도함수라고 한다.이 경우 L(θ)로 표시됩니다.최대우도 원리는 우도를 최대화하는 θ의 허용 범위 내에서 추정치를 선택하는 것으로 구성됩니다.이 추정치는 θ의 최대우도 추정치(MLE)라고 합니다.δ의 MLE를 구하기 위해 다음 식을 사용한다.

dlogL(θ)/dθi=0, i = 1, 2, …, k. θ가 벡터일 경우 편도함수는 우도방정식을 [2]구하는 것으로 간주됩니다.

모멘트의 방법(MOM)

모멘트의 방법은 K에 의해 소개되었다.Pearson과 P.1887년의 체비셰프, 그리고 그것은 가장 오래된 추정 방법 중 하나이다.이 방법은 모집단에 대한 알려진 모든 사실을 사용하고 모집단의 모멘트를 알려지지 않은 매개변수에 연관시키는 방정식을 도출함으로써 모집단의 표본에 이러한 사실을 적용하는 큰 숫자의 법칙에 기초한다.그런 다음 모집단 [10]모멘트의 표본 평균을 사용하여 해결할 수 있습니다.그러나 이 방법은 단순하기 때문에 항상 정확하지는 않고 쉽게 편향될 수 있습니다.

(X1, X2,…Xn)를 p.d.f(또는 p.m.f) f(x,f), θ = (θ1, θ2, θk)를 갖는 모집단에서 무작위로 추출한 표본이라고 하자.목표는 매개변수 θ1, θ2, ..., θ를k 추정하는 것이다. 또한 0에 대한 첫 번째 k개의 모집단 모멘트는 μr = μ(μ1, θ2, μ, δk), r = 1, 2, …, k의r 명시적 함수로 존재한다.모멘트 방법에서는 k개의 샘플링 모멘트를 대응하는 모집단 모멘트와 동일시한다.일반적으로 첫 번째 k개의 모멘트는 샘플링에 의한 오차가 순서의 차이에 따라 증가하기 때문에 취득됩니다.따라서, 우리는 k개의 방정식 μr (θ1, θ2, …, θk) = mr, r = 1, 2, …, k를 얻는다. 이 방정식을 풀면서 우리는 다음과 같은 모멘트 추정기(또는 추정치)의 방법을 얻는다.

mr = 1/n ΩXir.[2]모멘트의 일반화된 방법을 참조하십시오.

최소 제곱법

최소 제곱 방법에서, 우리는 특정한 형태의 기대와 관측치의 두 번째 모멘트를 사용하여 모수의 추정을 고려한다.위해서

y = f(x0, β1, β, …, β) 형태의p 곡선을 데이터(xi, yi), i = 1, 2, …n에 적합시키면 최소 제곱법을 사용할 수 있다.이 방법은 최소화하는 것으로 구성됩니다.

제곱합

f(x0, β1, β, β, .., βp)가 매개변수의 선형 함수이고 x 값이 알려진 경우 최소 제곱 추정기는 최상의 선형 불편 추정기(BLUE)가 됩니다.다시, 최소 제곱 추정치가 독립적으로 동일한 정규 분포를 따른다고 가정하면, 선형 추정기는 편향되지 않은 추정기의 전체 클래스에 대해 최소 분산 비편향 추정기(MVUE)가 될 것이다.최소 평균 제곱 오차(MMSE)[2]를 참조하십시오.

최소분산평균무바이어스추정기(MVUE)

최소 분산 불편 추정기 방법은 제곱 오차 손실 함수의 위험(예상 손실)을 최소화합니다.

중위수 비편향 추정기

중위수 비편향 추정기는 절대 오차 손실 함수의 위험을 최소화합니다.

최적 선형 불편 추정기(BLUE)

가우스-마코프 정리라고도 하는 최량 선형 비편향 추정기는 선형 비편향 추정기 클래스 내에서 일반 최소 제곱(OLS) 추정기의 표본 분산이 가장 낮으며, 선형 회귀 모델의 오차가 상관 관계가 없는 경우 분산과 기대값이 0이라는 [11]것을 나타냅니다.

점 추정치 v.s. 신뢰 구간 추정치

점 추정 및 신뢰 구간 추정.

추정치에는 점 추정치와 신뢰 구간 추정치의 두 가지 주요 유형이 있습니다.점 추정치에서는 모수의 참 값으로 합리적으로 간주할 수 있는 모수 공간의 고유한 점을 선택하려고 합니다.한편, 모수의 고유한 추정치 대신, 특정 확률로 참(알 수 없는) 모수 값을 포함하는 집합군을 구성하는 데 관심이 있습니다.통계적 추론의 많은 문제에서 우리는 모수를 추정하거나 모수에 관한 몇 가지 가설을 테스트하는 데에만 관심이 있는 것이 아니다. 우리는 또한 실수치 모수에 대한 하한 또는 상한 또는 둘 다 얻기를 원한다.이를 위해서는 신뢰 구간을 구성해야 합니다.

신뢰 구간은 추정치의 신뢰도를 나타냅니다.관측된 데이터로부터 구간의 신뢰 상한과 하한을 계산할 수 있습니다.랜덤 변수1 X, ..., X의n 실현으로 모델링된 데이터 세트x1, ..., x가n 주어졌다고 가정합니다.대상 파라미터로 be를 설정하고 0과 1 사이의 수치를 a으로 합니다.샘플 통계n L = g(X1, ., Xn) 및n U = h(X1, ., ., Xn)가 존재하며, 여기서 (lnnn, u), 여기서1 ln = g(xn, ., x) 및n = h(x1, )의 모든 값에n 대해 P(Ln < < < U) = ）가 된다.숫자 [1]is을 신뢰도라고 합니다.일반적으로 정규 분포 표본 평균 δ 및 표준 편차에 대해 알려진 값 δ에 대해 δ ± e1-α/2, 여기서 z는1-α/2 표준 정규 곡선의 100(1-α/21/2)% 누적 값이고, n은 데이터 내의 값인 δ ± e를 취함으로써 참 μ에 대한 100(1-α)% 신뢰 구간을 형성한다.예를 들어, z는 951-α/2% [12]신뢰에 대해 1.96입니다.

여기서 l과 u와 같은nn 두 가지 한계는 관측치 집합에서 계산되며, θ의 실제 값이 l과n un 사이에 있다는 것을 일정 수준의 신뢰(확률론적 관점에서 측정)로 주장한다.이 때문에, 「」( 「」)의 참값이 포함되는 간격n(ln 및 u)을 얻을 수 있습니다.따라서 이러한 유형의 추정을 신뢰 구간 [2]추정이라고 합니다.이 추정치는 모수가 존재할 것으로 예상되는 값의 범위를 제공합니다.일반적으로 점 추정치보다 더 많은 정보를 제공하며 추론을 할 때 선호됩니다.어떤 면에서는 점 추정이 구간 추정의 반대라고 할 수 있습니다.

「 」를 참조해 주세요.

레퍼런스

  1. ^ a b c d e A Modern Introduction to Probability and Statistics. F.M. Dekking, C. Kraaikamp, H.P. Lopuhaa, L.E. Meester. 2005.
  2. ^ a b c d e Estimation and Inferential Statistics. Pradip Kumar Sahu, Santi Ranjan Pal, Ajit Kumar Das. 2015.
  3. ^ a b Dodge, Yadolah, ed. (1987). Statistical data analysis based on the L1-norm and related methods: Papers from the First International Conference held at Neuchâtel, August 31–September 4, 1987. North-Holland Publishing.
  4. ^ Jaynes, E. T. (2007). Probability Theory: The logic of science (5. print. ed.). Cambridge University Press. p. 172. ISBN 978-0-521-59271-0.
  5. ^ Ferguson, Thomas S. (1996). A Course in Large Sample Theory. Chapman & Hall. ISBN 0-412-04371-8.
  6. ^ a b Le Cam, Lucien (1986). Asymptotic Methods in Statistical Decision Theory. Springer-Verlag. ISBN 0-387-96307-3.
  7. ^ Ferguson, Thomas S. (1982). "An inconsistent maximum likelihood estimate". Journal of the American Statistical Association. 77 (380): 831–834. doi:10.1080/01621459.1982.10477894. JSTOR 2287314.
  8. ^ Lehmann, E. L.; Casella, G. (1998). Theory of Point Estimation (2nd ed.). Springer. ISBN 0-387-98502-6.
  9. ^ Categorical Data Analysis. John Wiley and Sons, New York: Agresti A. 1990.
  10. ^ The Concise Encyclopedia of Statistics. Springer: Dodge, Y. 2008.
  11. ^ Best Linear Unbiased Estimation and Prediction. New York: John Wiley & Sons: Theil Henri. 1971.
  12. ^ Experimental Design – With Applications in Management, Engineering, and the Sciences. Springer: Paul D. Berger, Robert E. Maurer, Giovana B. Celli. 2019.

추가 정보

  • Bickel, Peter J. & Doksum, Kjell A. (2001). Mathematical Statistics: Basic and Selected Topics. Vol. I (Second (updated printing 2007) ed.). Pearson Prentice-Hall.
  • Liese, Friedrich & Miescke, Klaus-J. (2008). Statistical Decision Theory: Estimation, Testing, and Selection. Springer.