M-추정자

M-estimator

통계학에서 M 추정치는 목적 함수가 표본 [1]평균인 극단 추정기광범위한 클래스이다.비선형 최소 제곱과 최대우도 추정은 모두 M-추정기의 특수한 경우입니다.M-추정자의 정의는 새로운 유형의 M-추정자에 기여하는 강력한 통계에 의해 동기 부여되었다.데이터 세트의 M 추정치를 평가하는 통계적 절차를 M 추정이라고 합니다.48개의 강력한 M-추정기 샘플은 최근 검토 연구에서 찾을 수 있다.[2]

보다 일반적으로 M-추정자는 추정함수[3][4][5][6][7][8]0으로 정의할 수 있다.이 추정 함수는 종종 다른 통계 함수의 파생 함수이다.예를 들어, 최대우도 추정치는 모수에 대한 우도함수의 도함수가 0인 지점입니다. 따라서 최대우도 추정기는 점수 [9]함수의 임계점이 됩니다.많은 애플리케이션에서 이러한 M-추정자는 모집단의 특성을 추정하는 것으로 간주될 수 있다.

역사적 동기

추정기는 잔차의 제곱합 중 최소값으로 정의되므로 최소 제곱법은 프로토타입 M-추정기입니다.

또 다른 일반적인 M-추정자는 최대우도 추정입니다.δ로 모수화한 확률밀도함수 f군의 경우 모수 공간 {δ }에 대한 우도함수를 최대화하여 각 데이터 세트에 대해 δ최대우도 추정치를 계산한다. 관측치가 독립적이고 동일한 분포인 경우 ML 추정치 { {\ 만족한다.es

또는 동등하게

최대우도 추정기는 다소 일반적인 조건에서 무한히 많은 관측치의 한계에서 최적의 특성을 가지지만, 편향될 수 있으며 유한 표본에 대해 가장 효율적인 추정기는 아닙니다.

정의.

1964년, Peter J. Huber는 최대우도 추정을 최소화하는 것을 제안했다.

여기서 θ는 특정 특성을 가진 함수입니다(아래 참조).솔루션

M-추정기("최대우도형"(Huber, 1981, 페이지 43)라고 하며, 다른 유형의 강력한 추정기에는 L-추정기, R-추정기S-추정기가 포함된다.따라서 최대우도 추정기(MLE)는 M-추정기의 특수한 경우입니다.적절한 재스케일링을 사용하는 경우, M-추정기는 극단 추정기의 특별한 경우이다(이 경우 관측치의 더 일반적인 함수를 사용할 수 있다.

함수 θ 또는 그 파생물인 θ는 데이터가 실제로 가정된 분포에서 나온 경우 추정자에게 바람직한 특성(편향 및 효율성 측면)을 제공하고, 어떤 의미에서는 가정된 분포에 가까운 모형에서 데이터가 생성된 경우 '나쁜' 행동을 제공하는 방식으로 선택할 수 있다.

종류들

M-Estimator는 솔루션 ,입니다.이러한 솔루션은

이 최소화는 항상 직접 실행할 수 있습니다.종종 and에 대해 미분하여 도함수의 근을 구하는 것이 더 간단하다.이 구별이 가능한 경우, M-Estimator는 「」타입이라고 불립니다.그 이외의 경우, M-Estimator는 「」타입이라고 불립니다.

대부분의 경우 M 추정치는 δ형입니다.

γ형

양의 정수 r의 경우 ( {( ) { 측정 공간으로 합니다θ \ \\ \ Theta}는 파라미터의 벡터입니다.M 추정치는 측정 가능한 함수: × \ {\ {times \ \\ { 를) 통해 정의되며 확률 매핑됩니다. T (존재하는 경우) F _

를 들어, 최대우도 추정치의 경우,( , ) - ( f( , \ ) - \ ( , \ log ( x , \ 서 f ( , )( , 、) ) \ tyle f ( \ ) {\ ) 。

γ형

{ { 에 대해 구별이 한 경우 ^ { \ 연산이 훨씬 쉬워집니다.θ형 T의 M 추정치는 측정가능함수 :X × : {\ \ ^{ it it it it it{ { { it it { { { { { { { { { { { { { { { { a a { { { { 는 벡터 방정식을 해결합니다.

를 들어, 최대우도 추정치에 「」(「」) ( (, ( , 「 ) ) 、 「 f ( x , 「)) { , \ ) \ \ \ ( x ) ( x ) {\displaystyle 벡터 와 f ) F \theta )의 전치(x ) ) x f \ {\ F} } } } }

이러한 추정치는 반드시 --type의 M 추정치는 아니지만,respect에 대하여 연속적인 제1도함수를 갖는 경우 to-type의 M 추정기가x, ,)이 되기 위해 필요한 조건은 )이다 앞의 정의는 유한 샘플로 쉽게 확장할 수 있습니다.

함수 θ가 x ± { x 로 감소하면 추정기를 재내림이라고 합니다.이러한 추정치에는 총 특이치에 대한 완전한 거부와 같은 몇 가지 추가적인 바람직한 속성이 있습니다.

계산

or 또는 ,의 많은 선택지에 대해서는 폐쇄형식 해법이 존재하지 않으며 반복적인 계산이 필요하다.Newton-Raphson과 같은 표준 함수 최적화 알고리즘을 사용할 수 있습니다.그러나 대부분의 경우 반복 재가중 최소 제곱 적합 알고리즘을 수행할 수 있습니다. 일반적으로 이 방법이 선호됩니다.

①의 선택지, 구체적으로는 redescending 함수에 따라서는 솔루션이 고유하지 않을 수 있습니다.이 문제는 특히 다변량 및 회귀 문제와 관련이 있습니다.따라서 좋은 출발점이 선택되도록 하기 위해서는 어느 정도 주의가 필요하다.위치의 추정치인 중위수 및 척도의 일변량 추정치인 중위수 절대 편차와 같은 강력한 시작점이 일반적입니다.

파라미터의 집중

M-추정기를 계산할 때, 모수의 차원이 감소하도록 목적 함수를 다시 쓰는 것이 때때로 유용하다.이 절차를 "집중" 또는 "프로파일링"이라고 합니다.모수가 집중되면 계산 속도가 빨라지는 예로는 관련이 없어 보이는 회귀([10]SUR) 모델이 있습니다.다음 M 추정 문제를 고려합니다.

함수 q의 미분 가능성을 가정하여 M-추정기는 1차 조건을 해결합니다.

이제 W : ( ,w2,. , N) { W : = (_ {1} , _ { , _ { } {\ {\ { \의 두 번째 방정식을 풀 수 있다면 두 번째 방정식은 다음과 같습니다.

여기서 g는 몇 가지 함수를 찾을 수 있습니다. 함수 g를 \gamma의 자리에 삽입하여 β의 관점에서만 원래의 목적 함수를 다시 쓸 수 있으므로 파라미터의 수가 감소합니다.

이 절차를 수행할 수 있는지 여부는 당면한 특정 문제에 따라 달라집니다.그러나 가능한 경우 파라미터를 집중하면 계산이 상당히 쉬워집니다.예를 들어, 각 방정식에 5개의 설명 변수가 있는 6개의 방정식의 SUR 모형을 최대우도별로 추정할 때 모수의 수는 51개에서 [10]30개로 감소합니다.

계산에서 매력적인 특징에도 불구하고, 모수의 집중은 M-추정기의 [11]점근적 특성을 도출하는 데 제한적으로 사용된다.목적함수의 각 합계에 W가 존재하기 때문에 대수의 법칙중심한계정리를 적용하기 어렵다.

특성.

분배

M 추정치가 점근적으로 정규 분포를 따른다는 것을 알 수 있습니다.따라서 신뢰 구간과 가설 검정을 구성하기 위한 Wald 유형의 접근방식을 사용할 수 있습니다.단, 이론이 점근성이기 때문에 치환이나 부트스트랩 분포를 조사함으로써 분포를 확인하는 것이 현명할 것입니다.

영향 함수

{ - type M 추정기의 영향 함수는 되는 { \ 함수에 비례합니다.

T를 '타입'의 M 추정치로 하고, G를T)\G)}가 정의되어 있는 분포로 합니다.영향 함수 IF는

밀도 f { f 존재한다고 가정합니다.M 추정기의 이러한 특성에 대한 증거는 Huber(1981, 섹션 3.2)에서 찾을 수 있다.

적용들

M 추정치는 일변량 및 다변량 설정에서 위치 모수 및 척도 모수에 대해 구성할 수 있을 뿐만 아니라 강력한 회귀 분석에서도 사용할 수 있습니다.

의미하다

(X1, ..., Xn)가 분포가 F인 독립적이고 동일한 분포의 랜덤 변수 집합이라고 가정합니다.

정의하면

isX평균일 때 이 값은 최소가 됩니다.따라서 평균은 이 θ 함수를 갖는 θ-type의 M-추정기가 됩니다.

이 θ 함수는 θ에서 연속적으로 미분 가능하므로, 평균은 θ(x, θ) = θ - x에 대한 θ-type의 M-추정기도 된다.

중앙값

(X1, ..., Xn)의 중위수 추정의 경우 대신 다음과 같이 θ 함수를 정의할 수 있습니다.

마찬가지로 θX중앙값일 때 θ 함수는 최소화된다.

이 θ 함수는 θ에서는 미분할 수 없지만 θ 함수의 하위 구배인 θ형 M-추정기는 다음과 같이 나타낼 수 있다.

그리고.

[검증 필요]

「 」를 참조해 주세요.

레퍼런스

  1. ^ Hayashi, Fumio (2000). "Extremum Estimators". Econometrics. Princeton University Press. ISBN 0-691-01018-8.
  2. ^ De Menezes, Diego Q.F. (2021). "A review on robust M-estimators for regression analysis". Computers & Chemical Engineering. 147 (1): 107254. doi:10.1016/j.compchemeng.2021.107254. S2CID 232328341.
  3. ^ Vidyadhar P. Godambe 편집장추정함수, 옥스퍼드 통계과학 시리즈 제7권.클래런던 프레스 옥스포드 대학 출판부, 1991년 뉴욕.
  4. ^ 크리스토퍼 C.Heyde. 준우도 및 그 적용: 최적의 모수 추정에 대한 일반적인 접근법입니다.통계정보의 스프링거 시리즈.스프링거-벌러그, 뉴욕, 1997년
  5. ^ D. L. 맥리쉬와 크리스토퍼 G. 스몰통계추론함수의 이론과 적용, 통계강의 노트 44권.스프링거-벨락, 뉴욕, 1988년
  6. ^ 파라말 묵호파디아이추정 함수 소개알파사이언스인터내셔널, 2004.
  7. ^ 크리스토퍼 G. 스몰과 왕진팡.비선형 추정 방정식을 위한 수치 방법, 옥스퍼드 통계 과학 시리즈 제29권.Clarendon Press Oxford University Press, 뉴욕, 2003.
  8. ^ Sara A. van de Geer.M-추정의 경험적 프로세스: 경험적 과정 이론, 통계 및 확률적 수학의 케임브리지 시리즈 제6권.캠브리지 대학 출판부, 캠브리지, 2000.
  9. ^ Ferguson, Thomas S. (1982). "An inconsistent maximum likelihood estimate". Journal of the American Statistical Association. 77 (380): 831–834. doi:10.1080/01621459.1982.10477894. JSTOR 2287314.
  10. ^ a b Giles, D. E. (July 10, 2012). "Concentrating, or Profiling, the Likelihood Function".
  11. ^ Wooldridge, J. M. (2001). Econometric Analysis of Cross Section and Panel Data. Cambridge, Mass.: MIT Press. ISBN 0-262-23219-7.

추가 정보

  • Andersen, Robert (2008). Modern Methods for Robust Regression. Quantitative Applications in the Social Sciences. Vol. 152. Los Angeles, CA: Sage Publications. ISBN 978-1-4129-4072-6.
  • Godambe, V. P. (1991). Estimating functions. Oxford Statistical Science Series. Vol. 7. New York: Clarendon Press. ISBN 978-0-19-852228-7.
  • Heyde, Christopher C. (1997). Heyde, Christopher C (ed.). Quasi-likelihood and its application: A general approach to optimal parameter estimation. Springer Series in Statistics. New York: Springer. doi:10.1007/b98823. ISBN 978-0-387-98225-0.
  • Huber, Peter J. (2009). Robust Statistics (2nd ed.). Hoboken, NJ: John Wiley & Sons Inc. ISBN 978-0-470-12990-6.
  • Hoaglin, David C.; Frederick Mosteller; John W. Tukey (1983). Understanding Robust and Exploratory Data Analysis. Hoboken, NJ: John Wiley & Sons Inc. ISBN 0-471-09777-2.
  • McLeish, D.L.; Christopher G. Small (1989). The theory and applications of statistical inference functions. Lecture Notes in Statistics. Vol. 44. New York: Springer. ISBN 978-0-387-96720-2.
  • Mukhopadhyay, Parimal (2004). An Introduction to Estimating Functions. Harrow, UK: Alpha Science International, Ltd. ISBN 978-1-84265-163-6.
  • Press, WH; Teukolsky, SA; Vetterling, WT; Flannery, BP (2007), "Section 15.7. Robust Estimation", Numerical Recipes: The Art of Scientific Computing (3rd ed.), New York: Cambridge University Press, ISBN 978-0-521-88068-8
  • Serfling, Robert J. (2002). Approximation theorems of mathematical statistics. Wiley Series in Probability and Mathematical Statistics. Hoboken, NJ: John Wiley & Sons Inc. ISBN 978-0-471-21927-9.
  • Shapiro, Alexander (2000). "On the asymptotics of constrained local M-estimators". Annals of Statistics. 28 (3): 948–960. CiteSeerX 10.1.1.69.2288. doi:10.1214/aos/1015952006. JSTOR 2674061. MR 1792795.
  • Small, Christopher G.; Jinfang Wang (2003). Numerical methods for nonlinear estimating equations. Oxford Statistical Science Series. Vol. 29. New York: Oxford University Press. ISBN 978-0-19-850688-1.
  • van de Geer, Sara A. (2000). Empirical Processes in M-estimation: Applications of empirical process theory. Cambridge Series in Statistical and Probabilistic Mathematics. Vol. 6. Cambridge, UK: Cambridge University Press. ISBN 978-0-521-65002-1.
  • Wilcox, R. R. (2003). Applying contemporary statistical techniques. San Diego, CA: Academic Press. pp. 55–79.
  • Wilcox, R. R. (2012). Introduction to Robust Estimation and Hypothesis Testing, 3rd Ed. San Diego, CA: Academic Press.

외부 링크