추정 이론

추정 이론은 랜덤 성분이 있는 측정된 경험적 데이터에 기반하여 모수 값을 추정하는 통계학의 한 분야입니다.매개 변수는 값이 측정된 데이터의 분포에 영향을 미치도록 기본 물리적 설정을 나타냅니다.추정기는 측정을 사용하여 알 수 없는 모수를 근사하려고 합니다.추정 이론에서는 일반적으로 다음 두 가지 접근방식이 고려된다.

확률론적 접근법(이 기사에서 설명)은 측정된 데이터가 관심 매개변수에 따라 확률 분포를 갖는 랜덤 데이터라고 가정한다.
set-membership 접근법은 측정된 데이터 벡터가 파라미터 벡터에 의존하는 집합에 속한다고 가정한다.

예

예를 들어, 특정 후보에게 투표할 유권자의 비율을 추정하는 것이 바람직하다.그 비율은 요구되는 변수이다; 추정치는 유권자들의 소량의 무작위 표본에 기초한다.또는 연령과 같은 일부 인구통계학적 특징을 바탕으로 특정 후보에게 투표할 가능성을 추정하는 것이 바람직하다.

또는 예를 들어 레이더에서 목적은 전송된 펄스의 수신 에코의 양방향 통과 타이밍을 분석하여 물체(비행기, 보트 등)의 범위를 찾는 것이다.반사펄스는 불가피하게 전기노이즈에 내장되어 있기 때문에 그 측정값이 랜덤하게 분포되어 있기 때문에 통과시간을 추정해야 한다.

또 다른 예로서 전기통신이론에서 관심 파라미터에 관한 정보를 포함하는 측정은 노이즈 신호와 관련된 경우가 많다.

기본

주어진 모델의 경우 추정기를 구현할 수 있도록 몇 가지 통계적 "요소"가 필요합니다.첫 번째 샘플은 통계적 샘플로 크기가 N인 랜덤 벡터(RV)에서 가져온 데이터 포인트 세트입니다. 벡터에 넣습니다.

\mathbf {x} = syslog {bmatrix}x[0]\x[1]\vdots \\x[N-1]\end{bmatrix}}.

둘째, M개의 파라미터가 있습니다.

\displaystyle \mathbf {theta } = display{bmatrix}\theta _{1}\\theta _{2}\vdots \\theta _{M}\end{bmatrix}},

그 가치를 추정할 수 있습니다.셋째, 데이터를 생성한 기본 분포의 연속 확률 밀도 함수(pdf) 또는 이산 대응물인 확률 질량 함수(pmf)는 모수의 값에 따라 조건부로 기술되어야 한다.

(\displaystyle p(\mathbf {x} \mathbf {theta } ),

모수 자체가 확률 분포(예: 베이지안 통계)를 갖는 것도 가능하다.그러면 베이지안 확률을 정의할 필요가 있다.

(\displaystyle \pi (\mathbf {theta } ),

모델 형성 후 목표는 일반적으로 ${\hat {\mathbf {\theta } }}$ 로 표시된 파라미터를 추정하는 것입니다. 여기서 "모자"는 추정치를 나타냅니다.

일반적인 추정기 중 하나는 추정된 모수와 모수의 실제 값 사이의 오차를 이용하는 최소 평균 제곱 오차(MMSE) 추정기입니다.

(\displaystyle \mathbf {e} = 모자(\mathbf {theta})-\mathbf {theta})

최적화의 기초가 됩니다.그런 다음 이 오차항은 제곱되고 MMSE 추정기에 대해 이 제곱 값의 기대값이 최소화됩니다.

견적자

일반적으로 사용되는 추정치(추정 방법) 및 이와 관련된 주제는 다음과 같습니다.

최대우도 추정기
베이즈 추정기
모멘트 추정기 방법
크라메르-라오행
최소 제곱
최소 평균 제곱 오차(MMSE), Bayes 최소 제곱 오차(BLSE)라고도 합니다.
Maximum a postori(MAP)
최소 분산 불편 추정기(MVUE)
비선형 시스템 식별
최적 선형 불편 추정기(BLUE)
편향되지 않은 추정기 — 추정기 편향을 참조하십시오.
입자 필터
마르코프 연쇄 몬테카를로(MCMC)
Kalman 필터 및 그 다양한 유도체
와이너 필터

예

가산 백색 가우스 노이즈의 알 수 없는 상수

수신된 이산 신호 $x[n]$ [ $w[n]$ {\ $displaystyle$ x $[n$ {{displaystyle N $}$ $w[n]$ 의 $N$ $A$ 독립된 $샘플$ 중 평균이 0이고 $\sigma ^{2}$ 이 알려진 N $w[n]$ {\ $displaystyle$ n} $w[n]$ {n} {\ $displaystyle$ $\sigma ^{2}$ A $}$ {n} {\displaystyle w $[n]}$ {n $w[n]$ } {i} {\displaystyle n } {sigma } { $sigma$ } } $\sigma ^{2}$ {i consider { { that that that consider consider{ consider{ that consider consider consider consider { $\sigma ^{2}$ { { { { 。. 예: ${\mathcal {N}}(0,\sigma ^{2})$ ( ${\mathcal {N}}(0,\sigma ^{2})$ , ${\mathcal {N}}(0,\sigma ^{2})$ 2 ${\mathcal {N}}(0,\sigma ^{2})$ ) ( \ $displaystyle$ \ $mathcal$ { $N$ } } ( $0$ , \ $sigma$ ^ { $2$ } ) ${\mathcal {N}}(0,\sigma ^{2})$ 。분산이 알려져 있기 때문에 불분명한 파라미터는 A $(\displaystyle$ A $A$ 입니다.

신호의 모델은 다음과 같습니다.

x[n]=A+w[n]\quad n=0,1,\squals,N-1

$파라미터$ A $(\displaystyle$ A $)$ 에는 $A$ 다음 두 가지 추정치가 있습니다.

${A}}_{1}=x[0]$
$A$ ^ ${\hat {A}}_{2}={\frac {1}{N}}\sum _{n=0}^{N-1}x[n]$ ${\hat {A}}_{2}={\frac {1}{N}}\sum _{n=0}^{N-1}x[n]$ ${\hat {A}}_{2}={\frac {1}{N}}\sum _{n=0}^{N-1}x[n]$ N ${\hat {A}}_{2}={\frac {1}{N}}\sum _{n=0}^{N-1}x[n]$ n ${\hat {A}}_{2}={\frac {1}{N}}\sum _{n=0}^{N-1}x[n]$ ${\hat {A}}_{2}={\frac {1}{N}}\sum _{n=0}^{N-1}x[n]$ - ${\hat {A}}_{2}={\frac {1}{N}}\sum _{n=0}^{N-1}x[n]$ x [ ${\hat {A}}_{2}={\frac {1}{N}}\sum _{n=0}^{N-1}x[n]$ ]{ $displaystyle {$ hat { $A} _$ { $2} = sum _$ { $n = 0$ }^{ N - $1$ x ${\hat {A}}_{2}={\frac {1}{N}}\sum _{n=0}^{N-1}x[n]$ [ $n$ ](샘플 평균)

이 두 추정치의 평균은A(\ $displaystyle$ A $A$ 이며, 각 추정치의 기대값을 취하면 알 수 있습니다.

\displaystyle \mathrm {E} \left[{\hat {A}_{1}\right]=\mathrm {E} \left[x[0]\right]=A}

그리고.

\displaystyle \mathrm {E} \left[{\hat {A}_{2}\right]=\mathrm {E} \left[{\frac {1}{N}\sum _{n=0}^{N-1}x[n]=frac {1}x[n]\right]=fright]\sum {1-N}\left]NA\right]=A}

이 시점에서 이 두 추정치는 동일한 성능을 발휘하는 것으로 나타납니다.그러나 분산을 비교할 때 이들 사이의 차이가 분명해집니다.

\mathrm {var} \lefthat {A} _ {1} \right} = \mathrm {var} \left ( x [ 0 ] \ right ) = \ mathrm ^ {2}

그리고.

\mathrm {var} \lefthat {A} _ {2} \right} = \mathrm {var} \leftfrac {1} {N} \sum _{n=0} {N-1} x[n] \ right} {\oversetft} {text {\dependence} {=} {\frac1} {N} {\

표본 평균의 분산은 N > 1마다 낮기 때문에 표본 평균이 더 나은 추정치인 것으로 보입니다.

최대우도

최대우도 추정기를 사용하여 예제를 계속하면, $w[n]$ 의 샘플 $w[n]$ w $w[n]$ [ $](\displaystyle w[$ n $w[n]$ ])에 대한 노이즈의 확률 밀도 $함수$ (pdf)는 다음과 같습니다.

p(w[n])=paramfrac {1}{\paramrt {2\pi }}}\exp \leftparam{1}{2\param^{2}}w[n]^{2}\right

$x[n]$ [ $]$ { $displaystyle x[n$ $]$ { $displaystyle$ x $n]$ { $n$ $}$ { $displaystyle$ x ${\mathcal {N}}(A,\sigma ^{2})$ n]} {Displaystyle ${N}}(A,\sigma$ ^{ $2$ 이 $x[n]$ 될 $x[n]$ $x[n]$ 입니다.

p(x[n];A)=flac {1}{\flac {2\pi }}}\exp \left {\flac {1}{2\flac ^{2}}(x[n]-A)^{2}\right)

독립에 의해 x $(\$ 의 $\mathbf {x}$ $\mathbf {x}$

p(\mathbf {x};A)=\prod _{n=0}^{N-1}p(x[n];A)=param frac {1}{\left(\param {2\pi }}\right)^{N}}\exp \leftfac {1}{2\frac ^{2}}\sum _{n=0}^{N-1}(x[n]-A)^{2}\right

pdf의 자연 로그 가져오기

\displaystyle \ln p(\mathbf {x};A)=-N\ln \left(\displayrt {2\pi }}\right)-{\frac {1}{2\display ^{2}}\sum _{n=0}^N-1}(x[n-A)^{2}}

최대우도 추정치는

{A}}=\arg \max \ln p(\mathbf {x};A)

로그우도함수의 첫 번째 도함수 취하기

{\displaystyle {\frac A}\ln p(\mathbf {x};A)=param frac {1}{\faram ^{2}}\left[\sum_{n=0}{N-1}(x[n]-A)\right]=param frac {1}{\f}_sum

0으로 설정합니다.

0=flac {1}{\flac ^{2}}\left[\sum _ {n=0}^{N-1}x[n]-NA\right]=\sum _{n=0}^{N-1}x[n]-NA

그러면 최대우도 추정기가 생성됩니다.

{{displaystyle {A}}=sum frac {1}{N}}\sum _{n=0}^{N-1}x[n]}

이것은 단순히 표본 평균입니다.이 예에서 샘플 평균은 AWGN에 의해 파손된 고정 미지의 파라미터의 N개 $(\displaystyle$ N $)$ 샘플에 $N$ $대한$ 최대우도 추정기임이 확인되었습니다.

크라메르-라오 하한

표본 평균 추정기의 Cramér-Rao 하한(CRLB)을 찾으려면 먼저 피셔 정보 번호를 찾아야 합니다.

{\mathcal {I}=\mathrm {E} \left(\frac {x} {\frac A}} \ln p(\mathbf {x} ;A) \right) =-\mathrm {E} \left[ {\frac {\fright} {2} {\fright} {\f

그리고 위에서 복사한다.

{\frac}{\frac A}\ln p(\mathbf {x};A)=frac {1}{\frac ^{2}}\left[\sum _ {n=0}^{N-1}x[n]-NA\right]

2차 도함수 취하기

{\frac ^{2}}{\ln p(\mathbf {x};A)=frac {1}{\frac {-N}(-N)=frac {-N}{\sigma ^{2}}}}}

음의 기대치는 이제 결정론적 $-\mathrm {E} \left[{\frac {\partial ^{2}}{\partial A^{2}}}\ln p(\mathbf {x} ;A)\right]={\frac {N}{\sigma ^{2}}}$ 상수이기 때문에 찾는 것은 간단하다 - $-\mathrm {E} \left[{\frac {\partial ^{2}}{\partial A^{2}}}\ln p(\mathbf {x} ;A)\right]={\frac {N}{\sigma ^{2}}}$ [ $-\mathrm {E} \left[{\frac {\partial ^{2}}{\partial A^{2}}}\ln p(\mathbf {x} ;A)\right]={\frac {N}{\sigma ^{2}}}$ 2 $-\mathrm {E} \left[{\frac {\partial ^{2}}{\partial A^{2}}}\ln p(\mathbf {x} ;A)\right]={\frac {N}{\sigma ^{2}}}$ A $-\mathrm {E} \left[{\frac {\partial ^{2}}{\partial A^{2}}}\ln p(\mathbf {x} ;A)\right]={\frac {N}{\sigma ^{2}}}$ $-\mathrm {E} \left[{\frac {\partial ^{2}}{\partial A^{2}}}\ln p(\mathbf {x} ;A)\right]={\frac {N}{\sigma ^{2}}}$ $-\mathrm {E} \left[{\frac {\partial ^{2}}{\partial A^{2}}}\ln p(\mathbf {x} ;A)\right]={\frac {N}{\sigma ^{2}}}$ p ( $-\mathrm {E} \left[{\frac {\partial ^{2}}{\partial A^{2}}}\ln p(\mathbf {x} ;A)\right]={\frac {N}{\sigma ^{2}}}$ ; $-\mathrm {E} \left[{\frac {\partial ^{2}}{\partial A^{2}}}\ln p(\mathbf {x} ;A)\right]={\frac {N}{\sigma ^{2}}}$ ) $-\mathrm {E} \left[{\frac {\partial ^{2}}{\partial A^{2}}}\ln p(\mathbf {x} ;A)\right]={\frac {N}{\sigma ^{2}}}$ ] $-\mathrm {E} \left[{\frac {\partial ^{2}}{\partial A^{2}}}\ln p(\mathbf {x} ;A)\right]={\frac {N}{\sigma ^{2}}}$ $-\mathrm {E} \left[{\frac {\partial ^{2}}{\partial A^{2}}}\ln p(\mathbf {x} ;A)\right]={\frac {N}{\sigma ^{2}}}$ $-\mathrm {E} \left[{\frac {\partial ^{2}}{\partial A^{2}}}\ln p(\mathbf {x} ;A)\right]={\frac {N}{\sigma ^{2}}}$ 2 ( \ $displaystyle -$ \ $mathrm { E$ } \ $left$ [ { \ $frac$ { \ $frac ^ {2}}$ \ $ln$ p ( \ $mathbf$ { x ; A ) $=$ right )

마지막으로, 피셔의 정보를

\displaystyle \mathrm {var} \left({\hat {A}}\오른쪽)\geq {frac {1}{\mathcal {I}}}

을 낳다

\displaystyle \mathrm {var} \left({\hat {A}\right)\geq {frac {sigma ^{2}} {N}}

이를 표본 평균의 분산과 비교하면 표본 평균은 N $(\displaystyle$ N $)$ 과 $N$ A $(\display style$ A $A$ 의 모든 값에 대해 Cramér-Rao 하한과 같다. 즉, 표본 평균은 (필요하게 고유한) 효율적인 추정치이며, 따라서 편중되지 않은 최소 추정치이기도 하다.tor(MVUE), 최대우도 추정치입니다.

균일한 분포의 최대값

가장 단순하지 않은 추정 예 중 하나는 균일한 분포의 최대값을 추정하는 것입니다.이것은 실습 교실 연습으로 사용되며 추정 이론의 기본 원리를 설명하기 위해 사용됩니다.또한 단일 표본에 기초한 추정의 경우, 최대우도 추정기 및 우도 함수를 사용할 때 발생할 수 있는 철학적 문제와 오해를 보여준다.

이산 균일한 $1,2,\dots ,N$ 1, $1,2,\dots ,N$ , $1,2,\dots ,N$ $(\displaystyle$ 1, 2 $,\dots,N)$ 이 $1,2,\dots ,N$ 최대값을 알 수 없는 경우 최대값의 UMVU 추정치는 다음과 같습니다.

{k+1}{k}m-1=m+{\frac {m}{k}-1

여기서 m은 샘플 최대값이고 k는 샘플 크기입니다.^[2]^[3] 교체하지 않고 샘플링합니다.이 문제는 흔히 독일 전차 문제로 알려져 있는데, 이는 제2차 세계대전 중 독일 전차 생산 추정치에 최대 추정치를 적용했기 때문이다.

이 공식은 직관적으로 다음과 같이 이해할 수 있다.

"표본 최대값과 표본 내 관측치 사이의 평균 간격",

모집단 ^{[note 1]}최대값의 추정치로 표본 최대값의 음의 편향을 보정하기 위해 추가되는 간격.

이것은 의 차이가^[2] 있다.

{{k}{\frac {(N-k)(N+1)}{(k+2)}}\about {\frac {N^{2}}{\text{소형 샘플}}}k\ll N

따라서 표본 간 간격의 (인구) 평균 $N/k$ 인 $N/k$ 약 N $k$ ({displaystyle N $/k$ 의 표준 편차를 나타내며 위의 ${\frac {m}{k}}$ k $({displaystyle$ { $m}{k})$ 를 ${\frac {m}{k}}$ ${\frac {m}{k}}$ 합니다.이는 최대 간격 추정의 매우 단순한 경우로 볼 수 있습니다.

표본 최대값은 모집단 최대값에 대한 최대우도 추정치이지만 위에서 설명한 것처럼 치우쳐 있습니다.

적용들

많은 분야에서 추정 이론을 사용해야 합니다.이러한 필드에는 다음이 포함됩니다.

측정된 데이터는 소음이나 불확실성에 노출될 가능성이 높으며, 데이터로부터 가능한 한 많은 정보를 추출하기 위해 최적의 솔루션을 모색해야 한다.

「」를 참조해 주세요.

메모들

^ 표본 최대값은 모집단 최대값보다 크지는 않지만 작을 수 있으므로 편향된 추정치로, 모집단 최대값을 과소평가하는 경향이 있습니다.

레퍼런스

인용문

^ Walter, E.; Pronzato, L. (1997). Identification of Parametric Models from Experimental Data. London, England: Springer-Verlag.
^ ^a ^b Johnson, Roger (1994), "Estimating the Size of a Population", Teaching Statistics, 16 (2 (Summer)): 50–52, doi:10.1111/j.1467-9639.1994.tb00688.x
^ Johnson, Roger (2006), "Estimating the Size of a Population", Getting the Best from Teaching Statistics, archived from the original (PDF) on November 20, 2008

원천

E.L.에 의한 점 추정 이론레만과 G. 카셀라 (ISBN 0387985026)
Dale Shermon의 시스템 비용 엔지니어링 (ISBN 978-0-566-08861-2)
수학 통계 및 데이터 분석 (ISBN 0-534-209343)
통계신호처리의 기초: Steven M. Kay의 추정이론 (ISBN 0-13-345711-7)
H. Vincent Poor에 의한 신호 검출 및 추정 개요(ISBN 0-387-94173-8)
Harry L. Van Trees에 의한 검출, 추정, 변조 이론, Part 1 (ISBN 0-471-09517-6; 웹사이트)
최적 상태 추정: Dan Simon의 Kalman, H-infinity 및 비선형 접근법 웹 사이트
Ali H. Sayed, Adaptive Filters, Wiley, NJ, 2008, ISBN 978-0-470-25388-5.
Ali H. Sayed, Fundamentals of Adaptive Filtering, Wiley, NJ, 2003, ISBN 0-471-46126-1.
Thomas Kailath, Ali H. Sayed 및 Babak Hassibi, 선형 추정, 프렌티스 홀, NJ, 2000, ISBN 978-0-13-022464-4.
Babak Hassibi, Ali H. Sayed 및 Thomas Kailath, 무한^$\infty$ 2차 추정 및 제어, Society for² Industrial & Applied Mathematic (SIAM), PA, 1999, ISBN 978-0-871-11.1.
V.G.Voinov, M.S. Nikulin, "편견이 없는 추정치와 그 응용 프로그램"Vol.1: 일변량 사례", Kluwer Academic Publishers, 1993, ISBN 0-7923-2382-3.
V.G.Voinov, M.S. Nikulin, "편견이 없는 추정치와 그 응용 프로그램"Vol.2: 다변량 사례", Kluwer Academic Publishers, 1996, ISBN 0-7923-3939-8.

외부 링크

Wikimedia Commons 추정 이론 관련 매체

[4] 표본 최대값은 모집단 최대값보다 크지는 않지만 작을 수 있으므로 편향된 추정치로, 모집단 최대값을 과소평가하는 경향이 있습니다.

[1] Walter, E.; Pronzato, L. (1997). Identification of Parametric Models from Experimental Data. London, England: Springer-Verlag.

[Johnson-2] Johnson, Roger (1994), "Estimating the Size of a Population", Teaching Statistics, 16 (2 (Summer)): 50–52, doi:10.1111/j.1467-9639.1994.tb00688.x

[Johnson2-3] Johnson, Roger (2006), "Estimating the Size of a Population", Getting the Best from Teaching Statistics, archived from the original (PDF) on November 20, 2008

[2]

[3]

[note 1]

v t 디지털 신호 처리
이론.	검출 이론 이산 신호 추정 이론 나이키스트-샤논 표본 추출 정리
서브필드	오디오 신호 처리 디지털 이미지 처리 음성 처리 통계 신호 처리
기술	Z 변환 고도의 z-transform 일치하는 Z 변환 방법 쌍선형 변환 상수 Q 변환 이산 코사인 변환(DCT) 이산 푸리에 변환(DFT) 이산 시간 푸리에 변환(DTFT) 임펄스 불변성 적분 변환 라플라스 변환 게시물의 반전 공식 별 변환 Zak 변환
샘플링	앨리어싱 안티에이리어싱 필터 다운샘플링 나이키스트 레이트/주파수 오버샘플링 양자화 샘플링 레이트 언더샘플링 업샘플링

Search

추정 이론

네임스페이스

더

목차

예

기본

견적자