가우스-마르코프 정리

통계에서 Gauss-Markov 정리(또는 일부 저자에 대한 Gauss 정리)^[1]는 일반 최소 제곱(OLS) 추정기가 선형 회귀 모형의 오차가 상관관계가 없는 경우, 분산과 기대값이 0인 선형 불편 추정기의 등급 내에서 표본 분산이 가장 낮다고 명시한다.^[2] 오차는 정규일 필요도 없고, 독립적이고 동일한 분포일 필요도 없다(평균 0과 무관하고 분산이 유한한 균질성만 있음). 편향된 추정기는 분산이 더 낮은 상태로 존재하기 때문에 추정기를 편향되지 않아야 한다는 요구사항을 삭제할 수 없다. 예를 들어, 제임스를 보라.–Stein Estimator(선형성도 떨어짐), 능선 회귀 분석 또는 단순 변질 추정기

이 정리는 비록 가우스의 작품이 마르코프의 작품보다 현저히 앞섰지만 칼 프리드리히 가우스와 안드레이 마르코프의 이름을 따서 명명되었다.^[3] 그러나 가우스가 독립성과 정규성을 가정하여 그 결과를 도출하는 동안 마르코프는 위에서 언급한 형식으로 가정들을 줄였다.^[4] 비구형 오류에 대한 추가 일반화는 알렉산더 에이트켄에 의해 이루어졌다.^[5]

성명서

행렬 표기법으로 보면

{\underline {y}}=X{\underline {\beta }}+{\underline {\varepsilon }},\quad ({\underline {y}},{\underline {\varepsilon }}\in \mathbb {R} ^{n},{\underline {\beta }}\in \mathbb {R} ^{K}{\text{ and }}X\in \mathbb {R} ^{n\times K})

로 확장,

y_{i}=\sum _{j=1}^{K}\beta _{j}X_{ij}+\varepsilon _{i}\quad \all i=1,2,\ldots ,n

여기서 $\beta _{j}$ $\beta _{j}$ ${\$ $displaystyle$ $\beta_{j}$ 는 $\beta _{j}$ 랜덤하지 않지만 관측할 수 없는 매개변수, $X_{ij}$ $X_{ij}$ $X_{ij}$ ${\$ 는 랜덤하지 않고 관측할 수 있으며 $X_{ij}$ ("설명 변수"라고 함), $\varepsilon _{i}$ $\varepsilon _{i}$ ${\$ $displaysty \varepsilon_{$ $i}$ 는 랜덤하므로 $\varepsilon _{i}$ $yi$ 이다 $y_{i}$ . 무작위 변수 $\varepsilon _{i}$ $\varepsilon _{i}$ ${\$ 는 "disturbance", "noise" 또는 단순히 "error"(기사 뒷부분의 "잔차"와 대조된다. 통계에서 오류 및 잔차 참조)라고 불린다 $\varepsilon _{i}$ . Note that to include a constant in the model above, one can choose to introduce the constant as a variable $\beta _{K+1}$ with a newly introduced last column of X being unity i.e., $X_{i(K+1)}=1$ for all $i$ . Note that though ${\di$ 샘플 $응답으로 splaystyle$ y_ ${i}}$ 을 $y_{i},$ (를) 관측할 수 있으며, 가정, 증명 및 기타를 포함한 다음의 문장과 주장은 $y_{i}.$ $X_{ij},$ , $X_{ij}$ 을 $X_{ij},$ (를) $y_{i}.$ 있다는 유일한 조건에서 가정한다. y $y_{i}.$ ${\displaysty y_{i}.$ $}$

Gauss-Markov 가정은 오류 무작위 변수 집합, $\varepsilon _{i}$ i $\varepsilon _{i}$ {\ $displaystyle \varepsilon _{i$ :

평균 0: $\operatorname {E} [\varepsilon _{i}]=0.$ $\operatorname {E} [\varepsilon _{i}]=0.$ [ $\operatorname {E} [\varepsilon _{i}]=0.$ $\operatorname {E} [\varepsilon _{i}]=0.$ $\operatorname {E} [\varepsilon _{i}]=0.$ = 0 $\operatorname {E} [\varepsilon _{i}]=0.$ ${\displaystyle \operatorname {E}[\varpsilon$ . $}$
그들은 균질하며, 모두 동일한 유한 분산을 가진다. $\operatorname {Var} (\varepsilon _{i})=\sigma ^{2}<\infty$ $\operatorname {Var} (\varepsilon _{i})=\sigma ^{2}<\infty$ ( $\operatorname {Var} (\varepsilon _{i})=\sigma ^{2}<\infty$ i $\operatorname {Var} (\varepsilon _{i})=\sigma ^{2}<\infty$ ) $\operatorname {Var} (\varepsilon _{i})=\sigma ^{2}<\infty$ = $\operatorname {Var} (\varepsilon _{i})=\sigma ^{2}<\infty$ 2 $\operatorname {Var} (\varepsilon _{i})=\sigma ^{2}<\infty$ < $\operatorname {Var} (\varepsilon _{i})=\sigma ^{2}<\infty$ ${\displaystyle \operatorname {Var}(\varpsilon _{i}=\sigma ^{2}<\infty })$ } $모든$ i ${\displaysty i}$ 및 $\operatorname {Var} (\varepsilon _{i})=\sigma ^{2}<\infty$ $i$
별개의 오차항은 상관관계가 없다. ${\displaystyle {\text{Cov}}(\var렙실론 _{i},\var렙실론 _{j}=0,\neq j.)$

$\beta _{j}$ $\beta _{j}$ ${\$ 의 선형 추정기는 선형 조합이다 $\beta _{j}$ .

{\widehat{\n1}_{j}=c_{1j}y_{1}+\cdots +c_{nj}y_{n}}}}}}}

계수 $c_{ij}$ $c_{ij}$ $c_{ij}$ ${\$ 은(는) 기본 계수 $\beta _{j}$ j $\beta _{j}$ {\ $displaystyle \beta_{j$ 에 의존할 수 없지만 $c_{ij}$ , 이러한 데이터는 관측 가능하기 $X_{ij}$ 에 $X_{ij}$ i $X_{ij}$ {\ $displaystyle X_{ij}$ 에 의존할 수 있다 $X_{ij}$ ( $X_{ij}$ X $X_{ij}$ $X_{ij}$ ${\$ 에 대한 계수의 의존성은 일반적으로 비선형이며 $X_{ij}$ , 추정기는 각 $y_{i}$ $y_{i}$ ${\$ 에서 $y_{i}$ 선형이며, 따라서 각 랜덤 $\varepsilon ,$ , {\ $displaysty \varepsilon$ }에서 $\varepsilon ,$ 선형적인 회귀 분석인 것이다.) 추정자는 만약의 경우에 한해서만 치우치지 않는다고 한다.

\operatorname {E} \left[{\widehat {}}_{j}\right]=\beta _{j}}}}}

$X_{ij}$ $X_{ij}$ $X_{ij}$ ${\$ 의 값과 상관없이 이제 ${\textstyle \sum _{j=1}^{K}\lambda _{j}\beta _{j}}$ ${\textstyle \sum _{j=1}^{K}\lambda _{j}\beta _{j}}$ = ${\textstyle \sum _{j=1}^{K}\lambda _{j}\beta _{j}}$ ${\textstyle \sum _{j=1}^{K}\lambda _{j}\beta _{j}}$ ${\textstyle \sum _{j=1}^{K}\lambda _{j}\beta _{j}}$ j ${\$ 을 계수의 선형 결합으로 한다 ${\textstyle \sum _{j=1}^{K}\lambda _{j}\beta _{j}}$ . 그런 다음 해당 추정치의 평균 제곱 오차는

\operatorname {E} \좌측[\sum _{j=1}^{K}\lambda _{j}}\좌측({\widehat{\beta }}}}-{j}-\beta _{j}\우측)^{2}\우측,},

즉, 추정기와 추정할 해당 모수 간의 차이에 대한 가중 합(계수 모수)의 제곱에 대한 기대치가 그것이다. (모든 모수 추정치가 편향되지 않은 경우를 고려하고 있으므로 이 평균 제곱 오차는 선형 조합의 분산과 동일하다.) $\beta _{j}$ $\beta _{j}$ ${\$ $displaystyle \beta }$ 매개 변수 β j {\ $displaystyle \beta _{j}$ 의 $\beta$ 벡터 un $\lambda$ 에 대한 가장 작은 평균 제곱 오차를 가진 추정기(BLULUE)는 선형 $\beta _{j}$ 결합 파라미터의 $\lambda$ 모든 벡터 $\lambda$ 에 대한 것이다. 이는 다음과 같은 조건과 맞먹는다.

\operatorname {Var} \좌({\widetile {\beta }\우)-\operatorname {Var} \좌({\widehatt{\beta }\우)

다른 모든 선형 불편 추정기 ${\widetilde {\beta }}$ ~ ${\$ 에 대한 양의 반감기 행렬이다 ${\widetilde {\beta }}$

일반 최소 제곱 추정기(OLS)는 함수임

{\widehat {\beta }}=(X'X)^{-1}X'y

y $y$ 및 $y$ $X$ ${\displaystyle$ $X$ $}($ $X'$ 서 X $'$ ${\$ X $'}$ 은 잔차의 제곱합(오류 양 $)$ 을 최소화하는 X {\displaystyle $X$ 의 전치(transpose)를 $X'$ 나타낸다.

\sum _{i=1}^{n}\left(y_{i}-{\widehat {y}}_{i}\right)^{2}=\sum _{i=1}^{n}\left(y_{i}-\sum _{j=1}^{K}{\widehat {\beta }}_{j}X_{ij}\right)^{2}.

그 정리는 이제 OLS 추정기가 BLUE라고 명시하고 있다. The main idea of the proof is that the least-squares estimator is uncorrelated with every linear unbiased estimator of zero, i.e., with every linear combination $a_{1}y_{1}+\cdots +a_{n}y_{n}$ whose coefficients do not depend upon the unobservable $\beta$ but whose 기대값은 항상 0이다.

비고

OLS가 실제로 잔차의 제곱합을 최소화한다는 증거는 헤시안 행렬의 계산과 양수 확정임을 보여주면서 다음과 같이 진행될 수 있다.

우리가 최소화하고자 하는 MSE 기능은

{\displaystyle f(\displaystyle _{0},\filename _{1}{p}=\sum_{i=1}{n}(y_{i}-\filename _{0}-\filename _{p1}x_{ip}^2}}:

p 변수가 있는 다중 회귀 모형의 경우 첫 번째 파생상품은

{\displaystyle{\begin{정렬}{\frac{d}{d{\boldsymbol{\beta}}}}f&, =-2X^{\mathsf{T}}\left(\mathbf{y}-X{\boldsymbol{\beta}}\right)\\&, =-2{\begin{bmatrix}\sum _ᆱ^ᆲ(y_{나는}-\dots -\beta_{p}x_{ 나타나})\\\sum _ᆳ^ᆴx_ᆵ(y_{나는}-\dots -\beta_{p}x_{ 나타나})\\\vdots(_ᆶ^ᆷx_ᆸ(y_{나는}-\dots -\beta_{p}x_{ 나타나})\end{bmatrix}}\\&amp을 말한다.=\mathbf{0} _{p+1},\end{정렬}}}

여기서 X는 설계 행렬이다.

X={\begin{bmatrix}1&x_{11}&\cdots &x_{1p}\\1&x_{21}&\cdots &x_{2p}\\&&\vdots \\1&x_{n1}&\cdots &x_{np}\end{bmatrix}}\in \mathbb {R} ^{n\times (p+1)};\qquad n\geq p+1

두 번째 파생상품의 헤시안 매트릭스는

{\mathcal {H}}=2{\begin{bmatrix}n&\sum _{i=1}^{n}x_{i1}&\cdots &\sum _{i=1}^{n}x_{ip}\\\sum _{i=1}^{n}x_{i1}&\sum _{i=1}^{n}x_{i1}^{2}&\cdots &\sum _{i=1}^{n}x_{i1}x_{ip}\\\vdots &\vdots &\ddots &\vdots \\\sum _{i=1}^{n}x_{ip}&\sum _{i=1}^{n}x_{ip}x_{i1}&\cdots &\sum _{i=1}^{n}x_{ip}^{2}\end{bmatrix}}=2X^{T}X

Assuming the columns of $X$ are linearly independent so that $X^{T}X$ is invertible, let $X={\begin{bmatrix}\mathbf {v_{1}} &\mathbf {v_{2}} &\cdots &\mathbf {v} _{p+1}\end{bmatrix}}$ , then

k_{1}\mathbf {v_{1} +\mathbf+1}{v}_{p+1}\mathbf {v} _{p+1}=\iff k_{1}=\mathbf {0}\iff k_{p+1}={p+1}=0}=0

이제 $\mathbf {k} =(k_{1},\dots ,k_{p+1})^{T}\in \mathbb {R} ^{(p+1)\times 1}$ = $\mathbf {k} =(k_{1},\dots ,k_{p+1})^{T}\in \mathbb {R} ^{(p+1)\times 1}$ ( k $\mathbf {k} =(k_{1},\dots ,k_{p+1})^{T}\in \mathbb {R} ^{(p+1)\times 1}$ , $\mathbf {k} =(k_{1},\dots ,k_{p+1})^{T}\in \mathbb {R} ^{(p+1)\times 1}$ … , $\mathbf {k} =(k_{1},\dots ,k_{p+1})^{T}\in \mathbb {R} ^{(p+1)\times 1}$ k $\mathbf {k} =(k_{1},\dots ,k_{p+1})^{T}\in \mathbb {R} ^{(p+1)\times 1}$ + 1 $\mathbf {k} =(k_{1},\dots ,k_{p+1})^{T}\in \mathbb {R} ^{(p+1)\times 1}$ ) $\mathbf {k} =(k_{1},\dots ,k_{p+1})^{T}\in \mathbb {R} ^{(p+1)\times 1}$ $\mathbf {k} =(k_{1},\dots ,k_{p+1})^{T}\in \mathbb {R} ^{(p+1)\times 1}$ R $\mathbf {k} =(k_{1},\dots ,k_{p+1})^{T}\in \mathbb {R} ^{(p+1)\times 1}$ ( p $\mathbf {k} =(k_{1},\dots ,k_{p+1})^{T}\in \mathbb {R} ^{(p+1)\times 1}$ + $\mathbf {k} =(k_{1},\dots ,k_{p+1})^{T}\in \mathbb {R} ^{(p+1)\times 1}$ ) $\mathbf {k} =(k_{1},\dots ,k_{p+1})^{T}\in \mathbb {R} ^{(p+1)\times 1}$ × $\mathbf {k} =(k_{1},\dots ,k_{p+1})^{T}\in \mathbb {R} ^{(p+1)\times 1}$ ${\$ p+1}}}{{\displaystystystyle}{{{}}}}}}}}}}}{{{{{ $T}\in \mathb {R} ^{(p+1)\time$ :1}} $\mathbf {k} =(k_{1},\dots ,k_{p+1})^{T}\in \mathbb {R} ^{(p+1)\times 1}$ ${\mathcal {H}}$ ${\$ 의 고유 벡터가 된다 $\mathbf {k} =(k_{1},\dots ,k_{p+1})^{T}\in \mathbb {R} ^{(p+1)\times 1}$ ${\mathcal {H}}$

\mathbf {k} \neq \mathbf {0} \neq \mathbf {v_{1}\mathbf {v_{1}+1} +/nmathbf {v} _{p+1}\right)^{2

벡터 곱셈의 관점에서 이 평균은

{\displaystyle{\begin{bmatrix}k_{1}&, \cdots &, k_{p+1}\end{bmatrix}}{\begin{bmatrix}\mathbf}{v_{1}, \cdots &\\\mathbf{v}_{p+1}\end{bmatrix}}{\begin{bmatrix}\mathbf{v_{1}}및 \\\vdots, \mathbf{v}_{p+1}\end{bmatrix}}{\begin{bmatrix}k_{1}\\\vdots \\k_{p+1}\end{bmatrix}}=\mathbf{k}^{\mathsf{T}}{{H\mathcal}}\mathbf{k}=\lambda \math.남자 친구{k}^{\mathsf {T}\mathbf {k} >0}

여기서

\lambda

\lambda

은

\lambda

(는)

\mathbf {k}

{\

에 해당하는 고유값이며

\mathbf {k}

더욱이,

\mathbf {k}^{\mathsf {T}\mathbf {k} =\sum _{i=1}^{p+1}k_{i}^{2}}0\implies \lambda >0

마지막으로 고유벡터 $\mathbf {k}$ ${\$ 가) 임의였으므로 $\mathbf {k}$ ${\mathcal {H}}$ ${\$ 의 모든 고유값이 양수임을 ${\mathcal {H}}$ 의미하므로 ${\mathcal {H}}$ ${\$ 이(가) 양수임을 의미한다 ${\mathcal {H}}$ . 그러므로,

{\boldsymbol {\beta }}=\왼쪽(X^{\mathsf{T}X\오른쪽)^{-1}X^{\mathsf{T}}}Y

지역적 최소치야

증명

Let ${\tilde {\beta }}=Cy$ be another linear estimator of $\beta$ with $C=(X'X)^{-1}X'+D$ where $D$ is a $K\times n$ non-zero matrix. 편향되지 않은 추정기로 제한하므로, 최소 평균 제곱 오차는 최소 분산을 의미한다. 따라서 이러한 추정기의 분산이 OLS 추정기의 ${\widehat {\beta }},$ ${\widehat {\beta }},$ ${\widehat {\beta }},$ , ${\displaystyle {\widehat$ {\ $beta},}$ 과(와) 같음을 보여주는 것이 목적이다. 계산은 다음과 같다.

{\begin{aigned}\operatorname {E} \왼쪽[{\tilde {}}\beta }\right]&=\operatorname {E}[Cy]\\&=\operatorname {E} \left[\left(X'X)^{-1}X'+D\right)(X\beta +\varepsilon )\right]\\&=\left((X'X)^{-1}X'+D\right)X\beta +\left((X'X)^{-1}X'+D\right)\operatorname {E} [\varepsilon ]\\&=\left((X'X)^{-1}X'+D\right)X\beta &&\operatorname {E} [\varepsilon ]=0\\&=(X'X)^{-1}X'X\beta +DX\beta \\&=(I_{K}+DX)\beta .\\end{aigned}

따라서 $\beta$ ${\displaystyle \beta$ }은 $\beta$ $($ 는) 관측할 수 없으므로 ${\tilde {\beta }}$ ~ ${\$ }}은 $($ 는) $DX=0$ = $DX=0$ 0 $displaysty DX=0}$ 인 경우에만 치우침이 없다 ${\tilde {\beta }}$ $DX=0$ 다음:

{\begin{aligned}\operatorname {Var} \left({\tilde {\beta }}\right)&=\operatorname {Var} (Cy)\\&=C{\text{ Var}}(y)C'\\&=\sigma ^{2}CC'\\&=\sigma ^{2}\left((X'X)^{-1}X'+D\right)\left(X(X'X)^{-1}+D'\right)\\&=\sigma ^{2}\왼쪽(X'X)^{-1}X(X'X)^{-1}+(X'X)^{-1}X'D'+DX(X'X')^{-1}{-1}+DD'\right)\\&=\sigma ^{2}(X'X)^{-1}+\sigma ^{2}(X'X)^{-1}(DX)'+\sigma ^{2}DX(X'X)^{-1}+\sigma ^{2}DD'\\&=\sigma ^{2}(X'X)^{-1}+\sigma ^{2}DD'&&DX=0\\&=\operatorname {Var} \left({\widehat {\beta }}\right)+\sigma ^{2}DD'&&\sigma ^{2}(X'X)^{-1}=\operatorname {Var} \left({\widehat {\beta }}\right)\end{aligned}}

Since DD' is a positive semidefinite matrix, $\operatorname {Var} \left({\tilde {\beta }}\right)$ exceeds $\operatorname {Var} \left({\widehat {\beta }}\right)$ by a positive semidefinite matrix.

증빙서류

As it has been stated before, the condition of $\operatorname {Var} \left({\tilde {\beta }}\right)-\operatorname {Var} \left({\widehat {\beta }}\right)$ is a positive semidefinite matrix is equivalent to the property that the best linear unbiased estimator of ${\disp$ $레이스타일 \ell ^{t}\properties$ }은(는) $^$ {\ $displaystyle$ \ell $^{t$ }{\ $widehat {\property }}}$ 이다 $\ell ^{t}\beta$ ( $\ell ^{t}{\widehat {\beta }}$ 최소 분산이 있다는 점에서 가장 좋다). 이를 보려면 $\ell ^{t}{\tilde {\beta }}$ $\ell ^{t}{\tilde {\beta }}$ $\ell ^{t}{\tilde {\beta }}$ ~ ${\$ 의 또 다른 $\ell ^{t}{\tilde {\beta }}$ 선형 불편 추정기를 $\ell ^{t}\beta$ $\ell ^{t}\beta$ $\ell ^{t}\beta$ $\ell ^{t}\beta$ 에 두십시오 $\ell ^{t}\beta$

{\displaystyle{\begin{정렬}\operatorname{바르}\left(\ell ^{t}{\tilde{\beta}}\right)&, =\ell ^{t}\operatorname{바르}\left({\tilde{\beta}}\right)\ell \\&, =\sigma ^{2}\ell ^ᆳ(X'X)^{)}\ell+\ell ^{t}DD^{t}\ell \\&,=\operatorname{바르}\left(\ell ^{t}{\widehat{\beta}}\right)+(D^{t}\ell)^ᆸ(D^{t}\ell)&,&\sigma ^{2}\ell ^{.t}(X'X)^{)}\ell =\operatorname {Var} \left(\ell ^{t}{\widehat {\beta }}\오른쪽)\\&=\operatorname {Var} \left(\ell ^{t}{\widehat{\beta}}\\\widehat{t}{\widehat{\beta }\right}\deged}}}}}}}

게다가, 평등은 D $D^{t}\ell =0$ $D^{t}\ell =0$ = $D^{t}\ell =0$ ${\displaystyle$ D $^{t}\ell =0}$ 인 경우에만 유지된다 $D^{t}\ell =0$ 우리는 계산한다.

{\begin{aigned}\ell ^{t}{\tilde {\beta }&=\ell ^{t}\좌측(X'X)^{-1}X'+D)Y\\right)&#{{\text{which}\\n=\ell ^{{t}(X'X)^{-1}X'Y+\ell ^{t}DY\\&=\ell ^{t}{\widehat {\beta }}+(D^{t}\ell )^{t}Y\\&=\ell ^{t}{\widehat {\\beta }}}{t}\ell =0\end{aigned}}}}

이는 동일성이 $\ell ^{t}{\tilde {\beta }}=\ell ^{t}{\widehat {\beta }}$ 추정기의 고유성을 블루로 제공하는 $\ell ^{t}{\tilde {\beta }}=\ell ^{t}{\widehat {\beta }}$ t $\ell ^{t}{\tilde {\beta }}=\ell ^{t}{\widehat {\beta }}$ β ~ = $\ell ^{t}{\tilde {\beta }}=\ell ^{t}{\widehat {\beta }}$ $\ell ^{t}{\tilde {\beta }}=\ell ^{t}{\widehat {\beta }}$ $\ell ^{t}{\tilde {\beta }}=\ell ^{t}{\widehat {\beta }}$ $^$ {\ $displaystyle \ell \el \}{\t}{\widehat{\beta }}}}}}$ 의 경우에만 유지됨을 증명한다.

일반화 최소 제곱 추정기

아이트켄이 개발한 일반화 최소 제곱(GLS)은 오류 벡터가 비스칼라 공분산 행렬을 갖는 경우까지 가우스-마코프 정리를 확장한다.^[5]^[6] 아이트켄 추정기도 파란색이다.

계량법에 명시된 가우스-마코프 정리

OLS의 대부분의 치료에서 설계 $\mathbf {X}$ X $\mathbf {X}$ {\ $displaystyle \mathbf {X}}$ 에 있는 역류기(관심 매개변수)는 반복 샘플에 고정된 것으로 가정한다 $\mathbf {X}$ . 이 가정은 계량학처럼 주로 비논리학적으로 부적절한 것으로 간주된다.^[7] $\mathbf {X}$ 가우스-마코프 정리의 가정은 X ${\$ 을(를) 조건으로 명시된다 $\mathbf {X}$

선형성

종속 변수는 모형에 지정된 변수의 선형 함수로 가정한다. 규격은 매개변수에서 선형이어야 한다. 이것은 독립변수와 종속변수 사이에 선형관계가 있어야 한다는 것을 의미하지는 않는다. 독립 변수는 모수가 선형인 한 비선형 형태를 취할 수 있다. The equation $y=\beta _{0}+\beta _{1}x^{2},$ qualifies as linear while $y=\beta _{0}+\beta _{1}^{2}x$ can be transformed to be linear by replacing $\beta _{1}^{2}$ by another parameter, say ${\displaysty$ $le \gamma }$ . An equation with a parameter dependent on an independent variable does not qualify as linear, for example $y=\beta _{0}+\beta _{1}(x)\cdot x$ , where $\beta _{1}(x)$ is a function of $x$ .

데이터 변환은 종종 방정식을 선형 형태로 변환하는데 사용된다. 예를 들어 Cobb-Douglas 함수(주로 경제학에서 사용됨)는 비선형적이다.

(\displaystyle Y=)AL^{\alpha }K^{1-\alpha }e^{\barepsilon }}}}

그러나 그것은 양쪽의 자연 로그(natural logarithm)를 취함으로써 선형적인 형태로 표현할 수 있다.^[8]

\ln Y=\ln A+\alpha \ln L+(1-\alpha )\ln K+\varepsilon =\ln K+\beta =\beta _\{1}\ln L+\beta _{2}\ln K+\varepsilon }}}}}}}

이 가정은 또한 규격 문제도 다룬다: 적절한 기능적 형태를 선택했고 누락된 변수가 없다고 가정한다.

그러나 변환된 방정식의 잔차를 최소화하는 모수가 반드시 원래 방정식의 잔차를 최소화하는 것은 아니라는 점을 알아야 한다.

엄격한 이질성

모든 $n$ 의 ${\displaystyle$ n $}$ 관측치에 $n$ 대해 오차항의 기대치(regressor에 조건부)는 0이다.^[9]

\operatorname {E} [\,\varepsilon _{i}\mid \mathbf {X}=\\operatorname {E}[\,\barepsilon _{i}\mid \mathbf _{1},\dots,\mathb {n}=0.

어디 x 거야. \cdots &, regressors의ith 관찰을 위한 x_{ik}\end{bmatrix}}^{\mathsf{T}}}는 데이터 벡터, 그리고 결과적으로 X-경우에는 x1Tx2T⋯)nT.[나는 k)나는 1)나는 2⋯ x]T{\displaystyle \mathbf{)}_{나는}={\begin{bmatrix}x_{i1}&, x_{i2}&amp원 ] $\mathbf {X} ={\begin{bmatrix}\mathbf {x} _{1}^{\mathsf {T}}&\mathbf {x} _{2}^{\mathsf {T}}&\cdots &\mathbf {x} _{n}^{\mathsf {T}}\end{bmatrix}}^{\mathsf {T}}$ is the data matrix or design matrix.

기하학적으로, 이러한 $\mathbf {x} _{i}$ 은 $\mathbf {x} _{i}$ i $\mathbf {x} _{i}$ {\ $displaystyle \mathbf {x} _{i}$ 와 $\mathbf {x} _{i}$ $\varepsilon _{i}$ i $\varepsilon _{i}$ {\ $displaystyle \varepsilon _{i}$ 이 서로 직교하므로 $\varepsilon _{i}$ , 그 내적 생산물(즉, 교차 모멘트)이 0이라는 것을 암시한다.

\operatorname {E} [\,\mathbf {x} _{j}\cdot \varepsilon _{i}\,]={\begin{bmatrix}\operatorname {E} [\,{x}_{j1}\cdot \varepsilon _{i}\,]\\\operatorname {E} [\,{x}_{j2}\cdot \varepsilon _{i}\,]\\\vdots \\\operatorname {E} [\,{x}_{jk}\cdot \varepsilon _{i}\,]\end{bmatrix}}=\mathbf {0} \quad {\text{for all }}i,j\in n

이러한 가정은 설명 변수가 확률적이거나, 예를 들어 오류로 측정되거나 내생적인 경우 위반된다.^[10] 내분성은 동시성의 결과일 수 있으며, 여기서 인과관계는 종속변수와 독립변수 둘 다 사이를 왔다 갔다 한다. 이 문제를 해결하기 위해 기악 변수 기법이 일반적으로 사용된다.

전체 순위

샘플 데이터 매트릭스 $\mathbf {X}$ ${\$ 은(는) 전체 열 순위를 가져야 한다 $\mathbf {X}$ .

\operatorname {rank}(\mathbf {X} )=k

그렇지 않으면 $\mathbf {X} '\mathbf {X}$ $\mathbf {X} '\mathbf {X}$ $\mathbf {X} '\mathbf {X}$ ${\$ 은(는) 변환할 수 없으며 $\mathbf {X} '\mathbf {X}$ OLS 추정기를 계산할 수 없다.

이러한 가정에 대한 위반은 완벽한 다중 공선성이다. 즉, 일부 설명 변수는 선형적으로 의존한다. 기본 더미 변수를 생략하지 않고 더미 변수와 상수 항 사이에 완벽한 상관 관계를 초래하는 경우, 이러한 상황이 발생하는 한 가지 시나리오를 "더미 변수 트랩"이라고 한다.^[11]

다중 공선성("완벽하지 않은" 한)은 덜 효율적이지만 여전히 편향되지 않은 추정치를 산출할 수 있다. 추정치는 덜 정밀하고 특정 데이터 집합에 매우 민감할 것이다.^[12] 다중 공선성은 조건 번호 또는 분산 팽창 계수에서 검출할 수 있다.

구면 오차

오류 벡터의 외부 생산물은 구면이어야 한다.

\operatorname{E}[\,{\boldsymbol{\varepsilon}}{\boldsymbol{\varepsilon ^{\mathsf{T}}}}\mid \mathbf{X}]=\operatorname{바르}[\,{\boldsymbol{\varepsilon}}\mid \mathbf{X}]={\begin{bmatrix}\sigma ^{2}&, 0&, \cdots &, 0\\0&, \sigma ^{2}&, \cdots, 0\\\vdots &, \vdots &, \ddots &, \vdots \\0& &, 0&, \cdots&.앰프, \sigma ^{2}\end{bmatrix}}=\sigma ^{2}\mathbf {I} \quad {\text{{}}\sigma ^{2}>0

이는 오차항이 균일한 분산(동일성)을 가지며 연속적인 의존성이 없음을 의미한다.^[13] 만약 이 가정이 위반된다면, OLS는 여전히 편견은 없지만 비효율적이다. The term "spherical errors" will describe the multivariate normal distribution: if $\operatorname {Var} [\,{\boldsymbol {\varepsilon }}\mid \mathbf {X} ]=\sigma ^{2}\mathbf {I}$ in the multivariate normal density, then the equation $f(\varepsilon )=c$ is the n차원 공간에서 반지름 σ으로 μ에 중심을 맞춘 공의 공식.^[14]

이질성은 오차의 양이 독립 변수와 상관관계가 있을 때 발생한다. 예를 들어, 식품 지출과 소득에 대한 회귀 분석에서 오차는 소득과 상관관계가 있다. 저소득층은 일반적으로 음식에 비슷한 양을 사용하는 반면, 고소득층은 매우 많은 양을 소비하거나 저소득층이 소비하는 만큼 적게 소비할 수 있다. 이질화 또한 측정 관행의 변화에 의해 발생할 수 있다. 예를 들어 통계청이 데이터를 개선하면 측정오차가 줄어들기 때문에 시간이 지날수록 오차항은 줄어든다.

이 가정은 자기 상관이 있을 때 위반된다. 인접한 관측치가 적합 회귀선 위에 있는 경우 특정 관측치가 적합선 위에 있을 가능성이 더 높은 경우 자기 상관 관계를 데이터 그림에서 시각화할 수 있다. 자기 상관은 데이터 시리즈가 "내부"를 경험할 수 있는 시계열 데이터에서 흔히 발생한다. 종속 변수가 충격을 완전히 흡수하는 데 시간이 걸리는 경우. 공간 자기 상관도 발생할 수 있는 지리적 영역은 유사한 오류를 가질 가능성이 있다. 자기 상관은 잘못된 기능적 형태를 선택하는 것과 같은 잘못 지정의 결과일 수 있다. 이러한 경우 규격을 수정하는 것이 자기 상관에 대처할 수 있는 한 가지 방법이다.

구형 오류가 있는 경우 일반화 최소 제곱 추정기는 파란색일 수 있다.^[6]

참고 항목

기타 치우치지 않은 통계량

최적 선형 불편 예측(BLUP)
최소-분산 불편 추정기(MVUE)

참조

^ 의 7장 참조 Johnson, R.A.; Wichern, D.W. (2002). Applied multivariate statistical analysis. 5. Prentice hall.
^ Theil, Henri (1971). "Best Linear Unbiased Estimation and Prediction". Principles of Econometrics. New York: John Wiley & Sons. pp. 119–124. ISBN 0-471-85845-5.
^ Plackett, R. L. (1949). "A Historical Note on the Method of Least Squares". Biometrika. 36 (3/4): 458–460. doi:10.2307/2332682.
^ David, F. N.; Neyman, J. (1938). "Extension of the Markoff theorem on least squares". Statistical Research Memoirs. 2: 105–116. OCLC 4025782.
^ Jump up to: ^a ^b Aitken, A. C. (1935). "On Least Squares and Linear Combinations of Observations". Proceedings of the Royal Society of Edinburgh. 55: 42–48. doi:10.1017/S0370164600014346.
^ Jump up to: ^a ^b Huang, David S. (1970). Regression and Econometric Methods. New York: John Wiley & Sons. pp. 127–147. ISBN 0-471-41754-8.
^ Hayashi, Fumio (2000). Econometrics. Princeton University Press. p. 13. ISBN 0-691-01018-8.
^ Walters, A. A. (1970). An Introduction to Econometrics. New York: W. W. Norton. p. 275. ISBN 0-393-09931-8.
^ Hayashi, Fumio (2000). Econometrics. Princeton University Press. p. 7. ISBN 0-691-01018-8.
^ Johnston, John (1972). Econometric Methods (Second ed.). New York: McGraw-Hill. pp. 267–291. ISBN 0-07-032679-7.
^ Wooldridge, Jeffrey (2012). Introductory Econometrics (Fifth international ed.). South-Western. p. 220. ISBN 978-1-111-53439-4.
^ Johnston, John (1972). Econometric Methods (Second ed.). New York: McGraw-Hill. pp. 159–168. ISBN 0-07-032679-7.
^ Hayashi, Fumio (2000). Econometrics. Princeton University Press. p. 10. ISBN 0-691-01018-8.
^ Ramanathan, Ramu (1993). "Nonspherical Disturbances". Statistical Methods in Econometrics. Academic Press. pp. 330–351. ISBN 0-12-576830-3.

추가 읽기

Davidson, James (2000). "Statistical Analysis of the Regression Model". Econometric Theory. Oxford: Blackwell. pp. 17–36. ISBN 0-631-17837-6.
Goldberger, Arthur (1991). "Classical Regression". A Course in Econometrics. Cambridge: Harvard University Press. pp. 160–169. ISBN 0-674-17544-1.
Theil, Henri (1971). "Least Squares and the Standard Linear Model". Principles of Econometrics. New York: John Wiley & Sons. pp. 101–162. ISBN 0-471-85845-5.

외부 링크

수학의 일부 단어의 초기 알려진 용법: G(개요 역사 및 이름 설명)
다중 선형 회귀 분석에 대한 가우스 마르코프 정리 증명(매트릭스 대수학 활용)
지오메트리를 이용한 가우스 마르코프 정리 증명

[1] 의 7장 참조 Johnson, R.A.; Wichern, D.W. (2002). Applied multivariate statistical analysis. 5. Prentice hall.

[2] Theil, Henri (1971). "Best Linear Unbiased Estimation and Prediction". Principles of Econometrics. New York: John Wiley & Sons. pp. 119–124. ISBN 0-471-85845-5.

[3] Plackett, R. L. (1949). "A Historical Note on the Method of Least Squares". Biometrika. 36 (3/4): 458–460. doi:10.2307/2332682.

[4] David, F. N.; Neyman, J. (1938). "Extension of the Markoff theorem on least squares". Statistical Research Memoirs. 2: 105–116. OCLC 4025782.

[Aitken1935-5] Jump up to: ^a ^b Aitken, A. C. (1935). "On Least Squares and Linear Combinations of Observations". Proceedings of the Royal Society of Edinburgh. 55: 42–48. doi:10.1017/S0370164600014346.

[Huang1970-6] Jump up to: ^a ^b Huang, David S. (1970). Regression and Econometric Methods. New York: John Wiley & Sons. pp. 127–147. ISBN 0-471-41754-8.

[7] Hayashi, Fumio (2000). Econometrics. Princeton University Press. p. 13. ISBN 0-691-01018-8.

[8] Walters, A. A. (1970). An Introduction to Econometrics. New York: W. W. Norton. p. 275. ISBN 0-393-09931-8.

[9] Hayashi, Fumio (2000). Econometrics. Princeton University Press. p. 7. ISBN 0-691-01018-8.

[10] Johnston, John (1972). Econometric Methods (Second ed.). New York: McGraw-Hill. pp. 267–291. ISBN 0-07-032679-7.

[11] Wooldridge, Jeffrey (2012). Introductory Econometrics (Fifth international ed.). South-Western. p. 220. ISBN 978-1-111-53439-4.

[12] Johnston, John (1972). Econometric Methods (Second ed.). New York: McGraw-Hill. pp. 159–168. ISBN 0-07-032679-7.

[13] Hayashi, Fumio (2000). Econometrics. Princeton University Press. p. 10. ISBN 0-691-01018-8.

[14] Ramanathan, Ramu (1993). "Nonspherical Disturbances". Statistical Methods in Econometrics. Academic Press. pp. 330–351. ISBN 0-12-576830-3.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]

Search