평균 및 예측 반응

이 글에는 참고문헌, 관련 독서 또는 외부 링크 목록이 수록되어 있으나 인라인 인용구가 부족하여 출처가 불분명하다. 좀 더 정밀한 인용구를 도입하여 이 기사를 개선할 수 있도록 도와주십시오. (2010년 11월) (이 템플릿 메시지를 제거하는 방법과 시기 알아보기)

다음에 대한 시리즈 일부
회귀분석
모델
선형 회귀 분석 단순 회귀 분석 다항식 회귀 분석 일반 선형 모형
일반화 선형 모형 이산선택 이항 회귀 분석 이항 회귀 분석 로지스틱 회귀 분석 다항 로지스틱 회귀 분석 혼합 로짓 프로빗 다항 프로빗 주문형 로짓 주문 프로빗 포아송
다단계 모델 고정 효과 랜덤 효과 선형 혼합 효과 모형 비선형 혼합효과 모형
비선형 회귀 분석 비모수 세미파라메트릭 로버스트 퀀틸레 동위원소 주성분 최소 각도 국부적 세그먼트화
변수 내 오류
추정
최소 제곱 선형 비선형
보통 가중치 일반화
부분적 합계 비음성 능선 회귀 분석 정규화된
최소 절대 편차 반복적으로 다시 가중치 부여 베이시안 베이시안 다변량
배경
회귀 유효성 검사 평균 및 예측 반응 오차 및 잔차 적합도 학생화 잔차 가우스-마르코프 정리
수학포털
v t

선형 회귀 분석에서 평균 반응과 예측 반응은 회귀 모수로부터 계산된 종속 변수의 값과 독립 변수의 주어진 값이다. 이 두 반응의 값은 같지만 계산된 분산은 다르다.

배경

직선 피팅에서 모델은

${\displaystyle y_{i}=\cHB +\px_{i}+\varepsilon _{i}\,}$

여기서 ${\displaystyle y_{}}$ ${\$는 반응 변수, ${\displaystyle x_{}}$ i ${\$는 설명 변수$$, $\alpha$_i ${\displaystyle \alpha}$ 및 $\beta {\displaystyle }$ ${\displaystyle$\ \}은$($는) 매개 변수다$$. 주어진 설명 값 x에_d 대한 평균 및 예측 반응 값은

${\displaystyle {\hat{y}_{d}={\hat {\pair }+{\hat {\pair }}}$

실제 반응은 다음과 같을 것이다.

${\desplaystyle y_{d}=\cHB +\d_{d}+\varepsilon _{d},}$

$\alpha {\displaystyle \hat{}}$ ${\$ 및$$ $\beta {\displaystyle \hat{}}$ ${\$의 값과 분산에 대한 식은 선형 회귀 분석에서$$ 제공된다.

평균 반응

Since the data in this context is defined to be (x, y) pairs for every observation, the mean response at a given value of x, say x_d, is an estimate of the mean of the y values in the population at the x value of x_d, that is ${\displaystyle {\hat {E}}(y\mid x_{d})\equiv {\hat {y}}_{d}\!}$. 평균 반응의 분산은 다음과 같다.

${\displaystyle \operatorname {Var} \left({\hat {\alpha }}+{\hat {\beta }}x_{d}\right)=\operatorname {Var} \left({\hat {\alpha }}\right)+\left(\operatorname {Var} {\hat {\beta }}\right)x_{d}^{2}+2x_{d}\operatorname {Cov} \left({\hat {\alpha }},{\hat {\beta }}\right).}$

이 표현은 다음과 같이 단순화할 수 있다.

${\displaystyle \operatorname {Var} \left({\hat {\alpha }}+{\hat {\beta }}x_{d}\right)=\sigma ^{2}\left({\frac {1}{m}}+{\frac {\left(x_{d}-{\bar {x}}\right)^{2}}{\sum (x_{i}-{\bar {x}})^{2}}}\right),}$

여기서 m은 데이터 점의 수입니다.

이러한 단순화를 증명하기 위해, 우리는 그 정체성을 이용할 수 있다.

${\displaystyle \sum(x_{i}-{\bar{x}}^{2}=\sum x_{i}^{2}-{n1}-{m}}\좌(\sum x_{i}\오른쪽)^{2}}$

예측 반응

예측 반응 분포는 주어진 점 x에서_d 잔차의 예측 분포입니다. 따라서 분산은

${\displaystyle {\begin{aligned}\operatorname {Var} \left(y_{d}-\left[{\hat {\alpha }}+{\hat {\beta }}x_{d}\right]\right)&=\operatorname {Var} (y_{d})+\operatorname {Var} \left({\hat {\alpha }}+{\hat {\beta }}x_{d}\right)-2\operatorname {Cov} \left(y_{d},\left[{\hat {\alpha }}+{\hat {\beta }}x_{d}\right]\right)\\&=\operatorname {Var}(y_{d})+\operatorname {Var} \좌측({\hat {\\alpha }}}+{\hat {\beta }}\우측)\end{정렬}}}$

The second line follows from the fact that ${\displaystyle \operatorname {Cov} \left(y_{d},\left[{\hat {\alpha }}+{\hat {\beta }}x_{d}\right]\right)}$ is zero because the new prediction point is independent of the data used to fit the model. 또한 평균 ${\displaystyle 반응}$에 대해 ${\displaystyle \mathrm{Var}^(\alpha \stackrel{}{}}$ ^${\displaystyle \stackrel{}{}}$+ $^$ x d ) {\$displaystyle \operatorname$ {$Var}$\좌측$({\hat$ {\$alpha }}+{\hat{}x_{d}\right)$이라는 용어가 앞서 계산되었다$$.

${\displaystyle \mathrm{Var}}$ ${\displaystyle }$(${\displaystyle {}_{}}$ ${\displaystyle d_{}}$)${\displaystyle }$= ${\displaystyle {}^{}}$ ${\displaystyle {2\mathrm{}}^{}}$ ${\$추정할 수 있지만 알 수 없는 고정 파라미터))이므로 예측 반응의 분산이 다음과 같이 주어진다.

${\displaystyle{\begin{정렬}\operatorname{바르}\left(y_{d}-\left[{\hat{\alpha}}와{\hat{\beta}}x_{d}\right]\right)&, =\sigma ^{2}+\sigma ^ᆱ\left({\frac{1}{m}}와{\frac{\left(x_{d}-{\bar{x}}\right)^{2}}{\sum(x_{나는}-{\bar{x}})^{2}}}\right)\\[4pt]&, =\sigma ^ᆴ\left(1+{\frac{1}{m}}와{\frac{(x_{d}-{\bar{x}})^{2}}{\sum(x_{나는}-{\bar{)}}.)^{2}}})오른쪽).\end{aigned}}$

신뢰구간

The ${\displaystyle 100(1-\alpha )\%}$ confidence intervals are computed as ${\displaystyle y_{d}\pm t_{{\frac {\alpha }{2}},m-n-1}{\sqrt {\operatorname {Var} }}}$. Thus, the confidence interval for predicted response is wider than the interval for mean response. 이는 직관적으로 예상됨 – 무작위 변수 ε은_i 감소하지 않지만, $^$ {\$displaystyle {\\$displaystyle {\\}의$$ 분산은 샘플링이 증가함에 따라 감소하기$$ 때문에 $한{\displaystyle }$ 표본에서$$y$${\$displaystyle y}$ 값의 모집단의 분산은 감소하지 않는다.$hat {\message }}$과 $\beta {\displaystyle \hat{}}$ ${\$이(가) 감소하므로 평균 반응(vmx response value)은 $\alpha {\displaystyle }$+ ${\displaystyle \beta }$ x ${\displaystyle d_{}}$ ${\$에 가까워진다$.$

이는 모집단의 분산과 모집단의 표본 평균의 분산 간의 차이와 유사하다. 모집단의 분산은 모수로서 변하지 않지만 표본 평균의 분산은 표본이 증가하면 감소한다.

일반 선형 회귀 분석

일반 선형 모델은 다음과 같이 쓸 수 있다.

${\displaystyle y_{i}=\sum _{j=1}^{n}X_{ij}\beta _{j}+\varepsilon _{i}\,}$

따라서 $y{\displaystyle {}_{}}$ ${\displaystyle \underset{}{\overset{}{d}}{}_{}}$= ${\displaystyle \underset{}{\overset{}{}}}$ j${\displaystyle \underset{}{\overset{}{}}}$= ${\displaystyle \underset{}{\overset{}{}}}$ ${\displaystyle \underset{}{\overset{}{}}{}_{}}$ ${\displaystyle d_{}}$ ${\displaystyle j_{}}$ ${\displaystyle {\beta }_{}}$ ${\displaystyle {\stackrel{}{^}}_{}}$ j ${\$=1}$X_{dj}{\hat{\beta }}}}}{j}}}}$ 평균 반응의 분산에 대한 일반적인$$ 표현은 다음과 같다.

${\displaystyle \operatorname {Var} \left(\sum _{j=1}^{n_{dj}{dj}{\hat {\beta }}}}}}{j}\sum _{j=1}^{n}X_{di}}}}}S_{ij}X_{dj}}$

여기서 S는 모수의 공분산 행렬로, 다음과 같이 주어진다.

${\displaystyle \mathbf {S} =\sigma^{2}\왼쪽(\mathbf {X^{\mathsf{T}X}\오른쪽)^{-1}.}$

참조