반파라메트릭 회귀

이 문서에는 일반적인 참조 목록이 포함되어 있지만 대응하는 충분한 인라인 인용이 없습니다. 좀 더 정확한 인용문을 도입하여 개선해 주시기 바랍니다. (2015년 8월) (템플릿 메시지 삭제 방법 및 삭제 시기 확인)

시리즈의 일부
회귀 분석
모델
선형 회귀 단순 회귀 다항식 회귀 분석 일반 선형 모형
일반화 선형 모형 개별 선택 이항 회귀 분석 이항 회귀 로지스틱 회귀 분석 다항 로지스틱 회귀 분석 혼합 로짓 프로빗 다항 프로빗 주문된 로짓 순서 프로빗 포아송
다단계 모형 고정 효과 랜덤 효과 선형 혼합 효과 모형 비선형 혼합 효과 모형
비선형 회귀 분석 비모수 반파라메트릭 견고. 양분위수 아이소토닉 주요 컴포넌트 최소 각도 현지의 세그먼트화
변수 오류
견적
최소 제곱 선형 비선형
보통의 가중치 일반화
부분적 총 음이 아닌 능선 회귀 정규화
최소 절대 편차 반복 재중량화 베이지안 베이지안 다변량 최소 제곱 스펙트럼 분석
배경
회귀 검증 평균 및 예측 반응 오차 및 잔차 적합도 학생화 잔차 가우스-마르코프 정리
수학 포털
v t

통계에서 반파라메트릭 회귀 분석에는 모수 모형과 비모수 모형을 결합한 회귀 모형이 포함됩니다.완전 비모수 모형이 잘 수행되지 않거나 연구자가 모수 모형을 사용하려고 하지만 회귀 변수의 부분 집합이나 오차의 밀도와 관련된 함수 형식을 알 수 없는 경우에 자주 사용됩니다.반파라메트릭 회귀 모델은 반파라메트릭 모델링의 특정 유형이며, 반파라메트릭 모델은 파라메트릭 요소를 포함하므로 파라메트릭 가정에 의존하며 완전한 파라메트릭 모델처럼 잘못 지정되고 일관성이 없을 수 있다.

방법들

많은 다른 반파라메트릭 회귀 방법이 제안되고 개발되었다.가장 일반적인 방법은 부분 선형, 지수 및 가변 계수 모형입니다.

부분 선형 모형

부분 선형 모델은 다음과 같이 주어진다.

$\displaystyle Y_{i}=X'_{i}\beta +g\left(Z_{i}\right)+u_{i},\quad i=1,\ldots,n,}$

$여기$서 $(\$$}$는 종속 변수, $(\$$displaystyle X_$${i$})는 설명 변수의${\displaystyle }$$p{\displaystyle }$ ×$(\$$displaystyle \$$times$ 1)$$벡터,$$${\displaystyle {\beta }_{}}$(\$displaystyle$ \$times$1)는$$ 알 수 없는 $파라미터$의${\displaystyle \mathrm{p}}$ ×$$1(\displaystyle p\times 1) 벡터$$, $)$는 Zi$(\displaystyle)$입니다.$ratorname {R}$^{q$}$。부분 선형 모델의 파라메트릭 부분은 파라미터 $벡터{\displaystyle }$β(\$displaystyle \beta)$에 의해 주어지며, 비모수 부분은 알 수 없는 $함수{\displaystyle }$ g${\displaystyle (Z_{}}$i$)\$ g$\left(Z_{i}\right$입니다.데이터는 E${\displaystyle (u_{}}$ i ${\displaystyle X{}_{}{}_{}{i}_{}}$, ${\displaystyle {}_{}{i}_{}}$ ) ${\displaystyle =}$(\$displaystyle E\$$left$($u_{i} X_{i}\right$)=${\displaystyle {}^{}}$$}$인 것으로 가정되며, 이 모델은 조건부 이질적 오류 $프로세스{\displaystyle E{}_{}^{}}$(${\displaystyle u}$i 2${\displaystyle }$, z$$) ${\displaystyle =}$ ${\displaystyle {display\mathrm{}}^{}}$2${\displaystyle }$, display 2 )입니다.알 수 없는 형식입니다.이 유형의 모형은 로빈슨(1988)에 의해 제안되었고 Racine과 Li(2007)에 의해 범주형 공변량을 처리하기 위해 확장되었다.

$이$ 방법은$β$의 $(\$$displaystyle$$\$$beta$$)$ $일관$ 추정기를 구한 다음 ${\displaystyle Y_{}}$- ${\displaystyle X_{}^{}}$ i$β$의 비모수 회귀에서 g$(Z i)$의 추정기를 도출하여 구현한다$.$$적절한$ 비모수 ^[1]회귀 방법을 사용하여 z {\$displaystyle$z$$}에$$}을(를) 표시합니다.

인덱스 모델

단일 인덱스 모델은 다음 형식을 취합니다.

${\displaystyle Y=g\left(X'\beta _{0}\right)+u,}$

$여기$서 Y$(\displaystyle$ Y$),$ X$(\displaystyle$ X$)$ $및$ ${\displaystyle {\beta \mathrm{}}_{}}$0(\$displaystyle$ \$displaystyle$$u)$은 E${\displaystyle (u}$ X${\displaystyle )}$ $0$(\$displaystyle$ E$\left(u$ X$\right$) $=$$$0$)$을 충족합니다. 단일 인덱스 모델은 $모델{\displaystyle {}^{}}$의 파라메트릭 부분에서 이름을 따왔습니다${\displaystyle {.}^{}}$$isplaystyle$ x$'\disclar }$는 스칼라 단일 인덱스입니다.비모수 부분은 미지의 $함수{\displaystyle }$ g (${\displaystyle )}$) \ $displaystyle$g \ left ( \ $cdot$\$right$ )$。$

이치무라법

이치무라(1993)가 개발한 단일 지수 모형 방법은 다음과 같다.$y가$$$연속적인 $상황$을 고려합니다$.$$함수{\displaystyle }$g ( ${\displaystyle )}$) \ $displaystyle$g \$left$ ( \ $cdot$\$right$ $)$에 대해 알려진 형식이 주어지면 함수를 최소화하기 위해 비선형 최소 제곱법을 사용하여 ${\displaystyle {\beta \mathrm{}}_{}}$0 \ $displaystyle$\ $beta$ _ ${ 0$}을$$ 추정할 수 있다.

$\displaystyle \sum _{i}\left(Y_{i}-g\left(X'_{i}\beta\right)\{2}.$

g${\displaystyle }$( ${\displaystyle )}$ )$$\ $displaystyle$g \$left$ ( \ $cdot$\ $right )$의 $함수{\displaystyle }$ 형태를 알 수 없기 때문에 추정해야 합니다.$β에$$대해{\displaystyle }$ $주어진$ 값에 대해$$함수의 추정치

$\displaystyle G\left(X'_{i}\beta\right)=E\left(Y_{i} X'_{i}\beta \right)=E\left [g\left(X'_{i}\beta _{o}\오른쪽) X'_{i}\beta \right]$

커널 방식을 사용합니다.Ichimura(1993)는 다음과 같이 g${\displaystyle }$(${\displaystyle X_{}^{}}$ i$)\$ g$\left(X'_{i}\beta\right)$를 추정할 것을 제안한다.

$(\displaystyle {G}_{-i}\left(X'_{i}\beta\right),},$

G${\displaystyle (X_{}^{}}$ i$)$의 생략형 비모수 커널 추정기({$displaystyle$ G$\left(X'_{i}\beta \right$

클라인과 스페디의 추정자

종속 $변수{\displaystyle }$ y$(\displaystyle$ y$)$가 $이진수$이고 $(\$})와 $(\$})가$$ 독립적이라고 가정할 경우, 클라인과 스페디(1993)는 최대우도법을 사용하여$$β(\$displaystyle \beta)$를 추정하는 기법을 제안한다.로그 우도 함수는 다음과 같습니다.

$\displaystyle L\left(\beta \right)=\sum _{i}\left(1-{\hat {g}}_{-i}\left(X'_{i}\beta \right)+\sum _{i}Y_{i}\ln \left({\hat {g}_{-i}\left(X'_{i}\beta \right)\right),}$

$여기$서 g${\displaystyle {\stackrel{}{}^}_{}}$ -${\displaystyle {}_{}{i}_{}}$ ( ${\displaystyle X{}_{}^{}}$ ${\displaystyle i_{}^{}\beta }$β )$${ $displaystyle {g} _${ - $i$} \$left$( $X$' _ { i } \$beta \$ right )는$$ 생략형 추정치입니다.

평활 계수/변동 계수 모형

Hastie와 Tibshirani(1993)는 다음과 같은 매끄러운 계수 모델을 제안한다.

$\displaystyle Y_{i}=\alpha \left(Z_{i}\오른쪽)+u_{i}=\left(1+X'_{i}\오른쪽)\left({\begin{array}{c}\alpha \left(Z_{i}\i}\오른쪽)W'_{i}\gamma \left(Z_{i}\right)+u_{i}}$

$여기$서 $(\$})는$$ $k{\displaystyle }$×$$(\$displaystyle$$$k$\times$1) $벡터$이고,$(\$right)는$$z(\$displaystyle$z$)$의 지정되지 않은 스무스 함수의 벡터입니다.

${\displaystyle (}$ ($)$ ) {$displaystyle$\ $displaystyle$\ $left$ ( \$cdot$ \$$right$$ ) }는 다음과 같이 나타낼 수 있습니다.

$\displaystyle \left(Z_{i}\right)=\left(E\left[W_{i}W'_{i}Z_{i}\right]\right)^{-1}E\left[W_{i}Y_{i}Z_{i}\right]}$

「 」를 참조해 주세요.

• 비모수 회귀 분석
• 유효 자유도

메모들

레퍼런스

• Robinson, P.M. (1988). "Root-n Consistent Semiparametric Regression". Econometrica. The Econometric Society. 56 (4): 931–954. doi:10.2307/1912705. JSTOR 1912705.
• Li, Qi; Racine, Jeffrey S. (2007). Nonparametric Econometrics: Theory and Practice. Princeton University Press. ISBN 978-0-691-12161-1.
• Racine, J.S.; Qui, L. (2007). "A Partially Linear Kernel Estimator for Categorical Data". Unpublished Manuscript, Mcmaster University.
• Ichimura, H. (1993). "Semiparametric Least Squares (SLS) and Weighted SLS Estimation of Single Index Models". Journal of Econometrics. 58 (1–2): 71–120. doi:10.1016/0304-4076(93)90114-K.
• Klein, R. W.; R. H. Spady (1993). "An Efficient Semiparametric Estimator for Binary Response Models". Econometrica. The Econometric Society. 61 (2): 387–421. CiteSeerX 10.1.1.318.4925. doi:10.2307/2951556. JSTOR 2951556.
• Hastie, T.; R. Tibshirani (1993). "Varying-Coefficient Models". Journal of the Royal Statistical Society, Series B. 55: 757–796.