능선 회귀

능선 회귀 분석은 독립 변수의 상관 ^[1]관계가 높은 시나리오에서 다중 회귀 모형의 계수를 추정하는 방법입니다.그것은 계량경제학, 화학, ^[2]공학을 포함한 많은 분야에서 사용되어 왔다.

이 이론은 1970년 Hoerl과 Kennard에 의해 기술계측학 논문 "RIDGE 회귀: 비직교 문제의 편향된 추정"과 "RIDGE 회귀: 비직교 ^[3]^[4]^[1]문제에서의 응용"에서 처음 소개되었습니다.이는 능선 ^[5]분석 분야에서 10년간 연구한 결과였다.

능선 회귀 분석(R)은 선형 회귀 모델에 일부 다중 공선(높은 상관 관계) 독립 변수가 있을 때 최소 제곱 추정기의 부정확성에 대한 가능한 해결책으로 개발되었다.분산 및 평균 제곱 추정치가 이전에 ^[6]^[2]도출된 최소 제곱 추정치보다 작은 경우가 많기 때문에 보다 정확한 능선 모수를 추정할 수 있습니다.

수학적 상세

표준 선형 회귀 분석에서 n ${\textstyle n\times 1}$ × $(텍스트 스타일$ n $\times$ ${\textstyle n\times 1}$ 1) 열 ${\textstyle n\times 1}$ ${\textstyle y}$ y $(텍스트$ $스타일$ y $)$ 는 ${\textstyle y}$ 열 상관성이 높은 ${\textstyle n\times p}$ n × $($ ${\textstyle p\ll n}$ 으로 p ${\textstyle p\ll n}$ n ${\textstyle p\ll n}$ \ $textstyle$ p $\l$ n ${\textstyle p\ll n}$ ${\textstyle n\times p}$ ${\textstyle X}$ X $(\textstyle$ X $)$ 의 열 공간에 투영됩니다.직교 ${\textstyle X\beta }$ ${\textstyle X\beta }$ β {\textstyle X\ $beta}$ 를 ${\textstyle X\beta }$ 얻기 위해 열을 곱하는 ${\textstyle \beta \in \mathbb {R} ^{p\times 1}}$ β ${\textstyle \beta \in \mathbb {R} ^{p\times 1}}$ ${\textstyle \beta \in \mathbb {R} ^{p\times 1}}$ × ${\textstyle \beta \in \mathbb {R} ^{p\times 1}}$ {\ $textstyle$ $\beta$ \ $in \mathbb {R} ^{p\times$ 1)의 일반적인 ${\textstyle \beta \in \mathbb {R} ^{p\times 1}}$ 최소 제곱 추정치는 다음과 같다.

{\widehat }=(X^{T}X)^{-1}X^{T}y

( ${\textstyle X^{T}}$ 서 X T $($ X $^{T})$ 는 ${\textstyle X^{T}}$ X $(텍스트 스타일$ X $)$ 의 전치입니다).

회귀 문제의 종속 변수(X의 $열$ {\ $displaystyle$ X $X$ 의 상관 관계가 높은 상황에서는 위의 역수를 계산하기가 어려울 수 있습니다(다중 공선 참조).따라서 회귀 계수가 다음 대체 공식을 사용하여 계산되는 능선 회귀 분석을 사용할 수 있습니다.

{\displaystyle\widehat}_{\text{ridge}}=(X^{T}X+k)I_{p}^{-1}X^{T}y}

${\textstyle I_{p}}$ 서 I ${\textstyle I_{p}}$ p { $textstyle$ I _ { $p$ }는 ${\textstyle I_{p}}$ ${\textstyle p\times p}$ × p { $textstyle$ p \ $times$ p ${\textstyle p\times p}$ } ID ${\textstyle p\times p}$ ${\textstyle k>0}$ 이며 k ${\textstyle k>0}$ > ${\textstyle k>0}$ { $textstyle$ k > $0$ }은 ${\textstyle k>0}$ 작습니다.'릿지'라는 이름은 I의 대각선을 따라 있는 모양을 말합니다.

레퍼런스

^ ^a ^b Hilt, Donald E.; Seegrist, Donald W. (1977). Ridge, a computer program for calculating ridge regression estimates. doi:10.5962/bhl.title.68934.^{[페이지 필요]}
^ ^a ^b Gruber, Marvin (1998). Improving Efficiency by Shrinkage: The James--Stein and Ridge Regression Estimators. CRC Press. p. 2. ISBN 978-0-8247-0156-7.
^ Hoerl, Arthur E.; Kennard, Robert W. (1970). "Ridge Regression: Biased Estimation for Nonorthogonal Problems". Technometrics. 12 (1): 55–67. doi:10.2307/1267351. JSTOR 1267351.
^ Hoerl, Arthur E.; Kennard, Robert W. (1970). "Ridge Regression: Applications to Nonorthogonal Problems". Technometrics. 12 (1): 69–82. doi:10.2307/1267352. JSTOR 1267352.
^ Beck, James Vere; Arnold, Kenneth J. (1977). Parameter Estimation in Engineering and Science. James Beck. p. 287. ISBN 978-0-471-06118-2.
^ Jolliffe, I. T. (2006). Principal Component Analysis. Springer Science & Business Media. p. 178. ISBN 978-0-387-22440-4.

[Hilt-1] Hilt, Donald E.; Seegrist, Donald W. (1977). Ridge, a computer program for calculating ridge regression estimates. doi:10.5962/bhl.title.68934.^{[페이지 필요]}

[Gruber-2] Gruber, Marvin (1998). Improving Efficiency by Shrinkage: The James--Stein and Ridge Regression Estimators. CRC Press. p. 2. ISBN 978-0-8247-0156-7.

[3] Hoerl, Arthur E.; Kennard, Robert W. (1970). "Ridge Regression: Biased Estimation for Nonorthogonal Problems". Technometrics. 12 (1): 55–67. doi:10.2307/1267351. JSTOR 1267351.

[4] Hoerl, Arthur E.; Kennard, Robert W. (1970). "Ridge Regression: Applications to Nonorthogonal Problems". Technometrics. 12 (1): 69–82. doi:10.2307/1267352. JSTOR 1267352.

[Beck-5] Beck, James Vere; Arnold, Kenneth J. (1977). Parameter Estimation in Engineering and Science. James Beck. p. 287. ISBN 978-0-471-06118-2.

[Jolliffe-6] Jolliffe, I. T. (2006). Principal Component Analysis. Springer Science & Business Media. p. 178. ISBN 978-0-387-22440-4.

[1]

[2]

[3]

[4]

[5]

[6]

Search

능선 회귀

네임스페이스

더

수학적 상세

레퍼런스