능선 회귀
Ridge regression![]() |
능선 회귀 분석은 독립 변수의 상관 [1]관계가 높은 시나리오에서 다중 회귀 모형의 계수를 추정하는 방법입니다.그것은 계량경제학, 화학, [2]공학을 포함한 많은 분야에서 사용되어 왔다.
이 이론은 1970년 Hoerl과 Kennard에 의해 기술계측학 논문 "RIDGE 회귀: 비직교 문제의 편향된 추정"과 "RIDGE 회귀: 비직교 [3][4][1]문제에서의 응용"에서 처음 소개되었습니다.이는 능선 [5]분석 분야에서 10년간 연구한 결과였다.
능선 회귀 분석(R)은 선형 회귀 모델에 일부 다중 공선(높은 상관 관계) 독립 변수가 있을 때 최소 제곱 추정기의 부정확성에 대한 가능한 해결책으로 개발되었다.분산 및 평균 제곱 추정치가 이전에 [6][2]도출된 최소 제곱 추정치보다 작은 경우가 많기 때문에 보다 정확한 능선 모수를 추정할 수 있습니다.
수학적 상세
표준 선형 회귀 분석에서 n× n1) 열 y y는 열 상관성이 높은n × 으로 p n\ p n X X의 열 공간에 투영됩니다.직교 β {\textstyle X\를 얻기 위해 열을 곱하는 β × {\ \1)의 일반적인 최소 제곱 추정치는 다음과 같다.
(서 X T X는 X X의 전치입니다).
회귀 문제의 종속 변수(X의 {\X의 상관 관계가 높은 상황에서는 위의 역수를 계산하기가 어려울 수 있습니다(다중 공선 참조).따라서 회귀 계수가 다음 대체 공식을 사용하여 계산되는 능선 회귀 분석을 사용할 수 있습니다.
서 Ip { I _ { }는× p { p \ p} ID 이며 k> { k > }은 작습니다.'릿지'라는 이름은 I의 대각선을 따라 있는 모양을 말합니다.
레퍼런스
- ^ a b Hilt, Donald E.; Seegrist, Donald W. (1977). Ridge, a computer program for calculating ridge regression estimates. doi:10.5962/bhl.title.68934.[페이지 필요]
- ^ a b Gruber, Marvin (1998). Improving Efficiency by Shrinkage: The James--Stein and Ridge Regression Estimators. CRC Press. p. 2. ISBN 978-0-8247-0156-7.
- ^ Hoerl, Arthur E.; Kennard, Robert W. (1970). "Ridge Regression: Biased Estimation for Nonorthogonal Problems". Technometrics. 12 (1): 55–67. doi:10.2307/1267351. JSTOR 1267351.
- ^ Hoerl, Arthur E.; Kennard, Robert W. (1970). "Ridge Regression: Applications to Nonorthogonal Problems". Technometrics. 12 (1): 69–82. doi:10.2307/1267352. JSTOR 1267352.
- ^ Beck, James Vere; Arnold, Kenneth J. (1977). Parameter Estimation in Engineering and Science. James Beck. p. 287. ISBN 978-0-471-06118-2.
- ^ Jolliffe, I. T. (2006). Principal Component Analysis. Springer Science & Business Media. p. 178. ISBN 978-0-387-22440-4.