티코노프 정규화

Ridge 회귀를 이 기사에 통합하는 것이 제안되었습니다. (논의) 2021년 3월부터 제안되었습니다.

시리즈의 일부
회귀 분석
모델
선형 회귀 단순 회귀 다항식 회귀 분석 일반 선형 모형
일반화 선형 모형 개별 선택 이항 회귀 분석 이항 회귀 로지스틱 회귀 분석 다항 로지스틱 회귀 분석 혼합 로짓 프로빗 다항 프로빗 주문된 로짓 순서 프로빗 포아송
다단계 모형 고정 효과 랜덤 효과 선형 혼합 효과 모형 비선형 혼합 효과 모형
비선형 회귀 분석 비모수 반파라메트릭 견고. 양분위수 아이소토닉 주요 컴포넌트 최소 각도 현지의 세그먼트화
변수 오류
견적
최소 제곱 선형 비선형
보통의 가중치 일반화
부분적 총 음이 아닌 능선 회귀 정규화
최소 절대 편차 반복 재중량화 베이지안 베이지안 다변량 최소 제곱 스펙트럼 분석
배경
회귀 검증 평균 및 예측 반응 오차 및 잔차 적합도 학생화 잔차 가우스-마르코프 정리
수학 포털
v t

안드레이 티코노프의 이름을 딴 티코노프 정규화는 병세가 좋지 않은 문제를 정규화하는 방법이다.능선 ^[a]회귀 분석이라고도 하는 선형 회귀 분석에서 다중 공선성 문제를 완화하는 데 특히 유용합니다. 선형 회귀 분석에서는 ^[1]모수가 많은 모형에서 일반적으로 발생합니다.일반적으로 이 방법은 허용 가능한 양의 편향을 대가로 매개변수 추정 문제에 개선된 효율성을 제공한다(편향-분산 트레이드오프 ^[2]참조).

가장 간단한 경우, 대각선에 양의 요소를 추가하여 조건 수를 줄임으로써 근싱귤러 모멘트 행렬$({\displaystyle {\mathsf{}}^{}}$ ${\displaystyle T^{}\mathbf{}}$X$$)(\$displaystyle (\mathbf {X}^{\mathbf {T}}})$의 문제를 완화한다.일반적인 최소 제곱 추정기와 유사하게 단순 능선 추정기는 다음과 같이 주어진다.

${\displaystyle {\mathbf {X} =(\mathbf {T} ^{\mathbf {X} +\displayda \mathbf {I})^{-1}\mathbf {X} ^{\mathbf {T} }$

$여기$서 y$(\$는 회귀 행렬$,$ $X{\displaystyle \mathbf{}}$(\$displaystyle \mathbf {X})$는 설계 행렬,$(\displaystyle$ \$mathbf {I}$})는$$ 항등 행렬,^[3] 능선 파라미터${\displaystyle \mathrm{\theta }}$0(\$displaystyle \lambda \geq$ 0$)$은 모멘트 행렬의 대각선 이동 상수입니다.이 추정치는 라그랑지안으로 표현될 수 있는 제약 조건 β ${\displaystyle T^{}}$ β $\beta {\displaystyle {}^{}}$ $=$ {\$displaystyle \mathsf {T}}\beta =c$의 최소 제곱 문제에 대한 해라는 것을 보여줄 수 있다.

$\displaystyle \min _{\beta }, (\mathbf {y} - \mathbf {X} \beta )^{\mathbf {X} +\lambda (\beta ^{\mathsf {T}} )$

즉, $"\displaystyle\lambda"$는 제약조건의 라그랑주 승수에 불과하다는 것을 나타냅니다.$일반적$으로 ${\$ { $displaystyle$\ $lambda$}는$$ 휴리스틱 기준에 따라 선택되므로 제약조건이 정확하게 충족되지 않습니다.특히 구속조건이 비결합성인 ${\displaystyle \mathrm{\theta }}$ $=$ 0(\$displaystyle \displayda$=$0$의 경우 능선 추정치는 일반 최소 제곱으로 감소한다.티코노프 정규화에 대한 보다 일반적인 접근방식은 다음과 같다.

역사

티코노프 정규화는 많은 다른 맥락에서 독립적으로 발명되었다.그것은 안드레이 티코노프와^{[4][5][6][7][8]} 데이비드 L의 연구에서 적분 방정식에 적용되면서 널리 알려지게 되었다.필립스^[9]일부 저자는 티코노프-필립스 정규화라는 용어를 사용한다.유한 차원 사례는 Arthur E에 의해 설명되었다. Hoerl은 통계적 접근법을 ^[10]취했고 Manus Foster는 이 방법을 Wiener-Kolmogorov([11]Kriging) 필터로 해석했다.Hoerl에 이어 통계 문헌에서는 능선 ^[12]회귀로 알려져 있으며, 항등 행렬의 대각선을 따라 형상의 이름을 따 명명되었다.

티코노프 정규화

알려진 $행렬{\displaystyle }$ A$(\displaystyle$$$A$)$ 및$$$벡터{\displaystyle \mathbf{}}$ b(\displaystyle \mathbf ${b$에 대해 다음과 같은^{[clarification needed]} $벡터{\displaystyle \mathbf{}}$x(\$displaystyle \mathbf {x})$를 구한다고 가정합니다.

${\displaystyle A\mathbf {x} =\mathbf {b} .}$

표준 접근 방식은 일반 최소 제곱 선형 ^{[clarification needed]}회귀 분석입니다.그러나 x$(\$가 방정식을 만족하지 않거나 x$(\$가 하나 $이상{\displaystyle \mathbf{}}$ 만족하지 못하는 경우(즉, 솔루션이 고유하지 않은 경우) 문제는 잘못된 것으로 간주됩니다.이러한 경우, 일반적인 최소 제곱 추정은 지나치게 결정되거나 종종 덜 결정되는 방정식의 시스템으로 이어진다.대부분의 현실현상은$A가$$$x$(\displaystyle$ \$mathbf${$x})$를 b$(\$에 $매핑하는{\displaystyle \mathbf{}}$ 전방방향으로 로우패스 필터의 효과가 있으므로 역문제 해결 시 역매핑은 바람직하지 않은 앰프 성향을 갖는 하이패스 필터로 작용한다.ifing 노이즈(정방향 매핑에서 가장 작은 역방향 매핑에서 가장 큰 값/단수 값).또한 일반 최소 제곱은 모델을$x$의 이전 $상태$로 $사용$하는 것이 아니라$A$의$$null 공간에 있는$x$의 재구성된 버전 $x$의$$모든 요소를 암묵적으로 무효화합니다.일반 최소 제곱은$$x의 최소화를 추구합니다$.$잔차 제곱의 합으로, 다음과 같이 간략하게 쓸 수 있습니다.

${\displaystyle \ A\mathbf {x} -\mathbf {b} \ _{2}^{2}$

여기서 $\Vert {\displaystyle }$ ${\displaystyle \cdot }$ {\ $（$ \ $displaystyle \$ \ $cdot$\ $_ {$2$}$）는$$ 유클리드 노름입니다.

바람직한 특성을 가진 특정 솔루션을 우선시하기 위해 정규화 용어를 이 최소화에 포함할 수 있습니다.

$\displaystyle \A\mathbf {x} - \mathbf {b} \ _{2}^2} + \Gamma \mathbf {x} \ _{2}^2}$

적절하게 선택된 일부 티코노프 행렬$\delta {\displaystyle \mathrm{}}$(\$displaystyle \Gamma$에 대하여, 많은 경우, 이 행렬은 항등 행렬의 스칼라 ${\displaystyle \mathrm{}}$($δ =$\displaystyle $\Gamma$ =\$alpha$ I$)$로 선택되며, 규격이 작은 해를 선호한다. 이를 L ^[13]정규화라고 한다₂.다른 경우에는 기초 벡터가 거의 연속적이라고 생각되는 경우 하이패스 연산자(예를 들어 차분 연산자 또는 가중 푸리에 연산자)를 사용하여 평활성을 강제할 수 있다.이 정규화에 의해 문제의 컨디셔닝이 개선되어 직접적인 수치적 해결이 가능하게 됩니다.x$^(\$로 $표시$되는 명시적 솔루션은 다음과 같습니다.

${\displaystyle {x}=(A^{\top}A+\Gamma^{\top}\Gamma)^{-1}A^{\top}\mathbf {b}}$

정규화의 효과는 행렬$\delta {\displaystyle \mathrm{}}$(\$displaystyle \Gamma$의 스케일에 따라 달라질 수 있으며, ${\displaystyle \mathrm{\delta }}$ $=$ 0$(\displaystyle$ \$Gamma =$ 0)에$$ 대해 (AA^T)⁻¹가 존재할 경우 정규화 최소값 용액으로 감소한다.

L₂ 정규화는 로지스틱 회귀 분석 또는 지원 벡터 ^[14]기계를 사용한 분류 및 행렬 ^[15]인수분해와 같은 선형 회귀 분석 외에도 많은 상황에서 사용됩니다.

일반화 티코노프 정규화

x$${\$displaystyle$ x$}$에 $대한{\displaystyle }$ 일반 다변량 정규 분포와 데이터 오류의 경우 위의 경우와 같이 변수의 변환을 적용할 수 있습니다.마찬가지로 x$(\style$ x$)$를 사용하여 최소화할 수 있습니다.

$({displaystyle \ Ax-b\_{P}^{2}+\ x-x_{0}\_{Q}^{2})$

여기서 우리는 가중 노름 $제곱{\displaystyle {}^{}}$ x${\displaystyle {\mathrm{}}^{}q}$ Q$$${\displaystyle {\mathrm{}}_{}^{}}$ {\ $displaystyle$$$x$^{\ top$} $Qx}$ (Mahalanobis 거리와 비교)를 나타내기 위해${\displaystyle x}$ x${\displaystyle {}_q^{}}$ Q 2$${ $displaystyle$ \$x$\ $_${ $Q$}^$2}$ (Mahalanobis 거리와 비교)를$$ 사용했다.베이지안 $해석$에서 P$(\displaystyle$P)는$$ b$(\displaystyle$ b$)$의 역공분산 행렬, ${\displaystyle {x\mathrm{}}_{}}$ 0$(\$은$$x(\$displaystyle$ x$)$의 기대치, Q$(\displaystyle$ Q$)$는$$x(\$displaystyle$ x$)$의 역공분산 행렬입니다.다음으로 Tikhonov 매트릭스는 $행렬{\displaystyle }$ Q ${\displaystyle =}$ ${\displaystyle {\mathrm{}}^{}}$δ${\displaystyle {\mathrm{}}^{}\mathrm{}}$ { $displaystyle$Q$$= \ $Gamma$^ { \ $top$} \ $Gamma$}$$의 인수분해(예: 콜레스키 인수분해)로 주어지며 미백 필터로 간주된다.

이 일반화된 문제에는 최적의 해결 $방법{\displaystyle {}^{}}$ x ${\$ (\$displaystyle$ x$^{*})$이 있으며, 이 방법은 다음 공식을 사용하여 명시적으로 기술할 수 있습니다.

${\displaystyle x^{*}=(A^{\top}PA+Q)^{-1}(A^{\top}Pb+Qx_{0}),}$

또는 동등하게

$({displaystyle x^{*}=x_{0}+(A^{\top}PA+Q)^{-1}(A^{\top}P(b-Ax_{0})).}$

라브렌티예프 정규화

경우에 따라서는 Mikhail ^[16]Lavrentev가 제안한 $전치{\displaystyle {}^{}}$ A$${\ (\$displaystyle$ A$^{\top$예를 들어$,$ A(\$displaystyle$A)가$$ 대칭 양의 유한인 $경우{\displaystyle }$. > ( \ $displaystyle$ A =$A$$^$ { \ $top$}$$$>{\displaystyle }$ $0$)$역{\displaystyle {}^{}}$A -$$1 ( \ $displaystyle$ A$$${\displaystyle {=\mathrm{}}^{}}$ $= A$- ${\displaystyle 1^{}}$ $_$ { $P$$}^{$ - $top$ $})$의 ${\displaystyle {\mathrm{설정}}^{}}$에도 사용할 수 $있습니다.$

${\displaystyle \ Ax-b\_{A^{-1}^{2}+\x_{0}\_{Q}^{2}$

또는 상수항까지 동등하게

${\displaystyle {}^{}x{}^{}（}$ ${\displaystyle A}$+ ${\displaystyle Q}$）${\displaystyle x}$ - 2 x${\displaystyle {}^{}（}$ ${\displaystyle b}$ + ${\displaystyle {Q\mathrm{}}_{}}$ x 0$$）{ $displaystyle$ x$^{\top$}($A+Q)x-2x^{\top}(b+Qx_{0$

이 최소화 문제에는 최적의 $해법x{\displaystyle {}^{}}$ （ \ $displaystyle$ x$^{$ * } ）이$$ 있습니다.이 해법은 다음 공식을 사용하여 명시적으로 기술할 수 있습니다.

${\displaystyle x^{}}$ ${\displaystyle {\ast }^{}}$ $=$ (${\displaystyle A}$ +${\displaystyle {}^{}Q{}^{}}$) - ${\displaystyle 1^{}}$(${\displaystyle b}$ + ${\displaystyle Q}$ ${\displaystyle {x\mathrm{}}_{}}$0 $){$ $displaystyle$ x^{*}=($A+Q)^{-1}(b+Qx_{0$

A ${\displaystyle =}$ ${\displaystyle {}^{}}$ ⊤${\displaystyle {\mathrm{}}^{}}$=${\displaystyle {}^{}}$ -${\displaystyle {}^{}{1}^{}}$. { $displaystyle$ A$=A^{\top$ } $= P^{-1}$인 $일반화된$ $티코노프{\displaystyle }$ 문제의 해결책에 불과하다.$}$

라브렌티예프 $행렬{\displaystyle }$ A${\displaystyle }$+$$ (\$displaystyle$A+$)$는 티코노프 $행렬{\displaystyle {}^{}}$ A${\displaystyle {\mathrm{}}^{}}$+ ${\displaystyle {\{\backslash \mathrm{}}^{}}${\ {\ {\ {\${\displaystyle }${\ {\ {\ {\ {\ {\ {\ {\ {\ {\ {\ {\ {\ {\ {\ {\ {\ {\ A + {\ {\ {\ {\ {\ {\ {\ {\ {\ {\ {\ {\ {\ {\ {\ {\ {\ {\ {\ {\ {\ {\ {\ {\ {\ {\ {\ {\ {\ {\ {\ {\ {\ {\ {\ {\ {\ {\ {\ {\ {\ {\ {\ {\ {\ {\ {\ {\

힐베르트 공간의 정규화

일반적으로 이산적인 선형 조건 문제는 적분 방정식의 이산화에 기인하며, 원래의 무한 차원 맥락에서 티코노프 정규화를 공식화할 수 있다.위에서는 A$(style$ A$)$를 Hilbert 공간상의 콤팩트 연산자로$,$ x$(style$ x$$$)$와$b(style$b)를$$A($style$ A$)$의 $영역{\displaystyle }$ 및 범위 내의 요소로 $해석$할 수 있습니다.$연산자{\displaystyle {}^{}}$ A${\displaystyle {}^{}}$A + ${\displaystyle {\mathrm{}}^{\mathrm{}}}$⊤ ${\displaystyle {}^{}\mathrm{}}$ ${\$ {\ display { $displaystyle$ A^ { * } A + \ $Gamma$^ { \ $top$} \ $Gamma$}는$$ 자기접속형 반전 연산자가 됩니다.

특이치 분해 및 위너 필터와의 관계

${\displaystyle \delta }$ ${\displaystyle =}$ ${\displaystyle \alpha }$I { $displaystyle$\$Gamma$= \ $alpha$ I$$}일 때 특이값 분해를 이용하여 특수하게 분석할 수 있다.특이값 분해가 주어졌을 때

${\displaystyle A=U\Sigma V^{\top }}$

단수값 ${\displaystyle i_{}}$i \ $displaystyle \sigma$_ { $i$이면 Tikhonov 정규화 용액은 다음과 같이 표현될 수 있다.

${\displaystyle {x}}=VDU^{\top }b,}$

$여기$서 D$(\displaystyle$ D$)$에는 대각 값이 있습니다.

$({displaystyle D_{ii}=param frac {\param _ {i}^{2}+\alpha ^{2}}})$

다른 곳에서는 0입니다.이것은 정규화된 문제의 조건 번호에 대한 티코노프 매개변수의 영향을 보여준다.일반화 사례에서는 일반화 단수값 분해를 사용하여 ^[17]유사한 표현을 도출할 수 있다.

마지막으로 Wiener 필터와 관련이 있습니다.

${\displaystyle {hat {x}=\sum _{i=1}^{q}f_{i}{\frac {u_{i}^{\top}b}{\frac _{i}}}v_{i}}$

여기서 Wiener의 ${\displaystyle {가중치}_{}}$는 fi ${\displaystyle {}_{}}$ ${\displaystyle \frac{{\mathrm{}}_{}^{}}{}}$ ${\displaystyle \frac{2_{}^{}}{}}$ ${\displaystyle \frac{{}_{}^{}{}^{}}{}}$ + ${\displaystyle \frac{{\alpha \mathrm{}}^{}}{}}$2 {{$displaystyle f_{i$} =$frac${\$display_i}^{2} +\alpha$^{$2}}}$입니다.$q{\displaystyle }${\$displaystyle$q}는$A$의 $순위입니다.$

티코노프 인자의 결정

최적의 정규화 $(\displaystyle \alpha)$는 일반적으로 알려져 있지 않으며, 실제 문제에서는 종종 애드혹 방법에 의해 결정됩니다.가능한 접근법은 아래에 설명된 베이지안 해석에 의존합니다.다른 접근법에는 불일치 원리, 교차 검증, L-곡선 방법,^[18] 제한된 최대우도 및 편향되지 않은 예측 위험 추정기가 포함된다.Grace Wahba는 생략된 교차 검증의^[19][20] 관점에서 최적의 매개변수가

${{displaystyle G={operatorname {RSS}}{\hat ^{2}}={X{\hat }-y\^2}}{{\operatorname {Tr}(I-X(X^{T}X+알파^2}I)^{-1}^{\x}T} > {{2}} } }$

${\displaystyle \mathrm{여기}}$서$$RSS {$displaystyle \operatorname {RSS$$}$는 나머지 제곱합이고, ${\$ {$displaystyle$ \$tau}$는 유효 자유도입니다.

앞의 SVD 분해를 사용하면 위의 식을 단순화할 수 있습니다.

${\displaystyle \operatorname {RSS} =\left\y-sum _{i=1}^q}(u_{i}'b)u_{i}\right\^{2}+\frac {{{2}{\frac {{i}^2}+{i}{{i}}{u}{u}}{u}{u}{u}}{i}}{i}}}{u}}}{i}}}}{i}}}{i}}}}{i}}}}}}}}}}{{{$

${\displaystyle \operatorname {RSS} =\operatorname {RSS} _{0} +\left\sum _{i=1}^{q} {\frac {{i} {2} +\alpha ^{2}}(u_{i}'b)u_i}\right ^{2}$

그리고.

${\displaystyle = m-\sum _{i=1}^{q}{\frac {{i}^{2}{\frac _{i}^2}+\alpha^{2}}=m-q+\sum _{i=1}^q}{\frac {{i}^2}{\f}{\frac _i}{i}{i}^2}}}{\frac _frac _i}{{{{i}}}{i}}}}}}{{{{i}}}}}}}}}}}}}$

확률론적 공식과의 관계

역문제의 확률론적 공식은 (모든 불확실성이 가우스일 때) 모델 매개변수에 대한 선험적 불확실성을 나타내는 $공분산{\displaystyle {}_{}}$ ${\displaystyle {행렬}_{}}$ C M$(\$ 스타일$C_{$M$$})과 ^[21]관측된 매개변수에 대한 불확실성을 나타내는 공분산 $행렬{\displaystyle {}_{}}$ D(\$표시$ 스타일$C_{$D$$})를 도입한다.이 두 $행렬$이 대각선 및 등방성인 특별한 경우, ${\displaystyle C_{}}$ M ${\displaystyle {}_{}}$ ${\displaystyle {\mathrm{}}_{}^{}}$ M 2$$ \ $display style$ C_${M$} = \ $sigma$_ {M$}^2}$I $및{\displaystyle {}_{}}$ ${\displaystyle C_{}}$ D ${\displaystyle {}_{}}$ ${\displaystyle {\mathrm{}}_{}^{}}$ ${\displaystyle {}_{}^{}}$2 I \ $display C_${D} = \ $sigma$_ ${D}^{2}I$ 입니다$.$$style \alpha$=$sysma$_ {$D}$ / {\$sigma$_ {$M}}$。

베이지안 해석

이 정규화된 문제에 대한 해결책의 선택은 처음에는 인위적으로 보일 수 있고 행렬 δ$(\display\Gamma)$는 다소 자의적으로 보일 수 있지만, 이 과정은 베이지안 관점에서 정당화될 수 있다.문제가 발생할 경우 고유한 솔루션을 얻기 위해 반드시 몇 가지 추가 전제를 도입해야 합니다.통계적으로 x$(\displaystyle$ x$)$의 사전 확률 분포는 다변량 정규 분포로 간주될 수 있습니다.여기서 간단하게 하기 위해 다음과 같은 가정을 합니다.평균은 제로, 컴포넌트는 독립적입니다.컴포넌트의 표준편차는 x$(\$와 같습니다.데이터도 오류가 발생할 수 있으며$,$ b(\$displaystyle$ b$)$의 오류도 평균과 표준편차가 0인 것으로 ${\displaystyle {가정}_{}}$한다. b$(\$ _${b$ 이러한 가정 하에서 x$(\di$)의 이전 분포를 고려할 때 티코노프 정규화 솔루션이 가장 가능성이 높은 솔루션이다.bayes의 ^[22]정리에 따르면, $splaystyle$x$\}.$

정규성의 가정이 오차의 균질성과 상관없는 가정으로 대체되고, 여전히 평균이 0이라고 가정한다면, 가우스-마코프 정리는 해답이 최소한의 비편향 선형 ^[23]추정기라는 것을 수반한다.

「 」를 참조해 주세요.

• LASSO 추정기는 통계의 또 다른 정규화 방법입니다.
• 탄력적 망정규화
• 행렬 정규화

메모들

레퍼런스

추가 정보

• Gruber, Marvin (1998). Improving Efficiency by Shrinkage: The James–Stein and Ridge Regression Estimators. Boca Raton: CRC Press. ISBN 0-8247-0156-9.
• Kress, Rainer (1998). "Tikhonov Regularization". Numerical Analysis. New York: Springer. pp. 86–90. ISBN 0-387-98408-9.
• Press, W. H.; Teukolsky, S. A.; Vetterling, W. T.; Flannery, B. P. (2007). "Section 19.5. Linear Regularization Methods". Numerical Recipes: The Art of Scientific Computing (3rd ed.). New York: Cambridge University Press. ISBN 978-0-521-88068-8.
• Saleh, A. K. Md. Ehsanes; Arashi, Mohammad; Kibria, B. M. Golam (2019). Theory of Ridge Regression Estimation with Applications. New York: John Wiley & Sons. ISBN 978-1-118-64461-4.
• Taddy, Matt (2019). "Regularization". Business Data Science: Combining Machine Learning and Economics to Optimize, Automate, and Accelerate Business Decisions. New York: McGraw-Hill. pp. 69–104. ISBN 978-1-260-45277-8.