정규화 최소 제곱

이 기사는 최소 제곱#정규화와 거기서 여기까지 제공되는 링크로 요약되어야 한다. {{Main}} 템플릿. 위키백과의 지침을 참조하십시오.요약 스타일.(2020년 11월)

다음에 대한 시리즈 일부
회귀분석
모델
선형 회귀 분석 단순 회귀 분석 다항식 회귀 분석 일반 선형 모형
일반화 선형 모형 이산선택 이항 회귀 분석 이항 회귀 분석 로지스틱 회귀 분석 다항 로지스틱 회귀 분석 혼합 로짓 프로빗 다항 프로빗 주문형 로짓 주문 프로빗 포아송
다단계 모델 고정 효과 랜덤 효과 선형 혼합 효과 모형 비선형 혼합효과 모형
비선형 회귀 분석 비모수 세미파라메트릭 로버스트 퀀틸레 동위원소 주성분 최소 각도 국부적 세그먼트화
변수 내 오류
추정
최소 제곱 선형 비선형
보통 가중치 일반화
부분적 합계 비음성 능선 회귀 분석 정규화된
최소 절대 편차 반복적으로 다시 가중치 부여 베이시안 베이시안 다변량
배경
회귀 유효성 검사 평균 및 예측 반응 오차 및 잔차 적합도 학생화 잔차 가우스-마르코프 정리
수학포털
v t

정규화된 최소 제곱(RLS)은 정규화를 사용하여 결과 솔루션을 더욱 구속하면서 최소 제곱 문제를 해결하는 방법의 집합이다.

RLS는 크게 두 가지 이유로 사용된다. 첫 번째는 선형 시스템의 변수 수가 관측치 수를 초과할 때 나타난다. 그러한 설정에서, 일반적인 최소 제곱 문제는 잘못 발생하며, 따라서 관련 최적화 문제는 무한히 많은 해결책을 가지고 있기 때문에 적합이 불가능하다. RLS는 솔루션을 고유하게 결정하는 추가 제약조건의 도입을 허용한다.

RLS가 사용되는 두 번째 이유는 변수 개수가 관측치 개수를 초과하지 않을 때 발생하지만 학습된 모형은 일반화가 잘 되지 않아 어려움을 겪는다. RLS는 이러한 경우에 훈련 시간에 모델을 구속함으로써 모델의 일반성을 향상시키는 데 사용될 수 있다. 이 제약조건은 어떤 식으로든 솔루션을 "분산"하도록 강요하거나 특징 간 상관관계에 대한 정보와 같은 문제에 대한 다른 사전 지식을 반영할 수 있다. 이것에 대한 베이시안적인 이해는 RLS 방법이 종종 최소 제곱 문제에 대한 해결책에 대한 이전 방법과 동일하다는 것을 보여줌으로써 얻을 수 있다.

일반 제형

Consider a learning setting given by a probabilistic space ${\displaystyle (X\times Y,\rho (X,Y))}$, ${\displaystyle Y\in R}$. Let ${\displaystyle S=\{x_{i},y_{i}\}_{i=1}^{n}}$ denote a training set of ${\displaystyle n}$ pairs i.i.d. with respect to $$${\displaystyle \rho }$ ${\displaystyle \rho$ $\}.$ $let{\displaystyle }$ V${\displaystyle }$: ${\displaystyle Y}$ ${\displaystyle \times }$ ${\displaystyle R}$→${\displaystyle }$[ ${\displaystyle 0}$; ${\displaystyle \mathrm{\infty }}$) ${\displaystyle V:$$Y\time R\rightarrow [0;\fty )}$은(는) 손실 함수다. $F{\displaystyle }$ ${\displaystyle F}$을(를) 예상되는$$ 위험과 같은 기능의 공간으로 정의하십시오.

$\displaystyle \varepsilon (f)=\int V(y,f(x)\,d\rho(x,y)}$

잘 규정되어 있다. 주요 목표는 예상되는 위험을 최소화하는 것이다.

${\displaystyle \inf _{f\in F}\varepsilon (f)}$

문제를 정확히 해결할 수 없기 때문에, 해결책의 품질을 측정하는 방법을 명시할 필요가 있다. 좋은 학습 알고리즘은 추정자에게 작은 위험을 제공해야 한다.

공동 분포 distribution ${\displaystyle \rho$ }은$($는) 일반적으로 알려져 있지$$ 않기 때문에 경험적 위험을 감수한다. 정규화된 최소 제곱의 경우 제곱 손실 함수가 도입된다.

${\displaystyle \varepsilon (f)={\frac {1}{n}\sum _{i=1}^{nV(y_{i},f(x_{i}))={\frac {1}{n1}\sum _{i=1}^{n}(y_{i}-f(x_{i})^{2}}$

그러나 기능이 $X{\displaystyle }$ ${\displaystyle X}$의 사각 통합 기능 집합과 같이 상대적으로 제약이 없는 공간에서 가져온 경우$,$ 이 접근방식은 훈련 데이터를 과도하게 적합시킬 수 있으며, 낮은 일반화로 이어질 수 있다. 따라서, $기능{\displaystyle }$ f$${\$displaystyle f$}의 복잡성을 어떻게든 구속하거나 불이익을 주어야 한다$.$ RLS에서, 이는 재생산 커널 힐버트 $공간{\displaystyle \mathcal{}}$(RKHS) H ${\$에서$$함수를 선택하고 functio의 표준에 비례하여 객관적 함수에 정규화 용어를 추가함으로써 달성된다.$n{\displaystyle \mathcal{}}$ in H ${\$

${\displaystyle \inf _{f\in F}\varepsilon (f)+\lambda R(f),\lambda >0}$

커널 제형

RKHS 정의

RKHS는 다음과 같은 재현 속성을 가진$$ 대칭 양립자 커널 함수 $K{\displaystyle (x}$, ${\displaystyle z}$) ${\displaystyle K(x,z)}$로 정의할 수 있다.

${\displaystyle \langle K_{x}f\angle _{\mathcal{H}=f(x),}$

where ${\displaystyle K_{x}(z)=K(x,z)}$. The RKHS for a kernel ${\displaystyle K}$ consists of the completion of the space of functions spanned by ${\displaystyle \left\{K_{x}\mid x\in X\right\}}$: ${\displ$$aystyle f(x)=\sum _{i=1}^{n}\alpha _{i}}{i_{i}},\,f\in {\mathcal {H},$ 여기서$$${\displaystyle {\alpha }_{}}$ $i{\displaystyle {}_{}}$ ${\$는 모두 실제 숫자다. 일반적으로 사용되는 일부 커널은 선형 커널을 포함하며, 선형 함수의 공간을 유도한다.

${\displaystyle K(x,z)=x^{T}z,}$

$순서{\displaystyle }$ d {\$displaystyle$ d$}$의 다항식 $함수$의 공간을 유도하는 다항식 커널$:$

${\displaystyle K(x,z)=(x^{T}z+1)^{d}}}$

가우스 커널:

${\displaystyle K(x,z)=e^{-{-{\frac {\x-z\ ^{2}}:{\sigma ^{2}}.}$

임의 손실 함수 $V{\displaystyle }$ ${\displaystyle V$의 경우 이 접근방식은 Tikhonov 정규화라는 이름의 일반적인 알고리즘 클래스를 정의한다는 점에 유의하십시오. 예를 들어 힌지 손실을 사용하면 서포트 벡터 머신 알고리즘으로 연결되고, 엡실론 감도 손실률을 사용하면 서포트 벡터 회귀로 연결된다.

임의 커널

대표자 정리는 해법이 다음과 같이 쓰여질 수 있음을 보장한다.

${\displaystyle \underset{}{\overset{}{f}}}$( ${\displaystyle x}$)${\displaystyle }$= ${\displaystyle \underset{}{\overset{}{}}}$ i${\displaystyle \underset{}{\overset{}{}}}$= ${\displaystyle \underset{}{\overset{}{}}}$ c ${\displaystyle \underset{}{\overset{}{}}{}_{}}$ ${\displaystyle {}_{}}$(${\displaystyle x}$ ${\displaystyle i_{}}$ ${\displaystyle {}_{}}$ x${\displaystyle }$) ${\displaystyle f(x)=\sum _{i=1}^{n}c_{i$}K($x_{i}}x)}$ 일부$$ $c{\displaystyle }$ ${\displaystyle \in }$ ${\displaystyle {}^{}}$ ${\displaystyle {\mathbb{}}^{}}$ ${\$ c$\in \mathb$ {R$} ^{n$

최소화 문제는 다음과 같이 표현될 수 있다.

${\displaystyle \min_{c\in \mathb {R}^{n}}{n}\{n}\Y-Kc\_{\mathb {R}^{n}^{n}}}^{n}}+\lambda \f\{H}^{2}}}}}}}}}}}}$

여기서, ${\displaystyle \mathrm{약간}}$의 표기법 남용과 함께, 커널 $매트릭스{\displaystyle }$ K의$$i, j {\$displaystyle$ $i$$,j$$}$ 항목$$($$커널 $함수{\displaystyle }$ K${\displaystyle (\cdot ,)}$ )$$${\$$displaystyle$$$$K$$(\cdot$,\$cdot$ $)\}$과는 반대로${\displaystyle }$$( x$ ${\displaystyle i_{}}$, x $j$)가 된다$.$

그런 기능을 위해서,

${\displaystyle {\begin{aligned}&\ f\ _{H}^{2}=\langle f,f\rangle _{H}=\left\langle \sum _{i=1}^{n}c_{i}K(x_{i},\cdot ),\sum _{j=1}^{n}c_{j}K(x_{j},\cdot )\right\rangle _{H}\\={}&\sum _{i=1}^{n}\sum _{j=1}^{n}c_{i}c_{j}\langle K(x_{i},\cdot ),K(x_{j},\cdot )\rangle _{H}=\sum _{i=1}^{n}\sum _{j=1}^{n}c_{i}c_{j}K(x_{i},x_{j})=c^{T}Kc,\end{aigned}}$

다음과 같은 최소화 문제를 얻을 수 있다.

${\displaystyle \min _{c\in \mathbb {R} ^{n}}{\frac {1}{n}}\ Y-Kc\ _{\mathbb {R} ^{n}}^{2}+\lambda c^{T}Kc}$.

볼록함수의 합이 볼록하므로 용액은 고유하며 그라데이션 w.r.t $c{\displaystyle }$ ${\displaystyle c}$을(를) $0{\displaystyle \mathrm{}}${\$displaystyle 0}$으로 설정하면 최소값을 찾을 수 있다$.$

${\displaystyle -{\frac {1}{n1}Kc(Y-Kc)+\lambda Kc=0\Rightarrow K(K+\lambda nI)c=KY\Rightarrow c=(K+\lambda nI)^{-1Y,},}$

여기서 $c{\displaystyle }$ ${\displaystyle \in }$ ${\displaystyle {\mathbb{}}^{}}$ ${\displaystyle {}^{}}$. ${\displaystyle c\in \mathb {R} ^{n}.$$}$

복잡성

훈련의 복잡성은 기본적으로 커널 매트릭스를 계산하는 비용과 선형 시스템을 푸는 데 드는 비용을 합한 것으로 대략 $O{\displaystyle }$( ${\displaystyle {}^{}}$ $){\displaystyle O(n^{3})$이다$.$ 선형 또는 가우스 커널에 대한 커널 행렬의 계산은 O${\displaystyle }$($n{\displaystyle }$ ${\displaystyle {2\mathrm{}}^{}}$ ${\displaystyle {}^{}}$ )${\displaystyle O(n^{2}D)}$ 입니다$.$ 시험의 복잡성은 $O{\displaystyle }$( $){\displaystyle O(n)}$ 입니다$.$

예측

새로운 시험점 $∗{\$의 예측은 다음과$$ 같다.

${\displaystyle f(x_{*}}}=\sum _{i}^{n}c_{i}K(x_{i}},x_{*})=K(X,X_{*}}}^{}}}{i}}}}^{i}T}c}$

선형 커널

편의를 위해 벡터 표기법이 도입된다. $X{\displaystyle }$ ${\displaystyle X}$을(를) 입력 벡터인 $n{\displaystyle }$ ${\displaystyle \times }$ ${\displaystyle d}$ ${\displaystyle$ $n$$\times$ $d$$}$ 행렬로$$ 하고$$$,$ $항목$이 해당 출력인 $Y$ {$$${\displaystyle \times }$ ${\displaystyle 1}$ ${\displaystyle n\times$ 1$}$ 벡터로$$ 한다. 벡터의 경우 $커널{\displaystyle \mathrm{}}$ 매트릭스는 K${\displaystyle }$= X ${\displaystyle }$ ${\displaystyle X^{}}$ T ${\$로 작성할 수 있으며$,$ 학습 함수는 다음과 같이 작성할 수 있다.

${\displaystyle f(x_{*}}=\operatorname {K} _{x_{*c=x_{*}^{T}\operatorname {X}^{T}c=x_{*}^{T}w}$

여기서 $w{\displaystyle }$= ${\displaystyle {}^{}}$ ${\displaystyle T^{}}$ ${\displaystyle {}^{}}$, ${\displaystyle w}$ ${\displaystyle \in }$ ${\displaystyle R^{}}$ d ${\$$T}c,w\in$ R$^{d$ 목적 함수는 다음과 같이 다시 쓸 수 있다.

${\displaystyle {\begin{aigned}&{\frac {1}{n}\ Y-\operatorname {K} c\ _{\mathb {R}^{n}^{2}+\lambda c^{{n}}}T}\operatorname {K} c\\[4pt]={}&#{\frac {1}{n}\y-\operatorname {X} \operatorname {X}^{T}c\ _{\mathb {R}^{n}^{n}}^{2}+\lambda c^{{{}}}}T}\operatorname {X} \operatorname {X} ^{T}c={\frac {1}{n}\y-\operatorname {X}w\{\\\\\\mathb {R}^{n}^{2}+\lambda \w\{d^{R}}}}}}}}}}$

첫 번째 항은 잔차 제곱합에 해당하는 일반 최소 제곱(OLS) 회귀 분석의 객관적 함수다. 두 번째 용어는 정규화 용어로서, OLS에는 존재하지 않으며, $큰{\displaystyle }$ w ${\displaystyle w}$ 값을$$ 벌한다. 부드러운 유한 치수 문제가 고려되고 표준 미적분 도구를 적용할 수 있다. 목표 함수를 최소화하기 위해 $w{\displaystyle }$ ${\displaystyle w}$에 대해 그라데이션 값을 계산하여$$ 0으로 설정하십시오.

${\displaystyle \operatorname {X} ^{T}\operatorname {X} w-\\operatorname {X} ^{T}y+\lambda nw=0}$

${\displaystyle w=(\operatorname {X}^{T}\operatorname {X} +\lambda n\operatorname {I})^{-1}\operatorname {X}^{T}y}$

This solution closely resembles that of standard linear regression, with an extra term ${\displaystyle \lambda \operatorname {I} }$. If the assumptions of OLS regression hold, the solution ${\displaystyle w=(\operatorname {X} ^{T}\operatorname {X} )^{-1}\operatorname {X} ^{T}y}$, with ${\displaystyle \lambda =}$${\displaystyle 0}$ $[\displaystyle \lambda =0}$은$($는) 편향되지 않은 추정기로, 가우스-마코프 정리에 따르면 최소분산 선형 불편 추정기다. 따라서$$ ${\displaystyle \mathrm{\lambda n}}$ ${\displaystyle \mathrm{I}}$ ${\displaystyle \lambda n\operatorname {I}$이라는 용어는 편향된 해결책으로 이어지지만, 분산도 감소시키는 경향이 있다. This is easy to see, as the covariance matrix of the ${\displaystyle w}$-values is proportional to ${\displaystyle (\operatorname {X} ^{T}\operatorname {X} +\lambda n\operatorname {I} )^{-1}}$, and therefore large values of ${\displaystyle \lambda }$ will lead to lower variance. 따라서 $\lambda {\displaystyle }$ ${\displaystyle \lambda }$을(를) 조작하는 것은 트레이드-오프 편견과 분산에 해당한다$$. $n{\displaystyle }$ ${\displaystyle n}$이(가) 상대적으로 작거나$$ 상관 관계가 있는 regressor와 같은 고분산 w ${\displaystyle$ w$}$ 추정치의$$ $문제$에 대해서는 0이 아닌$\lambda {\displaystyle }$ {\$displaystyle \lambda }$을$($를) 사용하여 최적의 예측 정확도를 얻을 수 있으며, 따라서 분산을 줄이기 위해 일부 편향을 도입할 수 있다. 게다가, 기계의 n<>사례가 있을 것 배우 d{\displaystyle n<, d}, 어떤 경우에 XTX{\displaystyle X^{T}X}rank-deficient 있다고 지적하고 0이 아닌 λ{\lambda\displaystyle}(XT⁡ X+λ와 나는)− 1{\displaystyle(\operatorname{X}^{T}\operatorname를 계산하기 위해 필요하다 드문 일이 아니다. {X}+$\lambda$ n$\operatorname {I}^{-1$

복잡성

The parameter ${\displaystyle \lambda }$ controls the invertibility of the matrix ${\displaystyle X^{T}X+\lambda nI}$. Several methods can be used to solve the above linear system, Cholesky decomposition being probably the method of choice, since the matrix ${\displaystyle X^{T}X+\lambda nI}$ 대칭적이고 긍정적이다. 이 방법의 복잡성은 훈련의 경우$$ $O{\displaystyle }$( n ${\displaystyle {}^{}}$ ${\displaystyle {2\mathrm{}}^{}}$) ${\displaystyle O(nD^{2})$이고 시험의$$ 경우 $O{\displaystyle }$ ${\displaystyle (D}$ ${\displaystyle )}$ ${\displaystyle O(D)}$이다. 비용 $O{\displaystyle }$(${\displaystyle n}$ D ${\displaystyle {2\mathrm{}}^{}}$) ${\displaystyle O(nD^{2})$는 $본질적$으로 X ${\displaystyle {}^{}}$ X$${\$displaystyle$ X$^{T}X$ 계산의 비용인$$ 반면, 역 연산(${\displaystyle {}^{}}$ 선형 시스템의 솔루션)은 대략 $O{\displaystyle }$(D ${\displaystyle {3\mathrm{}}^{}}$) ${\displaysty$ O$(D^{3}})$이다$.$

피쳐 맵과 머서의 정리

이 절에서는 RLS를 어떤 종류의 재생 커널 K로 확장하는 방법을 보여 준다. 형상공간이라 불리는 일부 Hilbert $공간{\displaystyle }$F {\$displaystyle$ F$}$에 대해 선형 커널 대신 형상지도를 $\phi {\displaystyle \mathrm{}}$: ${\displaystyle X}$→ ${\displaystyle F}$ ${\displaystyle \Phi :X\rightarrow F}$로 간주한다$.$ 이 경우 커널은 다음과 같이 정의된다. The matrix ${\displaystyle X}$ is now replaced by the new data matrix ${\displaystyle \Phi }$, where ${\displaystyle \Phi _{ij}=\varphi _{j}(x_{i})}$, or the ${\displaystyle j}$-th component of the ${\displaystyle \varphi (x_{i})}$.

${\displaystyle K(x,x')=\langle \Phi(x),\Phi(x')\angle _{F}.}$

주어진 훈련 $세트{\displaystyle }$ K${\displaystyle }$= ${\displaystyle \mathrm{\phi }}$ ${\displaystyle {\phi }^{}}$ T ${\$에 대해 객관적인 기능을 다음과 같이 쓸 수 있다는 뜻이다$.$

${\displaystyle \min \mathb {R}^{n}\Y-\Phi \Phi \Phi \Phi \Phi ^{T}\{T}\\\\\\mathbbb{R}^{2}+{Lambda c^{T}\Phi ^{{T}c.}$

이 접근법은 커널 트릭으로 알려져 있다. 이 기법은 계산 연산을 상당히 단순화할 수 있다. $F{\displaystyle }$ ${\displaystyle F}$이(가) 고차원이면 φ${\displaystyle (x_{}}$ i${\displaystyle {}_{}}$) ${\displaystyle \varphi(x_{i}})$ 계산이 다소 집약적일 수 있다$$. 만약 커널 함수의 명시적 형태가 알려져 있다면, $우리$는 n ${\displaystyle \times }$ ${\displaystyle n}$ ${\displaystyle n\times$ n$}$ 커널$$ 매트릭스 $K{\displaystyle \mathrm{}}$ ${\displaystyle \operatorname {K}}$을(를) 계산하고 저장하기만 하면 된다$.$

사실 힐버트 공간 $F{\displaystyle }$ ${\displaystyle F}$은(는) ${\displaystyle {}^{}}$ m ${\$에 대해 이형적일 필요가 없으며 무한$$ 치수일 수 있다. 이는 연속적이고 대칭적이며 양의 확정적 커널 함수를 다음과 같이 표현할 수 있다고 기술한 머서의 정리에서 따온 것이다.

${\displaystyle K(x,z)=\sum _{i=1}^{\infit }\sigma _{i}e_{i}e_{i}(z)}$

where ${\displaystyle e_{i}(x)}$ form an orthonormal basis for ${\displaystyle \ell ^{2}(X)}$, and ${\displaystyle \sigma _{i}\in \mathbb {R} }$. If feature maps is defined ${\displaystyle \varphi (x)}$ with components ${\displa$$ystyle \varphi _{i}(x)={\sqrt {\sigma _{i}}}e_{i}(x)}$, it follows that ${\displaystyle K(x,z)=\langle \varphi (x),\varphi (z)\rangle }$. This demonstrates that any kernel can be associated with a feature map, and that RLS generally consists of linear RLS performed in some possibly higher-dimensional featu공간을 넓히다 머서의 정리는 커널과 어떻게 연관될 수 있는 하나의 피쳐 맵을 보여주지만, 사실 복수의 피쳐 맵은 주어진 재생산 커널과 연관될 수 있다. 예를 들어 지도 $map{\displaystyle }$${\displaystyle (x}$)${\displaystyle }$= K ${\displaystyle x_{}}$ ${\$ =${\displaystyle ⟨x(x}$ ) ,${\displaystyle z}$ ( z${\displaystyle }$) ${\displaystyle \{}$ ${\displaystyle K(x,z)=\langle \varphi (z)\rangele}$을 임의의 커널에 만족한다$$.

베이지안 해석

최소 제곱은 정규 분포를 따르는 잔차를 가정할 때 우도 최대화로 볼 수 있다. 이는 가우스 분포의 지수가 데이터에서 2차적이고 최소 제곱 객관적 함수도 같기 때문이다. 이 프레임워크에서 RLS의 정규화 조건은 $w{\displaystyle }$ ${\displaystyle$ w$}$에서 prior를 인코딩하는 것으로 이해할 수 있다$.$ 예를 들어, 티코노프 정규화는 0에 중심을 둔$$ $w{\displaystyle }${\$displaystyle w}$에서 정규화 이전 분포에 해당한다. 이를 확인하기 위해 먼저 OLS 목표는 ${\displaystyle {샘플링}^{}}$된 y$$i {\$displaystyle$y^{$i}$이(가$$) 일반적으로 W ${\displaystyle w^{}}$x ${\displaystyle i^{}}$ ${\$ 주위에 분포되어 있을 때 로그 우도 함수에 비례한다는 점에 유의하십시오.$T}\cdot$ x$^{i$ 그런 다음 0을 중심으로$$ 한 $w{\displaystyle }$ ${\displaystyle w}$의 정상 이전 버전이 양식의 로그 확률을 갖는다는 것을 관찰하십시오.

${\displaystyle \log P(w)=q-\알파 \sum _{j=1}^{j=1}^{d_{j}^{2}}$

여기서 $q{\displaystyle }$ ${\displaystyle q}$과 $\alpha {\displaystyle }$ ${\displaystyle \alpha }$은 이전의 분산에 따라 달라지는$$ $상수$로서$$w {\$displaystyle w}$과(와$)$ 독립적이다. 따라서 이전 시간의 로그 최소화는 OLS 손실 함수와 능선 회귀 정규화 항의 합계를 최소화하는 것과 같다.

이는 티호노프 정규화가 최소 제곱 문제에 대한 고유한 해결책으로 이어지는 이유에 대해 보다 직관적인 해석을 제공한다. 데이터로부터 얻은 제약 조건을 만족하는$$ 벡터는 무한히 $많지만{\displaystyle }$, w ${\displaystyle w}$이(가) 일반적으로 분배된다는$$ 선입견을 가지고 문제에 도달했기 때문이다.기원을 중심으로 해서, 우리는 결국 이 제약조건을 염두에 두고 해결책을 선택할 것이다.

다른 정규화 방법은 서로 다른 사전과 일치한다. 자세한 내용은 아래 목록을 참조하십시오.

구체적인 예

능선 회귀 분석(또는 Tikhonov 정규화)

벌칙 함수 R ${\displaystyle R}$에 대해 특히 일반적으로 선택하는 한 가지 방법은 제곱$$ ${\displaystyle {2\mathrm{}}_{}}$ 2$${\$displaystyle \ell$ _${2$}} 표준$$, 즉,

${\displaystyle R(w)=\sum _{j=1}^{d}w_{j}^{2}}$

${\displaystyle {\frac {1}{n1}\Y-\operatorname {X}w\{2}^{2}^+\lambda \sum _{j=1}^{d} _{j}^{2}\오른쪽 화살표 \min _{w\in \mathb {R}^{d}}}}}}}}}}}}}$

이것의 가장 흔한 이름은 티호노프 정규화와 능선 회귀라고 불린다. 다음과 같은 $w{\displaystyle }$ ${\displaystyle w}$에 대해 폐쇄형 솔루션을 허용한다$.$

${\displaystyle w=(X^{T}X+\알파 I)^{-1}X^{T}Y}$

이름 ${\displaystyle \mathrm{리지드}}$$$회귀 $분석$은 α I {\displaystyle $\alpha I}$ ${\displaystyle {항이}^{}}$ ${\displaystyle {}^{}}$공분산 $행렬$ X T X {\$displaystyle$X^{T}X}의 대각선 "리지"를 따라 양의 입력을 추가한다는 사실을 암시한다$.$

$\alpha {\displaystyle }$= ${\displaystyle 0}$ ${\displaystyle \alpha =0$ 즉 일반 최소 제곱의 경우 > n ${\displaystyle d>n}$이(가) 샘플 공분산 행렬 X ${\displaystyle {}^{}}$ ${\displaystyle X^{}}$ ${\displaystyle$ X$^{T}X}$을(를) 완전 순위로 만들지 못하므로 고유한 솔루션을 산출하도록 반전할 수 없다. 보통 최저까지 해결책의 문제가 맞아떨어지는군 왜 있을 수 있는 무궁할 때 d>n{\displaystyle d>, n}그러나 리지 회귀 사용할 경우 α>0{\displaystyle \alpha>0}, 즉,, α의 샘플 공분산 매트릭스에 나는{\displaystyle \alpha 나는}을 추가 수행하면 모든의 eigenva 거야..잠복 동안 열리e 0보다 완전히 크다. 즉, 그것은 되돌릴 수 없게 되고, 해결책은 독특해진다.

일반적인 최소 제곱과 비교했을 때, 능선 회귀는 편향되지 않는다. 분산과 평균 제곱 오차를 줄이기 위해 거의 치우치지 않고 예측 정확도를 향상시키는 데 도움이 된다. 따라서, 능선 추정기는 계수를 축소하여 보다 안정적인 해결책을 제시하지만 데이터에 대한 민감도가 부족하여 어려움을 겪는다.

라소 회귀 분석

최소 절대 선택 및 축소(LASSO) 방식도 인기 있는 선택이다. 라소 회귀 분석에서 라소 페널티 함수 $R{\displaystyle }$ ${\$$displaystyle$ R$}$은 r 1 {\$displaystyle \ell _{1$} 표준이다.

${\displaystyle R(w)=\sum _{j=1}^{d}\왼쪽 w_{j}\오른쪽 }$

${\displaystyle {\frac {1}{n1}\Y-\operatorname {X}w\{2}^{2}^+\lambda \sum _{j=1}^{d} \rightarrow \min _{w\in \mathb {R}^{d}}}}}$

라소 페널티 기능은 볼록하지만 엄격히 볼록하지는 않다는 점에 유의하십시오. 티코노프 정규화와 달리, 이 체계는 편리한 폐쇄형 솔루션을 가지고 있지 않다. 대신, 솔루션은 일반적으로 최소각 회귀 알고리즘과 같은 특정 알고리즘뿐만 아니라 2차 프로그래밍 또는 보다 일반적인 볼록 최적화 방법을 사용하여 발견된다.

lasso 회귀 분석과 Tikhonov 정규화의 중요한 차이점은 lasso 회귀 $분석$으로 인해 w {\displaystyle $w}$이(가$)$ 다른 것보다 더 많은 항목이 실제로 0이 되도록$$ 강요한다는 것이다. 이와는 대조적으로 티호노프 정규화는 $w{\displaystyle }$ ${\displaystyle w}$의 입력을 작게 강제하지만$$, 그렇지 않을 경우보다 더 많은 항목이 0이 되도록 강제하지는 않는다. 따라서 $w{\displaystyle }$ ${\displaystyle w}$의 non-zero 항목 수가 적을 것으로$$ 예상하는 경우 Tikhonov 정규화보다 LASSO 정규화가 더 적절하며, $w{\displaystyle }$ ${\displaystyle w}$의 항목이 일반적으로$$ 작지만 반드시 0은 아닐 것으로 예상할 때 Tikhonov 정규화가 더 적절하다. 이들 제도 중 어느 것이 더 관련성이 높은지는 당면한 특정 데이터 세트에 달려 있다.

위에서 설명한 피쳐 선택 외에도, LASSO에는 몇 가지 한계가 있다. 리지 회귀 분석은 높은 상관 관계가 있는 변수에 대해 사례 > ${\displaystyle n>d}$에서 더 나은 정확도를 제공한다.^[1] 다른 경우 n< ${\displaystyle n<d$ LASSO는 최대 $n{\displaystyle }$ ${\displaystyle n}$개의$$ 변수를 선택한다. 더욱이 LASSO는 상관성이 높은 표본의 그룹에서 일부 임의 변수를 선택하는 경향이 있으므로 그룹화 효과는 없다.

ℓ₀ 벌칙

${\displaystyle {\frac {1}{n1}\Y-\operatorname {X}w\{2}^+\lambda \w_{j}\ _{0}\오른쪽 화살표 \min _{w\in \mathb {R}^{d}}}}}}}}}}}$

sparsity를 강제하는 가장 극단적인 방법은 $w{\displaystyle }$ ${\displaystyle w}$의 계수의 실제 크기는 중요하지$$ 않다고 말하는 것이다. $오히려{\displaystyle }$ w$${\$displaystyle w$}의 복잡성을 결정하는 유일한 것은$$ 0이 아닌 항목 수입니다. 이는 $R{\displaystyle }$( ${\displaystyle w}$) ${\displaystyle R(w)}$을 $w{\displaystyle }$ ${\$$displaystyle \ell _{0}$의 ${\displaystyle {0\mathrm{}}_{}}$ 0 ${\$$displaystyle w}$의 표준으로 설정하는$$ 것과 일치한다$.$ 이 정규화 함수는 보장되는 첨사성에 매력적이지만, 약하게 볼록하지도 않은 함수의 최적화가 필요하기 때문에 해결하기가 매우 어렵다. 라소 회귀는 ${\displaystyle {weakly\mathrm{}}_{}}$ 0 {\$displaystyle \ell _{0}$ 벌칙을$$ 최소로 완화하는 것으로, 약하게 볼록한 최적화 문제를 산출한다.

탄성망

음이 아닌 $\lambda {\displaystyle {}_{}}$ ${\displaystyle {1\mathrm{}}_{}}$ ${\$및 $\lambda$ ${\displaystyle {2\mathrm{}}_{}}$ ${\$ 목표는$$ 다음과 같은 형식을 갖는다.

${\displaystyle {\frac {1}{n}}\ Y-\operatorname {X} w\ _{2}^{2}+\lambda _{1}\sum _{j=1}^{d} w_{j} +\lambda _{2}\sum _{j=1}^{d} w_{j} ^{2}\rightarrow \min _{w\in \mathbb {R} ^{d}}}$

$\alpha {\displaystyle }$= ${\displaystyle \lambda \frac{{}_{}}{}}$ ${\displaystyle \frac{{1\mathrm{}}_{}}{}}$ ${\displaystyle \frac{{}_{}}{{}_{}}}$ ${\displaystyle \frac{{1\mathrm{}}_{}}{}}$+ ${\displaystyle \frac{{\lambda \mathrm{}}_{}}{}}$ 2 ${\$}{1$}{\lambda _{1}+\lambda _{2$ 그러면 최소화 문제의 해결책은 다음과 같이 설명된다.

${\displaystyle {\frac {1}{n}}\ Y-\operatorname {X} w\ _{2}^{2}\rightarrow \min _{w\in \mathbb {R} ^{d}}{\text{ s.t. }}(1-\alpha )\ w\ _{1}+\alpha \ w\ _{2}\leq t}$ for some ${\displaystyle t}$.

(${\displaystyle 1}$- $α$) ${\displaystyle \Vert }$ ${\displaystyle w}$ ${\displaystyle {}_{}}$ w ‖ ${\displaystyle {1\mathrm{}}_{}}$+ ${\displaystyle \alpha }$ ${\displaystyle \Vert }$ ${\displaystyle w}$ ${\displaystyle {}_{}}$ ${\displaystyle {2\mathrm{}}_{}}$ ${\displaystyle {}_{}}$ ${\displaystyle t}$ ${\displaystyle (1-\alpha )\ w\{1}+\alpha$\$w\ \{2}\leq t}$를 Elastic Net 벌칙 함수로$$ 간주한다.

$\alpha {\displaystyle }$= ${\displaystyle 1}$ ${\displaystyle \alpha =1}$일$$때 탄성 그물은 능선회귀가 되고, $\alpha {\displaystyle }$= ${\displaystyle 0}$ ${\displaystyle \alpha =0}$은(는) 라소가 된다. ${\displaystyle }$α${\displaystyle \alpha }$ (${\displaystyle 0}$, ${\displaystyle 1}$ ${\displaystyle ]}$ ${\displaystyle \forall \alpha \in (0,1]}$ 탄력적$$ 순 벌칙 함수는 0에서 첫 번째 파생상품이 없으며, 래소 회귀와 능선 회귀 분석을 모두 취하면서 엄격하게 볼록 >0 {\$displaystyle \alpha >0}$이다.

Elastic Net의 주요 특성 중 하나는 상관된 변수 그룹을 선택할 수 있다는 것이다. 샘플$$ $x{\displaystyle {}_{}}$ ${\displaystyle i_{}}$ ${\$와 $x{\displaystyle {}_{}}$ ${\displaystyle j_{}}$ ${\$의 중량 벡터 차이는 다음과 같다.

${\displaystyle w_{i}^{*}(\lambda _{1},\lambda _{2})-w_{j}^{*}(\lambda _{1},\lambda _{2}) \leq {\frac {\sum _{i=1}^{n} y_{i} }{\lambda _{2}}}{\sqrt {2(1-\rho _{ij})}}}$, where ${\displaystyle {\rho }_{ij}={}_{}^{}}$${\$$$$T}x_{j}}}$^[2].

$x{\displaystyle {}_{}}$ ${\displaystyle i_{}}$ ${\$와 ${\displaystyle x_{}}$ $j{\displaystyle {}_{}}$ ${\$이($가{\displaystyle {}_{}}$) 높은 상관관계를 갖는 경우$$( weight ${\displaystyle i_{}}$ j${\displaystyle {}_{}}$→ ${\displaystyle 1}$ ${\displaystyle \rho _{ij}\오른쪽 화살표$ 1$})$ 중량 벡터는 매우 근접하다. 음의 상관관계가 있는 시료(${\displaystyle {\rho }_{}}$ ${\displaystyle i_{}}$ j${\displaystyle {}_{}}$→${\displaystyle }$- ${\displaystyle 1}$ ${\displaystyle \rho _{ij}\오른쪽$ 화살표 $-1$의 경우${\displaystyle }$- ${\displaystyle x_{}}$ j$${\$displaystyle -x_{j}$를 채취할 수 있다$$. 요약하자면, 상관 관계가 높은 변수의 경우 가중치 벡터는 음의 상관 변수의 경우 부호까지 동일한 경향이 있다.

RLS 방법의 부분 목록

다음은 정규화 함수 $R{\displaystyle }$ (${\displaystyle \cdot }$) ${\displaystyle$ R$(\cdot$ $)\}$의 가능한 선택 목록과 각 함수의 이름, 단순한 것이 있는 경우 그에 상응하는 이전 및 결과 최적화 문제에 대한 솔루션을 계산하는 방법들이다.

이름	정규화 함수	해당이전	해결 방법
티호노프 정규화	${\displaystyle \ w\ _{2}^{2}}$	정상	폐쇄형
라소 회귀 분석	${\displaystyle \ w\ _{1}.$	라플라스	근위부 그라데이션 강하, 최소 각도 회귀 분석
${\displaystyle {\ell \mathrm{}}_{}}$ 0${\$ 벌칙$$	${\displaystyle \ w\ _{0}}$	–	전진 선택, 후진 제거, 스파이크 및 슬래브와 같은 이전 버전 사용
탄성 그물	${\displaystyle \\ w\ _{1}+(1-\properties )\ w\ _{2}^{2}}:$	노멀과 라플라스 혼합물	근위부 그라데이션 강하
총변동 정규화	${\displaystyle \sum _{j=1}^{d-1} w_{j+1}-w_{j} }$	–	스플릿-브레그만 방법, 그 중에서도

참고 항목

• 최소 제곱
• 수학의 규칙화.
• 일반화 오류, 정규화가 사용되는 이유 중 하나.
• 티호노프 정규화
• 라소 회귀 분석
• 탄성 그물 정규화
• 최소각 회귀 분석

참조

외부 링크

• http://www.stanford.edu/~hastie/TAKs/enet_talk.pdf 탄력넷을 통한 정규화 및 가변선택(variable selection)
• 정규화된 최소 제곱 및 지원 벡터 머신(표시)
• 정규화된 최소 제곱(표시)