지원 벡터 기계의 정규화 관점

수학적 분석에서 지원 벡터 기계에 대한 정규화 관점은 다른 기계 학습 알고리즘의 맥락에서 SVM(지원 벡터 기계)을 해석하는 방법을 제공한다.SVM 알고리즘은 다차원 데이터를 분류하는데, 이는 교육 세트 데이터를 잘 적합시키는 동시에 과도한 피팅을 방지하여 솔루션이 새로운 데이터 포인트로 일반화되도록 하기 위함이다.정규화 알고리즘은 또한 훈련 세트 데이터를 적합시키고 과도한 피팅을 방지하는 것을 목표로 한다.훈련 세트의 오차가 적지만, 일부 기능 공간에서 복잡한 기능이 높은 규범과 함께 기능인 피팅 기능을 선택해 이를 수행한다.구체적으로 티코노프 정규화 알고리즘은 훈련 집합 오류의 합계에 함수의 규범을 더한 함수를 선택한다.훈련 세트 오류는 다른 손실 기능으로 계산할 수 있다.예를 들어, 정규화된 최소 제곱은 손실 함수로 제곱 오류 손실을 사용하는 티호노프 정규화의 특별한 경우다.^[1]

서포트 벡터 기계의 정규화 관점에서는 SVM을 티호노프 정규화, 특히 손실 기능을 위한 힌지 손실을 가지는 티호노프 정규화의 특수한 사례로 해석한다.이것은 SVM 알고리즘을 분석하여 같은 목표를 가진 다른 알고리즘과 비교하는 이론적 프레임워크를 제공한다: 오버핏 없이 일반화하는 것이다.SVM은 1995년 코린나 코르테스와 블라디미르 증기니크에 의해 처음 제안되었으며, 다차원 데이터를 두 범주로 분리할 수 있는 하이퍼플레인을 찾는 방법으로 기하학적으로 프레임을 설정했다.^[2]SVM의 이러한 전통적인 기하학적 해석은 SVM이 어떻게 작동하는지에 대한 유용한 직관력을 제공하지만, 정규화, 조기 정지, 첨사성, 베이지안 추론과 같은 과도한 피팅을 피하기 위한 다른 기계 학습 기법과는 관련되기 어렵다.그러나 SVM이 Tikhonov 정규화의 특별한 경우라는 것이 밝혀지자, SVM에 대한 정규화 관점은 더 넓은 종류의 알고리즘 내에서 SVM을 맞추는 데 필요한 이론을 제공했다.^[1][3][4]이를 통해 SVM과 다른 형태의 Tikhonov 정규화 간의 상세한 비교와 SVM의 손실 함수인 힌지 손실을 사용하는 것이 유익한 이유에 대한 이론적 토대가 가능해졌다.^[5]

이론적 배경

In the statistical learning theory framework, an algorithm is a strategy for choosing a function ${\displaystyle f\colon \mathbf {X} \to \mathbf {Y} }$ given a training set ${\displaystyle S=\{(x_{1},y_{1}),\ldots ,(x_{n},y_{n})\}}$ of inputs ${\display$$스타일 x_{i}}$ 및 레이블$$ ${\displaystyle y_{}}${\$displaystyle y_{i}}($레이블은 $$대개 ± ${\displaystyle \pm 1}).$정규화 전략은 데이터에 맞지만 너무 복잡하지는 않은 함수를 선택하여 오버피팅을 피한다.구체적으로:

${\displaystyle f={\underset {f\in {\mathcal {H}}}{\operatorname {argmin} }}\left\{{\frac {1}{n}}\sum _{i=1}^{n}V(y_{i},f(x_{i}))+\lambda \ f\ _{\mathcal {H}}^{2}\right\},}$

기능의 V어디에 H{\displaystyle{{H\mathcal}}}은 가설 space[6],:Y×Y→ R{\displaystyle V\colon \mathbf{Y}\times \mathbf{Y}\to \mathbb{R}}은 손실 함수,‖ ⋅ ‖ H{\displaystyle\와 같이 \cdot\_{{\mathcal H}}}은 규범에 그 가설 공간의 기능 및 λ∈ R{\displa.yst$yle \lambda \in \mathb {R}은($는)^[7] 정규화 매개 변수다$$.

When ${\displaystyle {\mathcal {H}}}$ is a reproducing kernel Hilbert space, there exists a kernel function ${\displaystyle K\colon \mathbf {X} \times \mathbf {X} \to \mathbb {R} }$ that can be written as an ${\displaystyle n\times n}$ symmetric positive-definite matrix ${\displaystyle \mat$$hbf {K}$^[8]$}$ . 대표자 정리로는

${\displaystyle f(x_{i})=\sum _{j=1}^{n}c_{j}\mathbf {K} _{ij},{\text{ and }}\ f\ _{\mathcal {H}}^{2}=\langle f,f\rangle _{\mathcal {H}}=\sum _{i=1}^{n}\sum _{j=1}^{n}c_{i}c_{j}K(x_{i},x_{j})=c^{T}\mathbf {K} c.}$

힌지 손실의 특수 특성

The simplest and most intuitive loss function for categorization is the misclassification loss, or 0–1 loss, which is 0 if ${\displaystyle f(x_{i})=y_{i}}$ and 1 if ${\displaystyle f(x_{i})\neq y_{i}}$, i.e. the Heaviside step function on ${\displaystyle -y_{i}$$f(x_{i$ 그러나 이 손실 함수는 볼록하지 않기 때문에 정규화 문제를 연산적으로 최소화하기 매우 어렵다.따라서 우리는 0 대 1의 패배를 대신할 볼록한 대체물을 찾는다.The hinge loss, ${\displaystyle V{\big (}y_{i},f(x_{i}){\big )}={\big (}1-yf(x){\big )}_{+}}$, where ${\displaystyle (s)_{+}=\max(s,0)}$, provides such a convex relaxation.실제로 힌지 손실은 0–1 오분류 손실 함수에 대한 가장 엄격한 볼록 상단으로,^[4] 무한 데이터를 사용하면 Bayes-최적 솔루션을 반환할 수 있다.^[5][9]

${\displaystyle f_{b}(x)={\displaysty{case}1,&p(1\mid x)]p(-1\mid x),\\\-1,&p(1\mid x)<pmd1\mid x)).\end{case}}}$

파생

티코노프 정규화 문제는 힌지 손실 측면에서 표현함으로써 SVM의 전통적인 제형과 동등한 것으로 보일 수 있다.^[10]힌지 손실 시

${\displaystyle V{\big (}y_{i},f(x_{i}){\big )}={\big (}1-yf(x){\big )}_{+}}}$

여기서${\displaystyle }$( ${\displaystyle s{}_{}}$)${\displaystyle {}_{}}$+${\displaystyle {}_{}}$= ${\displaystyle \mathrm{최대}}$( ${\displaystyle \mathrm{s}}$, 0${\displaystyle }$) ${\displaystyle (s)_{+}=\max(s,0$ 정규화 문제는

${\displaystyle f={\underset {f\in {\mathcal {H}}}{\operatorname {argmin} }}\left\{{\frac {1}{n}}\sum _{i=1}^{n}{\big (}1-yf(x){\big )}_{+}+\lambda \ f\ _{\mathcal {H}}^{2}\right\}.}$

$1{\displaystyle \mathrm{}}$/${\displaystyle }$( ${\displaystyle 2}$ ${\displaystyle \lambda }$)에 곱하기 ${\displaystyle$ 1$/(2\lambda )}$ 산출량$$

${\displaystyle f={\underset {f\in {\mathcal {H}}}{\operatorname {argmin} }}\left\{C\sum _{i=1}^{n}{\big (}1-yf(x){\big )}_{+}+{\frac {1}{2}}\ f\ _{\mathcal {H}}^{2}\right\}}$

${\displaystyle \mathrm{표준}}$ SVM 최소화 문제와 ${\displaystyle \mathrm{동일}}$한 C${\displaystyle }$= 1${\displaystyle }$/ ${\displaystyle (}$ 2 ${\displaystyle \mathrm{\lambda n}}$) ${\displaystyle C=1/(2\lambda$ n$)}$을$($를) 사용하는 경우.

참고 및 참조

• Evgeniou, Theodoros; Massimiliano Pontil; Tomaso Poggio (2000). "Regularization Networks and Support Vector Machines" (PDF). Advances in Computational Mathematics. 13 (1): 1–50. doi:10.1023/A:1018946025316.
• Joachims, Thorsten. "SVMlight". Archived from the original on 2015-04-19. Retrieved 2012-05-18.
• Vapnik, Vladimir (1999). The Nature of Statistical Learning Theory. New York: Springer-Verlag. ISBN 978-0-387-98780-4.