최소 제곱 지지 벡터 기계

이 기사는 대부분의 독자들이 이해하기에는 너무 전문적일 수 있다. 기술적인 세부사항을 삭제하지 않고 비전문가도 쉽게 이해할 수 있도록 개선해 주십시오. (2021년 12월) (이 템플릿메시지 삭제 방법 및 시기에 대해 알아보세요)

통계 및 통계 모델링용 최소 제곱 지원 벡터 머신(LS-SVM)은 데이터를 분석하고 패턴을 인식하며 분류 및 회귀 분석에 사용되는 관련 감독 학습 방법 집합인 Support-Vector 머신(SVM)의 최소 제곱 버전입니다.이 버전에서는 기존의 SVM에 대한 볼록한 2차 프로그래밍(QP) 문제 대신 일련의 선형 방정식을 풀어서 해결책을 찾습니다. 최소 제곱 SVM 분류기는 Johan Sukens와 Joos Vandewalle에 ^[1]의해 제안되었습니다.LS-SVM은 커널 기반 학습 방식의 클래스입니다.

서포트 벡터 머신에서 최소 제곱 서포트 벡터 머신으로

Vapnik의 기원에 따라 훈련 세트{x, y 나는}을 감안할 때 나는 입력 데이터로 나는 ∈ Rn{\displaystyle x_{나는}\in \mathbb{R}^{n}}x과 이에 이진 클래스 라벨 나는}{− 1,+1}{\displaystyle y_{나는}\in \{-1,+1\}∈ y 1N{\displaystyle\와 같이{x_{나는},y_{나는}\}_{i=1}^{N}}원, SVM[2]선형 분급기,.알다음 조건을 만족하는 제제:

${\displaystyle\case}w^{T}\phi(x_{i})+b\geq 1,&{\text{if}}}\cisco y_{i}=+1,\w^{T}\phi(x_{i})+b\leq-1,&{\text{if}}}\cisco y_{i}=-1,\end{case}}$

와 동등하다.

${\displaystyle y_{i}\left[{w^}T}\phi(x_{i}+b}\right]\geq 1,\dots,N,}$

여기서${\displaystyle }\theta {\displaystyle }$ ($x )\$displaystyle $\phi (x)$는 원래 공간에서 고차원 또는 무한 차원 공간으로의 비선형 지도입니다.

분리할 수 없는 데이터

이러한 분리형 하이퍼플레인이 존재하지 않는 경우, 우리는 다음과 같이 slack 변수 ${\displaystyle {\delta }_{}}$ i$\$ _${i}$를 도입한다.

${\displaystyle {case}y_{i}\left[{w^}T}\phi(x_{i}+b}\right]\geq 1-\xi _{i},&i=1,\ldots,\xi _{i}\geq 0,&i=1,\ldots,\end{case}}}$

구조적 위험 최소화 원칙에 따라 위험 경계가 다음과 같은 최소화 문제에 의해 최소화된다.

${\displaystyle\min J_{1}(w,\xi)=black {1}{2}}w^{T}w+c\sum \sum _{i=1}^{N}\xi _{i}}$

$\ displaystyle { text subject to } { \ begin { case } y _ { i } \ left [ { w ^ {T}\phi(x_{i}+b}\right]\geq 1-\xi _{i},&i=1,\ldots,N,\xi _{i}\geq 0,&i=1,\ldots,N,\end{case}}$

이 문제를 해결하기 위해 Lagrangian 함수를 구성할 수 있습니다.

${\displaystyle L_{1}(w,b,\xi,\alpha,\displays )=svsfrac {1}{2}}w^{T}w+c\sum \sum _{i=1}^{N}{\xi _{i}-\sum \sum _{i}\alpha _{i}\left\{y_{i}\left[{w^{}T}\phi(x_{i}+b}\right]-1+\xi _{i}\right\}-\sum \sum \sum _{i=1}^{N}\beta _{i}\xi _{i}$

$여기$서 ${\displaystyle {\alpha }_{}}$ i${\displaystyle {}_{}0\text{0}{}_{}}$ , ${\displaystyle \beta }$ i${\displaystyle {}_{}0}$0 ( ${\displaystyle i}$ ${\displaystyle =1}$ , ${\displaystyle ...}$ ,${\displaystyle }$N$$) {$displaystyle \alpha$ _${i}\geq$ 0$\ (i=1,\ldots ,N$$)$ 은 라그랑지안 승수이다.최적의 지점은 라그랑지안 함수의 안장점에 있을 것이다. 그리고 우리는 다음을 얻는다.

${\displaystyle {\frac L_{1}{\partial w}=0\flac w=\sum \sum _{i=1}^{N}\alpha _{i}y_{i}\phi(x_{i}),\{\frac {\frac {\frac L_{1}{\partial w=0}\partial w=0}\partial w=0}\partial w=\f}\f}\partial w=0}\frac\sum w=0}\fram w=}$

w$\displaystyle$w를 적절한$$ 목적과 제약조건에서 형성된 Lagrangian 표현으로 $대체$하면 다음과 같은 2차 프로그래밍 문제가 발생합니다.

$\displaystyle \max Q_{1}(\alpha)=-{\frac {1}{2}\sum \sum _{i}{i}{\alpha _{i}y_{j}K(x_{i},x_{j}+\sum \sum \{i=1}{N}_{n}_{i}_n}_n}_n}{i}_n}_n}_n}_n}_i}_i}_i}_i}_i}_i}_i}_i}_sum\sum_$

여기서 K${\displaystyle }$( ${\displaystyle x_{}}$i , ${\displaystyle {}_{}{j}_{}}$ ) ${\displaystyle =}$ ${\displaystyle ⟨}$ ( ${\displaystyle x{}_{}{i}_{}}$) 、 ${\displaystyle （}$ ${\displaystyle x_{}}$ j${\displaystyle {}_{}}$） $、$ { $display style$K ( $x$_ {$i$ ) =$left$ \ $langle$\ $phi$( x _ { $i$} ) 、 \ $phi$ ( x _ {$j$) \ right \$rangle$} 。(8)의 제약을 받는 이 QP 문제를 해결하면 고차원 공간에서 하이퍼플레인, 즉 원래 공간에서 분류자를 얻을 수 있다.

최소 제곱 SVM 공식

SVM 분류기의 최소 제곱 버전은 최소화 문제를 다음과 같이 재구성하여 얻을 수 있습니다.

${\displaystyle\min J_{2}(w,b,e)=\frac {{2}}w^{T}w+{\frac {{zeta }{2}}\sum \sum _{i=1}^{N}e_{i}^{2}$

평등 제약을 받다

${\displaystyle y_{i}\left[{w^}T}\phi(x_{i}+b}\right]=1-e_{i},\color i=1,\ldots,N.}$

위의 최소 지연 SVM($LS-SVM$) 분류기 공식은 이진 $표적$이 $yi =$ ±$1인 회귀$ 해석에 암묵적으로 대응합니다$.$

${\displaystyle y_{}^{}}$ ${\displaystyle {\mathrm{}}_{}^{}}$ 2 $=$ {$display y_{i}^{2$}=1$\}$을 사용하면 $다음$과 같이 됩니다.

${\displaystyle \sum \sum _{i}^{N}^{2}=\sum \sum _{i}^{N}(y_{i}e_{i})^{2}={i}e_{i}^{n}\sum \sum \sum _{i}^{n}{n}{n}{n}_i}{n}_y}_i}_y}_y_y_y}_y_y_y}_y_y_y_y_y_y_y_y_y_y_y_y_yT}\phi(x_{i}+b)\right)^{2}$

${\displaystyle e_{}}$ i ${\displaystyle {}_{}}$ ${\displaystyle {}_{}{i}_{}}$- ( ${\displaystyle w^{}}$ ${\displaystyle {}^{}}$ ${\displaystyle (}$ ( ${\displaystyle {}_{}{i}_{}}$) +${\displaystyle b}$)$$. { $displaystyle e$_ { i } =$y$_ { i } - ( $w^{$$T}\phi(x_{i}+b).$} 이$$ 오차는 최소 제곱 데이터 적합에도 적용되므로 회귀 분석 사례에서도 동일한 최종 결과가 유지됩니다$.$

따라서 LS-SVM 분류기 공식은 다음과 같습니다.

$\displaystyle J_{2}(w,b,e)=\mu E_{W}+\zeta E_{D}$

$E$ W ${\displaystyle {}_{}}$ ${\displaystyle \frac{1}{}}$ ${\displaystyle 2{}^{}}$ ${\displaystyle {}^{}}$ $,$ \ $displaystyle$ E_${$$W} = flac {1} {2}} w^{$$T{\displaystyle {}_{}}$$}w}$ 및$$ ${\displaystyle {ED}_{}}$ ${\displaystyle {}_{}}$ ${\displaystyle \frac{1}{}}$ 2${\displaystyle \underset{\mu }{\overset{}{}}}$ i ${\displaystyle \underset{}{\overset{}{=}}}$ ${\displaystyle \underset{}{\overset{}{1}}}$ ${\displaystyle \underset{}{\overset{}{}}{}_{}^{}}$ ${\displaystyle e_{}^{}}$ ${\displaystyle {\mathrm{}}_{}^{}}$ ${\displaystyle {}_{}^{}}$ ${\displaystyle \frac{1}{}}$ 2${\displaystyle \underset{\mu }{\overset{}{}}}$ i ${\displaystyle \underset{}{\overset{}{=}}}$ ${\displaystyle \underset{}{\overset{}{}}{N_{}}^{}}$ ( ${\displaystyle {y{}_{}}^{}}$-${\displaystyle {}^{}}$( ${\displaystyle {w^{}}^{}}$ ${\displaystyle {{}^{}}^{}}$( ( ${\displaystyle {x_{}}^{}}$i${\displaystyle {}^{}}$) +${\displaystyle b^{}}$ ${\displaystyle {)}^{}}$.$$\ $display$ E$_$ { D } =$frac {$} {2} \$sum$\ { $i =$1 }^{ $n }$$T}\phi(x_{i}+b)\right)^{2}.$

μ$(\displaystyle \mu$$$$})$와 $μ(\displaystyle$ \zeta$)$는 모두 하이퍼 파라미터로 간주하여 정규화의 양과 합계 오차를 조정합니다.이 솔루션은 $비율{\displaystyle }$ $=$ / / μ \ $displaystyle$\ $display$ =\$zeta /\mu$ $\}$에만 의존하므로 원래 제제에서는 튜닝 파라미터로 ${\$ \ $display style$\ script $}$만을 사용합니다.LS-SVM에 베이지안 해석을 제공하기 위해 파라미터로서$$μ\$displaystyle\mu$ 와$$$\mu$$\displaystyle\zeta$ 를 사용합니다$.$

LS-SVM 회귀기의 솔루션은 Lagrangian 함수를 구성한 후에 얻을 수 있습니다.

${\displaystyle\case\case}L_{2}(w,b,e,\alpha)\;=J_{2}(w,e)-\sum \sum \sum _{i=1}^{N}\alpha _{i}\left\{w^{}T}\phi(x_{i})+b}\right]+e_{i}-y_{i}\right\},\filen \filen \filen \fac {1}{2}}w^{\right\},\\filen\filengt;\frac {1}{1}}w}T}w+{\frac {\frac}{2}\sum \sum _{i=1}^{N}e_{i}^{2}-\sum \sum \sum _{N}\alpha _{i}\left\{w^{}T}\phi(x_{i})+b\right]+e_{i}-y_{i}\right\},\end{case}}$

$여기$서 ${\displaystyle {\alpha }_{}}$ i$$R {\$displaystyle$ \$alpha _{i}\in \mathbb${R$}}$는 Lagrange 승수입니다.최적화를 위한 조건은 다음과 같습니다.

${\displaystyle {\frac L_{2}}{\partial w}=0\partial w={i=1}^{N}\alpha _{i}\phi(x_{i}),\{\frac {\frac {\frac L_{2}}{\partial b}\sum\partial w=0\partial w}\party \sum \sum \sum\party\party w={n}\p}\param\party w={n}\p}{n}\}{\capa \alpha _{i}}=0\capa \to \capa y_{i}=w^{T}\phi(x_{i})+b+e_{i},i=1,\ldots,N.\end{case}}$

w$\displaystyle$w 및$$ $\displaystyle$e를$$ $제거$하면 2차 프로그래밍 문제가 아닌 선형 시스템이 생성됩니다.

$\displaystyle \left [ { \ begin { matrix } 0 & 1 _ { N } > \ Omega + \ } ^ { - 1 } I _ { N } \ end { matrix } \ right ] \ left [ \ \ begin { matrix } b \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ } \ \ \ { right }Y\end {matrix}\right],$

$Y{\displaystyle }$ ${\displaystyle =}$ [ ${\displaystyle {y\mathrm{}}_{}}$1${\displaystyle }$, ${\displaystyle ...}$ ,${\displaystyle {}_{}{}^{}{y}_{}}$ ${\displaystyle N^{}}$ ]T${$ $displaystyle$ Y = [ $y$_ {1$}$ , \$ldots$, y$_$ { N$$} ^${T$ ${\displaystyle {1N}_{}}$ $=$ [${\displaystyle 1,}$ ${\displaystyle ...,}$ ${\displaystyle 1{}^{}}$ ${\displaystyle T^{}}$ ${\$}=[$1,\ldots,1]^$${T}}$ $및$ α ${\displaystyle =}$ [${\displaystyle {\alpha \mathrm{}}_{}}$1, ${\displaystyle ...,}$ ${\displaystyle {\alpha }_{}}$ N${\displaystyle {}_{}{}^{}}$]$$ {\$displaystyle \alpha$= [\$alpha$ _${1},\ldots,\alpha$ _${N}]^${$T$ 단$,$ ${\displaystyle {IN}_{}}$({$displaystyle I_{$N$$})은${\displaystyle N}$× N({$displaystyle$N\$times$N$$}) ID $매트릭스$이며, ${\displaystyle {}^{}}$R${\displaystyle {}^{}}$N ×$$({$displaystyle$\Omega $\in \mathbbb {R} ^{$${\displaystyle N_{}}$\$times$ N$$$})$은 ${\displaystyle {}_{}}$ ${\displaystyle I_{}{}_{}{}^{}{}_{}}$ 로 ${\displaystyle \mathrm{정의}}$된 커널 매트릭스입니다$.$$T}\phi(x_{j})=K(x_{i},x_{j$

커널 함수 K

커널 함수 K(•, •)에는 일반적으로 다음과 같은 선택지가 있습니다.

• $선형{\displaystyle }$ 커널 :${\displaystyle }$K (${\displaystyle x}$ , ${\displaystyle x_{}}$i ) ${\displaystyle =}$ ${\displaystyle x_{}^{}}$ ${\displaystyle {}_{}^{}}$ ${\displaystyle {}_{}^{}}$x ,$${ $displaystyle$K ($x$ , $x$_ { $i$} )$=x_{i}^{T}x,}$
• $d의$다항식 $커널 :$${\displaystyle }K{\displaystyle }$ (${\displaystyle x}$ , ${\displaystyle {}_{}{i}_{}}$ ) ${\displaystyle {}^{}}$ ( ${\displaystyle {1\mathrm{}}^{}}$+ ${\displaystyle {x_{}^{}}^{}}$ ${\displaystyle {{}_{}^{}}^{}}$ ${\displaystyle {{}_{}^{}}^{}}$x /${\displaystyle c^{}}$ )${\displaystyle {}^{}}$ ,$$\ $displaystyle$K ($x$ , x$_$ { $i$$\}$ )$=\left({1+x_{i}^{T}x/c}\$$오른쪽)$$^{d}$
• 반지름 기본 함수${\displaystyle }RBF{\displaystyle }$ ${\displaystyle {커널}^{}}$: ${\displaystyle {{}_{}}^{}{}_{}}$( x , ${\displaystyle x}$ i ) $=$ ${\displaystyle {{exp}_{}}^{}}$ ${\displaystyle ({}^{}}$( - ${\displaystyle {{}_{}}^{\mathrm{}}}$ -${\displaystyle {}^{}}$x i $2$ 2${\displaystyle }$/ $2$2 )$$, { display $style K$ ( x , x _ { i } = \ $exp$ \$left$\ { $x$_ {$i$} \ $right$^ {$2 }$ }$$、
• MLP 커널 :${\displaystyle }K{\displaystyle }$ (${\displaystyle {}_{}}$ , ${\displaystyle x_{}}$i ) ${\displaystyle =}$ ${\displaystyle \tanh }$ ${\displaystyle （}$ ${\displaystyle k{}_{}^{}}$ ${\displaystyle x_{}^{}}$ ${\displaystyle {}_{}^{}}$ T${\displaystyle {}_{}^{}}$ + $、$ { $displaystyle$K ($x$ , x$_$ { $i$} )$=\tanh \leftsq,x_{$$i}^{$$T}x+\theta }\right)}}$

$여기$서$$d\$displaystyle$ d$,$ $c{\displaystyle }$$\displaystyle$$$c$,$$$k$\displaystyle$k$$ $및{\displaystyle }$$$k\$displaystyle \theta$는 상수입니다.Mercer 조건은 다항식 케이스와 RBF 케이스의 $모든{\displaystyle }$ c${\displaystyle ,}$ $\sigma {\displaystyle }$$$R + \$displaystyle$ c,$\sigma \in$ \$mathbb${R}$$^{+} $및$ d${\displaystyle n}$N {\$displaystyle$ d$\in$ N$}$ 값에$$ 대해 유지되지만 MLP의$$k$$${\displaystyle$$$k$$$$} 및 \tyle\tyle \$ta$}의 $가능$한 모든 값에는 적용되지 않습니다.스케일 $파라미터{\displaystyle }$c {\$displaystyle{\displaystyle }$$$c},$$§ ${displaystyle$ \sigma$}$$및{\displaystyle }$ k {\$displaystyle$ k$}$는 다항식, RBF 및 MLP 커널 함수의 입력 스케일링을 결정합니다.이 스케일링은 통계에서 커널의 대역폭과 관련되어 있으며, 여기서 대역폭은 커널 메서드의 일반화 동작에 중요한 파라미터임을 알 수 있습니다.

LS-SVM의 베이지안 해석

SVM의 베이지안 해석은 Smola 등에 의해 제안되었다.그들은 다른 눈 SVM에 사용하는 기능적인 공간에 다른 사전 확률 분포를 정의하는 것으로, P으로 간주될 수 있∝ 지수 함수 ⁡(− β ‖ P^ f‖ 2){\displaystyle P[f]\propto \exp \left({-\beta \left\{{\hat{P}}f}\right\^{2}}\right)}[f]. 여기β>0{\displaystyle \beta>0}을 보여 주었다. 는$상수{\displaystyle \stackrel{}{}}$ 및 P$^$은(는) 선택한 커널에 대응하는 정규화 연산자입니다.

일반적인 베이지안 증거 프레임워크는 MacKay에 ^[3][4][5]의해 개발되었으며, MacKay는 이를 회귀, 순방향 신경망 및 분류 네트워크의 문제에 사용했다.$데이터{\displaystyle }$ $세트{\displaystyle }$D$${\$displaystyle$ D$\},$ 파라미터 벡터 w {\displaystyle w$}$ 및$$ 하이퍼 파라미터 또는 정규화 파라미터 ${\$ {\$displaystyle \lambda$를 가진 $모델{\displaystyle \mathbb{}}$M {\$displaystyle \mathbbb}$의 경우 베이지안 추론은 3가지 수준의 추론을 통해 구성됩니다.

• 수준 1에서, 주어진 $값{\displaystyle }${\ {\$displaystyle \lambda$에 대해, 첫 번째 추론 수준은 베이지안 규칙에 의한$$w {\$display$ w$}$의 후방 분포를 추론한다.

$\displaystyle p(w D,\lambda,\mathbb {M})\propto p(D w,\mathbb {M})p(w \lambda,\mathbb {M})}}$

• 두 번째 수준의 추론은 $다음$을 최대화하여 $§(\displaystyle\lambda$의 값을 결정합니다.

$\displaystyle p(\lambda D,\mathbb {M})\propto p(D \lambda,\mathbb {M})p(\lambda \mathbb {M})}$

• 근거 프레임워크의 세 번째 수준의 추론은 사후 확률을 조사하여 다른 모델의 순위를 매긴다.

$\displaystyle p(\mathbb {M} D)\propto p(D \mathbb {M})p(\mathbb {M})}$

우리는 베이지안 증거 프레임워크가 모델과 모델 선택을 학습하기 위한 통일된 이론임을 알 수 있다.Kwok은 베이지안 증거 프레임워크를 사용하여 SVM의 공식화와 모델 선택을 해석했다.그리고 그는 벡터 회귀를 지원하기 위해 베이지안 증거 프레임워크를 적용했습니다.

데이터 포인트${\displaystyle }${${\displaystyle {xi}_{}}$ ${\displaystyle {yi}_{}{}_{}^{}}$ ${\displaystyle i_{}^{}}$ ${\displaystyle {=}_{}^{}}$ $({$\{$x_{i}\}_{i=1}^{N})$ 및$$ $모델{\displaystyle \mathbb{}}$$$M$({displaystyle \mathbb})$의 하이퍼 $μdisplaystyle$\mu$$} $및{\displaystyle }$ ${\$ {$displaystyle$$\zeta$$\})$에 따라$wstyle$ $파라미터$가 표시됩니다.$후방{\displaystyle }$p (${\displaystyle w}$ , ${\displaystyle bD}$ , ${\displaystyle \log \mu }$, ${\displaystyle log\mathbb{}}$ ${\displaystyle }$ ,${\displaystyle 、}$ M$$){ $display style p$( w , $b D$ , \$log$ \ mu , \ $log$ \ zeta , \$mathbb${ $M$} }$$） 。Bayes 규칙을 적용하면 얻을 수 있습니다.

$(\displaystyle p(w,b D,\log \mu),\log \zeta,\mathbb {M})=syslog frac {p(D w,b,\log \zeta,\mathbbb {M})p(w,\log \zeta,\log {M})\log \mu,\log {M})\mu})$

$여기$서 p${\displaystyle (}$ ${\displaystyle D}$ log${\displaystyle \mathrm{\mu \mu },}$ ${\displaystyle \log }$⁡${\displaystyle }$、 $){$ $displaystyle$ p$(D \log \mu,\log \zeta,\mathbb {M})$는 가능한$$ $모든{\displaystyle }$ w$\$$displaystyle$w$}$의 적분이 $1인{\displaystyle }$ 정규화 상수입니다$.$w$\displaystyle$$w$와 b$\displaystyle$$$b는$$ 하이퍼파라미터$${\\$displaystyle$$zeta$와는 무관하며 조건부 독립적이라고 $가정$합니다.

$\displaystyle p(w,b \log \mu,\log \zeta,\mathbb {M})=p(w \log \mu,\mathbb {M})p(b \log \mu,\mathbb {M})}}.$

${\displaystyle b_{}}$$$ b ${\displaystyle {}_{}}$display {$$$display$ \ $display$ _ { $b$$$$}$} \ $infty$$$$\}$일 때 b의 $분포$는 거의 균일한 분포에 가깝습니다.또한 w$\displaystyle$w와$$ $\displaystyle$b가$$ 가우스 분포라고 $가정$하므로 w$\displaystyle$w와$$ $\displaystyle$$b$의 priori 분포는 ${\displaystyle b_{}}$ $displaystyle \displaystyle$ _${b\to\infty}$가 됩니다.

${\displaystyle {array}{l}p(w,b \log \mu})=\leftfrac {2\pi}}{\right}^{\frac {n_{f}}{2}}\exp \leftfac-{\frac {\mu}{2}}{\}}}}w^{\right}T}w}\right){\sqrt {2\pi \sigma _{b}}}\exp \left({-{\frac {b^{2}}}}\right)\\quad \quad \quad \propo\frac{b}}\xp \frac {-frac}T}w}\right)\end {array}.}$

$여기$서 n ${\displaystyle f_{}}${\$displaystyle n_{f}$는 w$${\$displaystyle$ w$\}$의 치수와 같은 피쳐 공간의 치수입니다.

p${\displaystyle (}$ ${\displaystyle D}$ ${\displaystyle w,}$ ${\displaystyle b,}$ ${\displaystyle \log \mu ,}$ ${\displaystyle \log }$ ${\displaystyle }$ 、 log ⁡${\displaystyle }$、 ${\displaystyle M\mathbb{}}$ $)($ $display$ p ( D w , $b$, \ log \ $mu$, \$log$ \ $zeta$, \ $mathbb$ {$M }$ )의$$ $확률$은${\displaystyle }$w ,${\displaystyle b}$ , ${\displaystyle b}$ ,$${\ m m m$M{\displaystyle \mathbb{}}$ \ $display$$style w$, b , b , \ mathbbbb { $M$에만 $의존$한다고 가정합니다.

$({displaystyle p(D w,b,\log \zeta,\mathbb {M})=\displays \intern _ {i=1}^{N}{p(x_{i},y_{i} w,b,\log \zeta,\mathbb {M}}}}}}).$

최소 제곱 비용 함수를 얻기 위해 데이터 점의 확률은 다음에 비례한다고 가정합니다.

$\displaystyle p(x_{i}, y_{i} w,b,\log \zeta,\mathbb {M})\propto p(e_{i} w,b,\log \zeta,\mathbb {M})}.$

가우스 분포는 $오류{\displaystyle {}_{}}$ ${\displaystyle e_{}}$ i${\displaystyle {}_{}}$ ${\displaystyle {}_{}{i}_{}}$ - ( ${\displaystyle w_{}}$ $b$( x${\displaystyle {}_{}}$i${\displaystyle }$) + b$$) { displaystyle $e_{i$} =$y_{$$i$}-(w^{)에 대해 취해진다.$T$$}\phi(x_{i}+b)}:$

$({displaystyle p(e_{i} w,b,\log \zeta,\mathbb {M})={frac {zeta}{2\pi}}\exp \frac {\zeta e_{i}{2}}\오른쪽).}$

$\displaystyle$$w$와 b$\displaystyle$$$b는$$ 각각 class $centers{\displaystyle {\stackrel{}{}}_{}}$ m$$ - {\$displaystyle${$m$$}$_${\displaystyle {\stackrel{}{\{-\},}}_{}}$m$^$ + ${\displaystyle {m}$_{+})가$$ 목표물 -1과 +1에 매핑되도록 결정된다고 가정합니다.$투사{\displaystyle {}^{}}$ ${\displaystyle W^{}}$ ${\displaystyle (}$ (${\displaystyle x}$) +$$ \ $displaystyle$ w$^{$클래스 요소${\displaystyle }\theta {\displaystyle }$($)$의 T$}\$$phi(x)+$$b}$는 $분산{\displaystyle \mathrm{}}$1 / ${\(\displaystyle$$$1$/\zeta$을 갖는 다변량 가우스 분포를 따릅니다.

앞의 표현들을 조합하고, 모든 상수를 무시함으로써, 베이즈의 규칙은

$\displaystyle p(w,b D,\log \mu,\log \zeta,\mathbb {M})\propto \exp(-{\frac {mu }{2}}w^{T}w-{\frac {zeta }{2}}\sum _{i=1}^{N}{e_{i}^2})=\exp(-J_{2}(w,b)).}$

최대 후방 밀도 ${\displaystyle {추정치}_{}}$ w $(\$$MP$$}}$ 및 ${\displaystyle B_{}}$ P$(\$b_{$디스플레이$$MP}}$은 (26)의 음대수를 최소화하여 구하므로 (10)에 도달한다.

레퍼런스

참고 문헌

• J. A. K.Suykens, T. Van Gestel, J. De Brabanter, B.드무어, J. Vandewalle, 최소 제곱 서포트 벡터 머신, 월드 사이언티픽 퍼브.2002년 싱가포르 주식회사 ISBN981-238-151-1
• Suykens J. A. K., Vandewalle J., 최소 제곱은 벡터 기계 분류기, 신경 처리 문자, 제9권, 제3호, 1999년 6월, 페이지 293–300을 지원한다.
• 블라디미르 바프니크통계학습이론의 본질.Springer-Verlag, 1995년ISBN 0-387-98780-0
• MacKay, D. J. C., 개연성 있는 네트워크와 그럴듯한 예측—감독된 신경 네트워크에 대한 실용적인 베이지안 방법의 검토.네트워크: 신경계 계산, vol. 6, 1995, 페이지 469–505.

외부 링크

• www.esat.kuleuven.be/sista/lssvmlab/ "Least square support vector machine Lab (LS-SVMlab) 툴박스에는 다수의 LS-SVM 알고리즘에 대한 Matlab/C 구현이 포함되어 있습니다."
• www.kernel-machines.org "벡터 머신 및 커널 기반 메서드 지원(Smola & Schölkopf)"
• www.gaussianprocess.org "가우스 프로세스:회귀 및 분류 함수보다 가우스 프로세스를 사용한 데이터 모델링(MacKay, Williams).
• www.support-vector.net "Vector Machine 및 커널 기반 메서드(Cristianini)"를 지원합니다.
• dlib: 대규모 데이터 세트를 위한 최소 제곱 SVM 구현이 포함되어 있습니다.