서포트 벡터 머신

시리즈의 일부
기계 학습 및 데이터 마이닝
문제 분류 클러스터링 회귀 이상 검출 데이터 클리닝 자동 ML 어소시에이션 규칙 강화 학습 구조화된 예측 기능 엔지니어링 기능 학습 온라인 학습 준지도 학습 비지도 학습 순위 매기기 학습 문법 유도
지도 학습 (분류 • 회귀) 의사결정 트리 앙상블 배깅 부스팅 랜덤 포레스트 k-NN 선형 회귀 네이비 베이즈 인공신경망 로지스틱 회귀 분석 퍼셉트론 관련 벡터 머신(RVM) 서포트 벡터 머신(SVM)
클러스터링 버치 치유하다 계층적 k자형 기대 최대화(EM) DBSCAN 광학 평균 이동
치수 축소 인자 분석 CCA ICA LDA NMF PCA PGD t-SNE
구조화된 예측 그래픽 모델 베이즈 네트 조건부 랜덤 필드 히든 마르코프
이상 검출 k-NN 국소 특이치 계수
인공신경망 자동 인코더 인지 컴퓨팅 딥 러닝 딥 드림 다층 퍼셉트론 RNN LSTM GRU ESN 저장고 계산 제한 볼츠만 기계 GAN somerset. 컨볼루션 뉴럴 네트워크 유넷 트랜스포머 비전. 스파이킹 뉴럴 네트워크 메모리 트랜지스터 전기화학 RAM(ECRAM)
강화 학습 Q-러닝 사사 시간차(TD) 멀티 에이전트 셀프 플레이
인간과의 학습 액티브 러닝 크라우드 소싱 휴먼 인 더 루프
모델 진단 학습 곡선
이론. 커널 머신 바이어스-분산 트레이드오프 컴퓨터 학습 이론 경험적 리스크 최소화 오컴 러닝 PAC 학습 통계학 학습 VC 이론
기계학습장 NeurolIPS ICML ML JMLR ArXiv:cs.LG
관련 기사 인공지능 용어집 기계 학습 연구를 위한 데이터 세트 목록 기계학습의 개요
v t

머신 러닝에서 서포트 벡터 머신(SVM, 서포트 벡터 네트워크^[1])은 분류 및 회귀 분석을 위해 데이터를 분석하는 관련 학습 알고리즘과 함께 감독되는 학습 모델입니다.Vladimir Vapnik이 동료와 함께 AT&T Bell 연구소에서 개발한 SVM은 통계 학습 프레임워크 또는 Vapnik이 제안한 VC 이론에 기초하는 가장 강력한 예측 방법 중 하나이다(Boser 등, 1992년, Guyon 등, 1993년, Cortes 및 ^[1]Vapnik, 1995년, 1997년^{[citation needed]}).각각 두 범주 중 하나에 속하는 것으로 표시된 일련의 훈련 예가 주어지면, SVM 훈련 알고리즘은 한 범주 또는 다른 범주에 새로운 예를 할당하는 모델을 구축하여 비확률적 이진 선형 분류기로 만든다(확률적 분류 설정에서 SVM을 사용하는 플랫 스케일링과 같은 방법이 존재함).SVM은 두 범주 사이의 격차 폭을 최대화하기 위해 훈련 예를 공간의 지점에 매핑합니다.그런 다음 동일한 공간에 새로운 예제를 매핑하고 간격의 어느 쪽에 속하는지 기준으로 범주에 속할 것으로 예측합니다.

SVM은 선형 분류를 수행할 뿐만 아니라 커널 트릭이라고 불리는 것을 사용하여 비선형 분류를 효율적으로 수행할 수 있으며, 입력을 고차원 피쳐 공간에 암묵적으로 매핑할 수 있습니다.

데이터에 라벨이 부착되지 않은 경우, 지도 학습이 불가능하며, 데이터에 대한 자연스러운 군집을 찾은 다음 새로운 데이터를 이러한 형성된 그룹에 매핑하는 비지도 학습 접근법이 필요하다.Hava Siegelmann과 Vapnik에 의해 작성된 서포트 벡터 클러스터링^[2] 알고리즘은 서포트 벡터 머신 알고리즘에서 개발된 서포트 벡터 통계를 적용하여 라벨이 부착되지 않은 ^{[citation needed]}데이터를 분류합니다.

동기

데이터 분류는 기계 학습에서 일반적인 작업입니다.일부 데이터 점이 각각 두 클래스 중 하나에 속하고 새 데이터 점이 어떤 클래스에 속하는지 결정하는 것이 목표라고 가정합니다.서포트 벡터 머신의 경우 데이터 포인트는$$p차원 $벡터$($p\displaystyle$ p$)$로 간주되며 (${\displaystyle \mathrm{p}}$ -${\displaystyle }$1$)\displaystyle$ ($p-1)}$차원$$ 하이퍼플레인으로 분리할 수 있는지 알고 싶습니다.이를 선형 분류기라고 합니다.데이터를 분류할 수 있는 하이퍼플레인이 많이 있습니다.최적의 하이퍼플레인으로서 타당한 선택 중 하나는 두 클래스 간에 가장 큰 간격(마진)을 나타내는 것입니다.따라서 하이퍼플레인에서 각 면의 가장 가까운 데이터 포인트까지의 거리가 최대가 되도록 선택합니다.그러한 하이퍼플레인이 존재하는 경우, 그것은 최대 마진 하이퍼플레인으로 알려져 있으며, 그것이 정의하는 선형 분류기는 최대 마진 분류기 또는 그에 상응하는 최적의 ^{[citation needed]}안정성의 퍼셉트론이라고 알려져 있다.

좀 더 형식적으로 말하면, 서포트 벡터 기계는 고차원 또는 무한차원 공간에 하이퍼플레인 또는 하이퍼플레인 세트를 구성하며, 분류, 회귀 또는 특이치 ^[3]검출과 같은 다른 작업에 사용할 수 있습니다.직관적으로, 일반적으로 여백이 클수록 ^[4]분류기의 일반화 오차가 낮기 때문에, 모든 등급에서 가장 가까운 훈련 데이터 포인트(이른바 기능적 여백)까지 거리가 가장 큰 하이퍼플레인에 의해 양호한 분리가 달성된다.

원래의 문제가 유한 차원 공간에서 언급될 수 있는 반면, 판별할 집합이 그 공간에서 선형적으로 분리될 수 없는 경우가 종종 발생한다.이러한 이유로, 원래의 유한 차원 공간을 훨씬 더 높은 차원 공간에 매핑하는 것이 제안되었고^[5], 아마도 그 공간에서 분리가 더 쉬워졌을 것이다.계산 부하를 합리적으로 유지하기 위해 SVM 스킴에 의해 사용되는 매핑은 입력 데이터 벡터 쌍의 닷 곱이 ^[6]문제에 적합하도록 선택된 $커널{\displaystyle }$ 함수${\displaystyle }$k${\displaystyle (x,}$ y$)\display$ k$(x,$ y)\display k(x, y)\display k$(x$, y)로 정의함으로써 원래 공간의 변수 측면에서 쉽게 계산될 수 있도록 설계되어 있습니다.고차원 공간의 하이퍼플레인은 해당 공간의 벡터를 갖는 점곱이 일정한 점 집합으로 정의되며, 여기서 이러한 벡터 집합은 하이퍼플레인을 정의하는 직교(따라서 최소) 벡터 집합입니다.하이퍼플레인을 정의하는 벡터는 데이터베이스에서 발생하는 특징 $벡터{\displaystyle {}_{}}$ x$$의 영상의 ${\displaystyle {파라미터}_{}}$ α i \$$$displaystyle$ \$alpha$_ {$i$$}$과(와) 선형 조합으로 선택할 수 있습니다.이 하이퍼플레인을 선택하면 하이퍼플레인에 매핑된 피쳐 공간의 x$(\displaystyle$$$x$)$는${\displaystyle \underset{in}{}}$ ${\displaystyle \underset{}{}{}_{}}$ ${\displaystyle {\alpha }_{}}$ ${\displaystyle {}_{}}$k ( ${\displaystyle x_{}i}$ ,${\displaystyle }$x ) $=$constant $.\$ \$sum _{i}k$ ($x_{i$},x)=$text{i}$k}의 관계에 의해 정의됩니다.$}$ Note that if ${\displaystyle k(x,y)}$ becomes small as ${\displaystyle y}$ grows further away from ${\displaystyle x}$, each term in the sum measures the degree of closeness of the test point ${\displaystyle x}$ to the corresponding data base point ${\displaystyle x_{i}}$. In this way, the 위의 커널 합계를 사용하여 구별할 세트 중 하나 또는 다른 세트에서 발생하는 데이터 포인트에 대한 각 테스트 포인트의 상대적 근접성을 측정할 수 있다.그 결과 하이퍼플레인에 매핑된 $포인트{\displaystyle }$ x$(\displaystyle$ x$)$ 세트가$$ 상당히 복잡해질 수 있으므로 원래 공간에서 볼록하지 않은 세트를 훨씬 더 복잡하게 구분할 수 있습니다.

적용들

SVM은 다음과 같은 다양한 실제 문제를 해결하기 위해 사용할 수 있습니다.

• SVM은 표준 유도 설정과 ^[7]전송 설정 모두에서 라벨이 부착된 교육 인스턴스의 필요성을 크게 줄일 수 있기 때문에 텍스트 및 하이퍼텍스트 분류에 도움이 됩니다.얕은 의미 해석을 위한 일부 방법은 지원 벡터 ^[8]기계를 기반으로 합니다.
• 이미지 분류는 SVM을 사용하여 실행할 수도 있습니다.실험 결과에 따르면 SVM은 단지 3~4라운드의 관련성 피드백을 받은 후에 기존 쿼리 미세화 방식보다 검색 정확도가 상당히 높은 것으로 나타났습니다.이는 Vapnik이 ^[9][10]제안한 대로 특권 접근 방식을 사용하는 수정된 버전의 SVM을 사용하는 시스템을 포함한 이미지 분할 시스템에도 해당됩니다.
• SVM을 ^[11]사용한 SAR 데이터 등의 위성 데이터 분류.
• 손으로 쓴 문자는 ^[12][13]SVM을 사용하여 인식할 수 있습니다.
• SVM 알고리즘은 생물학 및 기타 과학 분야에서 광범위하게 적용되어 왔습니다.그것들은 정확히 분류된 화합물의 최대 90%를 가진 단백질을 분류하는 데 사용되어 왔다.SVM 가중치에 기초한 치환 테스트는 SVM ^[14][15]모델의 해석 메커니즘으로 제안되었다.서포트 벡터 머신의 가중치는 과거에도 ^[16]SVM 모델을 해석하는 데 사용되었습니다.모델이 예측을 위해 사용하는 특징을 식별하기 위해 지지-벡터 기계 모델을 사후 해석하는 것은 생물 과학에서 특별한 의미를 갖는 비교적 새로운 연구 영역이다.

역사

최초의 SVM 알고리즘은 Vapnik과 Alexey Ya에 의해 발명되었습니다. 1963년 ^{[citation needed]}체르보넨키스.1992년 베른하르트 보저, 이자벨 가이온 및 블라디미르 Vapnik은 커널 트릭을 최대 마진 하이퍼플레인에 ^[5]적용하여 비선형 분류기를 만드는 방법을 제안했다.소프트웨어 패키지에 일반적으로 사용되는 "소프트 마진"의 화신은 1993년 Corinna Cortes와 Vapnik에 의해 제안되어 ^[1]1995년에 발표되었다.

선형 SVM

폼의 n개$(style$n개$$) $포인트$의 트레이닝 데이터 세트가 제공됩니다.

${\displaystyle {여기}_{}}$서 y $i(\$displaystyle $y_{i$})는 1 또는 -1 중 하나입니다.각각 x $(\$가 속한 클래스를 나타냅니다.각 $($$표시{\displaystyle }$ $스타일 \mathbf {x} _{i})$는 p$(표시 스타일$ p$)$ -차원 실수 벡터입니다.${\displaystyle {yi}_{}}$ ${\displaystyle {}_{}}$1 {$style$ $y_{i$$}$인 $점{\displaystyle {}_{}}$ $i$ \${\displaystyle \mathrm{displaystyle}}$ $\mathbf {x} _{i$} _{i$}$ _{i$\}$의 그룹을 하이퍼플레인과 가장 ${\displaystyle \mathrm{가까운}}$poi 사이의 거리로 정의되는 y i $=$ -$1$의 $점{\displaystyle {}_{}}$ 그룹에서 나누는 "최대 지연 하이퍼플레인"을 찾고 싶다.$nt{\displaystyle {\mathbf{}}_{}}$ ${\displaystyle {}_{}}$ i$$\$displaystyle \mathbf {x} _{i}$가 최대화됩니다.

모든 하이퍼플레인은 x$(\displaystyle$ \$mathbf${x$})$를 만족하는 $점{\displaystyle \mathbf{}}$ 세트로 쓸 수 있습니다$.$

$여기$서 w$\$는 하이퍼플레인에 대한 정규 벡터(반드시 정규화되지는 않음)입니다.w$\$가 반드시 단위 벡터는 아니라는 $점$을 제외하면 이는 헤세 정규형과 매우 유사합니다.$파라미터{\displaystyle \frac{}{}}$ b${\displaystyle \frac{w\mathbf{}}{}}$ w ${\$display{$display$ \ $tfrac${ $b$} { \ \ $mathbf${ w$}$ } parameter$$ parameter parameter {\ {\ {\ {\ {\ {\ w$\$ $display$style \ $mathbf { w$ $\}\}$를 따라 원점으로부터의 하이퍼플레인 $오프셋$을 결정합니다.

하드 마진

훈련 데이터가 선형으로 분리될 수 있는 경우 두 클래스의 데이터를 분리하는 두 개의 평행 하이퍼플레인을 선택하여 이들 사이의 거리를 최대한 크게 할 수 있습니다.이 두 개의 하이퍼플레인에 의해 둘러싸인 영역을 "마진"이라고 하며, 최대 마진 하이퍼플레인은 이들 사이의 중간에 있는 하이퍼플레인이다.정규화 또는 표준화된 데이터 세트를 사용하면 이러한 하이퍼플레인은 다음 방정식으로 설명할 수 있습니다.

${\displaystyle {}^{\mathsf{}}}$ T${\displaystyle x^{}\mathbf{}}$ - ${\displaystyle b}$ ${\displaystyle =}$ ${\style$ \$mathbf {w} ^{\mathsf {T}}\mathbf {x} -b=1$} $$$($이 경계 위에 있는 모든 것은 라벨 1이 있는 한 클래스)

그리고.

${\displaystyle {}^w\mathbf{}}$ T${\displaystyle }$x - b $=$ -$$ {\$displaystyle \mathbf {w} ^{\mathsf {T}}\mathbf {x} -b$=-$1}($이 경계 위 또는 아래에 있는 모든 것은 라벨 -1이 있는 다른 클래스의 것입니다).

기하학적으로 이들 2개의 하이퍼플레인 사이의 $거리$는 ${\displaystyle \frac{2\mu \mathbf{}}{}}$ w ${\$ \ $displaystyle${ $tfrac {$2$}$ \ $mathbf$ {$w} \$^[17]이므로 ${\displaystyle 최소화}$하고 싶은 평면 사이의 거리를 최대화하기 위해 w ${\$ \ $displaystyle$\ $mathbf {w}$ \$\}$ the the the 까지의 거리를 사용하여 계산됩니다.또한 데이터 포인트가 마진으로 떨어지는 것을 방지해야 합니다.각 $\displaystyle$i에$$ 대해 다음과 같은 제약을 추가합니다.

또는이러한 제약 조건은 각 데이터 점이 여백의 올바른 쪽에 있어야 함을 나타냅니다.

이것은 다음과 같이 고쳐 쓸 수 있습니다.

$$\displaystyle y_{i}(\mathbf {w}^{\mathsf {T}}}\mathbf {x} _{i}-b)\geq 1,\quad {text{ for all }1\leq i\leq n}}$$

(1)

이를 종합하여 최적화 문제를 해결할 수 있습니다.

이 문제를 해결하는 w$\$ 및$$$b{\displaystyle }$ {$displaystyle$ b$}$에 $따라{\displaystyle \mathbf{}}$ 분류자 $x{\displaystyle \mathbf{}s}$ sgn${\displaystyle }$（ ${\displaystyle {\mathsf{}}^{}}$ ${\displaystyle T^{}\mathbf{}}$x - ${\displaystyle b}$）{ $displaystyle \mathbf {x}$ \$mapsto \operatorname {sgn}(\mathbf {w} ^{\mathbf {$t} } } })가 $결정됩니다.$ 기능합니다.

이 기하학적 설명의 중요한 결과는 max-margin 하이퍼플레인은 그 하이퍼플레인에 가장 가까운 $xi\displaystyle\$mathbf {$x}_{i}$에 의해 완전히 결정된다는 것이다.이러한 $(\displaystyle$ \$mathbf {x} _{i})$는 서포트 벡터라고 불립니다.

소프트 마진

데이터를 선형으로 분리할 수 없는 경우까지 SVM을 확장하려면 힌지 손실 함수가 도움이 됩니다.

${\displaystyle y_{}}$ ${\$는 i번째 타깃(이 경우 1 또는 -1)이며, w ${\displaystyle {\mathsf{}}^{}}$ ${\displaystyle x^{}{\mathbf{}}_{}}$ -$$ {$display \mathbf {w}^{\mathsf {T}}\mathbf {x}$ _${i}-b}$는 i번째 출력입니다.

이 함수는 (1)의 제약 조건이 충족되는 경우, 즉 x i \$displaystyle \mathbf {x} _{i}$가 여백의 올바른 쪽에 있는 $경우{\displaystyle {\mathbf{}}_{}}$ 0이 됩니다.여백의 잘못된 쪽에 있는 데이터의 경우 함수 값은 여백으로부터의 거리에 비례합니다.

그 때 최적화의 목표는 다음과 같은 요소를 최소화하는 것입니다.

여기서 {\$displaystyle \displayda$> $0}$은 마진 크기를 늘리는 것과 $(\$ _${i})$가 마진의 올바른 쪽에 놓이는 것 사이의 균형을 결정합니다.$따라서{\displaystyle }$ 값이 충분히 $작은$경우 입력 데이터가 선형으로 분류 가능한 경우 하드 마진 SVM과 동일하게 동작하지만 분류 규칙이 실행 가능한지 여부를 학습합니다(이 $파라미터{\displaystyle }$ ${\$ { displaystyle $\lambda$$$$}$는 LIBS에서는 C$${ $style$ C$$}, eG라고도 $합니다{\displaystyle }$).ut는 $보통{\displaystyle }$ $"\display\displayda"$의 역수를 나타냅니다.)$$

비선형 커널

1963년 Vapnik에 의해 제안된 최초의 최대 마진 초평면 알고리즘은 선형 분류기를 구성했다.그러나 1992년 베른하르트 보저, 이자벨 가이온 및 블라디미르 Vapnik은 최대 마진 하이퍼플레인에 ^[5]커널 트릭(원래 아이저만 ^[18]등이 제안한)을 적용하여 비선형 분류기를 만드는 방법을 제안했다.결과 알고리즘은 모든 닷 곱이 비선형 커널 함수로 대체된다는 점을 제외하고는 형식적으로 유사합니다.이를 통해 알고리즘은 변환된 피쳐 공간에 최대 마진 하이퍼플레인을 맞출 수 있습니다.변환은 비선형이고 변환된 공간은 고차원일 수 있습니다. 분류기는 변환된 피쳐 공간의 하이퍼플레인이지만 원래 입력 공간에서는 비선형일 수 있습니다.

주목할 점은 높은 차원의 특징 공간에서 작업하면 충분한 샘플이 주어지면 알고리즘이 여전히 ^[19]잘 수행되지만 서포트 벡터 머신의 일반화 오류가 증가한다는 것이다.

일반적인 커널에는 다음과 같은 것이 있습니다.

• $다항식{\displaystyle }$(동종):${\displaystyle }$k ( ${\displaystyle {}_{}}$i , ${\displaystyle {}_{}}$ ) ${\displaystyle =}$ ( x ${\displaystyle {\mathbf{}}_{}}$ ${\displaystyle {}_{}}$ ${\displaystyle {}_{}{}^{}}$j )$$ \$style$ k$(\mathbf {x} _{j$})=(\$mathbf {x} _{i$}\$cdot \mathbf {x}$_{$j})$ $=$$$$d1$ .
• $다항식{\displaystyle }$(이종):${\displaystyle {\mathbf{}}_{}}$ ( ${\displaystyle {}_{}}$i , ${\displaystyle {}_{}}$j ) ${\displaystyle =}$ ( ${\displaystyle {\mathbf{}}_{}}$ ${\displaystyle {}_{}{\mathbf{}}_{}}$ x${\displaystyle {}_{}}$ +${\displaystyle {}^{}r}$ )$$ \ $displaystyle$ k$(\mathbf {x} _{i}$ ,\$mathbf {x}$_${$j} ) = (\$mathbf {x}$ \$cdot \mathbf {x}$_{$j}$ +$r$}^{$d$ )
• 가우스 레이디얼 기저 함수:k(x,)j))expγ 을에⁡(− γ ‖)나는)− j‖ 2){\displaystyle k(\mathbf{x}_{나는},\mathbf{x}_{j})=\exp \left(-\gamma\left\ \mathbf{x}_{나는}-\mathbf{x}_{j}\right\ ^{2}\right)};0{\displaystyle \gamma>0}. 때때로 γ을 사용하여 parametrized=1/. (2σ$)(\displaystyle$ \$displaystyle = 1$/($2\display ^{2$
• Sigmoid 함수(하이퍼볼릭 탄젠트):${\displaystyle }k{\displaystyle }$ ( ${\displaystyle x{\mathbf{}}_{}{i\mathbf{}}_{}}$ , ${\displaystyle {x\mathbf{}}_{}}$j ) $= tanh$ ${\displaystyle }$ ( ${\displaystyle {\mathbf{}}_{}}$ ${\displaystyle {}_{}}$ ${\displaystyle {\mathbf{}}_{}}$ ${\displaystyle {}_{}}$j +${\displaystyle c}$ $)표시${ $style$k ( \ $mathbf$ { $x$_ { $i$} , \ $mathbf$ { $x } )=$ \ $tanh$( \ $kappa \ mathbf$ { x } _ $cdot j } _ mathbf$ { x f } )

$커널$은 $변환{\displaystyle }$${\displaystyle }$${\displaystyle (}$ (${\displaystyle {}_{}{}_{}}$${\displaystyle {}_{}}$i$$) \ $displaystyle$\$varphi$( \ $mathbf { x$${\displaystyle {}_{}}$}$_$ { $i$$$} ) ${\displaystyle =}$ ${\displaystyle (}$ (${\displaystyle {}_{}{x\mathbf{}}_{}}$ i ) ${\displaystyle \cdot }$ ( ${\displaystyle x{\mathbf{}}_{}}$j ) { $displaystyle$ k ( \ $mathbf { x } _$ j } { $j$} \ $mathbfi = varphi$ ( ${\displaystyle {\mathbf{}}_{}}$ ${\displaystyle {\mathbf{}}_{}}$ )에 의해 관련됩니다.값 w는 변환된 공간에도 존재하며, $w\mathbf{}\underset{}{}=$ $i$ $\underset{}{}{}_{}$ i ${\mathbf{}}_{}$( x ${}_{}$ )$=$ \$sum$_ {$i}$ \$alpha\mathbf{}$$$_ {$i} y_{i$} \varphi ( \$mathbf {x}$ _{$i}$ $）$ 。분류용 w를 갖는 도트 곱은 커널 w로 다시 계산할 수 있다$.$$yle \mathbf {w}$ \$cdot \varphi (\mathbf {x} )=\sum$_{$i}\alpha$_{$i}y_{i}k(\mathbf {x} _{i},\mathbf {x}$ $).$

SVM 분류자 계산

(soft-margin) SVM 분류자를 계산하는 것은 형식의 표현식을 최소화하는 것과 같습니다.

$$\displaystyle \left [{\frac {1}{n}\sum _{i=1}^{n}\max \left (0,1-y_{i})^{\mathbf {T}}\mathbf {x}_{i}\right)+\mathbf {w}^2}.}$$

(2)

위에서 설명한 바와 같이 $§$에 대해 충분히 작은 값을 선택하면 선형 분류 가능한 입력 데이터에 대한 하드 마진 분류기가 생성되므로 소프트 마진 분류기에 초점을 맞춥니다.(2)를 2차 프로그래밍 문제로 줄이는 것을 수반하는 고전적인 접근방식은 아래에 자세히 설명되어 있습니다.그런 다음, 하위 경사 강하 및 좌표 강하와 같은 보다 최근의 접근법이 논의될 것이다.

원초

최소화(2)는 다음과 같은 방법으로 미분 가능한 목적 함수를 가진 제약된 최적화 문제로 고쳐 쓸 수 있다.

${\displaystyle 각}$ $i{\displaystyle \in }$ { ${\displaystyle 1}$, ${\displaystyle ...}$ , n $}$ { $displaystyle$i \ $in$\ 1, $\ldots$, , $n$\ } { $displaystyle$\$zeta$ _ { $i }$ \$left$( 0 , 1 -$$ - b${\displaystyle )}$ { $mathb$ {$mathf }$에 대해 변수 ${\displaystyle i}$ i ${\displaystyle {}_{}}$max ( 0${\displaystyle }$,${\displaystyle 1}$ - ${\displaystyle {}_{}}$i )를 도입합니다.$y{\displaystyle {}_{}{i}_{}}$ ( ${\displaystyle {\mathsf{}}^{}}$ T ${\displaystyle {}_{}}$i -${\displaystyle b}$ )${\displaystyle 1}$ 1${\displaystyle }$- i 1 - ${\displaystyle i_{}}$ i${\displaystyle {}_{}}$.$$\ $display y$_ { $i$} ^ { \ $mathbf { T$ } ^ { \ $mathbf${ t$}$_ { $i$} - b ) \ $geq 1-$ \ $zeta$_ { $i$} .$}$

따라서 최적화 문제를 다음과 같이 다시 작성할 수 있습니다.

이것은 태초의 문제라고 불립니다.

듀얼

위의 문제의 라그랑지안 쌍수를 풀면 단순화된 문제를 얻을 수 있다.

이것은 이중 문제라고 불립니다.이중 최대화 문제는 선형 구속조건이 적용되는 ${\displaystyle c_{}}$ i$${\$displaystyle c_{i}$의 2차 함수이므로 2차 프로그래밍 알고리즘으로 효율적으로 해결할 수 있다.

$여기$서 변수 $(\$})는$$ 다음과 같이 정의됩니다.

$또한{\displaystyle {}_{}}$ ${\displaystyle {}_{}}$가$$여백의 올바른 쪽에 있는 $경우{\displaystyle {\mathbf{}}_{}}$ $=$$displaystyle$ \$mathbf$${x}$$_$$$${$_{i$}${i$}$$_{$$i$})_${$$}${$displaystyle$0$<($2n$\$$displayda$$}^-$1})이 $표시됩니다.$$따라서{\displaystyle \mathbf{}}$ w$\$는 서포트 벡터의 선형 조합으로 쓸 수 있습니다.

오프셋 $(\displaystyle$ b$)$는 여백 경계에서 $(\$${i$})를 찾아 해결하면 복구할 수 있습니다.

(${\displaystyle y_{}}$ i${\displaystyle {}_{}^{}}$${\displaystyle =}$ ±$$({$displaystyle$ $y_{i$$}$ = y_{i$}$ $=$ $y_{i$})$$이므로 유의하십시오).

커널 트릭

변환된 데이터 포인트${\displaystyle }$class ( x $i{\displaystyle }$)의 선형 분류 규칙에 대응하는 비선형 분류 규칙을 알아보겠습니다$.\displaystyle \varphi (\mathbf {x} _{i})$} 또한$$ ${\displaystyle {\mathbf{}}_{}}$ (${\displaystyle {}_{}{\mathbf{}}_{}}$ i ,${\displaystyle {}_{}}$ j${\displaystyle }$) $=$ (${\displaystyle {}_{}}$x i )${\displaystyle \cdot }$ ( ${\displaystyle {}_{}}$ i ){ $displaystyle$k ($x j$ $)_{i},\mathbf {x}_${j}=\$varphi$(\$mathbf {x}_{i$}_cdf phi)\$varphi$ (xphi$)$를${\displaystyle }$만족시키는 $커널{\displaystyle }$$$함수$$ k {\$displaysty}$가 주어집니다$.$

변환된 공간의 분류 $벡터{\displaystyle \mathbf{}}$ w$\$가 다음을$$ 만족한다는 것을 알고 있습니다.

${\displaystyle {여기}_{}}$서 c$i$는 최적화 문제를 해결함으로써 얻을 수 $있습니다$$.$

2차 프로그래밍을 사용할 경우 이전과 같이 $계수{\displaystyle {}_{}}$ $(\$})를$$ 해결할 수 있습니다.다시 0< i< ( ) - { $display style$0 < $c$_ { $i$} < ( $2$n \ $lambda )^{$ -$1$ 이 인덱스$i$ 를 찾을 수 있습니다.$그러면{\displaystyle {\mathbf{}}_{}}$ (${\displaystyle {}_{}}$i ) \ $display$$style$ \ $varphi$( \ $mathbf${ $x }$_ { x } _ { i$$} )가$$ 변환된 공간의 경계에 놓여집니다.

마침내.

현대적 방법

SVM 분류기를 찾기 위한 최근 알고리즘에는 하위 경사 강하 및 좌표 강하가 포함된다.두 기법 모두 크고 희박한 데이터셋을 처리할 때 기존 접근 방식보다 상당한 이점을 제공하는 것으로 입증되었습니다. 하위 단계적 방법은 교육 예가 많을 때 특히 효율적이며 기능 공간의 치수가 높을 때 하강 방식을 조정합니다.

준경사 강하

SVM의 하위 경사 강하 알고리즘은 식과 직접 연동됩니다.

${displaystyle$ f$}$는 w${$ {w$$$}$$및{\displaystyle }$ b{$displaystyle$ b$\}$의 볼록함수이므로 기존의 구배 강하(또는 SGD) 방식을 적용할 수 있으며, 함수의 구배 방향으로 스텝을 밟지 않고 func에서 선택한 벡터의 방향으로 스텝을 밟는다.부제목입니다.이 접근방식은 특정 구현의 경우 반복 횟수가 데이터 포인트 ^[20]수인 n$\displaystyle$n으로$$$확장$되지 않는다는 장점이 있습니다.

좌표 하강

이중 문제에서 SVM을 위한 하강 알고리즘 조정

각 $i{\displaystyle }$ ${\displaystyle \{}$ { ${\displaystyle 1}$, ${\displaystyle ...}$ , ${\displaystyle n}$ $}$ { $displaystyle$i \ $in$\ { $1$, \ $ldots$, , $n$\ ${\displaystyle \}\mathrm{}}$$$} each 、$계수{\displaystyle {}_{}}$ ${\displaystyle c_{}}$i { \ $displaystyle$$$c$_$ {$i$$$} is$$ ${\displaystyle {}_{}}$ of of${\displaystyle \mathrm{}}$of of of of of of of of for for for for for c /${\displaystyle }$of ${\displaystyle c_{}}$i \ $displaystyle$ f / \ $partial$c$_${ i$$}방향으로 조정됩니다.${\displaystyle 그런{}_{}^{}}$ 다음,${\displaystyle }$계수의 결과 ${\displaystyle {}_{}^{}}$( ${\displaystyle {c\mathrm{}}_{}^{}}$ 1${\displaystyle \dots }$ , ${\displaystyle ...}$ , ${\displaystyle c_{}^{}}$ n${\$ ) { $displaystyle$ ($c$_ {1} , \$ldots$, ,$c$_ { n$$} )는$$ 주어진 제약을 충족하는 계수의 가장 가까운 벡터에 투영됩니다.(일반적으로 유클리드 거리가 사용됩니다.)그런 다음 최적에 가까운 계수 벡터를 얻을 때까지 이 과정을 반복합니다.성능 보장은 거의 ^[21]검증되지 않았지만 결과 알고리즘은 실제로 매우 빠릅니다.

경험적 리스크 최소화

위에서 설명한 소프트 마진 지원 벡터 기계는 힌지 손실에 대한 경험적 위험 최소화(ERM) 알고리즘의 예입니다.이와 같이 서포트 벡터 머신은 통계적 추론을 위한 알고리즘의 자연스러운 클래스에 속하며, 그 고유한 특징의 대부분은 힌지 손실의 동작에 기인한다.이러한 관점을 통해 SVM의 작동 방식과 이유에 대한 자세한 정보를 얻을 수 있으며, SVM의 통계 속성을 더 잘 분석할 수 있습니다.

리스크 최소화

지도 학습에서는 라벨${\displaystyle {}_{}{}_{}}$이 붙은 일련의 훈련 $예{\displaystyle {}_{}}$ $($ X_${1}\ldots$ X_${n})$이 제공되며, ${\displaystyle {라벨}_{}}$ $($$}\$$ldots y_{n$이 제공되며, $1($ $y_{$$n$을 $예측$하고자 합니다.이를 위해 f${\displaystyle (X_{}}$n +${\displaystyle {}_{}{1}_{}}$)$${$style$f$($$X_{n+1})$가 ${\displaystyle {y\mathrm{n}}_{}}$ +$1$의 "좋은" 근사치인 $f{\displaystyle }$($xisplaystyle$ $y_{n+1$ $가설$을 형성합니다. 일반적으로 "좋은" 근사치는 $손실{\displaystyle }$ 함수 ${\displaystyle (}$ (${\displaystyle y}$ ,$zisplay style$ )$$\$$ellzy$$$\}$ ( \ displaysty )의 도움을 받아 정의됩니다.$d{\displaystyle }$z(\$displaystyle$ z$)$는 y$(\displaystyle$ y$)$의 예측입니다. 그런 다음 예상되는 위험을 최소화하는 가설을 선택합니다.

대부분의 경우 X${\displaystyle n_{}}$ +${\displaystyle {}_{}1{}_{}}$, y${\displaystyle n_{}}$ +$$({$display style$ X_${n+1}, y_{n+1})$의 $공동{\displaystyle {}_{}}$ 분포를 알 수 없습니다.이러한 경우 일반적인 전략은 경험적 위험을 최소화하는 가설을 선택하는 것입니다.

랜덤 $변수{\displaystyle {}_{}}$ ${\displaystyle X_{}}$ k${\displaystyle {}_{}}$ y k$($$예를 들어$ 유한 마르코프 프로세스에 의해 생성된다는)의 시퀀스에 대한 특정 가정 하에서 고려 중인 가설 집합이 충분히 작다면 경험적 위험의 최소화는 다음과 같이 예상되는 위험의 최소화에 근접할 것이다.$\displaystyle$n이$$ 커집니다.이 접근방식을 경험적 리스크 최소화(ERM)라고 부릅니다.

정규화와 안정성

최소화 문제가 명확한 해법을 가지기 위해서는 고려 중인 가설 $집합{\displaystyle \mathcal{}}$H(\style$\display\mathcal {H})$에 제약을 가해야 합니다.H$(\$가 표준공간(SVM의 경우와 마찬가지로)인 $경우{\displaystyle \mathcal{}}$ 특히 효과적인 방법은 f f$)$ $가설$만 고려하는 것입니다 (\$displaystyle f\rVert_{\mathcal {H}<k}).$This is equivalent to imposing a regularization penalty ${\displaystyle {\mathcal {R}}(f)=\lambda _{k}\lVert f\rVert _{\mathcal {H}}}$, and solving the new optimization problem

이 방법을 티코노프 정규화라고 합니다.

보다 일반적으로 R$)$ {$style$ {$R$$\}\}($$f$$)$은 $f$의 복잡성을 측정하는 수단이 될 수 있으므로 단순한 가설이 선호된다.

SVM 및 힌지 손실

(soft-margin) SVM $분류자{\displaystyle \stackrel{}{\mathbf{}}}$ w${\displaystyle \stackrel{}{}^}$, ${\displaystyle b\mathbf{}}$ : x${\displaystyle s}$ sgn${\displaystyle ({\stackrel{}{}}^{}}$( ${\displaystyle w^{\mathsf{}}}$ ^${\displaystyle T^{}\mathbf{}}$ ${\displaystyle x}$-$$b ) \ $displaystyle { mathbf { x }$ , b : \ $mathbf${ x } \ $mapsto$\ $operatorname${$sgn$} ( { \ $hat$ { $mathbf${ $w }$ } } } } ） } { $mathbf$ { sgn} { $mathbf$} { $sgn$} } } } } 。

위의 논의에 비추어 볼 때, 우리는 SVM 기법이 Tikhonov 정규화에 의한 경험적 위험 최소화와 동등하다는 것을 알 수 있다. 이 경우 손실 함수는 힌지 손실이다.

이러한 관점에서 SVM은 정규화된 최소 제곱 및 로지스틱 회귀와 같은 다른 기본 분류 알고리즘과 밀접하게 관련되어 있습니다.세 가지 차이는 손실 함수의 선택에 있다. 정규화된 최소 손실량은 제곱 손실로 경험적 위험 최소화에 ${\displaystyle {해당}_{}}$한다. δ ${\displaystyle s_{}}$q (${\displaystyle y}$ ,${\displaystyle z}$ ) ${\displaystyle =}$ (${\displaystyle y}$ -${\displaystyle {}^{}z}$ ) ${\displaystyle {2\mathrm{}}^{}}$\ $display$style \$ell$ _{ ell $（ y$ , z ) = ( y - z ) = ( y - z ) 2 ; $logistory$ regressional $、$ loss $。$

대상 기능

힌지 손실과 이러한 다른 손실 함수의 차이는 목표 함수, 즉 주어진 $랜덤{\displaystyle }$ 변수 X${\displaystyle ,}$ $,\displaystyle$ X$,y$쌍에 대한 예상 위험을 최소화하는 함수에서 가장 잘 설명됩니다.

특히, y$$ {$displaystyle y_{x}$는 X ${\displaystyle =}$ {$displaystyle$ X$=x$의 $경우$에 따라 y$${$displaystyle$ y$}$를 $나타냅니다{\displaystyle }$.분류 설정에는 다음이 있습니다.

따라서 최적의 분류자는 다음과 같습니다.

제곱 손실의 경우 대상 함수는 조건부 기대 $함수{\displaystyle {}_{}}$ f $s$q ($x$ ) ${\displaystyle =E\mathbb{}}$ [ $y$ x$]$= \ $mathbb${$E }$ \$left$[ y$_${ $x$} \ $right$]}이고$,$ 로지스틱 손실의 $경우{\displaystyle {}_{}}$ ${\displaystyle {\log }_{}}$(${\displaystyle x}$ )$$ ${\displaystyle \ln p_{}}$ ${\displaystyle (}$ x ${\displaystyle {}_{}}$입니다.$x})\right$ 이 두 대상 함수는 ${\displaystyle \mathrm{모두}}$ 올바른 분류자를 제공하지만, sgn ${\displaystyle (}$ ( ${\displaystyle f_{}}$ ${\displaystyle s_{}{}_{}}$q ) ${\displaystyle =}$ ${\displaystyle \mathrm{sgn}}$（ ${\displaystyle {}_{}}$ log${\displaystyle {}_{}}$） ${\displaystyle =}$ ${\displaystyle {}^{}}$ { $displaystyle \operatorname {sgn}(f_{n$})=\operatorname {sgn$}(f_${\$log$ }) =$f$로서 우리가 필요로 하는 것보다 더 많은 정보를 제공합니다.실제로 y $(\$의 $분포$를 완전히 설명하기에 충분한 정보를 얻을 수 있습니다.

한편, 힌지 손실의 목표 함수가 $정확히{\displaystyle {}^{}}$ f ${\$ {\$displaystyle$ f$^\{*\}$인 것을 확인할 수 있습니다.따라서 충분히 풍부한 가설 공간(또는 적절히 선택된 커널의 경우)에서 SVM 분류기는 다음과 같은 가장 단순한 함수($\$로 수렴합니다.rectly는 데이터를 분류합니다.이것은 SVM의 기하학적 해석을 확장한다. 선형 분류의 경우, 경험적 위험은 지지 벡터 사이에 여백이 있는 함수에 의해 최소화되며, 그 중 가장 단순한 것이 최대 마진 ^[22]분류기이다.

특성.

SVM은 일반화된 선형 분류기 패밀리에 속하며 퍼셉트론의 확장으로 해석될 수 있습니다.그들은 또한 티코노프 정규화의 특별한 경우로 간주될 수 있다.특별한 특성은 경험적 분류 오류를 최소화하는 동시에 기하학적 여유를 최대화하는 것입니다. 따라서 최대 여백 분류기로도 알려져 있습니다.

Meyer, Leisch 및 Hornik은 ^[23]SVM을 다른 분류기와 비교했습니다.

파라미터 선택

SVM의 유효성은 커널의 선택, 커널의 파라미터 및 소프트 마진 $파라미터{\displaystyle }${\{ display style \ $lambda$에 따라 달라집니다.일반적으로 가우스 커널은 단일 $파라미터{\displaystyle }$ ${\$ { $display$$$style \ $gamma$를 가지고 $있습니다{\displaystyle }$.「 \ display style \ $lambda$}와 $（$ \ $display$style \ $gamma ）$의 최적의 조합은 다음과 같습니다.${\$ $often{\displaystyle }$ often $often$ often （ \ $displaystyle$\ $displayda$$$$）$$oftendisplaydisplay{\displaystyle }$${\displaystyle }$（ \ displaystyle \ $displaystyle$ \ displaystyle \ $5$） ${\displaystyle 、{}^{}}$2 - ${\displaystyle 5^{}}$、 $2$ - $）$ ${\displaystyle 、}$${\displaystyle }$2 ${\displaystyle {13}^{}}$, 2 ${\displaystyle {15}^{}}$（ $displaystyle$\$displaystyle$ \ 2 ^ { $5$} ） 、 2 、 $3 } }$ $。$$\displaystyle \gamma \in$\{$2^{-13,\dots,2^{1},2^{3$ 일반적으로 상호 검증을 사용하여 파라미터 선택의 각 조합을 확인하고 상호 검증 정확도가 가장 높은 파라미터를 선택합니다.또는 최근 베이지안 최적화 작업을 $사용$하여 ${\$ {\$displaystyle \lambda$} $및$ ${\$ {\$displaystyle \gamma$}$$를 선택할 수 있으며 그리드 검색보다 훨씬 적은 파라미터 조합의 평가가 필요한 경우가 많다.테스트 및 새 데이터 분류에 사용되는 최종 모델은 선택한 ^[24]매개 변수를 사용하여 전체 교육 세트에 대해 교육됩니다.

문제들

SVM의 잠재적인 결점은 다음과 같습니다.

• 입력 데이터의 완전한 라벨 부착 필요
• 보정되지 않은 클래스 멤버십 확률:SVM은 유한 데이터에 대한 확률 추정을 회피하는 Vapnik의 이론에서 비롯됩니다.
• SVM은 2개의 클래스 태스크에만 직접 적용할 수 있습니다.따라서 멀티클래스 태스크를 몇 가지 바이너리 문제로 줄이는 알고리즘을 적용해야 합니다.멀티클래스 SVM 섹션을 참조하십시오.
• 해결된 모형의 모수는 해석하기 어렵습니다.

내선번호

서포트 벡터 클러스터링(SVC)

SVC는 커널 기능을 기반으로 하는 유사한 방법이지만 비지도 ^{[citation needed]}학습에 적합합니다.

멀티클래스 SVM

멀티클래스 SVM은 서포트 벡터 머신을 사용하여 인스턴스에 라벨을 할당하는 것을 목적으로 합니다.여기서 라벨은 여러 요소의 유한 집합에서 가져옵니다.

이를 위한 주요 접근법은 단일 멀티클래스 문제를 여러 이진 ^[25]분류 문제로 줄이는 것입니다.이러한 감소를 위한 일반적인 방법은 다음과 같습니다.^[25][26]

• 라벨 중 하나와 나머지(1 대 모든 것) 또는 모든 클래스 쌍(1 대 1)을 구별하는 바이너리 분류자 구축.one-versus-all 케이스의 새로운 인스턴스 분류는 winner-takes-all 전략에 의해 이루어집니다.이 전략에서는 가장 높은 출력 함수를 가진 분류자가 클래스를 할당합니다(동일한 점수를 생성하도록 출력 함수를 교정하는 것이 중요합니다).1 대 1 접근방식의 경우 분류는 max-wins 투표전략에 의해 이루어집니다.이 전략에서는 모든 분류자가 인스턴스를 2개의 클래스 중 하나에 할당하고 할당된 클래스에 대한 투표가 1표 증가하며 최종적으로 가장 많은 표를 가진 클래스가 인스턴스 분류를 결정합니다.
• 방향 비순환 그래프 SVM(DAGSVM)^[27]
• 오류 수정 출력 코드^[28]

Crammer와 Singer는 다중 클래스 분류 문제를 다중 이진 분류 ^[29]문제로 분해하는 대신 단일 최적화 문제로 주조하는 다중 클래스 SVM 방식을 제안했다.Lee, Lin과^[30][31] Wahba, Van den Burg와 ^[32]Groenen도 참조하십시오.

트랜스덕티브 서포트 벡터 머신

전이성 지원-벡터 기계는 부분적으로 레이블이 지정된 데이터를 변환 원리를 준수하여 반감독 학습에서도 처리할 수 있다는 점에서 SVM을 확장한다.여기서는 교육 $세트{\displaystyle \mathcal{}}$D$(\displaystyle\mathcal$ {$D$ 외에 학습자에게도 세트가 제공됩니다.

분류할 테스트 예제의 경우.형식적으로 트랜지티브서포트 벡터머신은 다음과 같은 초기 최적화 ^[33]문제에 의해 정의됩니다.

최소화($w{\displaystyle \mathbf{},}$ ${\displaystyle b,}$ ${\displaystyle {\mathbf{}}^{}}$ ${\$ { $displaystyle \mathbf${ $w$} , $b$, \$mathbf${ $y$} ^ { \ $star }$)

($i{\displaystyle }$ ${\displaystyle =1}$,${\displaystyle \dots ,}$ {$displaystyle$ i$=1,\display,n}$ 및$$ j ${\displaystyle =1}$,${\displaystyle \dots ,}$k {$displaystyle$ j$=1,\display,k$의 경우)에 따릅니다.

그리고.

1998년 블라디미르 N. Vapnik에 의해 전도성 서포트 벡터 기계가 도입되었습니다.

구조화된 SVM

SVM은 구조화된 SVM으로 일반화되어 라벨 공간이 구조화되고 크기가 무한할 수 있습니다.

회귀

회귀를 위한 SVM 버전은 1996년 블라디미르 N. Vapnik, Harris Drucker, Christopher J. C. Burges, Linda Kaufman 및 Alexander J.^[34] Smola에 의해 제안되었다.이 방법을 Support-Vector Regression(SVR; 지원 벡터 회귀)이라고 합니다.모델을 구축하기 위한 비용 함수는 한계를 벗어난 교육 지점에 대해 신경 쓰지 않기 때문에 지지-벡터 분류에 의해 생성된 모형은 교육 데이터의 부분 집합에만 의존합니다.이와 유사하게 모델 구축 비용 함수는 모델 예측에 가까운 모든 훈련 데이터를 무시하기 때문에 SVR에 의해 생산된 모델은 훈련 데이터의 하위 집합에만 의존합니다.Suykens와 Vandewalle은 ^[35]최소 제곱 지원 벡터 머신(LS-SVM)으로 알려진 또 다른 SVM 버전을 제안했습니다.

원래의 SVR 트레이닝은 문제를 해결하는 것을 의미합니다^[36].

$최소{\displaystyle \frac{\mathrm{}}{}}$ ${\displaystyle \frac{1}{}}$ ~ 2${\displaystyle {}^{\mu \mathrm{}}}$ 2$$(\$style${ $tfrac {1}$ {$2}}$ \ w \$^$ {$2}$ )

${\displaystyle y_{}}$ i${\displaystyle {}_{}}$-${\displaystyle w}$w , ${\displaystyle x_{}}$ i ${\displaystyle -}$ - b ${\display${ displaystyle$y _${ $i$} - \ $rangle$ -$b$ \$leq$\$varepsilon }$에 ${\displaystyle 준거}$합니다.

${\displaystyle {여기}_{}}$서 x i$(\$})는$$ $목표값{\displaystyle {}_{}}$ $(\$의 훈련 샘플입니다.내부 곱 + 절편${\displaystyle w}$w , ${\displaystyle {}_{}}$ ${\displaystyle i_{}}$ ${\displaystyle +}$ + ${\displaystyle b}$( \ $displaystyle$\ $langle$w , $x _$ { i } \ $rangle + b$ )는$$ 해당 샘플의 예측입니다.$또,$ 「\ displaystyle \$varepsilon$$$$」$는, 임계치로서 기능하는 프리 파라미터입니다.모든 예측은, true 예측의 $범위내$에 있을 필요가 있습니다.보통 slack 변수는 에러를 허용하고 위의 문제를 실행할 수 없는 경우 근사치를 허용하기 위해 위에 추가됩니다.

베이지안 SVM

2011년에 Polson과 Scott는 SVM이 데이터 ^[37]증강 기술을 통해 베이지안 해석을 허용한다는 것을 보여주었다.이 접근법에서는 SVM을 그래픽 모델(모수들이 확률 분포를 통해 연결됨)로 간주합니다.이 확장 뷰를 통해 유연한 피쳐 모델링, 자동 하이퍼 파라미터 조정 및 예측 불확도 정량화 등의 베이지안 기술을 SVM에 적용할 수 있습니다.최근에는 확장 가능한 버전의 베이지안 SVM이 Florian Wenzel에 의해 개발되어 빅데이터에 ^[38]베이지안 SVM을 적용할 수 있게 되었습니다.Florian Wenzel은 베이지안 커널 지원 벡터 머신(SVM)을 위한 변동 추론(VI) 체계와 선형 베이지안 SVM을 ^[39]위한 확률 버전(SVI)의 두 가지 다른 버전을 개발했습니다.

실행

최대 마진 하이퍼플레인 파라미터는 최적화를 해결함으로써 도출됩니다.SVM에서 발생하는 2차 프로그래밍(QP) 문제를 신속하게 해결하기 위한 몇 가지 전문 알고리즘이 있으며, 대부분 문제를 보다 작고 관리하기 쉬운 청크로 분석하기 위한 휴리스틱에 의존합니다.

또 다른 접근법은 뉴턴과 같은 반복을 사용하여 원시 및 이중 문제의 [40]카루시-쿤-터커 조건의 해답을 찾는 것이다.이 접근방식은 일련의 고장난 문제를 해결하는 것이 아니라 문제를 직접 해결합니다.큰 커널 행렬을 포함하는 선형 시스템을 해결하는 것을 피하기 위해, 행렬에 대한 낮은 순위 근사치가 커널 트릭에서 종종 사용됩니다.

또 다른 일반적인 방법은 Platt의 순차적 최소 최적화(SMO) 알고리즘으로, 문제를 분석적으로 해결되는 2차원 하위 문제로 분해하여 수치 최적화 알고리즘과 매트릭스 스토리지가 필요하지 않습니다.이 알고리즘은 개념적으로 단순하고 구현이 용이하며 일반적으로 속도가 빠르며 어려운 SVM ^[41]문제에 대한 확장성이 우수합니다.

선형 지지-벡터 기계의 특수한 경우는 가까운 친척인 로지스틱 회귀를 최적화하는 데 사용되는 것과 동일한 종류의 알고리즘으로 보다 효율적으로 해결할 수 있다. 이 알고리즘의 등급에는 준경사 강하(예: PEGASOS^[42])와 좌표 강하(예^[43]: LIBLINARE)가 포함된다.LIBLINARE에는 몇 가지 매력적인 훈련 시간 속성이 있습니다.각 컨버전스 반복은 트레인 데이터를 읽는 데 걸리는 시간에 선형으로 시간이 걸리며, 반복은 Q-선형 컨버전스 특성도 가지고 있기 때문에 알고리즘이 매우 빠릅니다.

일반 커널 SVM은 특히 병렬화가 허용되는 경우 하위 경사 강하(예: P-packSVM^[44])를 사용하여 보다 효율적으로 해결할 수 있습니다.

커널 SVM은 LIBSVM, MATLAB, SAS, SVMlight, kernlab, skikit-learn, 쇼군, Weka, Shark, JKernel Machines, OpenCV 등을 포함한 많은 머신러닝 툴킷에서 사용할 수 있습니다.

분류의 ^[45]정확성을 높이기 위해 데이터의 전처리(표준화)를 강력히 권장한다.표준화 방법에는 min-max, 10진수에 의한 정규화, Z-score ^[46]등이 있습니다.평균과 각 피쳐의 분산에 의한 나눗셈은 보통 ^[47]SVM에 사용됩니다.

「 」를 참조해 주세요.

• 현장 적응형 표
• 커널 머신
• 피셔 커널
• 플랫 스케일링
• 다항식 커널
• 예측 분석
• 서포트 벡터 머신의 정규화 관점
• SVM과 기능 형태가 동일한 확률론적 스파스 커널 모델인 관련성 벡터 머신
• 순차적 최소 최적화
• 공간 매핑
• Winnow (알고리즘)

레퍼런스

추가 정보

• Bennett, Kristin P.; Campbell, Colin (2000). "Support Vector Machines: Hype or Hallelujah?" (PDF). SIGKDD Explorations. 2 (2): 1–13. doi:10.1145/380995.380999. S2CID 207753020.
• Cristianini, Nello; Shawe-Taylor, John (2000). An Introduction to Support Vector Machines and other kernel-based learning methods. Cambridge University Press. ISBN 0-521-78019-5.
• Fradkin, Dmitriy; Muchnik, Ilya (2006). "Support Vector Machines for Classification" (PDF). In Abello, J.; Carmode, G. (eds.). Discrete Methods in Epidemiology. DIMACS Series in Discrete Mathematics and Theoretical Computer Science. Vol. 70. pp. 13–20.^{[메모리를 찾을 수 없음]}
• Joachims, Thorsten (1998). "Text categorization with Support Vector Machines: Learning with many relevant features". In Nédellec, Claire; Rouveirol, Céline (eds.). "Machine Learning: ECML-98. Berlin, Heidelberg: Springer. p. 137-142. doi:10.1007/BFb0026683.
• Ivanciuc, Ovidiu (2007). "Applications of Support Vector Machines in Chemistry" (PDF). Reviews in Computational Chemistry. 23: 291–400. doi:10.1002/9780470116449.ch6. ISBN 9780470116449.
• James, Gareth; Witten, Daniela; Hastie, Trevor; Tibshirani, Robert (2013). "Support Vector Machines" (PDF). An Introduction to Statistical Learning : with Applications in R. New York: Springer. pp. 337–372. ISBN 978-1-4614-7137-0.
• Schölkopf, Bernhard; Smola, Alexander J. (2002). Learning with Kernels. Cambridge, MA: MIT Press. ISBN 0-262-19475-9.
• Steinwart, Ingo; Christmann, Andreas (2008). Support Vector Machines. New York: Springer. ISBN 978-0-387-77241-7.
• Theodoridis, Sergios; Koutroumbas, Konstantinos (2009). Pattern Recognition (4th ed.). Academic Press. ISBN 978-1-59749-272-0.

외부 링크

• libsvm, LIBSVM은 SVM 학습자에게 인기 있는 라이브러리입니다.
• liblinear는 일부 SVM을 포함한 대규모 선형 분류용 라이브러리입니다.
• SVM light는 SVM을 사용하여 학습 및 분류하기 위한 소프트웨어 도구 모음입니다.
• SVMJS 라이브 데모는 SVM의 JavaScript 구현을 위한 GUI 데모입니다.