분류를 위한 손실 함수

시리즈의 일부
기계 학습 및 데이터 마이닝
문제 분류 클러스터링 회귀 이상 검출 데이터 클리닝 자동 ML 어소시에이션 규칙 강화 학습 구조화된 예측 기능 엔지니어링 기능 학습 온라인 학습 준지도 학습 비지도 학습 순위 매기기 학습 문법 유도
지도 학습 (분류 • 회귀) 의사결정 트리 앙상블 배깅 부스팅 랜덤 포레스트 k-NN 선형 회귀 네이비 베이즈 인공신경망 로지스틱 회귀 분석 퍼셉트론 관련 벡터 머신(RVM) 서포트 벡터 머신(SVM)
클러스터링 버치 치유하다 계층적 k자형 기대 최대화(EM) DBSCAN 광학 평균 이동
치수 축소 인자 분석 CCA ICA LDA NMF PCA PGD t-SNE
구조화된 예측 그래픽 모델 베이즈 네트 조건부 랜덤 필드 히든 마르코프
이상 검출 k-NN 국소 특이치 계수
인공신경망 자동 인코더 인지 컴퓨팅 딥 러닝 딥 드림 다층 퍼셉트론 RNN LSTM GRU ESN 저장고 계산 제한 볼츠만 기계 GAN somerset. 컨볼루션 뉴럴 네트워크 유넷 트랜스포머 비전. 스파이킹 뉴럴 네트워크 메모리 트랜지스터 전기화학 RAM(ECRAM)
강화 학습 Q-러닝 사사 시간차(TD) 멀티 에이전트 셀프 플레이
인간과의 학습 액티브 러닝 크라우드 소싱 휴먼 인 더 루프
모델 진단 학습 곡선
이론. 커널 머신 바이어스-분산 트레이드오프 컴퓨터 학습 이론 경험적 리스크 최소화 오컴 러닝 PAC 학습 통계학 학습 VC 이론
기계학습장 NeurolIPS ICML ML JMLR ArXiv:cs.LG
관련 기사 인공지능 용어집 기계 학습 연구를 위한 데이터 세트 목록 기계학습의 개요
v t

기계학습 및 수학적 최적화에서 분류를 위한 손실함수는 분류 문제(특정 관측치가 어떤 범주에 ^[1]속하는지 식별하는 문제)에서 예측의 부정확성에 대해 지불된 가격을 나타내는 계산적으로 실현 가능한 손실함수이다.X$$($일반적$으로 X${\displaystyle {\mathbb{}}^{}}$ $displaystyle$ {$X}$\$subset$\$mathbb${$R$} ^ {$d}$ ) 및 $Y{\displaystyle \mathcal{}}$ ${\displaystyle =}${ -${\displaystyle 1}$ $}$ { style {$mathcal {$Y} = \ { - $1$} \ $displaystyle$ { \ mathcal$$${$ X$}$ })가 가능한 모든 입력의 공간이고 Y = { - 1 } （표준$$ 출력의 목표치)가 주어진 $경우{\displaystyle \mathcal{}}$,기능 f:X→ R{\displaystyle f:{{\mathcal X}}}어느 것이 가장 좋은 주어진 입력을 위한 라벨 y{이\displaystyle}이라고 예측했다)\mathbb{R}\to →{\displaystyle{\vec{)}}}그러나 불완전한 정보, 측정에서 소음, 또는 내부 과정에서 확률론적 부품 때문에, 그것을 가능하다 .[2]. 월e $same{\displaystyle \stackrel{}{}}$ x $→$ {\$displaystyle {x}}$을(를) 생성하기 위해$${\$displaystyle$ y$\}$^[3]를 사용합니다. 따라서 학습 문제의 목표는 다음과 같이 정의된 예상 손실(위험이라고도 함)을 최소화하는 것입니다.

${\displaystyle I[f]=\displaystyle \int _{\mathcal {X}}\times {mathcal {Y}}V(f({\vec {x}}}),y)p4\vec {x},y},dy},d4vec {x}}$

$여기$서 V${\displaystyle }$( ${\displaystyle f}$( ${\displaystyle x\stackrel{}{}}$ ${\displaystyle \to }$) ,${\displaystyle y}$) { $displaystyle$V ( $f$( \ $vec${$x$} ) , $y$}는$$ 주어진$$ 손실 함수이며${\displaystyle ,}$ ${\displaystyle p\stackrel{}{}}$ ( x${\displaystyle \stackrel{}{\to }}$,$$y ) { $displaystyle$ p\ \$vec$ { x} , $y$}는 데이터를 생성한 프로세스의 확률 밀도 함수이며, 다음과 같이 쓸 수 있습니다.

$(\displaystyle pvec {x},y)=p(y\mid {vec {x})pvec {x}).}$

분류에서 일반적으로 사용되는 몇 가지 손실 함수는 실제 $레이블{\displaystyle }$y(\$displaystyle$ y$)$와 예측 $레이블{\displaystyle }$ f${\displaystyle (x\stackrel{}{}}$ $→)$ {\$displaystyle$ f$\\vec {x$의 곱으로만 작성됩니다.${\displaystyle \mathrm{따라서}}$ 변수${\displaystyle \to }$ ${\displaystyle yf\stackrel{}{}}$ ( x ${\displaystyle \to }$ $){$ $displaystyle \upsilon =$ yffsilon$\vec {$$x$$\}\}$의 함수로서 V ( x ${\displaystyle \to }$) ,${\displaystyle y}$ ) ${\displaystyle =}$ ${\displaystyle (}$ (${\displaystyle yf}$ ( ${\displaystyle x\stackrel{}{}}$ ${\displaystyle \to }$)$= displaystyle$V ( $f$( \ c \ $ve$ { x } ) } 、=\$phi(\$upsilon$$)는$$ 적절히 선택된 $함수{\displaystyle \theta \mathbb{}}$ :${\displaystyle R\mathbb{}}$ $→$$R {\displaystyle \phi :\mathbb {$R$}$ $\to \mathbb${R$\}$을(를) 마진 기반 손실 함수라고 한다.마진 기반의 손실함수를 선택하는 것은 ${\(\displaystyle\phi$를 선택하는 것과 같으며, 이 프레임워크 내에서 손실함수를 선택하는 것은 $최적$의 $(\$}^*})에$$ 영향을 미치므로 예상되는 위험을 최소화할 수 있습니다.

2진수 분류의 경우, 위에 명시된 적분으로부터 예상 위험의 계산을 단순화할 수 있다.구체적으로는

$디스플레이 스타일I[f]&, =\int _{{{X\mathcal}}\times{{Y\mathcal}}}V(f({\vec{x}}),y)p({\vec{x}},y)\,d{\vec{)}}\,dy\\[6pt]&, =\int _{{X\mathcal}}\int _{{Y\mathcal}}\phi(yf({\vec{x}}))p(y\mid{\vec{x}})p({\vec{x}})\,dy\,d{\vec{)}}\\[6pt]&, =\int _{{X\mathcal}}[\phi(f({\vec{x}}))p(1\mid{\vec{x}})+\phi(({\vec{x}}))p-f(-1\mid{\vec{x}})]p({\vec. {)}})\,d{\vec {x}\\[6pt]&=int _{\mathcal {X}}[\phi (f440\vec {x})]p(1\mid {vec {x})+\phi (-p(1\mid {vec {x}})]>p440\vec {x},dc}},dvec {x})$

두 번째 등식은 위에서 설명한 속성에서 나옵니다.세 번째 등식은$$y(\$displaystyle$ $y$$)$에 $대해{\displaystyle }$ 가능한 값은 1과 -1뿐이며, 네 번째 등식은${\displaystyle }$p$(-$x) ${\displaystyle =1}$ -${\displaystyle }$p ( $µ$x$$) =$1$- ${\displaystyle p}$ ( 1 \$$mid x )$$= 1 - p ( 1 \ $mid$ x )이기 때문입니다.괄호${\displaystyle }$안의 ${\displaystyle \mathrm{용어}}$ [ ${\displaystyle (}$ ( ${\displaystyle x}$ ${\displaystyle \to }$) ${\displaystyle p}$( ${\displaystyle 1\mid }$ ${\displaystyle x\stackrel{}{}}$ ${\displaystyle \to }$) +${\displaystyle }$（ -${\displaystyle f}$ ( x ${\displaystyle \to }$ )${\displaystyle }$] ( $1$ -${\displaystyle }$p ( ${\displaystyle 1}$ ${\displaystyle x\stackrel{}{}}$ ${\displaystyle \to }$ )$]$ ( \ $displaystyle$[ \ $phi$( $f$∣ \$vec$ { $x }$ ) + $\ phi$ ( 1 $\ mid$\ $vec$ { x } ) $（ 1$ )

I${\displaystyle }$[ ${\displaystyle f}$$$$]$ { $displaystyle$ I [ f ] { $displaystyle$ f$$}에 대한 마지막 등식의 함수 도함수를 취하여 도함수를 0으로 설정하면 I [ f${\displaystyle }$] { displaystyle I [ f$$}의 최소값을 구할 수 있다.이것은 다음과 같은 방정식을 얻을 것이다.

${\displaystyle\frac\phi(f)}{\frac\phi(f)}{\frac f}(1-\eta)=0\;\;\;(1)$

또한 조건부 위험의 도함수를 0으로 설정하는 것과 같다.

분류의 2진수 특성을 고려할 때, 손실 함수의 자연 선택(잘못된 긍정과 거짓 부정의 동일 비용 가정)은 0-1 손실 함수(0-1 지시 함수)가 될 것이며, 예측된 분류가 참 분류와 같으면 0을, 예측된 분류가 t와 일치하지 않으면 1을 취할 것이다.후레 클래스.이 선택 항목은 다음과 같이 모델링됩니다.

$\displaystyle V(f({\vec {x}}),y)=H(-yf({\vec {x}})}$

$여기$서 H$(\displaystyle$ H$)$는 Heaviside 스텝 기능을 나타냅니다.단, 이 손실함수는 비볼록하고 평활하지 않으며, 최적해를 위한 해법은 NP-하드 조합 최적화 문제이다.^[4]그 결과, 일반적으로 사용되는 학습 알고리즘에 다루기 쉬운 손실 함수 대용은 볼록하고 매끄러운 등의 편리한 특성을 가지므로 대체하면 좋다.계산 추적성 외에도, 이러한 손실 대용품을 사용한 학습 문제에 대한 해결책이 원래 분류 ^[5]문제에 대한 실제 해결책을 복구할 수 있음을 보여줄 수 있다.이들 대리체 중 일부는 아래에 설명되어 있습니다.

실제로 확률 $분포{\displaystyle }$ p${\displaystyle (}$ ${\displaystyle x\stackrel{}{}}$ ${\displaystyle \to }$ ,${\displaystyle y}$ $)({displaystyle$pve$\vec${x},$y)}$는 알 수 없습니다.$그$ 결과$$n개의 훈련 $세트$를 독립적으로 동일하게 분산된 샘플 포인트$$활용

$\displaystyle S=\{{\vec {x}_{1}},\displays ,({\vec {x}_{n},y_{n})\}$

데이터 표본 공간에서 추출하여 경험적 위험을 최소화하고자 한다.

$({displaystyle I_{S}[f]=sum frac {1}{n}}\sum _{i=1}^{n}V(f({\vec {x}_{i}), y_{i}})})$

예상되는 위험을 ^[3]대신할 수 있습니다.(자세한 내용은 통계학습이론을 참조해 주세요).

베이즈 일관성

Bayes의 정리를 이용하여 최적 ${\displaystyle {f\mathrm{}}_{}^{}}$ 0${\displaystyle {}_{}^{}}$/ ${\displaystyle {1\mathrm{}}_{}^{}}$ ${\$ {\$displaystyle f_{0/1}^{*}}$즉, 0-1 손실에 관련된 기대 위험을 최소화하는 f는 2진수 분류 문제에 대한 Bayes의 최적 결정 규칙을 구현하고 다음과 같은 형태를 취한다는 것을 알 수 있다.

F 0/1∗()→)){1만약 p>안(− 1∣)→)0만약 p(1∣)→))p(− 1∣)→)− 1만약 p(1∣)→)<>안(− 1∣)→){\displaystyle f_{0/1(1∣)→)}({\vec{x}})\, =\,{\begin{경우}\.\와 같이^;1&,{\text{만약}}p(1\mid{\vec{x}})>, p(-1\mi.d{\vec{)}})$\\;\;0&{\text{x}}p$(1$\mid {vec$ {$x})=p4301\mid$ {$vec {x})\-1&{\text{f}p$(1$\mid {vec {x$}})<$p4401\mid$ {$x}\endcases$

손실 함수는 최적 $f{\displaystyle {}_{}^{}}$ $(\$}^{*})가$$ ${\displaystyle {f\mathrm{}}_{}^{}}$ 0${\displaystyle {}_{}^{}}$/ ${\displaystyle {1\mathrm{}}_{}^{}{\delta }_{}^{}}$(${\displaystyle x\stackrel{}{}}$ $→$ ) ${\displaystyle =}$ ${\displaystyle \mathrm{sgn}}$δ(${\displaystyle x\stackrel{}{}}$ $)(\displaystyle f_0/1}^{*}(\c)$인 경우 분류 등급 또는 Bayes 일관성이 있다고 한다.찬성 결정 규칙Bayes 일관성 손실 함수를 사용하면 확률 밀도 함수를 명시적으로 모델링하지 않고도 예상 위험을 직접 최소화하여 Bayes 최적 의사결정 $함수{\displaystyle {}_{}^{}}$ f ${\displaystyle {\varphi }_{}^{}}$display display display display （ \ $displaystyle$f _ { \ $phi$}^{ * } } }을$$ 찾을 수 있습니다.

볼록 마진 손실 ϕ(υ){\displaystyle \phi(\upsilon)}을 예로 들자면, 만일 그것은 0에서ϕ′(0)<0{\displaystyle \phi '(0)<0}.[6][1] 하지만 구별할 수 있는 것은 ϕ(υ){\displaystyle \phi(\upsilon)}베이스 일치한다, 이 결과 비볼록형 베이스의 존재 consisten을 배제하지 않는다. 표시할 수 있다.t손실funct보다 일반적인 결과는 다음과 같은 공식을 사용하여 베이즈 일관 손실 함수를 생성할 수 있다는 것이다.

$2$$$$C'[f^{-1}(v)]\;\;\;\;\;(2$

$여기$서 f${\displaystyle {(}^{}}$${\displaystyle \mathrm{display}}$ ${\displaystyle ),}$ ( ${\displaystyle 0\mathrm{displaydisplaydisplay1}}$ $)({$ $displaystyle$ f$(\eta ), (0\leq$ \$leq$1)는 f -${\displaystyle {}^{}1}$ ( -${\displaystyle }$v$$)$1$ -${\displaystyle {}^{}}$f -$1$ (${\displaystyle }$v ) = 1 - $（$v ） = 1 - f^ { - 1$$ ( $v{\displaystyle }$ ) （ v$$）${\displaystyle }$、 C $styleq$$$）$$ ${\displaystyle 。}$$Le C(\eta)=C(1-\eta$ 표 I는 ${\displaystyle C}$($))\displaystyle$ C$(\eta)$ $및$ f - 1$)\displaystyle$ f$^{-1}(v$의 일부 $선택{\displaystyle }$ 예에 대해 생성된 베이즈 일관 손실 함수를 보여줍니다. 새비지와 탄젠트 손실은 볼록하지 않습니다.이러한 비볼록 손실 함수는 ^[7][8]분류에서 특이치를 처리하는 데 유용한 것으로 나타났다.(2)에서 생성된 모든 손실 함수에 대해${\displaystyle ,}$ 후방 $확률{\displaystyle }$ p$($${\displaystyle y}$ ${\displaystyle =}$ ${\displaystyle 1\stackrel{}{}}$ x ${\displaystyle \to }$ $){displaystyle$ p$(y$ = ${\displaystyle 1}$$${${\displaystyle vec\stackrel{}{}}${${\displaystyle x}$$})$ ${\displaystyle =}$ ${\displaystyle {}^{}{=}^{}}$ ${\displaystyle {\mathrm{f}}^{}}$ -${\displaystyle }$1$$( $v$ ){$displaystyle p(y$ 1 {$c$$${x}})= $f-${v$} = f1-f}$와 같이$$${\displaystyle }$ 반전 링크 함수를 사용하여 구할 수 있다.가역 링크를 사용하여 복구되는 것을 적절한 손실 함수라고 합니다.

표 I

손실명	${\displaystyle\phi(v)}$	${\displaystyle C(\eta)}$	${\displaystyle f^{-1}(v)}$	${\displaystyle f(\eta)}$
지수	${\displaystyle e^{-v}}$	${\displaystyle 2cprt {\eta (1-\eta)$	$(\displaystyle {e^{2v}}{1+e^{2v}}})$	$(\displaystyle\frac{1}{2}}\logfrac{frac}{1-\eta}}$
로지스틱	${\displaystyle {1}{\log(2)}}\log(1+e^{-v})}$	${\displaystyle {1}{\log(2)}[-\eta \log(\eta)-(1-\eta)\log(1-\eta)]$	$({displaystyle {e^{v}}}{1+e^{v}}})$	$({displaystyle\logfrac}{1-\eta }})$
광장	${\displaystyle (1-v)^{2}}$	${\displaystyle 4\eta(1-\eta)}$	${\displaystyle {1}{2}}(v+1)$	${\displaystyle 2\eta-1}$
새비지	$({displaystyle {1}{(1+e^{v})^{2}}})$	${\displaystyle \eta(1-\eta)}$	$({displaystyle {e^{v}}}{1+e^{v}}})$	$({displaystyle\logfrac}{1-\eta }})$
접선	${\displaystyle (2\arctan (v)-1)^{2}}$	${\displaystyle 4\eta(1-\eta)}$	$\displaystyle \arctan(v)+{\frac {1}{2}}$	$(\displaystyle \tan(\eta -{\frac {1}{2}}))$

상기의 생성된 손실함수와 관련된 예상위험의 유일한 $최소치$인 f ${\displaystyle \varphi }$ ${\$ （ \ $displaystyle$f _ { \ $phi }^{$ * }$$）는 식 (1)에서 직접 구할 수 있으며 $대응$하는 f${\displaystyle (}$ $）$ \ $displaystyle$ f( \$eta$)와 동등함을 나타낼 수 있습니다.이는 비볼록 손실 함수에 대해서도 유지되며, 이는 구배 부스팅과 같은 구배 강하 기반 알고리즘을 사용하여 최소화를 구성할 수 있음을 의미한다.

적절한 손실 함수, 손실 여유 및 정규화

적절한 손실 함수의 경우 손실 여유는 ${\displaystyle {\mu }_{}}$ µ${\displaystyle {}_{}}$ - ${\displaystyle 0\frac{{}^{}0}{}}$（ 0 ) ${\displaystyle \frac{\mathrm{\varphi }（}{}}$ 0$$） \ $displaystyle \mu$ _ { \ $phi } =$ - { \ $frac$ { $phi$ ' ( 0 ) } { \ $phi$' ( 0 )$$} } 로 $정의$할 수 있으며 ^[9]분류기의 정규화 속성과 직접 관련이 있음을 나타냅니다.특히 마진이 큰 손실 함수는 정규화를 증가시키고 사후 확률을 더 잘 추정합니다.예를 들어, 손실액은 물류 감소를 위한 곳에서 소형 0<>1γ 로그 ⁡(1+e− γ v){\displaystyle{\frac{1}{\gamma}}\log(1+e^{-\gamma v})}는 군수 손실 쓰기를γ{\displaystyle \gamma}매개 변수 γ<>를 도입함으로써, 1{\displaystyle 0<, \gamma<1}남자를 증가 증가할 수 있다.의 rgin손실. 이는 경사 $부스트{\displaystyle {}_{}}$ ${\displaystyle F_{}}$m (${\displaystyle x}$ ) ${\displaystyle =}$ ${\displaystyle F_{}}$m -${\displaystyle {}_{}{1}_{}}$ (${\displaystyle x}$) + ${\displaystyle {}_{}}$ ${\displaystyle h_{}}$m (${\displaystyle x}$) ,$${ $displaystyle F_{m}$ (x) $=$의 학습 속도를 감소시키는 것과 직접 동등한 것으로 나타납니다.$F_{m-1}(x)+\gamma h_{m}(x$$),$ 여기서 $"\displaystyle \gamma"$를 줄이면 부스트 분류기의 정규화가 향상됩니다.이 이론은 $학습률{\displaystyle }$ ${\$ {\$displaystyle$\display$}$을 사용할 때, 이제 사후 확률을 검색하는 올바른 공식은 ${\displaystyle {}^{}}$ ${\displaystyle ={}^{}}$f -${\displaystyle {}^{}{1}^{}}$ ( ${\displaystyle f}$F (${\displaystyle x}$) \ $displaystyle \eta$=$f ^$ { - 1 ( \ $displaystyle$F ($x$ )$$） 。

결론적으로, 마진이 큰 손실 함수$(작은$ 표시 스타일 \$gamma$를 선택함으로써 정규화를 증가시키고 사후 확률에 대한 추정치를 개선하여 최종 분류기의 ROC 곡선을 개선한다.

제곱손실

제곱 손실 함수는 회귀 분석에서 더 일반적으로 사용되지만 함수${\displaystyle }\delta {\displaystyle }$( ${\displaystyle y}$f ( ${\displaystyle x\stackrel{}{}}$ ${\displaystyle \to }$) { $displaystyle \phi$( $yf$f _ $vec${ $x$} ) } 로$$ 다시 작성하여 분류에 활용할 수 있다.다음과 같이 (2) 및 Table-I를 사용하여 생성할 수 있습니다.

$\displaystyle \phi(v)=C[f^{-1}(v)]+(1-f^{-1}(v))C'[f^{-1}(v)]=4({\frac {1}{2}}(v+1)(1-{\frac {1}{2}}(v+1)+(1-{\frac {1}{2}}(v+1)+(1-{\frac {1}{2}}(v+1)=1.$

제곱 손실 함수는 볼록하고 매끄럽습니다.그러나 제곱 손실 함수는 특이치를 과도하게 불이익시키는 경향이 있으며, 로지스틱 손실 또는 힌지 손실 ^[1]함수보다 (표본 복잡도와 관련하여) 수렴률이 느립니다.또한 일부 $x{\displaystyle }$${\displaystyle }$${\displaystyle x}$ X$${\$displaystyle$$$fin\$vec$$$${$$x$$}}$에 대해 f${\displaystyle (x\stackrel{}{}}$${\displaystyle }$${\displaystyle \stackrel{}{\to }}$ )$${\$displaystyle$$fin$$\$vec {$})$의 높은 값은 $y$의 부호에 관계없이 엄중한 벌칙이 적용되므로 제곱 손실 함수의 성능이 저하됩니다.$${\$displaystyle$ y$}$와 f${\displaystyle (x\stackrel{}{}}$ ${\displaystyle \to }$) {\$displaystyle fbec {x}}$이(가) 일치합니다$.$

제곱손실함수의 장점은 그 구조가 정규화 파라미터의 간단한 교차 검증에 도움이 된다는 것입니다.특히 티코노프 정규화의 경우 단일 ^[10]문제를 해결하는 것과 동시에 leave-one-out cross-validation을 사용하여 정규화 파라미터를 해결할 수 있다.

제곱 손실 함수의 I${\displaystyle }$[ $]$ {$style$I [ $f$]의$$ $최소값$은 다음과 같은 식 (1)에서 직접 구할 수 있습니다.

${\displaystyle f_{\text{Square}}^{*}=2\eta-1=2p(1\mid x)-1.}$

로지스틱 손실

로지스틱 손실 함수는 다음과 같이 (2) 및 표-I를 사용하여 생성할 수 있습니다.

$\ displaystyle \ phi ( v ) & = C [ f ^ { - 1 （ v ） \ right ] + \ left ( 1 - f^ { - 1 （ v ) \ 、 C ' \ left [ f ^ { - 1 ( v ) \ right ]\&=superfrac {1}{\log(2)}\left[{\frac {-e^{v}}{1+e^{v}}\log {\frac {e^{v}}}-\left(1-{\frac {e^{v}}}}}-\log {1+e^{v}}}}\left}\left(1-{\frac {1-{1+e}}}}}}}}}\left}\log\left}\left}\left}\left}\left}\left\&=superfrac {1}{\log(2)}}\log(1+e^{-v}).\end { aligned}}$

로지스틱 손실은 볼록하며 음수 값에 대해 선형으로 증가하므로 특이치에 덜 민감합니다.로지스틱 손실은 LogitBoost 알고리즘에서 사용됩니다.

로지스틱 손실 함수의 I${\displaystyle }$[ $]$ {$style$I [ $f$]의 최소값은 식 (1)에서 직접 구할 수 있습니다.

$\displaystyle f_{\text{Logistic}^{*}=\log \leftfrac {1-\mid x}=\log \leftfrac {p(1\mid x)}{1-p(1\mid x)}}\right}.}$

이 함수는 p ${\displaystyle (}$${\displaystyle \mathrm{1\mu x}}$${\displaystyle }$) $=$ ${\displaystyle 1}$ {$displaystyle p$${\displaystyle (}$$1\mid$ x)=$$${\displaystyle 1}$또는 p (${\displaystyle \mathrm{1\mu x}}$ )$=$ 0(각각 µ 및 $-display$ 쪽으로 기울어져 $있음{\displaystyle }$)일 때 정의되지${\displaystyle \mathrm{않지만}}$p $1µx)\style$p$($$1\mid$ x$)$가 증가하고${\displaystyle }$p(0)가 ${\displaystyle \mathrm{증가}}$할 때 증가하는 부드러운 곡선을 예측합니다.$)=0.$5$\}$^[3] 입니다.

로지스틱 손실과 바이너리 교차 엔트로피 손실(로그 손실)이 실제로 동일한지 쉽게 확인할 수 있습니다(승수 $상수{\displaystyle \frac{\mathrm{}}{}}$ 1 ${\displaystyle \frac{\mathrm{로그}}{}}$( (${\displaystyle \frac{2}{}}$ )$$\ $display$ \ $frac${ $1 }$ { \ log ( 2 )$$） 。교차 엔트로피 손실은 경험적 분포와 예측된 분포 사이의 쿨백-라이블러 분산과 밀접한 관련이 있다.교차 엔트로피 손실은 현대의 심층 신경 네트워크 어디에나 존재한다.

지수 손실

지수 손실 함수는 다음과 같이 (2) 및 표-I를 사용하여 생성할 수 있습니다.

$\displaystyle \phi(v)=C[f^{-1}(v)]+(1-f^{-1}(v))C'[f^{-1}(v)]=2{\sqrt {{\frac {e^{2v}}{1+e^{2v}}}(1-{\frac {e^{2v}}}}}}}}+(1-{\frac {e^{2v}}}}}}{1+e^{1+e}}}{v}}}}}}}{frac}}}{{frac}}}}{frac}{{{frac}}}}}}}}}{{{frac}}}}}}}{$

지수 손실은 볼록하며 음수 값에 대해 지수적으로 증가하므로 특이치에 더 민감합니다.지수 손실은 AdaBoost 알고리즘에서 사용됩니다.

지수 손실 함수에 대한${\displaystyle I}$[ f $]$ {$style I$[ f ]의 최소치는 식 (1)에서 다음과 같이 직접 구할 수 있습니다.

$\displaystyle f_{\text{Exp}}^{*}=blog \left frac {1}{2}}\log \flac {1-\eta}{1}{2}\log \flac {p(1\mid x)}{1-p(1\mid x)}}\right}.}$

새비지 손실

새비지^[7] 손실은 다음과 같이 (2)와 표-I를 사용하여 생성할 수 있다.

$\displaystyle \phi(v)=C[f^{-1}(v)]+(1-f^{-1}(v))C'[f^{-1}(v)]=param\frac {e^{v}{1+e^{v}}(1-{\frac {e^{v}}{1+e^{v}}})+(1-{\frac {e^{v}}}}}(1-{\frac {e^2e}}}{v}})}$

새비지 손실은 준볼록형이며 큰 음수 값에 대해 경계가 지정되므로 특이치에 덜 민감합니다.새비지 손실은 그라데이션 부스트 및 새비지 부스트 알고리즘에 사용되어 왔습니다.

새비지 손실 함수에 대한 ${\displaystyle I}$[${\displaystyle }$f $]$ {$style I[$f]의 $최소값$은 식 (1)에서 다음과 같이 직접 구할 수 있습니다.

${\displaystyle f_{\text{Savage}^*}=\log \leftfrac {1-\mid x}=\log \leftfrac {p(1\mid x)}{1-p(1\mid x)}}\right}.}$

접선 손실

접선^[11] 손실은 다음과 같이 (2) 및 표-I를 사용하여 생성할 수 있습니다.

${\displaystyle\phi(v)&=C[f^{-1}(v)]+(1-f^{-1}(v)C'[f^{-1}(v)]=4(\arctan(v)+{\frac {1}{2}})(1-(\arctan(v)+{1}{2}))+(1-(\arctan(v)+{1}{2}})(4-8(\arctan(v)+frac{1}{1}{1}}){frac}{frac}{frac}{frac}{frac}{frac}}}{frac}{frac}}}{frac}}{frac}}}}{frac}}}}}}}}}\end { aligned}}$

탄젠트 손실은 준볼록형이며 큰 음수 값에 대해 경계가 지정되므로 특이치에 덜 민감합니다.흥미롭게도, 접선 손실은 또한 "너무 정확하게" 분류된 데이터 점에 경계 패널티를 할당합니다.이를 통해 데이터 세트에 대한 과도한 훈련을 방지할 수 있습니다.접선 손실은 그라데이션 부스트, 접선 부스트 알고리즘 및 교대 의사 결정 ^[12]포레스트에 사용되었습니다.

접선 손실 함수의 I${\displaystyle }$[ $]$ {$style$ I$[f]}$의 최소값은 식 (1)에서 직접 구할 수 있습니다.

$(\displaystyle f_{\text{Tangent}^{*}=\tan(\eta -{\frac {1}{2})=\tan(p(1\mid x)-{\frac {1}{2})).}$

힌지 손실

$힌지{\displaystyle }$ 손실 ${\displaystyle 함수}$는 ${\displaystyle (}$ (${\displaystyle }$) ) ${\displaystyle =}$ ${\displaystyle \max }$ (${\displaystyle 0}$, ${\displaystyle 1}$ -${\displaystyle }$) )${\displaystyle =}$[ ${\displaystyle 1}$ -$]$ + \$max$ ( \ $upsilon$ ) = [$1$- \ upsilon ]_${$ + $\}$로 정의됩니다$.{\displaystyle \mathrm{여기}}$서 [ ${\displaystyle {]}_{}}$ + ${\displaystyle {}_{}max}$($0$ ,${\displaystyle a}$ )$$、 [ $display style [$a${\displaystyle {}_{}}$] _ 0 . $0$, \ ]

$({displaystyle V({\vec {x}}),y)=\max(0,1-yffc\vec {x})=[1-yfc\vec {x}]_{+}).}$

힌지 손실은 0-1 지시계 함수에 상대적으로 타이트하고 볼록한 상한을 제공합니다.${\displaystyle \mathrm{구체적}}$으로, 힌지 손실은 sgn$$ (${\displaystyle f\stackrel{}{}}$ ( x$→$ ) $=$ ${\displaystyle y}$ ( \ $displaystyle$ \$operatorname { sgn }$ ( fgn \$vec$ { x } ) $=$ ${\displaystyle \mathrm{y<img\; alt="\backslash operatorname\; \{sgn\}(f(\{\backslash vec\; \{x\}\}))=y"\; aria-hidden="true"\; class="mwe-math-fallback-image-inline"\; src="https://wikimedia.org/api/rest\_v1/media/math/render/svg/dc9ea9f7a805e79be1379c6d1f4e4b4baa355d0a"\; style="vertical-align:\; -0.838ex;\; width:13.852ex;\; height:2.843ex;">}}$) ${\$ $1$ (${\displaystyle }$x ${\displaystyle \stackrel{}{\to }}$ ) {\ 1 ( \ $displaystyle$yfc \$vec$ { x} ) \ ${\displaystyle ）}$ \ $1$ 1$$1 1 1 1 s s s s 、 、 、 、 、 、 、 、 1 risk 0 ~1$$、 、 、 、 、 、 、 、 、 、 벡터 머신(SVM)을 서포트합니다.서포트 벡터의 마진 경계 밖에 있는 올바르게 분류된 포인트는 패널티를 받지 않는 반면, 마진 경계 내 또는 하이퍼 플레인의 잘못된 쪽에 있는 포인트는 올바른 ^[4]경계로부터의 거리에 비해 선형적인 방법으로 패널티를 받는다.

힌지 손실 함수는 볼록하고 연속적이지만 y ${\displaystyle f\stackrel{}{}}$( x $→$ ) ${\displaystyle =}$ {\$displaystyle yf\\vec {x$}}$$=1}에서는 매끄럽지 않다. 따라서 힌지 손실 함수는 전체 영역에 대한 차이성에 의존하는 경사 강하 방법이나 확률적 경사 강하 방법에는 사용할 수 없다.그러나 힌지 손실은 ${\displaystyle y}$ f${\displaystyle (x\stackrel{}{}}$ $→$ ) ${\displaystyle =}$(\$displaystyle yf\\vec {x$})=$1$에서 하위 경사도를 가지므로 하위 경사 강하 ^[4]방법을 사용할 수 있습니다.힌지 손실 함수를 이용한 SVM은 2차 프로그래밍을 사용하여 해결할 수도 있습니다.

힌지 손실 기능을 위한 ${\displaystyle I}$ ${\displaystyle [}$f $]$ \ $display$I [ $f$]의 최소값은 다음과 같습니다.

$\displaystyle f_{\text{힌지}^{*}({\vec {x})\;=\;{\case}1&{\text{if}}p(1\mid {vec {x})>p(-1\mid {vec {x}\text{f}p(1\mid {cx})\mid {p}$

$p{\displaystyle }$ ${\displaystyle (}$ ${\displaystyle 1\mu }$x )${\displaystyle }$0 0.${\displaystyle 5}$\ $displaystyle$p ($1$ \ $mid$x ) \ $neq$0.$5$。${\displaystyle \mathrm{이}}$는 0 ~1 인디케이터 함수와 일치합니다.이러한 결론은 예상 위험과 힌지 손실 ^[1]함수의 부호 사이의 차이에 경계가 배치될 수 있기 때문에 힌지 손실을 상당히 매력적으로 만든다.${\displaystyle {\text{힌지}}_{}^{}}$ 손실은 f 힌지 $†$ {\$displaystyle f_{\text}$ 이후 (2)에서 도출할 수 $없습니다{\displaystyle {}_{}^{}}$.힌지$}^{*}$는 반전되지 않습니다.

일반화된 부드러운 힌지 손실

$(\displaystyle\alpha)$를 사용하여 일반화된 스무스 힌지 손실 함수는 다음과 같이 정의됩니다.

${{\alpha }^{*}(z)\;={\case}{\frac {alpha +1}}-z&{\text{if}z\leq 0\{\frac {1}z^{\alpha +1}-z+{\frac} {\frac {\1}{\frac {\frac} {\f} {\f} {\f}$

어디에

$(\displaystyle z=yfclin\vec {x})}$

단조롭게 증가하며 ${\displaystyle \mathrm{z}}$ $=$ 1(\$displaystyle$ z$=1$이면 0에 도달합니다.

「 」를 참조해 주세요.

• 차별화 가능한 프로그래밍

레퍼런스