휴버 손실

통계학에서 Huber 손실은 강력 회귀 분석에서 사용되는 손실 함수로서, 오차 손실 제곱보다 데이터의 특이치에 덜 민감합니다.분류를 위한 변종도 가끔 사용됩니다.

정의.

y

y-f(x)

-

y-f(x)

(

y-f(x)

) \

\delta =1

y - f (

x

)의 함수로써 Huber 손실(녹색, ,

\delta =1

1

{

displaystyle

\

displaystyle =

1) 및 제곱 오류

\delta =1

손실(파란색)

Huber loss 함수는 추정 $절차$ f에 의해 발생하는 패널티를 설명합니다.Huber(1964)는 손실 함수를 다음과 같이 구분하여^[1] 정의합니다.

L_{\delta}(a)=cases{1}{2}}&{\text{for}} a \leq \cdot \left(a - {\frac {1}{2}}\text{})}}\end {case}

이 함수는 a의 $작은$ 값에 대해서는 2차, 큰 값에 대해서는 선형으로, a $|a|=\delta$ $=$ \ $displaystyle$ a = \ $disc$ 인 두 지점에서 동일한 값과 기울기를 가진다. $변수$ a는 종종 잔차, 즉 관측값과 $a=y-f(x)$ a $a=y-f(x)$ - $a=y-f(x)$ ( $a=y-f(x)$ x $)$ 의 차이를 참조한다. $playstyle$ a $=y-f(x$ 이므로 전자는 로 확장될^[2] 수 있습니다.

L_{\delta }(y,f(x)={case}{\frac {1}{2}}(y-f(x))^{2}&{\textrm {for} y-f(x) \leq \laps,\\cdot \left(y-f(x) - {\frac {1}{2}}\laps \right},&{\textrm {rm}}.}}\end {case}

동기

가장 일반적으로 사용되는 두 가지 손실 함수는 L ( $=$ $L(a)=a^{2}$ 2 {\ $displaystyle$ L $(a$ )= $L(a)=|a|$ $^{2}}$ 및 절대 $L(a)=|a|$ L ( $L(a)=|a|$ $=$ a $L(a)=|a|$ 입니다. 제곱 손실 함수는 산술 평균-편향 추정기(\display style $L($ a)= a })를 생성하며, 절대값 손실 함수는 중앙값-편향 추정기(median-uniasibiator)를 생성한다.1차원 케이스와 다차원 케이스에 대한 기하학적 중위수 비편향 추정기).손실 제곱은 특이치에 의해 지배되는 경향이 있다는 단점이 있다. 즉, ( $display$ ${\textstyle \sum _{i=1}^{n}L(a_{i})}$ ${\textstyle \sum _{i=1}^{n}L(a_{i})}$ ${\textstyle \sum _{i=1}^{n}L(a_{i})}$ ( ${\textstyle \sum _{i=1}^{n}L(a_{i})}$ $){textstyle \sum$ _ ${i=1}^{n}L(a_{i})$ 과 같이) {\ $style$ a $}'$ s $a$ 를 합산할 때, 표본 평균이 $특히$ 큰 $a$ 의 $distri-style$ 값의 영향을 많이 받는다 $a$ .추정 이론의 관점에서 평균의 점근적 상대 효율은 꼬리 부분이 두꺼운 분포에서 좋지 않습니다.

위에서 정의한 바와 같이 Huber 손실 함수는 $a=0$ $a=0$ $=$ 0 { $displaystyle$ a $=$ $0$ 의 균일한 근방에서 강하게 볼록하다. 이 균일한 근방의 경계에서 Huber 손실 함수는 a $a=-\delta$ - ${\$ { $style$ a=-\ $del}$ $a=\delta$ a $a=\delta$ { $displaystyle$ a=\ $del$ } $a=-\delta$ 에서 아핀 함수로 미분 가능한 확장을 가진다. $ta$ $a=\delta$ 이러한 특성을 통해 평균의 평균 비편향, 최소 분산 추정기(2차 손실 함수 사용)와 중앙값 비편향 추정기(절대값 함수 사용)의 강건성을 상당 부분 결합할 수 있다.

의사-허버 손실 함수

유사-휴버 손실 함수는 휴버 손실 함수의 부드러운 근사치로 사용할 수 있습니다.이 값은 목표/최소값에 가까울 때 강하게 볼록하고 극단값의 경우 덜 가파름으로써 L2 제곱 손실과 L1 절대 손실의 최상의 특성을 결합합니다.의사-휴버 손실 함수가 최소값에 가까운 값의 L2 손실에서 극단값의 L1 손실 및 극단값의 경사가 "\ $displaystyle \delta }"$ $\delta$ 으로 $\delta$ 전환되는 척도를 제어할 수 있습니다.유사-허버 손실 함수는 도수가 모든 도수에 대해 연속되도록 보장합니다.다음과 같이 정의됩니다^[3]^[4].

L_{\delta }(a)=\display ^{2}\leftrt {1+(a/\delta)^{2}}-1\right.

따라서 이 함수는 $\displaystyle$ a의 $작은$ 값에 대해서는 2 $(\displaystyle$ a $a$ $2}/2)$ 에 $a^{2}/2$ $a^{2}/2$ \ $displaystyle$ a의 $큰$ 값에 대해서는 \ $delta}$ 의 $\delta$ 기울기를 갖는 직선에 가깝습니다.

위가 가장 일반적인 형태이지만, Huber 손실 함수의 다른 부드러운 근사도 존재합니다.^[5]

분류용 변종

분류를 위해 변형된 Huber라고 불리는 Huber 손실의 변형이 사용되기도 합니다. $f(x)$ f $)$ { $style$ f $(x)}($ 실제값 분류자 점수) 및 진정한 바이너리 클래스 $y\in \{+1,-1\}$ y $y\in \{+1,-1\}$ { + $y\in \{+1,-1\}$ , $y\in \{+1,-1\}$ - $y\in \{+1,-1\}$ $}$ { $display y$ \ $in$ \ { + $1$ , 1 \ $y\in \{+1,-1\}$ } { display y \ in \ { + 1, 1 \ $y\in \{+1,-1\}$ }} a a a a a a a a a a a a a a a a 、 Huber loss given given is is is is is^[6] is is is is is is is is is 。

L(y,f(x)=begin{case}\max(0,1-y,f(x)^{2}&{\textrm {for},y(x)\geq -1,\-4y,f(x)&{\textrm {f}}}}}.}}\end {case}

$\max(0,1-y\,f(x))$ max ( 0 $\max(0,1-y\,f(x))$ , $\max(0,1-y\,f(x))$ - $\max(0,1-y\,f(x))$ ( $\max(0,1-y\,f(x))$ ) { $displaystyle \max ( 0$ , 1 - $y$ , $f$ ( $x$ ) } is $\max(0,1-y\,f(x))$ 、 서포트 벡터머신이 사용하는 힌지 손실입니다.사각형 평활 힌지 손실은 L { $displaystyle$ L $L$ ^[6]의 $L$ 입니다.

적용들

휴버 손실 함수는 강력한 통계, M 추정 및 가법 ^[7]모델링에 사용된다.

「」를 참조해 주세요.

레퍼런스

^ Huber, Peter J. (1964). "Robust Estimation of a Location Parameter". Annals of Statistics. 53 (1): 73–101. doi:10.1214/aoms/1177703732. JSTOR 2238020.
^ Hastie, Trevor; Tibshirani, Robert; Friedman, Jerome (2009). The Elements of Statistical Learning. p. 349. Archived from the original on 2015-01-26. Hastie 등과 비교하여 손실은 이전에 주어진 Huber의 원래 정의와 일치하도록 θ의 인수로 스케일링된다.
^ Charbonnier, P.; Blanc-Féraud, L.; Aubert, G.; Barlaud, M. (1997). "Deterministic edge-preserving regularization in computed imaging". IEEE Trans. Image Processing. 6 (2): 298–311. CiteSeerX 10.1.1.64.7521. doi:10.1109/83.551699. PMID 18282924.
^ Hartley, R.; Zisserman, A. (2003). Multiple View Geometry in Computer Vision (2nd ed.). Cambridge University Press. p. 619. ISBN 978-0-521-54051-3.
^ Lange, K. (1990). "Convergence of Image Reconstruction Algorithms with Gibbs Smoothing". IEEE Trans. Med. Imaging. 9 (4): 439–446. doi:10.1109/42.61759. PMID 18222791.
^ ^a ^b Zhang, Tong (2004). Solving large scale linear prediction problems using stochastic gradient descent algorithms. ICML.
^ Friedman, J. H. (2001). "Greedy Function Approximation: A Gradient Boosting Machine". Annals of Statistics. 26 (5): 1189–1232. doi:10.1214/aos/1013203451. JSTOR 2699986.

[1] Huber, Peter J. (1964). "Robust Estimation of a Location Parameter". Annals of Statistics. 53 (1): 73–101. doi:10.1214/aoms/1177703732. JSTOR 2238020.

[2] Hastie, Trevor; Tibshirani, Robert; Friedman, Jerome (2009). The Elements of Statistical Learning. p. 349. Archived from the original on 2015-01-26. Hastie 등과 비교하여 손실은 이전에 주어진 Huber의 원래 정의와 일치하도록 θ의 인수로 스케일링된다.

[3] Charbonnier, P.; Blanc-Féraud, L.; Aubert, G.; Barlaud, M. (1997). "Deterministic edge-preserving regularization in computed imaging". IEEE Trans. Image Processing. 6 (2): 298–311. CiteSeerX 10.1.1.64.7521. doi:10.1109/83.551699. PMID 18282924.

[4] Hartley, R.; Zisserman, A. (2003). Multiple View Geometry in Computer Vision (2nd ed.). Cambridge University Press. p. 619. ISBN 978-0-521-54051-3.

[5] Lange, K. (1990). "Convergence of Image Reconstruction Algorithms with Gibbs Smoothing". IEEE Trans. Med. Imaging. 9 (4): 439–446. doi:10.1109/42.61759. PMID 18222791.

[zhang-6] Zhang, Tong (2004). Solving large scale linear prediction problems using stochastic gradient descent algorithms. ICML.

[7] Friedman, J. H. (2001). "Greedy Function Approximation: A Gradient Boosting Machine". Annals of Statistics. 26 (5): 1189–1232. doi:10.1214/aos/1013203451. JSTOR 2699986.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

Search

휴버 손실

네임스페이스

더

목차

정의.

동기

의사-허버 손실 함수

분류용 변종

적용들

「」를 참조해 주세요.

레퍼런스

Search

휴버 손실

정의.

동기

의사-허버 손실 함수

분류용 변종

적용들

「 」를 참조해 주세요.

레퍼런스

「」를 참조해 주세요.