Softmax 함수

시리즈의 일부
기계 학습 및 데이터 마이닝
문제 분류 클러스터링 회귀 이상 검출 데이터 클리닝 자동 ML 어소시에이션 규칙 강화 학습 구조화된 예측 기능 엔지니어링 기능 학습 온라인 학습 준지도 학습 비지도 학습 순위 매기기 학습 문법 유도
지도 학습 (분류 • 회귀) 의사결정 트리 앙상블 배깅 부스팅 랜덤 포레스트 k-NN 선형 회귀 네이비 베이즈 인공신경망 로지스틱 회귀 분석 퍼셉트론 관련 벡터 머신(RVM) 서포트 벡터 머신(SVM)
클러스터링 버치 치유하다 계층적 k자형 기대 최대화(EM) DBSCAN 광학 평균 이동
치수 축소 인자 분석 CCA ICA LDA NMF PCA PGD t-SNE
구조화된 예측 그래픽 모델 베이즈 네트 조건부 랜덤 필드 히든 마르코프
이상 검출 k-NN 국소 특이치 계수
인공신경망 자동 인코더 인지 컴퓨팅 딥 러닝 딥 드림 다층 퍼셉트론 RNN LSTM GRU ESN 저장고 계산 제한 볼츠만 기계 GAN somerset. 컨볼루션 뉴럴 네트워크 유넷 트랜스포머 비전. 스파이킹 뉴럴 네트워크 메모리 트랜지스터 전기화학 RAM(ECRAM)
강화 학습 Q-러닝 사사 시간차(TD) 멀티 에이전트 셀프 플레이
인간과의 학습 액티브 러닝 크라우드 소싱 휴먼 인 더 루프
모델 진단 학습 곡선
이론. 커널 머신 바이어스-분산 트레이드오프 컴퓨터 학습 이론 경험적 리스크 최소화 오컴 러닝 PAC 학습 통계학 학습 VC 이론
기계학습장 NeurolIPS ICML ML JMLR ArXiv:cs.LG
관련 기사 인공지능 용어집 기계 학습 연구를 위한 데이터 세트 목록 기계학습의 개요
v t

softargmax^{[1]: 184} 또는 정규화 지수 ^{[2]: 198} 함수라고도 하는 softmax 함수는 K 실수의 벡터를 K 가능한 결과의 확률 분포로 변환합니다.로지스틱 함수를 다차원으로 일반화하며 다항 로지스틱 회귀 분석에 사용됩니다.softmax 함수는 종종 루스의 선택 공리에 기초하여 예측된 출력 클래스에 대한 확률 분포에 대한 네트워크의 출력을 정규화하기 위해 신경망의 마지막 활성화 함수로 사용됩니다.

정의.

소프트맥스 함수는 K 실수의 벡터 z를 입력으로 받아들여 입력 숫자의 지수에 비례하는 K 확률로 이루어진 확률 분포로 정규화한다.즉, softmax를 적용하기 전에는 일부 벡터 컴포넌트가 음수이거나 1보다 클 수 있습니다.또한 softmax를 적용하면 각 컴포넌트는 (${\displaystyle 0,}$1$)(\display$ ($0,$1$)\})$의 간격으로 되어 컴포넌트의 합계는 1이 되어 확률로 해석됩니다.게다가 입력 컴포넌트가 클수록 확률도 커집니다.

표준(단위) 소프트맥스 함수${\displaystyle {\mathbb{}}^{}}$ : R ${\displaystyle {}^{}}$ ${\displaystyle \to }$ (${\displaystyle 0}$ ,${\displaystyle {}^1}$) K ${\$는 K$${\$displaystyle$ K$}$가 1보다 클 때 $다음$과 같이 정의된다.

$\displaystyle \dots (\mathbf {z})_{i}=sum frac {e^{j=1}^{K}{z_{j}}}}\ \ \ \ \ \ \ \ \ \ textsc , K \ text { and }\ mathbfz = { dotsc}, { 1 }, \ sc}}$

간단히 말해 입력 $벡터{\displaystyle \mathbf{}}$z의$$ 각 $요소{\displaystyle {}_{}}$ z $(\$$displaystyle z_{i})$에 표준 지수 함수를 적용하고 이러한 값을 모든 지수의 합으로 나누어 정규화합니다. 이 정규화를 통해 출력 벡터 성분 $\delta {\displaystyle (z\mathbf{})}$의 합이 보장됩니다.$\displaystyle \displaystyle (\mathbf {z})$은 1 입니다$$.

e 대신에 다른 베이스 b >0 을 사용할 수 있습니다.0 < b < 1 의 경우, 입력 컴포넌트가 작을수록 출력 확률이 높아집니다.또, b 의 값을 작게 하면, 가장 작은 입력치의 위치 주위에 보다 집중된 확률 분포가 작성됩니다.반대로 b > 1일 경우 입력 컴포넌트가 클수록 출력 확률이 높아지고 b 값을 늘리면 입력 값이 가장 큰 위치 주위에 더 집중된 확률 분포가 생성됩니다.b ${\displaystyle =}$ ${\displaystyle e^{}}$β {\$displaystyle$ b$=$$e$$^{\display$}} $또는{\displaystyle }$ ${\displaystyle {}^{}}$ ${\displaystyle {=}^{}}$ e -$β$ {\$displaystyle b=$e^{-\$display$}}($$^[a]실제 ^[b]β의 경우)로 쓰면 다음과 같은 ^[c]식이 생성됩니다.

$\displaystyle \displaystyle (\mathbf {z})_{i}=sum frac {e^{j=1}^{K}e^{\text{또는 }}\displays(\mathbf {z})_{i}=frace {\displaysty}{i}}}$

일부 필드에서는 베이스가 고정 ^[d]스케일에 대응하여 고정되는 반면 다른 필드에서는 파라미터 β가 변화한다.

해석

스무스 arg 최대

"softmax"라는 이름은 오해의 소지가 있습니다. 함수는 매끄러운 최대값(최대 함수에 대한 부드러운 근사치)이 아니라 arg max 함수(값이 최대값을 갖는 함수)에 대한 부드러운 근사치입니다.실제로 "softmax"라는 용어는 매끄러운 최대값인 밀접하게 관련된 LogSumExp 함수에도 사용됩니다.이러한 이유로 일부는 더 정확한 용어인 "softargmax"를 선호하지만, "softmax"라는 용어는 기계 ^[3][4]학습에서 통용된다.이 섹션에서는 이 해석을 강조하기 위해 "softargmax"라는 용어를 사용합니다.

형식적으로는 arg max를 범주형${\displaystyle }출력{\displaystyle \mathrm{}}$1,$…,$ ${\displaystyle n}$\$displaystyle 1,\dots,$$n$}(인덱스에 대응)의 함수로 간주하지 않고 출력을 원핫으로 나타내는 arg max 함수를 고려합니다(고유한 최대 arg가 있다고 가정합니다.

$\displaystyle \operatorname {display,max}(z_{1},\display,z_{n})=(y_{1},\display,0,\display,0,\display,0}),$

여기서 출력 $좌표{\displaystyle {}_{}}$ y ${\displaystyle i_{}}$ ${\displaystyle {}_{}}$ ${\displaystyle 1}${$displaystyle y_{$$i$} $= 1$ {displaystyle i}이$(가$$)$의 최대값$({\displaystyle }$${\displaystyle {z\_}_{}}$${1},\displaystyle,$$z_{$n$$$})$인 경우에만 z$$${\displaystyle {i\mathrm{}}_{}}$ $displaystyle$ $z_$${i})$의${\displaystyle }$고유한 최대값입니다$.$$$예를 들어, ${\displaystyle \mathrm{이}}$ ${\displaystyle \mathrm{인코딩}}$에서는 r ${\displaystyle \mathrm{g}}$ m a ${\displaystyle \mathrm{x}}$ ${\displaystyle (}$ (${\displaystyle 1}$,${\displaystyle 5}$, 10${\displaystyle }$)$=$( ${\displaystyle 0}$, ${\displaystyle 0}$ ,${\displaystyle }$1 $),$ {\$displaystyle$ \$operatorname {display, max}(1,5,10$)=($0,0,1)}$ 입니다$$.세 번째 인수는 최대이기 때문입니다.

이는 1을 모든 max args로 나누어 여러 arg max값(최대값인 여러 개의 $등가{\displaystyle {}_{}}$ ${\displaystyle z_{}}$ i$\$$})$으로 일반화할 수 있습니다.정식적으로 1/k는 최대값을 가정한 인수 수입니다.$예$를 들어, 두 번째 인수와 세 번째 인수 ${\displaystyle \mathrm{모두}}$ r ${\displaystyle \mathrm{g}}$ ${\displaystyle \mathrm{m}}$ ${\displaystyle \mathrm{a}}$ x${\displaystyle }$µ (${\displaystyle 1}$,${\displaystyle 5}$,${\displaystyle 5}$ )$=$ ( ${\displaystyle 0}$, 1${\displaystyle }$/ ${\displaystyle 2}$,${\displaystyle 1}$/ ${\displaystyle 2\mathrm{}}$ )$$= ( \ $displaystyle \operatorname$ {$opername$ { $}$ $( 1, 5, 5$ )= ($0$ ,$1 / 2$ /$$2 )이$$ 최대값입니다.모든 인수가 동일한 경우, 이것은 ${\displaystyle \mathrm{단순히}}$ r ${\displaystyle g\mathrm{}}$ m ${\displaystyle \mathrm{x}}$µ (${\displaystyle z}$ , ${\displaystyle ...}$ ,${\displaystyle \mathrm{z}}$ )${\displaystyle =}$ (${\displaystyle }$1${\displaystyle }$/${\displaystyle }$n , ${\displaystyle ...}$ ,${\displaystyle }$1${\displaystyle }$/${\displaystyle \mathrm{n}}$ )$$. { $displaystyle \operatorname {syslog$, max } ( $z$, \$syslog$ , z ) = ($1$ / $n$, \$syslog$ ,$1$ /$$$n$ )입니다.} 여러$$ 개의 arg max 값을 가진 포인트 z는 단수 포인트(또는 단수)이며, arg max 값이 1개인 포인트를 비단수 포인트 또는 정규 포인트라고 한다$.$

서문에 제시된 마지막 식에서 softargmax는 이제 β ${\displaystyle \to }$β \$display$ \ displaystyle $\to \infty$ $\}$이므로 argmax의 부드러운 근사치가 된다.함수의 컨버전스에는 다양한 개념이 있습니다.softargmax는 arg max$$포인트로 수렴합니다.즉, 각 고정 입력 z에 $대해{\displaystyle }$ β ${\displaystyle \mathrm{\to }}$${\displaystyle {\beta }_{}}$( ${\displaystyle z\mathbf{}}$) ${\displaystyle \to }$ ${\displaystyle \mathrm{a}}$ r ${\displaystyle \mathrm{g}}$ m x$δ$ ( ${\displaystyle z\mathbf{}}$ )$$.${\displaystyle }${$displaystyle \ displaybf {z }$\ $infty$$\}$ \$opername${ $to$ } \$opername$ 입니다.s는 arg max에 균일하게 수렴하지 않는다. 즉, 직감적으로 다른 점이 다른 속도로 수렴하며 임의로 느리게 수렴할 수 있다.실제로 softargmax는 연속이지만 argmax는 연속함수의 균일한 한계가 연속함수인 단수집합에서 연속함수가 아니다.이 값이 균일하게 수렴되지 않는 이유는 2개의 좌표가 거의 동일하고(및 1개가 최대) 입력의 경우 arg max는 어느 한쪽의 인덱스이기 때문에 입력의 작은 변화가 출력에 큰 변화를 주기 때문입니다.예를 들어 ${\displaystyle {\beta }_{}}$( ${\displaystyle 1}$,${\displaystyle 1.0001}$)${\displaystyle }$${\displaystyle \to }$ ( 0${\displaystyle }$,$),$ {\$displaystyle$ \$display } (1, 1.0001)\to (0,$1)이지만 $\beta {\displaystyle {}_{}}$ ${\displaystyle {}_{}1}$,${\displaystyle 0}$.${\displaystyle 9999)\to }$ (${\displaystyle 1,}$ 0$),$ {\$displaystyle \displaystyle$ _${\display$} ($1,0999$)\$to (1,0$$,$ 0) 입니다.lar${\displaystyle }$set (${\displaystyle x}$ ,${\displaystyle x}$ $){$ $displaystyle ( x$ ,$x$ $)\}$는, 컨버지가 늦습니다.단, softargmax는 비싱글 집합에서 콤팩트하게 수렴합니다.

반대로, β${\displaystyle \to }$ -${\$ \ $displaystyle \ to$- infty$$} $로서{\displaystyle }$ softargmax 는 같은 방법으로 argmin 으로 수렴하며, 여기서 단수 집합은 2개의 argmin 값을 갖는 포인트이다.softmax는 열대해석용어로 arg max 및 arg min의 변형 또는 "양자화"로, max-plus semiring(각각 min-plus-semiring) 대신 로그 semiring을 사용하는 것에 대응하며, 이 한계를 취함으로써 arg max 또는 arg min을 회복하는 것을 "열대화" 또는 "탈양자화"라고 한다.

또한 고정 β의 경우, 한 ${\displaystyle {입력}_{}}$ z i$(\$})가$$ 온도와 $관련$된 다른 입력 z ${\displaystyle =1}$ /$$β(\$displaystyle$ T$= 1$/\$beta$보다 훨씬 크면 출력은 대략 arg max입니다.예를 들어 온도 1에 비해 10의 차이가 큽니다.

$(\displaystyle\displaystyle(0,10):=\caps _{1}(0,10)=\left(1/(1+e^{10}), e^{10}/(1+e^{10}\right)\approx (0.00005,0.9995)}$

그러나 온도와 비교하여 차이가 작을 경우 값은 arg max에 가깝지 않습니다.예를 들어 온도 100에 비해 10의 차이는 작습니다.

$\displaystyle _{1/100}(0,10)=\left(1/(1+e^{1/10}), e^{1/10}/(1+e^{1/10}\right)\approx (0.475,0.525).}$

As ${\displaystyle \beta \to \infty }$, temperature goes to zero, ${\displaystyle T=1/\beta \to 0}$, so eventually all differences become large (relative to a shrinking temperature), which gives another interpretation for the limit behavior.

확률론

확률론에서, softargmax 함수의 출력은 범주형 분포, 즉 K개의 다른 가능한 결과에 대한 확률 분포를 나타내기 위해 사용될 수 있다.

통계역학

통계 역학에서, softargmax 기능은 볼츠만 분포(또는 깁스 분포)로 알려져 있다.시스템의[5]:7지수는 1,…, k{\displaystyle{1,\dots ,k}}이 microstates, 입력 z 나는{\displaystyle z_{나는}}은 에너지의 상태이다;분모는으로 알려진 파티션 함수, 자주.β 인자는 냉도(또는 열역학적 베타 또는 역온도)라고 합니다.

적용들

softmax 함수는 다항 로지스틱 회귀 분석(softmax ^{[2]: 206–209} regression이라고도 함) [1], 멀티클래스 선형 판별 분석, 네이비 베이즈 분류기, 인공 뉴럴 네트워크 ^[6]등 다양한 멀티클래스 분류 방법에 사용됩니다.구체적으로, 다항 로지스틱 회귀 분석과 선형 판별 분석에서 함수에 대한 입력은 K개의 구별된 선형 함수의 결과이며, 표본 벡터 x와 가중치 벡터 w가 주어진 j'번째 클래스에 대한 예측 확률은 다음과 같다.

$({displaystyle P(y=j\mid \mathbf {x})=sup frac {e^{\mathbf {x}^{\mathbf {T}}}_{j}}}{\sum _{k=1}^{K}e^{\mathbf {x}}}_mathbf {x}})_mathbf {x}}$

이는 K $선형함수{\displaystyle \mathbf{}}$ x${\displaystyle {\mathbf{}}^{}}$ x ${\displaystyle T^{}{\mathbf{}}_{}}$ ${\displaystyle {}_{}}$1,${\displaystyle \dots ,}$ ${\displaystyle x\mathbf{}{\mathbf{}}^{}}$ ${\displaystyle {\mathsf{}}^{}}$ ${\displaystyle T^{}{\mathbf{}}_{}}$ ${\displaystyle {}_{}}$ K$$\ $displaystyle$\$mathbf${ $x }$ \ $mapsto$\$mathbf${$x$} ^ { \ $mathbf { t$} ^ { { $1$} , \ $mathbf${ t$$} \ $mathbf$ { w } \ $map$^ { w } \ mathbf { { { { 1 } \ $map$ } } 、 \ mathbf { { { { { { { { { { { $lots$} } } } }$thbf {x}^{\mathsf {T}}\mathbf {w}}$는 x$\$ 및 w$\$의 내적을 나타냅니다.이 연산은 w${\displaystyle$ \$mathbf${w$$$}$에 의해 정의된 선형 연산자를$$x {\$displaystyle$ \$mathbf$$x{\displaystyle \mathbf{}}$}} 벡터에 적용하여 K차원 $공간{\displaystyle {\mathbb{}}^{}}$ ${\displaystyle {}^{}}$K {\$displaystyle \mathbb {R}$^{$K$에서 벡터로 변환하는 것과 동일합니다.

뉴럴 네트워크

표준 softmax 함수는 종종 뉴럴 네트워크 기반 분류기의 최종 레이어에서 사용됩니다.이러한 네트워크는 일반적으로 로그 손실(또는 교차 엔트로피) 체제에서 훈련되며, 다항 로지스틱 회귀의 비선형 변형을 제공한다.

함수는 벡터와 $특정$ $i$를 실제$$ 값에 매핑하므로 도함수에서는 지수를 고려해야 합니다.

$({displaystyle {frac}{\textbf {q},i)=\textbf {q},i) (\textbf {q}-\textbf {q},k) ({\textbf {q},k})\timeoutsign({\textbf {q},k},k)).}$

이 표현은 $인덱스{\displaystyle }$ i${\displaystyle ,}$ $(\displaystyle$ i$,k)$에서 대칭이므로 다음과 같이 나타낼 수도 있습니다.

$({displaystyle {frac}{\textbf {q},i)=\textbf {q},k}({\textbf {q},k})(\displaystyle {\textbf {q},i)}$

여기서 크로네커 델타는 단순성을 위해 사용됩니다(cf).함수 자체를 통해 표현되는 Sigmoid 함수의 도함수).

도함수의 안정적인 수치 계산을 달성하기 위해 입력 벡터로부터 상수를 빼는 경우가 많다.이론적으로, 이것은 출력과 도함수를 바꾸지 않는다.그러나 각 지수에서 계산된 가장 큰 값을 명시적으로 제어할 수 있기 때문에 더 안정적입니다.

함수가 $파라미터{\displaystyle }$β {\$displaystyle \beta$로 스케일링되어 있는 경우 이들 $식$에$$β {\$displaystyle \beta$를 곱해야 합니다.

softmax 활성화 함수를 사용하는 확률 모형은 다항 로짓(Logit)을 참조하십시오.

강화 학습

강화 학습 분야에서는 소프트맥스 함수를 사용하여 값을 액션 확률로 변환할 수 있습니다.일반적으로 사용되는 기능은 다음과 같습니다.^[7]

${\displaystyle P_{t}(a)=flac {exp(q_{t}(a)/\flac}{\sum _ {i=1}^{n}\exp(q_{t}(i)/\flac}}}}{\text{,}}}$

여기서 $action{\displaystyle {}_{}}$ 값${\displaystyle {}_{}{q}_{}}$ t (${\displaystyle a}$) {$style q_{t}(a)$는 다음 동작 a의 예상 보상에 해당하며$$, $§$ {$displaystyle \display}$는 온도 파라미터(통계역학을 함축함)라고 합니다.고온(${\displaystyle }$ ${\displaystyle \to }$→ ${\displaystyle \mathrm{\infty }}$ \$displaystyle \to \infty$)의 경우, 모든 작용의 확률은 거의 동일하며 온도가 낮을수록 예상되는 보상이 확률에 영향을 미칩니다.낮은 온도(${\displaystyle }$ ${\displaystyle \to {}^{\mathrm{}}}$+ \$displaystyle \to$ 0$^{+})$의 경우, 예상되는 보상이 가장 높은 작용의 확률은 1이 된다.

계산의 복잡성과 해결 방법

뉴럴 네트워크 애플리케이션에서 가능한 결과의 수 K는 종종 크다. 예를 들어, 수백만 개의 가능한 ^[8]단어를 포함할 수 있는 어휘 중에서 가장 가능성이 높은 결과를 예측하는 뉴럴 언어 모델의 경우.이를 통해 softmax 레이어($즉{\displaystyle {}_{}}$,$$(\$displaystyle z_{$i$\})$를 결정하기 위한 행렬 곱셈, 그리고 softmax 함수 자체의 적용)의 계산 비용이 많이 ^[8][9]들 수 있습니다.또한 이러한 뉴럴 네트워크를 훈련하기 위한 구배 강하 역전파 방법은 모든 훈련 예에 대해 소프트맥스를 계산하여 훈련 예시의 수를 늘릴 수 있다.소프트맥스에 대한 계산 노력은 더 큰 신경 언어 모델의 개발에서 주요 제한 요소가 되었고, 훈련 ^[8][9]시간을 단축하기 위한 다양한 치료법에 동기를 부여했다.

보다 효율적인 계산을 위해 softmax 계층을 재구성하는 접근법에는 계층형 softmax와 차별화된 softmax가 ^[8]있습니다.계층적 소프트맥스(2005년 Morin과 Bengio에 의해 도입됨)는 결과(어휘 단어)가 잎이고 중간 노드가 결과의 "클래스"를 적절하게 선택하여 잠재 ^[9][10]변수를 형성하는 이진 트리 구조를 사용한다.원하는 리프 확률(softmax 값)은 루트에서 해당 ^[9]리프까지의 경로 상에 있는 모든 노드의 확률의 곱으로 계산할 수 있습니다.트리의 밸런스가 잡히면 계산의 복잡도가 O$(K)$에서 O${\displaystyle ({log\mathrm{}}_{}}$ $2 k$ K$)$^[10]로 감소하는 것이 $이상적$입니다.실제로 결과는 결과를 ^[9][10]클래스로 정리하기 위한 좋은 전략을 선택하는 것에 달려 있습니다.Google의 Word2vec 모델(2013년 도입)에서는 확장성을 ^[8]실현하기 위해 Huffman 트리가 사용되었습니다.

두 번째 종류의 구제책은 완전 정규화 ^[8]계수의 계산을 회피하는 수정된 손실 함수를 사용하여 (훈련 중) 소프트맥스를 근사하는 것에 기초한다.여기에는 정규화 합계를 결과의 표본으로 제한하는 방법(예: 중요도 표본 추출, 대상 표본 추출)^[8][9]이 포함됩니다.

수학적 특성

기하학적으로 소프트맥스 함수는 벡터 $공간{\displaystyle {\mathbb{}}^{}}$ R$K$를${\displaystyle }$표준${\displaystyle (K}$$$-${\displaystyle 1}$)의 경계에 매핑합니다$.\$style $(K-1)}$ -simplex$$, (${\displaystyle K}$- ${\displaystyle 1}$)$$\$display$style ($K-1$) \$display style$ (K-1$)$$$} - dimensional$$$$ simplex $。$o 모든 출력의 합이 1이라는 선형 구속조건은 하이퍼플레인 상에 있음을 의미합니다.

주 대각선$({\displaystyle x,x,}$ ${\displaystyle \dots ,x}$)에$$따라 {\$displaystyle(x,x,\$$dots$$,$${\displaystyle \mathrm{x}}$$)}$ softmax는$$ 출력의 균일한 ${\displaystyle \mathrm{분포}}$일 뿐입니다$.（{\displaystyle 1}$/ n${\displaystyle }$, ${\displaystyle ...}$ ,${\displaystyle 1}$/ n$）$ \ $displaystyle ( 1$ / $n$, \$dots$ , 1 /$n$ ) : 균일한 스코어가 산출됩니다.

보다 일반적으로, softmax는 각 좌표의 동일한 값으로 변환 시 불변합니다. 입력$z$에 c ${\displaystyle =}$ (${\displaystyle c}$ , ${\displaystyle ...}$,${\displaystyle }$c$$) { $displaystyle \$$mathbf${$c$$$} = ( $c$, \$displaystyle$ \ mathbf { z${\displaystyle }$$}$ )를$$ $더하면$${\displaystyle }\sigma {\displaystyle }$ (${\displaystyle z\mathbf{}}$ +${\displaystyle c\mathbf{}}$ )$$ ( z ) \ $displaystyle$ \ display $style$ \ mathbf { mathbf$}가 생성$됩니다.이는 각 지수에 동일한 ${\displaystyle {계수}^{}}$ e$$c {\$displaystyle$$e^{c$}$$를 곱하기 ${\displaystyle {때문}^{}}$에${\displaystyle {{}_{}e}^{}}$ z + c = ${\displaystyle {e_{}}^{}}$ ${\displaystyle {}^{}}$ $e$ ${\displaystyle {e{}_{}}^{}}$ c$$ e$^{z_{i$}+$c} =$ e$^{z_{i$}}\$cdot e^{$c} $$} ） the it it it 。그래서 비율은 변경되지 않는다.

${\displaystyle \displaystyle (\mathbf {z} +\mathbf {c})_{j} = sum frac {e^{k=1}^{K} e^{z_{k} +c} = sum frac {e^{z_{k} {cdot e^{c} } = {k} {k} } {k} {k} } {k} {k} {sum}$

기하학적으로 softmax는 대각선을 따라 일정합니다.이것은 소거된 치수이며, 입력 스코어의 변환에 의존하지 않는 소프트맥스 출력에 대응합니다(0점 선택).합계가 0이라고 가정하면 입력 점수를 정규화할 수 있다(평균:$c{\displaystyle \mathbf{}}$ {\$displaystyle \mathbf${c$$$}).$ $여기$서 c $=$ $1$ n$$ $z_{}$i $= 1$ n † $frac$ {1} ${i}$$$} \$sum z_${$i$$}$） softmax는 $0$의 점의 하이퍼 평면을 취한다.1 $\sum$ to$$ (${}_{}$z ) $i_{}$ ${}_{}$ \ $textstyle \sum \sum (\mathbf {z}$ )$_{i$}=$1$ $즉{\displaystyle {}^{}}$ 지수가 0 ~ 1, ${\displaystyle \mathrm{e}}$ $=$ 1$(\display$e^{0}=1$)$을 취하고 양수가 되는 것과 유사합니다.

반면 softmax는 스케일링 하에서도 불변하는 것은 아닙니다.${\displaystyle \mathrm{예}}$를 들어, ${\displaystyle (}$ (${\displaystyle 0}$,${\displaystyle }$1 )${\displaystyle =}$(${\displaystyle 1}$ /${\displaystyle }$( ${\displaystyle 1}$+${\displaystyle e}$ )${\displaystyle }$,${\displaystyle \mathrm{e}}$ /${\displaystyle }$( ${\displaystyle 1}$+ e$$) \ $displaystyle \ bigl$ ( $}$ ( 0 , 1 $){$ \ $bigr$ } =$bigbigll$ ($1$ / ( $1 + e$ ){ \ $bigr$$）$ =${\displaystyle {bigllll\mathrm{}}^{}}$(${\displaystyle 0}$, ${\displaystyle {}^{}}$)${\displaystyle =}$ 1${\displaystyle }$.$/(1+e^{2}{\bigr}).$$}$

표준 로지스틱 함수는 (x, y) 평면의 x축과 같이 2차원 공간의 1차원 축에 대한 특수한 경우입니다.한 변수는 0으로 $고정$됩니다(${\displaystyle {예\mathrm{}}_{}}$: $2$ $\underset{}{\overset{}{=}}$ 0 {\$displaystyle z_$${$2}=$$$0$ ${\displaystyle {따라서\mathrm{}}^{}}$ e 0 ${\displaystyle {}^{}}$(\$displaystyle$ e$^{$$0$}=1})이고${{}_{}}^{}$ ${{다른\mathrm{}}_{}}^{}$ 변수는 ${\displaystyle {z\mathrm{}}_{}}$ 1${{}_{}}^{}$$$(\$\underset{}{\overset{}{displaystyle}}$ ${{z\_}_{}}^{}$${$1}=$x^{}$이므로 e /$$text )입니다$.$$=e$^{$x}/(e^{x}+$1) 표준$$ 로지스틱 함수 ${및{}_{}}^{}$ e${{}_{}}^{}{{z\mathrm{}}_{}}^{}$ 2 /$\underset{}{\overset{}{}}$∑ $\underset{}{\overset{}{k}}$= $\underset{}{\overset{}{}}{}^{}$ ${}^{}$ ${e_{}}^{}$ z$$ $1$/ (${}^{}\mathrm{e}$ x$$+$$1)$$, {$textstyle e$^{$z_{2}^{k}$=$1/(e^{x}+$1) , (보완함수$$) ,1차원 입력은 ${\displaystyle {라인}^{}}$$({\displaystyle x\mathrm{}}$ ${\displaystyle /2}$ ,${\displaystyle }$- ${\displaystyle x\mathrm{}}$ / 2)$${$displaystyle$($x$/ $2 ,$ - x / 2$)$${\displaystyle =}$ ${\displaystyle {}^{}}$ ${\displaystyle x^{}}$/${\displaystyle {}^{}}$( ${\displaystyle {}^{}}$ ${\displaystyle {}^{}}$/ ${\displaystyle 2^{}}$+ ${\displaystyle \mathrm{e}}$ -$$x${\displaystyle {}^{}}$/${\displaystyle {}^{}{2\mathrm{}}^{}}$) ${\displaystyle =}$ e x${\displaystyle }$/ ( $e$x +${\displaystyle {}^{}}$ ) { $display style$ e$^$ {$x$/ 2 / 2$$} / ( e ^ { x / 2 / 2 / 2 )$=$ { x / 2 / 2${\displaystyle {}^{}}$} )로 표시할 수 있습니다.$=$$1$$}$

softmax 함수는 LogSumExp 함수의 그라데이션이기도 하며 부드러운 최대값입니다.

$(\displaystyle {\frac z_{i}}\operatorname {LSE}(\mathbf {z})={sum _{j=1}{K}=\exp z_{j}}=\frac (\mathbf {z})_i}, {\texti}, {\text}, {\f})$

${\displaystyle {여기}_{}}$서 LogSumExp ${\displaystyle \mathrm{함수}}$는 LSE ${\displaystyle (}$ ( ${\displaystyle {z\mathrm{}}_{}}$1,${\displaystyle }$… , ${\displaystyle {}_{}n}$ ) ${\displaystyle =}$ log ${\displaystyle (}$ ( ${\displaystyle \exp }$ ${\displaystyle }$ ( ${\displaystyle {z\mathrm{}}_{}}$1 ) + ${\displaystyle \cdots }$ + ${\displaystyle {}_{}}$) (${\displaystyle {}_{}}$z${\displaystyle }$n$$) \ $displaystyle \operatorname${ LSE } ( $z _$ {$1$ , \$displaystyle$ , $z _${ n } )$= log$ \ left ( \ exp ( \ exp _$$1 ) + { $cd$ )

역사

소프트맥스 함수는 영향력 있는 교과서 깁스(1902)^[12]에서 공식화되고 대중화된 기초 논문 볼츠만(1868)^[11]의 볼츠만 분포로 통계 역학에서 사용되었다.

결정 이론에서 softmax의 사용은 Luce(1959) harvhts 오류에 기인한다: no target: CITREFLuce1959 (도움말)^{[13]: 1} 는 상대 선호에 대한 Luce의 선택 공리에서 softmax를 추론하기 위해 합리적인 선택 이론에서 관련 없는 대안의 독립 공리를 사용했다.

기계학습에서 "소프트맥스"라는 용어는 1989년 두 개의 컨퍼런스 페이퍼인 Bridle(1990a)^{[13]: 1} 와 Bridle(1990b):^[3]

복수의 출력을 가지는 피드 포워드 비선형 네트워크(Multiple-Layer Perceptron(MLP; 멀티 레이어 퍼셉트론))에 관심이 있습니다.우리는 네트워크의 출력을 입력에 따라 조건화된 대안(예: 패턴 클래스)의 확률로 취급하고 싶다.우리는 적절한 출력 비선형성과 네트워크의 매개변수(예: 무게)의 적응을 위한 적절한 기준을 찾는다.우리는 오차 제곱 최소화의 대안인 확률 점수 매김과 로지스틱 비선형성의 ^{[14]: 227} 정규화된 지수(소프트맥스) 다중 입력 일반화라는 두 가지 수정 사항을 설명한다.

모든 입력에 대해 출력은 모두 양의 값이어야 하며 합계가 유니티여야 합니다.

제약되지 않은 값 $집합{\displaystyle {}_{}}$ ${\displaystyle V_{}j}$ (${\displaystyle }$x$$) { $displaystyle V_{j}(x$를 지정하면 정규화된 지수 변환을 사용하여 두 조건을 모두 확인할 수 있습니다.

${\displaystyle Q_{j}(x)=\left.e^{V_{j}(x)}\right/\sum _{k}e^{V_{k}(x)}}$

이 변환은 로지스틱의 다중 입력 일반화로 간주할 수 있으며, 전체 출력 계층에서 작동합니다.입력값의 순위를 유지하며, 최대값을 선택하는 '승자독식' 연산의 구별 가능한 일반화이다.이 때문에 softmax라고 부릅니다.^{[15]: 213}

예

[1, 2, 3, 4, 1, 2, 3]을 입력하면 소프트맥스는 [0.024, 0.064, 0.175, 0.475, 0.024, 0.064, 0.175]가 됩니다.출력의 무게 대부분은 원래 입력에 '4'가 있었던 곳에 있습니다.이 함수는 일반적으로 가장 큰 값을 강조 표시하고 최대값보다 훨씬 낮은 값을 억제하기 위해 사용됩니다.단, softmax는 스케일 불변성이 없기 때문에 입력이 [0.1, 0.2, 0.3, 0.4, 0.1, 0.2, 0.3](합계 1.6)이면 소프트맥스는 [0.125, 0.138, 0.153, 0.169, 0.135, 0.135, 0.138, 0.138, 0.138, 0.135, 0.138, 0.153]가 됩니다.이는 0과 1의 softmax 값의 경우 실제로 최대값이 디컴포넌트됨을 나타냅니다(0.120은 0.475보다 작을 뿐만 아니라 초기 비율인 0.4/1.6=0.25보다 작다는 점에 유의하십시오).

Python 코드를 사용한 이 예제의 계산:

>>>수입품 수치 ~하듯이 np >>>a = [1.0, 2.0, 3.0, 4.0, 1.0, 2.0, 3.0] >>>np.exp(a) / np.합(np.exp(a))  어레이([0.02364054, 0.06426166, 0.1746813, 0.474833, 0.02364054), 0.06426166, 0.1746813]) 

다음은 Julia 코드의 예입니다.

줄리아> A = [1.0, 2.0, 3.0, 4.0, 1.0, 2.0, 3.0];  인터랙티브 출력을 억제하기 위한 세미콜론  줄리아> exp.(A) ./ 합(exp.(A)) 7 요소 어레이 {Float64,1}:  0.0236405  0.0642617  0.174681  0.474833  0.0236405  0.0642617  0.174681 

R 코드의 예를 다음에 나타냅니다.

>z <-> c(1.0, 2.0, 3.0, 4.0, 1.0, 2.0, 3.0) >소프트맥스 <-> exp(z)/합(exp(z)) >소프트맥스 [1] 0.02364054 0.06426166 0.17468130 0.47483300 0.02364054 0.06426166 0.17468130 

다음은 Elixir ^[16]코드의 예입니다.

iex >t = Nx.텐서([[1, 2], [3, 4]]) iex >Nx.나누다(Nx.exp(t), Nx.합(Nx.exp(t)))  #Nx.텐서< f64[2][2] [ [0.03205860328008499, 0.08714431874203257], [0.23688281808991013, 0.6439142598879722] ] > 

다음은 Raku 코드의 예입니다.

> my @z = [ 1.0 、 2.0 、 3.0 、 4.0 、 1.0 、 2.0 ] > say@z.ma p : { exp _ / sum ( @z . map : { expair _ ) } } } ( 0.064054302159138510416 0.0646125985)

「 」를 참조해 주세요.

• 소프트플러스
• 다항 로지스틱 회귀 분석
• 디리클레 분포 – 범주형 분포를 표본으로 추출하는 다른 방법
• 파티션 함수
• 지수 기울기 - Softmax를 보다 일반적인 확률 분포로 일반화.

메모들

레퍼런스