정류기(신경 네트워크)

시리즈의 일부
기계 학습 및 데이터 마이닝
문제 분류 클러스터링 회귀 이상 검출 데이터 클리닝 자동 ML 어소시에이션 규칙 강화 학습 구조화된 예측 기능 엔지니어링 기능 학습 온라인 학습 준지도 학습 비지도 학습 순위 매기기 학습 문법 유도
지도 학습 (분류 • 회귀) 의사결정 트리 앙상블 배깅 부스팅 랜덤 포레스트 k-NN 선형 회귀 네이비 베이즈 인공신경망 로지스틱 회귀 분석 퍼셉트론 관련 벡터 머신(RVM) 서포트 벡터 머신(SVM)
클러스터링 버치 치유하다 계층적 k자형 기대 최대화(EM) DBSCAN 광학 평균 이동
치수 축소 인자 분석 CCA ICA LDA NMF PCA PGD t-SNE
구조화된 예측 그래픽 모델 베이즈 네트 조건부 랜덤 필드 히든 마르코프
이상 검출 k-NN 국소 특이치 계수
인공신경망 자동 인코더 인지 컴퓨팅 딥 러닝 딥 드림 다층 퍼셉트론 RNN LSTM GRU ESN 저장고 계산 제한 볼츠만 기계 GAN somerset. 컨볼루션 뉴럴 네트워크 유넷 트랜스포머 비전. 스파이킹 뉴럴 네트워크 메모리 트랜지스터 전기화학 RAM(ECRAM)
강화 학습 Q-러닝 사사 시간차(TD) 멀티 에이전트 셀프 플레이
인간과의 학습 액티브 러닝 크라우드 소싱 휴먼 인 더 루프
모델 진단 학습 곡선
이론. 커널 머신 바이어스-분산 트레이드오프 컴퓨터 학습 이론 경험적 리스크 최소화 오컴 러닝 PAC 학습 통계학 학습 VC 이론
기계학습장 NeurolIPS ICML ML JMLR ArXiv:cs.LG
관련 기사 인공지능 용어집 기계 학습 연구를 위한 데이터 세트 목록 기계학습의 개요
v t

인공 신경망의 맥락에서 정류기 또는 ReLU(정류 선형 유닛) 활성화^[1][2] 함수는 인수의 양의 부분으로 정의되는 활성화 함수입니다.

${\displaystyle f(x)=x^{+}=\max(0,x)}$

여기서 x는 뉴런에 대한 입력입니다.이것은 램프 기능이라고도 하며 전기 공학 분야의 반파 정류와 유사합니다.

이 활성화 함수는 ^[3][4]1960년대 후반부터 계층형 신경망의 시각적 특징 추출 맥락에서 나타나기 시작했다.그것은 후에 강력한 생물학적 동기와 수학적 ^[5][6]정당성을 가지고 있다고 주장되었다.2011년에는 2011년 이전에 널리 사용된 활성화 함수, 예를 들어 로지스틱 Sigmoid(확률 이론에서 영감을 얻은 로지스틱 회귀 참조) 및 보다 실용적인^[8] 대응물인 쌍곡선 탄젠트와 비교하여 더 깊은 네트워크의 ^[7]더 나은 훈련을 가능하게 하는 것으로 확인되었다.정류기는 2017년 현재^[update] 심층 신경망의 ^[9]가장 인기 있는 활성화 기능입니다.

수정된 선형 장치는 심층 신경망과 컴퓨터 ^[12][13][14]신경과학을 사용하여 컴퓨터^[7] 비전 및 음성 인식에서^[10][11] 응용 프로그램을 찾습니다.

이점

• 스파스 활성화:예를 들어 랜덤하게 초기화된 네트워크에서는 숨겨진 유닛의 약 50%만이 활성화됩니다(출력이 0이 아닙니다).
• 향상된 그라데이션 전파:양방향으로 ^[7]포화되는 S자형 활성화 함수에 비해 사라지는 구배 문제가 적습니다.
• 효율적인 계산:비교, 덧셈, 곱셈만 가능합니다.
• 스케일 ${\displaystyle 불변량}$:${\displaystyle }$max (${\displaystyle 0}$ , ${\displaystyle ax}$ )$=$ $\max$ ( 0 ,$ax$ )= a$max$ ( 0 ,$x${ $for }a \geq$ 0$\}$의 경우.

교정 활성화 기능은 신경 추상화 피라미드에서 특정 흥분과 비특정 억제를 분리하기 위해 사용되었으며, 여러 컴퓨터 비전 작업을 ^[15]학습하기 위해 감독 방식으로 훈련되었다.2011년에는 ^[7]정류기를 비선형성으로 사용하면 감독되지 않은 사전 훈련 없이 심층 감독 신경망을 훈련할 수 있는 것으로 나타났다.Sigmoid 함수 또는 유사한 활성화 함수와 비교하여 수정된 선형 단위를 사용하면 크고 복잡한 데이터셋에서 심층 신경 아키텍처를 보다 빠르고 효과적으로 교육할 수 있습니다.

잠재적인 문제

• 0에서는 미분할 수 없지만, 다른 곳에서는 미분할 수 있으며, 0에서의 도함수 값은 임의로 0 또는 1로 선택할 수 있습니다.
• 0이 아니라.
• 무한.
• 다잉 ReLU 문제:ReLU(정직 선형 단위) 뉴런은 때때로 기본적으로 모든 입력에 대해 비활성 상태가 될 수 있습니다.이 상태에서는 어떤 구배도 뉴런을 통해 역류하지 않기 때문에 뉴런은 지속적으로 비활성 상태로 고착되어 "디" 상태가 됩니다.이것은 사라지는 구배 문제의 한 형태이다.경우에 따라서는 네트워크 내의 많은 수의 뉴런이 사멸 상태로 고착되어 모델 용량이 효과적으로 감소될 수 있습니다.일반적으로 이 문제는 학습률이 너무 높게 설정되어 있을 때 발생합니다.대신 누출이 있는 ReLU를 사용하면 완화될 수 있습니다.이것에 의해, x < 0 의 작은 양의 기울기가 할당됩니다.단, 퍼포먼스는 저하됩니다.

변종

부분 선형 변형

리키리LU

누출성 ReLU는 장치가 ^[11]활성화되지 않을 때 작은 양의 구배를 허용합니다.

${\displaystyle f(x)=syslog{case}x&{\text{if}}x>0,\0.01x&{\text{cases}}x}}.\end {case}}$

파라메트릭 참조LU

Parametric ReLU(PReLU; 파라미터 ReLU)는 누출계수를 다른 뉴럴 네트워크 ^[16]파라미터와 함께 학습된 파라미터로 함으로써 이 아이디어를 더욱 발전시킵니다.

${\displaystyle f(x)=cases}x&{\text{if}}x>0,\ax&{\text{cases}}}.\end {case}}$

1 1의 경우 이는 다음과 같습니다.

${\displaystyle f(x)=\max(x,ax)}$

따라서 "maxout"^[16] 네트워크와 관계가 있습니다.

기타 비선형 변형

가우스 오차 선형 단위(GELU)

GELU는 정류기에 대한 부드러운 근사치입니다.x < 0일 때 비단조적인 "bump"를 가지며 ^[17]BERT 등의 모델에서는 기본 액티베이션으로 기능합니다.

${\displaystyle f}$(${\displaystyle x}$ ) $=$ ${\displaystyle \mathrm{x}}$ ${\displaystyle \cdot }$ ( ( ${\displaystyle x}$)${\displaystyle }${ $displaystyle$ f$(x$)=$x\cdot \Phi (x$

여기서 δ(x)는 표준 정규 분포의 누적 분포 함수입니다.

이 활성화 기능은 이 문서의 시작 부분에 있는 그림에 설명되어 있습니다.

SiLU

SiLU(Sigmoid Linear Unit) 또는 Swish^[18] 함수는 GELU 용지에서 처음 만들어진 또 다른 매끄러운 근사치입니다.^[17]

${\displaystyle f(x)=x\cdot\operatorname {sigmoid}(x)}$

${\displaystyle \mathrm{여기}}$서 sigmoid ${\displaystyle (}$ (${\displaystyle x}$) {$style \operatorname {sigmoid}$ ($x)}$는 sigmoid 함수입니다.

소프트플러스

정류기에 대한 부드러운 근사치는 분석 함수입니다.

${\displaystyle f(x)=\ln(1+e^{x}),}$

softplus^[19][7] 또는 smoothRe라고 합니다.LU ^[20]기능큰 $음수{\displaystyle }$ x$({displaystyle$x})의$$ 경우 $대략{\displaystyle }$ 1$({displaystyle$ln$(1$)이므로$$ 0 바로 위), 큰 $양수{\displaystyle }$x({$displaystyle$x})의$$ 경우 $대략{\displaystyle }$ ${\displaystyle 1}$${\displaystyle }$n${\displaystyle (e^{}}$ x$){$$displaystyle$ln$(e^{x$$\})$이 됩니다$.$

샤프니스 $파라미터{\displaystyle }$k(\$displaystyle$ k$)$는 다음과 같습니다.

${\displaystyle f(x)=frac {ln \left(1+e^{kx}\오른쪽)}{k}}}$

softplus의 도함수는 로지스틱 함수입니다.파라메트릭 버전부터 시작해서

${\displaystyle f'(x)=subscfrac {e^{kx}}{1+e^{kx}}=subscfrac {1}{1+e^{-kx}}}$

로지스틱 Sigmoid 함수는 정류기의 도함수인 헤비사이드 스텝 함수의 부드러운 근사치입니다.

단일 변수 softplus의 다변수 일반화는 첫 번째 인수가 0으로 설정된 LogSumExp입니다.

${\displaystyle \operatorname {LSE_{0}}^{+}(x_{1},\dots,x_{n}):=\operatorname {LSE}(0,x_{1},\operatorname,x_{n}=\log \left(1+e^{x_{1}}+\cdots +e^{x_{n}}}\오른쪽).}$

LogSumExp 함수는 다음과 같습니다.

$\displaystyle \operatorname {LSE}(x_{1},\display,x_{n})=\log \left(e^{x_{1}}+\cdots +e^{x_{n}}}\right)}}$

그 구배는 softmax입니다.첫 번째 인수가 0으로 설정된 softmax는 로지스틱 함수의 다변수 일반화입니다.LogSumExp와 softmax는 모두 기계학습에 사용됩니다.

ELU

지수 선형 단위는 평균 활성화를 0에 가깝게 만들어 학습 속도를 높입니다.ELU는 ^[21]ReLU보다 높은 분류 정확도를 얻을 수 있는 것으로 나타났습니다.

$\displaystyle f(x)=case{case}x&{\text{if}}x>0,\a\left(e^{x}-1\right)&{\text{case}}}$

$여기$서$$\$displaystyle$a는$$ 튜닝할 하이퍼 $파라미터$이고${\displaystyle 0}$0 \ $displaystyle$a \ $geq$0은$$ 제약조건입니다.

ELU는 $shifted ReLU$(SReLU)의 스무스 버전으로 볼 수 있습니다${\displaystyle .}$SReLU는 f ( x ) $=$ max ( -${\displaystyle a}$ ,${\displaystyle x}$ $)\displaystyle$ f$(x)=\maxsquala,x$)${\displaystyle 형식}$을 가지며 {displaystyle a$\}$를 $동일$하게 해석할 수 있습니다.

미쉬

misch 함수를 정류기의 부드러운 ^[18]근사치로 사용할 수도 있습니다.다음과 같이 정의됩니다.

$\displaystyle f(x)=x\tanh(\operatorname {softplus}(x))}$

${\displaystyle \mathrm{여기}}$서 tanh $($ (${\displaystyle x}$) { $displaystyle \tanh (x)}$는 쌍곡선 접선이고 ${\displaystyle \mathrm{s}}$ ${\displaystyle \mathrm{o}}$ ${\displaystyle \mathrm{f}}$ ${\displaystyle \mathrm{t}}$ ${\displaystyle \mathrm{p}\mathrm{l}}$ ${\displaystyle \mathrm{s}}$( x$$) { $displaystyle$ \$operatorname${$softplus (x)}$는 softplus 함수입니다.

Mish는 비단조적이고 자기 ^[22]게이트적이다.그것은 그 자체가 ReLU의 ^[22]변형인 Swish에서 영감을 얻었다.

「 」를 참조해 주세요.

• Softmax 함수
• S그모이드 함수
• 토비트 모델
• 레이어(딥 러닝)

레퍼런스