학습률

시리즈의 일부
기계 학습 및 데이터 마이닝
문제 분류 클러스터링 회귀 이상 검출 데이터 클리닝 자동 ML 어소시에이션 규칙 강화 학습 구조화된 예측 기능 엔지니어링 기능 학습 온라인 학습 준지도 학습 비지도 학습 순위 매기기 학습 문법 유도
지도 학습 (분류 • 회귀) 의사결정 트리 앙상블 배깅 부스팅 랜덤 포레스트 k-NN 선형 회귀 네이비 베이즈 인공신경망 로지스틱 회귀 분석 퍼셉트론 관련 벡터 머신(RVM) 서포트 벡터 머신(SVM)
클러스터링 버치 치유하다 계층적 k자형 기대 최대화(EM) DBSCAN 광학 평균 이동
치수 축소 인자 분석 CCA ICA LDA NMF PCA PGD t-SNE
구조화된 예측 그래픽 모델 베이즈 네트 조건부 랜덤 필드 히든 마르코프
이상 검출 k-NN 국소 특이치 계수
인공신경망 자동 인코더 인지 컴퓨팅 딥 러닝 딥 드림 다층 퍼셉트론 RNN LSTM GRU ESN 저장고 계산 제한 볼츠만 기계 GAN somerset. 컨볼루션 뉴럴 네트워크 유넷 트랜스포머 비전. 스파이킹 뉴럴 네트워크 메모리 트랜지스터 전기화학 RAM(ECRAM)
강화 학습 Q-러닝 사사 시간차(TD) 멀티 에이전트 셀프 플레이
인간과의 학습 액티브 러닝 크라우드 소싱 휴먼 인 더 루프
모델 진단 학습 곡선
이론. 커널 머신 바이어스-분산 트레이드오프 컴퓨터 학습 이론 경험적 리스크 최소화 오컴 러닝 PAC 학습 통계학 학습 VC 이론
기계학습장 NeurolIPS ICML ML JMLR ArXiv:cs.LG
관련 기사 인공지능 용어집 기계 학습 연구를 위한 데이터 세트 목록 기계학습의 개요
v t

기계학습 및 통계학에서 학습속도는 최소 ^[1]손실함수로 이동하면서 각 반복에서 스텝사이즈를 결정하는 최적화 알고리즘의 튜닝 파라미터이다.새롭게 취득한 정보가 낡은 정보에 어느 정도 우선하는지에 영향을 미치기 때문에, 기계 학습 모델이 「학습」하는 속도를 은유적으로 나타낸다.적응 제어 문헌에서 학습 속도는 일반적으로 ^[2]게인이라고 합니다.

학습률을 설정할 때 수렴률과 오버슈팅 사이에 트레이드오프가 있다.하강 방향은 일반적으로 손실 함수의 구배에서 결정되지만, 학습 속도는 해당 방향으로 얼마나 큰 단계를 밟는지 결정합니다.학습률이 너무 높으면 학습이 최소치를 뛰어넘지만, 너무 낮으면 수렴에 시간이 너무 오래 걸리거나 바람직하지 않은 로컬 최소치에 ^[3]갇히게 됩니다.

보다 고속의 컨버전스를 실현하기 위해서, 진동을 방지해 바람직하지 않은 국소 최소치에 갇히는 것을 막기 위해서, 학습 레이트는, 학습 레이트 스케줄에 따라서 또는 적응 학습 ^[4]레이트를 사용해 트레이닝중에 변동하는 경우가 많다.학습 속도와 그 조정은 매개변수마다 다를 수 있으며, 이 경우 뉴턴의 ^[5]방법에서 헤시안 행렬의 역행렬에 대한 근사치로 해석될 수 있는 대각 행렬이다.학습 속도는 준뉴턴 방법 및 관련 최적화 ^[6][7]알고리즘에서 부정확한 라인 검색에 의해 결정되는 단계 길이와 관련이 있다.

회선 검색을 실행할 때 미니 배치 서브샘플링(MBSS)은 학습 속도를 ^[8]해결해야 하는 손실 함수의 특성에 영향을 미칩니다.정적 MBSS는 검색 방향을 따라 미니 배치가 고정된 상태를 유지하므로 검색 방향을 따라 원활한 손실 함수를 제공합니다.동적 MBSS는 함수 평가 시마다 미니 배치를 업데이트하여 검색 방향을 따라 포인트 단위의 불연속 손실 함수를 생성합니다.정적 MBSS 손실 함수의 학습률을 적응적으로 해결하는 라인 검색에는 포물선 근사 라인(^[9]PAL) 검색이 포함됩니다.동적 MBSS 손실 함수의 학습률을 적응적으로 해결하는 라인 검색에는 확률론적 라인 검색,^[10] 구배 전용 라인 검색(GOLS)^[11] 및 2차 ^[12]근사치가 포함된다.

학습률 스케줄

초기 속도는 시스템 기본값으로 유지하거나 다양한 기술을 ^[13]사용하여 선택할 수 있습니다.학습 속도 스케줄은 학습 중에 학습 속도를 변경하며, 에폭/반복 사이에 가장 자주 변경됩니다.이것은 주로 붕괴와 운동량의 두 가지 파라미터로 이루어집니다.다양한 학습률 스케줄이 있지만 가장 일반적인 것은 시간 기반, 단계 기반 ^[4]및 지수입니다.

붕괴는 학습을 좋은 곳에 정착시키고 진동을 피하는 역할을 합니다. 이 상황은 너무 높은 지속적 학습률로 인해 학습이 최소치를 넘나들며 하이퍼 파라미터에 의해 제어될 수 있습니다.

모멘텀은 공이 언덕 아래로 굴러 떨어지는 것과 유사합니다. 공이 언덕의 가장 낮은 지점에 안착하기를 원합니다(가장 낮은 오차에 해당).모멘텀은 오류 비용 구배가 오랫동안 동일한 방향으로 진행 중일 때 학습 속도를 높이고 작은 범프를 '롤오버'하여 국소 최소화를 방지합니다.운동량은 수동으로 선택해야 하는 공의 질량과 유사한 하이퍼 매개 변수에 의해 제어되며, 공이 우리가 찾고자 하는 최소값 위로 굴러갑니다. 너무 낮으면 그 목적을 달성하지 못합니다.모멘텀을 인수분해하는 공식은 붕괴보다 복잡하지만 케라스와 같은 딥 러닝 라이브러리에서 가장 많이 구축됩니다.

시간 기반 학습 스케줄은 이전 시간 반복의 학습 속도에 따라 학습 속도를 변경합니다.붕괴에서 학습률의 수학 공식은 다음과 같다.

${\displaystyle \eta _{n+1}=black {\eta _{n}}{1+dn}}$

여기서$\delta {\displaystyle }$ {$displaystyle \eta}$는 학습률, $d{\displaystyle }$ ${\displaystyle$ d$}$는 붕괴 파라미터, $n{\displaystyle }${\$displaystyle$ n$}$은 반복 스텝입니다.

단계 기반 학습 스케줄은 미리 정의된 단계에 따라 학습 속도를 변경합니다.붕괴 적용 공식은 다음과 같이 정의됩니다.

$\displaystyle \eta _{n}=\eta _{0}d^{\left\lfloor\frac {1+n}{r}\right\loor }}$

여기서 ${\displaystyle n_{}}$n \ $displaystyle$ $\eta$_ { $n$$$} 은$$ $반복{\displaystyle }$시 학습 속도, ${\displaystyle {0\mathrm{}}_{}}$0 { $displaystyle \eta$_ { $0$} 은$$ 초기 학습 속도,$d{\displaystyle }$ { $displaystyle$ d$$} 는$$ 각 드롭에서 변화해야 하는 학습 속도(0.5 는 절반에 해당),$r{\displaystyle }$ { $displaystyle$ r$}$ 은 각 드롭에 대응합니다$$.즉, 레이트를 드롭하는 빈도(10은 10회마다 드롭에 대응합니다).플로어 함수( $"...")$는 1보다 작은 모든 값에 대해 입력 $값을 0$으로 드롭합니다$.$

지수 학습 일정은 단계 기반과 유사하지만 단계 대신 감소 지수 함수를 사용합니다.붕괴를 인수분해하는 수학 공식은 다음과 같습니다.

$\displaystyle \eta _{n}=\eta _{0}e^{-dn}}$

$여기$서 d$\displaystyle$d는$$ 붕괴 파라미터입니다.

적응 학습률

학습 속도 스케줄의 문제는 모든 스케줄이 주어진 학습 세션마다 수동으로 선택되어야 하는 하이퍼 파라미터에 의존하며, 당면한 문제나 사용된 모델에 따라 크게 달라질 수 있다는 것이다.이를 방지하기 위해 Adagrad, Adadelta, RMSprop 및^[14] Adam과 같은 다양한 유형의 적응 경사 강하 알고리즘이 일반적으로 Keras와 ^[15]같은 딥 러닝 라이브러리에 내장되어 있다.

「 」를 참조해 주세요.

레퍼런스

추가 정보

• Géron, Aurélien (2017). "Gradient Descent". Hands-On Machine Learning with Scikit-Learn and TensorFlow. O'Reilly. pp. 113–124. ISBN 978-1-4919-6229-9.
• Plagianakos, V. P.; Magoulas, G. D.; Vrahatis, M. N. (2001). "Learning Rate Adaptation in Stochastic Gradient Descent". Advances in Convex Analysis and Global Optimization. Kluwer. pp. 433–444. ISBN 0-7923-6942-4.

외부 링크

• de Freitas, Nando (February 12, 2015). "Optimization". Deep Learning Lecture 6. University of Oxford – via YouTube.