쌍강하

통계학과 기계학습에서 이중 하강(double descent)은 매개변수의 수가 적은 통계적 모델과 매개변수의 수가 매우 많은 모델이 작은 오차를 갖지만, 매개변수의 수가 모델을 훈련하는 데 사용된 데이터 포인트의 수와 거의 같은 모델이 큰 오차를 갖는 현상입니다.^[2]2018년경에 연구원들이 고전 통계학의 편향-분산 트레이드오프를 조정하려고 할 때 발견되었는데, 이는 너무 많은 매개 변수가 있으면 극단적으로 큰 오류를 초래할 것이라는 것을 의미하며, 2010년대 기계 학습 실무자들에 대한 경험적 관찰과 모델이 클수록 더 잘 작동한다는 것을 의미합니다.^[3][4]이중 하강의 스케일링 거동은 깨진 신경 스케일링 법칙^[5] 함수 형태를 따르는 것으로 밝혀졌습니다.

참고문헌

시리즈의 일부(on)
머신 러닝 데이터 마이닝(data mining)
패러다임 지도학습 비지도 학습 온라인 학습 일괄 학습 메타학습 준지도 학습 자기주도학습 강화학습 규칙 기반 학습 양자기계학습
문제 분류 생성모델 회귀 클러스터링 치수 축소 밀도추정 이상 탐지 데이터 정리 오토ML 연관규칙 의미분석 구조예측 피쳐 엔지니어링 특징 학습 랭킹을 익히는 법 문법유도 온톨로지 학습 멀티모달 학습
지도학습 (분류 • 회귀분석) 도제학습 의사결정나무 앙상블 배깅 부스팅 랜덤 포레스트 k-NN 선형회귀분석 나이브 베이즈 인공신경망 로지스틱 회귀 분석 퍼셉트론 연관성 벡터 머신(RVM) 서포트 벡터 머신(SVM)
클러스터링 버치 치유하다 계층적 k- 퍼지 기대-최대화(EM) DBSAN 옵틱스 평균이동
차원 축소 요인분석 CCA ICA LDA NMF PCA PGD t-SNE SDL
구조예측 그래픽 모델 베이즈넷 조건부 랜덤 필드 히든 마코프
이상 탐지 RANSAC k-NN 국소이상치인자 고립림
인공신경망 오토인코더 인지 컴퓨팅 딥러닝 딥 드림 피드포워드 신경망 순환신경망 LSTM GRU ESN 저장고 계산 제한된 볼츠만 기계 GAN 확산모델 SOM 컨볼루션 신경망 유넷 트랜스포머 비전. 스파이킹 신경망 멤트랜지스터 전기화학 램(ECRAM)
강화학습 Q-러닝 사르사 시간차(TD) 멀티 에이전트 셀프 플레이
인간과의 학습 능동적 학습 크라우드소싱 휴먼 인 더 루프
모델진단 학습곡선
수학적 기초 커널 머신 치우침-분산 트레이드오프 컴퓨터 학습 이론 경험적 리스크 최소화 오캄 학습 PAC 학습 통계학습 VC이론
기계학습 장소 ECML PKDD 뉴립스 ICML ICLR IJCAI ML JMLR
관련기사 인공지능 용어집 머신러닝 연구용 데이터셋 목록 컴퓨터 비전 및 이미지 처리 분야의 데이터셋 목록 기계학습 개요
v t

추가열람

• Mikhail Belkin; Daniel Hsu; Ji Xu (2020). "Two Models of Double Descent for Weak Features". SIAM Journal on Mathematics of Data Science. 2 (4): 1167–1180. doi:10.1137/20M1336072.
• Preetum Nakkiran; Gal Kaplun; Yamini Bansal; Tristan Yang; Boaz Barak; Ilya Sutskever (29 December 2021). "Deep double descent: where bigger models and more data hurt". Journal of Statistical Mechanics: Theory and Experiment. IOP Publishing Ltd and SISSA Medialab srl. 2021 (12): 124003. arXiv:1912.02292. Bibcode:2021JSMTE2021l4003N. doi:10.1088/1742-5468/ac3a74. S2CID 207808916.
• Song Mei; Andrea Montanari (April 2022). "The Generalization Error of Random Features Regression: Precise Asymptotics and the Double Descent Curve". Communications on Pure and Applied Mathematics. 75 (4): 667–766. arXiv:1908.05355. doi:10.1002/cpa.22008. S2CID 199668852.
• Xiangyu Chang; Yingcong Li; Samet Oymak; Christos Thrampoulidis (2021). "Provable Benefits of Overparameterization in Model Compression: From Double Descent to Pruning Neural Networks". Proceedings of the AAAI Conference on Artificial Intelligence. 35 (8). arXiv:2012.08749.
• Marco Loog; Tom Viering; Alexander Mey; Jesse H. Krijthe; David M. J. Tax (2020). "A brief prehistory of double descent". Proceedings of the National Academy of Sciences of the United States of America. 117 (16): 10625–10626. arXiv:2004.04328. Bibcode:2020PNAS..11710625L. doi:10.1073/pnas.2001875117. PMC 7245109. PMID 32371495.

외부 링크

• Brent Werness; Jared Wilber. "Double Descent: Part 1: A Visual Introduction".
• Brent Werness; Jared Wilber. "Double Descent: Part 2: A Mathematical Explanation".