전수학습

TL(Transfer Learning, TL)은 기계학습(ML)^[1]의 연구 문제로, 하나의 문제를 풀면서 습득한 지식을 저장해 다른 문제지만 관련 문제에 적용하는 데 초점을 맞춘다.예를 들어, 자동차를 인식하는 법을 배우면서 얻은 지식은 트럭을 인식하려고 할 때 적용될 수 있다.이 연구 영역은 두 분야 간의 실질적인 유대는 제한되어 있지만, 학문의 이전과 관련한 심리 문학의 오랜 역사와 어느 정도 관련이 있다.실무적인 관점에서, 새로운 과제의 학습을 위해 이전에 학습한 과제의 정보를 재사용하거나 이전하는 것은 강화 학습 요원의 표본 효율을 크게 향상시킬 수 있는 잠재력을 가지고 있다.^[2]null

역사

이 절은 특정 아이디어, 사건 또는 논란에 과도한 비중을 둘 수 있다.보다 균형 잡힌 프레젠테이션을 만들 수 있도록 도와주십시오.이 메시지를 제거하기 전에 이 문제에 대해 논의하고 해결하십시오.(1919년 6월)

1976년 스테보 보지노프스키와 안테 풀고시는 신경망 훈련에서 전이 학습을 명시적으로 다룬 논문을 발표했다.^[3][4]그 논문은 전수학습의 수학적, 기하학적 모델을 제시한다.1981년, 컴퓨터 단말의 문자를 나타내는 이미지 데이터 집합에 신경 네트워크를 훈련시키는 데 있어서 전송 학습의 적용에 관한 보고서가 주어졌다.양성과 음의 전이 학습 모두 실험적으로 입증되었다.^[5]null

1993년 로리엔 프랫은 기계학습에서 전이에 관한 논문을 발표하여 차별성 기반 전이(DBT) 알고리즘을 형성하였다.^[6]null

1997년 프랫과 세바스찬 스룬의 게스트는 편입학 학습에 전념하는 머신러닝의 특별호를 편집하였으며,^[7] 1998년경에는 이론적 기초에 대한 보다 공식적인 분석과 ^[8]함께 멀티태스킹 학습을 포함하기 위해 이 분야가 발전하였다.^[9]스룬과 프랫이 편집한 ^[10]학습은 1998년 이 주제에 대한 복습이다.null

1996년 프랫도 이전을 통한 신경망 재사용에 관한 Connection Science 이슈를 게스트로 편집하는 등 전이학습이 인지과학에도 적용됐다.^[11]null

앤드류 응은 NIPS 2016 튜토리얼에서 TL이 TL의 중요성을 강조하기 위해 감독된 학습 후 ML 상업적 성공의 다음 원동력이 될 것이라고 말했다.null

정의

전이학습의 정의는 영역과 과제의 관점에서 주어진다.A domain ${\displaystyle {\mathcal {D}}}$ consists of: a feature space ${\displaystyle {\mathcal {X}}}$ and a marginal probability distribution ${\displaystyle P(X)}$, where ${\displaystyle X=\{x_{1},...,x_{n}\}\in {\mathcal {X}}}$. Given a specific domain, ${\displaystyle }$${\displaystyle {\mathcal {D}}=\{{\mathcal {X}},P(X)\}}$, a task consists of two components: a label space ${\displaystyle {\mathcal {Y}}}$ and an objective predictive function ${\displaystyle f:{\mathcal {X}}\rightarrow {\mathcal {Y}}}$. The function ${\displaystyle f}$ is used 새 인스턴스 $x{\displaystyle }$ ${\displaystyle x}$의 해당 레이블 $f{\displaystyle (x}$ )${\displaystyle f(x)}$을(를) 예측하는 방법$.$This task, denoted by ${\displaystyle {\mathcal {T}}=\{{\mathcal {Y}},f(x)\}}$, is learned from the training data consisting of pairs ${\displaystyle \{x_{i},y_{i}\}}$, where ${\displaystyle x_{i}\in X}$ and ${\displaystyle y_{i}\in {\mathcal {Y}}}$$$.^[15]

Given a source domain ${\displaystyle {\mathcal {D}}_{S}}$ and learning task ${\displaystyle {\mathcal {T}}_{S}}$, a target domain ${\displaystyle {\mathcal {D}}_{T}}$and learning task ${\displaystyle {\mathcal {T}}_{T}}$, where ${\displaystyle {\$$mathcal {D}}_{S}\neq {\mathcal {D}}_{T}}$, or ${\displaystyle {\mathcal {T}}_{S}\neq {\mathcal {T}}_{T}}$, transfer learning aims to help improve the learning of the target predictive function ${\displaystyle f_{T}(\cdot )}$ in ${\displaystyle {\mathcal {D}}_{T}}$ using the know${\displaystyle {Ledge}_{}}$ in $D{\displaystyle {\mathcal{}}_{}}$ S ${\$ 및$$ $T{\displaystyle {\mathcal{}}_{}}$ ${\displaystyle S_{}}$ ${\$^[15]

적용들

알고리즘은 마르코프 논리 네트워크와^[16] 베이지안 네트워크에서 전송 학습에 사용할 수 있다.^[17]전이학습은 암 아형 발견,^[18] 건물 활용,^[19][20] 일반 게임 플레이,^[21] 텍스트 분류,^[22][23] 숫자 인식,^[24] 의료 영상 및 스팸 필터링에도 적용됐다.^[25]null

2020년에는 유사한 신체적 성질 때문에 뇌파(EEG) 뇌파의 행동을 몸짓 인식 영역에서 정신 상태 인식 영역으로 분류할 때 근육에서 나오는 전자파(EMG) 신호 간에 전달 학습이 가능하다는 것이 밝혀졌다.또한 EEG도 EMG를 추가로 분류하는 데 사용할 수 있음을 보여주면서 이러한 관계가 반대로 작용했다는 점에 주목하였다.^[26]실험에서는 1기(표준 무작위 체중 분포와 비교한 모든 학습 이전)와 무증상(학습 과정의 종료)에서 모두 전이 학습을 통해 신경망과 경련 신경망의 정확도가 향상되었다는^[27] 점에 주목했다.즉 알고리즘은 다른 영역에 노출됨으로써 개선된다.더욱이 사전 훈련된 모델의 최종 사용자는 완전하게 연결된 층의 구조를 변경하여 우수한 성능을 달성할 수 있다.^[28]null

참고 항목

• 교차(유전자 알고리즘)
• 도메인 적응
• 일반 게임 플레이
• 멀티 태스킹 학습
• 멀티태스크 최적화
• 제로샷 학습

참조

원천

• Thrun, Sebastian; Pratt, Lorien (6 December 2012). Learning to Learn. Springer Science & Business Media. ISBN 978-1-4615-5529-2.