메타학습(컴퓨터과학)

Meta learning (computer science)
이 기사는 기계학습에서의 메타학습에 관한 것입니다.사회심리학에서의 메타학습에 대해서는 메타러닝을 참조해 주세요.신경과학의 금속 학습에 대해서는 금속 학습(신경과학)을 참조하십시오.

메타[1][2] 학습은 기계 학습 실험에 대한 메타데이터에 자동 학습 알고리즘이 적용되는 기계 학습의 하위 분야입니다.2017년 현재 이 용어는 표준 해석을 찾지 못했지만, 주요 목표는 이러한 메타데이터를 사용하여 학습 문제를 해결하는 데 있어 자동 학습이 유연해질 수 있는 방법을 이해하고, 따라서 기존 학습 알고리즘의 성과를 개선하거나 학습 알고리즘 자체를 학습(유도)하는 것이다. 배우다.[1]

각 학습 알고리즘은 데이터에 대한 일련의 가정, 즉 귀납적 [3]편견에 기초하기 때문에 유연성이 중요합니다.이것은 편견이 학습 문제와 일치해야만 잘 배울 수 있다는 것을 의미합니다.학습 알고리즘은 어떤 도메인에서는 매우 잘 수행되지만 다음 도메인에서는 잘 수행되지 않습니다.학습 문제(종종 데이터베이스의 일종)와 다른 학습 알고리즘의 효과 사이의 관계가 아직 파악되지 않았기 때문에, 이것은 기계 학습 또는 데이터 마이닝 기술의 사용에 강한 제약을 가한다.

학습문제의 속성, 알고리즘 특성(퍼포먼스 측정 등) 또는 데이터로부터 미리 도출된 패턴 등 다른 종류의 메타데이터를 사용함으로써 학습, 선택, 변경 또는 조합하여 주어진 학습문제를 효과적으로 해결할 수 있다.메타 학습 접근법에 대한 비판은 관련된 문제일 수 있는 메타 휴리스틱에 대한 비판과 매우 유사하다.메타 학습에 대한 좋은 비유와 위르겐 슈미드후버의 초기 연구(1987년)[1]와 요슈아 벤조 외 연구진(1991)[4]의 영감은 유전자 진화가 유전자에 인코딩되어 각 개인의 뇌에서 실행되는 학습 과정을 학습하는 것을 고려한다.유전자 프로그래밍을 이용한 개방형 계층적 메타 학습[1] 시스템에서는 메타 진화에 의해 보다 나은 진화 방법을 학습할 수 있으며, 메타 메타 진화 [1]등에 의해 그 자체가 개선될 수 있다.

정의.

메타 학습 시스템에 대해 제안된 정의는[5] 세 가지 요건을 결합한다.

  • 시스템에는 학습 하위 시스템이 포함되어야 합니다.
  • 추출된 메타 지식을 활용하여 경험을 쌓는다.
    • 단일 데이터 세트에 대한 이전 학습 에피소드 또는
    • 다른 도메인에서.
  • 학습편향은 동적으로 선택해야 합니다.

치우침은 설명 가설의[6] 선택에 영향을 미치는 가정을 의미하며, 치우침-분산 딜레마에 나타나는 치우침의 개념이 아니다.메타학습은 학습편향의 두 가지 측면과 관련이 있다.

  • 선언적 편향은 가설 공간의 표현을 지정하고 검색 공간의 크기에 영향을 미칩니다(예: 선형 함수를 사용하는 가설만 표시).
  • 절차적 편향은 귀납 가설의 순서에 제약을 가합니다(예: [7]더 작은 가설 선호).

일반적인 접근법

일반적인 접근방식은 [8]3가지입니다.

  • 1) 외장 또는 내장 메모리와 함께 (모델 기반) 네트워크 사용
  • 2) 유효 거리 측정법 학습(표준 기반)
  • 3) 빠른 학습을 위해 모델 매개 변수를 명시적으로 최적화합니다(최적화 기반).

모델 베이스

모델 기반 메타 학습 모델은 몇 가지 교육 단계를 통해 매개변수를 빠르게 업데이트하며, 내부 아키텍처에 의해 수행되거나 다른 메타 학습자 [8]모델에 의해 제어될 수 있습니다.

메모리 증강 뉴럴 네트워크

Memory-Augmented Neural Network, 줄여서 MAN은 새로운 정보를 빠르게 인코딩할 수 있으며, 따라서 몇 가지 [9]예만 들어도 새로운 작업에 적응할 수 있다고 주장됩니다.

메타 네트워크

Meta Networks(MetaNet)는 작업 전반에 걸쳐 메타 수준의 지식을 학습하고 빠른 매개 변수화를 통해 귀납적 편견을 전환하여 빠른 [10]일반화를 실현합니다.

메트릭 베이스

메트릭 기반 메타학습의 핵심 아이디어는 커널 함수에 의해 가중치가 생성되는 가장 가까운 인접 알고리즘과 유사합니다.이것은 물체에 대한 미터법 또는 거리 함수를 학습하는 것을 목표로 한다.좋은 메트릭의 개념은 문제에 따라 다릅니다.작업 공간의 입력 정보 간의 관계를 나타내야 하며 [8]문제 해결을 용이하게 해야 합니다.

컨볼루션 샴 뉴럴 네트워크

샴 뉴럴 네트워크는 출력이 공동으로 훈련되는 두 개의 트윈 네트워크로 구성됩니다.입력 데이터 샘플 쌍 간의 관계를 학습하는 기능이 있습니다.2개의 네트워크는 동일하며 가중치와 네트워크 파라미터를 [11]공유합니다.

일치하는 네트워크

Matching Networks는 라벨이 붙은 작은 지원 세트와 라벨이 붙어 있지 않은 예를 라벨에 매핑하는 네트워크를 학습하기 때문에 새로운 클래스 [12]유형에 적응하기 위해 미세 조정이 필요하지 않습니다.

관계 네트워크

Relation Network(RN; 관계 네트워크)는 처음부터 엔드 투 엔드로 훈련됩니다.메타 학습 중에 심거리 메트릭을 학습하여 에피소드 내에서 소수의 이미지를 비교하는 방법을 학습합니다. 각 메트릭은 몇 번의 샷 [13]설정을 시뮬레이션하도록 설계되었습니다.

시제품 네트워크

프로토타입 네트워크는 각 클래스의 프로토타입 표현까지의 거리를 계산하여 분류를 수행할 수 있는 메트릭 공간을 학습합니다.퓨샷 학습에 대한 최근의 접근 방식에 비해, 이러한 접근법은 제한된 데이터 체제에서 유용한 단순한 귀납적 편견을 반영하고 만족스러운 [14]결과를 달성한다.

최적화 베이스

최적화 기반 메타 학습 알고리즘이 의도하는 바는 모델이 몇 가지 예시로 학습을 잘할 [8]수 있도록 최적화 알고리즘을 조정하는 것입니다.

LSTM 메타러너

LSTM 기반 메타 학습자는 퓨샷 방식으로 다른 학습자 뉴럴 네트워크 분류기를 훈련하는 데 사용되는 정확한 최적화 알고리즘을 학습하는 것입니다.매개 변수화를 통해 정해진 양의 업데이트가 이루어지는 시나리오에 맞는 적절한 매개 변수 업데이트를 학습할 수 있으며,[15] 또한 교육을 신속하게 수렴할 수 있는 학습자(분류기) 네트워크의 일반적인 초기화를 학습할 수 있습니다.

시간적 불연속성

Model-Agnostic Meta-Learning의 줄임말인 MAML은 상당히 일반적인 최적화 알고리즘으로, 경사 [16]강하를 통해 학습하는 모든 모델과 호환됩니다.

파충류.

파충류의 구성 요소 모두 경사 강하를 통한 메타 최적화에 의존하고 둘 다 모델에 의존하지 않는다는 [17]점에서 파충류는 놀라울 정도로 단순한 메타 학습 최적화 알고리즘이다.

예

메타 학습의 인스턴스로 간주되어 온 몇 가지 접근방식은 다음과 같습니다.

  • RNN(Recurrent Neural Network)은 범용 컴퓨터입니다.1993년 위르겐 슈미트후버는 "자기반복" RNN이 자신의 무게 변화 알고리즘을 실행하기 위해 원칙적으로 어떻게 역전파를 통해 학습할 수 있는지 보여주었습니다.이것은 [18]역전파와 상당히 다를 수 있습니다.2001년에는 Sepp Hochreiter & A.S.젊은 & P.R.Conwell은 장기 단기 기억 RNN을 기반으로 성공적인 감독 메타 학습자를 구축했습니다.역전파를 통해 [19][2]역전파보다 훨씬 빠른 2차 함수의 학습 알고리즘을 학습했다.딥마인드(Marcin Andrychowicz et al.)의 [20]연구진은 2017년에 최적화로 이 접근방식을 확장했다.
  • 1990년대 Schmidhuber의 연구그룹에서 정책 자체를 변경하기 위한 특별한 지침이 포함된 범용 프로그래밍 언어로 작성된 자체 수정 정책을 통해 메타 강화 학습 또는 메타 RL을 달성하였다.평생의 재판이 하나 있다.RL 에이전트의 목표는 보상을 극대화하는 것입니다.이는 "자기소개"[21][22] 정책의 일부인 자체 학습 알고리즘을 지속적으로 개선함으로써 보상 섭취를 가속화하는 방법을 학습합니다.
  • 극단적인 유형의 메타 강화 학습은 Gödel 기계에 의해 구현됩니다.Gödel 기계는 일반적인 정리 증명서를 포함한 자체 소프트웨어의 모든 부분을 검사하고 수정할 수 있는 이론적 구성입니다.그것은 입증 가능한 최적의 방법으로 재귀적 자기계발을 성취할 수 있다.[23][2]
  • 모델애그노스틱 메타러닝(MAML)은 Chelsea Fin [24]등에 의해 2017년에 도입되었습니다.일련의 과제가 주어졌을 때, 주어진 모델의 매개변수는 새로운 과제의 훈련 데이터가 거의 없는 경사 강하 반복이 해당 과제의 양호한 일반화 성과로 이어질 수 있도록 훈련된다.MAML은 "모델을 [24]미세조정이 용이하도록 훈련합니다." MAML은 퓨샷 이미지 분류 벤치마크 및 정책 그라디언트 기반 강화 [24]학습에 성공적으로 적용되었습니다.
  • 메타지식의 발견은 각 학습 방법이 다른 학습 문제에서 어떻게 수행될지를 나타내는 지식(예: 규칙)을 유도함으로써 작동한다.메타데이터는 학습 문제에서 데이터의 특성(일반, 통계, 정보 이론, ...)과 학습 알고리즘의 특성(유형, 매개변수 설정, 성과 측정 등)에 의해 형성된다.또 다른 학습 알고리즘은 데이터 특성이 알고리즘 특성과 어떻게 관련되어 있는지를 학습합니다.새로운 학습 문제가 주어지면 데이터 특성을 측정하여 다른 학습 알고리즘의 성능을 예측한다.따라서 새로운 문제에 가장 적합한 알고리즘을 예측할 수 있습니다.
  • 스택형 일반화는 여러 개의 (다른) 학습 알고리즘을 결합하여 작동합니다.메타데이터는 이러한 다양한 알고리즘의 예측에 의해 형성됩니다.또 다른 학습 알고리즘은 이 메타데이터에서 학습하여 일반적으로 좋은 결과를 제공하는 알고리즘의 조합을 예측합니다.새로운 학습 문제가 주어진 경우, 선택된 알고리즘 세트의 예측은 (예를 들어 (가중치) 투표에 의해) 결합되어 최종 예측을 제공한다.각 알고리즘은 문제의 서브셋에서 동작하는 것으로 간주되기 때문에 조합이 보다 유연하고 적절한 예측을 할 수 있을 것으로 기대됩니다.
  • 승산은 누적 일반화와 관련이 있지만 동일한 알고리즘을 여러 번 사용합니다. 여기서 교육 데이터의 예제는 각 런에 대해 서로 다른 가중치를 갖습니다.이는 각각 데이터의 하위 집합을 올바르게 예측하는 데 초점을 맞춘 서로 다른 예측을 산출하며, 이러한 예측을 결합하면 더 나은(그러나 더 비싼) 결과를 얻을 수 있습니다.
  • 동적 바이어스 선택은 주어진 문제와 일치하도록 학습 알고리즘의 유도 바이어스를 변경함으로써 작동합니다.이것은 가설 표현, 발견적 공식 또는 매개 변수와 같은 학습 알고리즘의 주요 측면을 변경함으로써 이루어집니다.다양한 접근법이 존재합니다.
  • 유도 전달은 시간이 지남에 따라 학습 과정이 어떻게 개선될 수 있는지를 연구합니다.메타데이터는 이전 학습 에피소드에 대한 지식으로 구성되며 새로운 작업에 대한 효과적인 가설을 효율적으로 개발하는 데 사용됩니다.관련된 접근방식은 학습이라고 불리며, 목표는 한 도메인에서 습득한 지식을 사용하여 다른 도메인에서 학습하는 것입니다.
  • 메타데이터를 사용하여 자동 학습을 개선하는 다른 접근 방식으로는 학습 분류기 시스템, 사례 기반 추론 및 제약 만족도가 있습니다.
  • Applied Behavioral Analysis를 인간 학습자의 성과에 대한 에이전트 매개 메타 학습의 기반으로 사용하고 인공 [25]에이전트의 교육 과정을 조정하기 위한 일부 초기 이론적 작업이 시작되었습니다.
  • 구글에 따르면 2017년 [26][27]이미지넷 벤치마크를 잠시 뛰어넘은 구글브레인 'AI 빌딩 AI' 프로젝트 등 오토ML.

레퍼런스

  1. ^ a b c d e Schmidhuber, Jürgen (1987). "Evolutionary principles in self-referential learning, or on learning how to learn: the meta-meta-... hook" (PDF). Diploma Thesis, Tech. Univ. Munich.
  2. ^ a b c Schaul, Tom; Schmidhuber, Jürgen (2010). "Metalearning". Scholarpedia. 5 (6): 4650. Bibcode:2010SchpJ...5.4650S. doi:10.4249/scholarpedia.4650.
  3. ^ P. E. Utgoff (1986). "Shift of bias for inductive concept learning". In R. Michalski, J. Carbonell, & T. Mitchell: Machine Learning: 163–190.
  4. ^ Bengio, Yoshua; Bengio, Samy; Cloutier, Jocelyn (1991). Learning to learn a synaptic rule (PDF). IJCNN'91.
  5. ^ Lemke, Christiane; Budka, Marcin; Gabrys, Bogdan (2013-07-20). "Metalearning: a survey of trends and technologies". Artificial Intelligence Review. 44 (1): 117–130. doi:10.1007/s10462-013-9406-y. ISSN 0269-2821. PMC 4459543. PMID 26069389.
  6. ^ Brazdil, Pavel; Carrier, Christophe Giraud; Soares, Carlos; Vilalta, Ricardo (2009). Metalearning - Springer. Cognitive Technologies. doi:10.1007/978-3-540-73263-1. ISBN 978-3-540-73262-4.
  7. ^ Gordon, Diana; Desjardins, Marie (1995). "Evaluation and Selection of Biases in Machine Learning" (PDF). Machine Learning. 20: 5–22. doi:10.1023/A:1022630017346. Retrieved 27 March 2020.
  8. ^ a b c d [1] Lilian Weng (2018).Meta-Learning: 빠른 학습.OpenAI 블로그. 2018년 11월.2019년 10월 27일 취득
  9. ^ [2] 아담 산토로, 세르게이 바투노프, 단 비에르스트라, 티모시 릴리캅메모리 증강 뉴럴 네트워크를 사용한 메타 러닝.구글 딥마인드2019년 10월 29일 취득
  10. ^ [3] 첸수렌 문크달라이, 홍유(2017).Meta Networks.arXiv:1703.00837 [cs]LG]
  11. ^ [4] Gregory Koch, Richard Zemel, Ruslan Salakhutdinov (2015).원샷 이미지 인식을 위한 샴 뉴럴 네트워크.토론토 대학교 컴퓨터 공학과.토론토, 온타리오, 캐나다
  12. ^ [5] Vinyals, O., Blundell, C., Lilicrap, T., Kavukcuoglu, K. 및 Wierstra, D. (2016).네트워크를 대조하여 원샷 학습을 실시합니다.구글 딥마인드2019년 11월 3일 취득
  13. ^ [6] 성, F, 양, Y, 장, L, 샹, T., 토르, P. H. S., & Hospedales, T. M. (2018년)비교 학습: 퓨샷 학습을 위한 관계 네트워크
  14. ^ [7] Snell, J., Swersky, K., & Zemel, R. S. (2017년)퓨샷 학습을 위한 프로토타입 네트워크.
  15. ^ [8] 사친 라비와 휴고 라로셸(2017)「최적화」를 실현합니다.」학습의 모델로서 실현되고 있습니다.ICLR 2017.2019년 11월 3일 취득
  16. ^ [9] 첼시 핀, 피터 아베엘, 세르게이 레빈(2017)."심층 네트워크의 신속한 적응을 위한 모델 아그노스틱 메타학습" arXiv:1703.03400 [cs]LG]
  17. ^ [10] Alex Nichol, Joshua Achiam, John Schulman(2018년)입니다.1차 메타학습 알고리즘에 대해서」를 참조해 주세요.arXiv:1803.02999 [cs]LG]
  18. ^ Schmidhuber, Jürgen (1993). "A self-referential weight matrix". Proceedings of ICANN'93, Amsterdam: 446–451.
  19. ^ Hochreiter, Sepp; Younger, A. S.; Conwell, P. R. (2001). "Learning to Learn Using Gradient Descent". Proceedings of ICANN'01: 87–94.
  20. ^ Andrychowicz, Marcin; Denil, Misha; Gomez, Sergio; Hoffmann, Matthew; Pfau, David; Schaul, Tom; Shillingford, Brendan; de Freitas, Nando (2017). "Learning to learn by gradient descent by gradient descent". Proceedings of ICML'17, Sydney, Australia.
  21. ^ Schmidhuber, Jürgen (1994). "On learning how to learn learning strategies". Technical Report FKI-198-94, Tech. Univ. Munich.
  22. ^ Schmidhuber, Jürgen; Zhao, J.; Wiering, M. (1997). "Shifting inductive bias with success-story algorithm, adaptive Levin search, and incremental self-improvement". Machine Learning. 28: 105–130. doi:10.1023/a:1007383707642.
  23. ^ Schmidhuber, Jürgen (2006). "Gödel machines: Fully Self-Referential Optimal Universal Self-Improvers". In B. Goertzel & C. Pennachin, Eds.: Artificial General Intelligence: 199–226.
  24. ^ a b c Finn, Chelsea; Abbeel, Pieter; Levine, Sergey (2017). "Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks". arXiv:1703.03400 [cs.LG].
  25. ^ Begoli, Edmon (May 2014). "Procedural-Reasoning Architecture for Applied Behavior Analysis-based Instructions". Doctoral Dissertations. Knoxville, Tennessee, USA: University of Tennessee, Knoxville: 44–79. Retrieved 14 October 2017.
  26. ^ "Robots Are Now 'Creating New Robots,' Tech Reporter Says". NPR.org. 2018. Retrieved 29 March 2018.
  27. ^ "AutoML for large scale image classification and object detection". Google Research Blog. November 2017. Retrieved 29 March 2018.

외부 링크