제로샷 학습

Zero-shot learning

제로샷 학습(ZSL)은 머신러닝의 문제 설정으로서, 시험 시간에 학습자가 훈련 중 관찰되지 않았던 수업의 샘플을 관찰하고, 자신이 속한 수업을 예측하기 위해 필요한 것을 관찰한다.영샷 방법은 일반적으로 관측 가능한 물체의 구별 특성을 암호화하는 어떤 형태의 보조 정보를 통해 관찰된 클래스와 관찰되지 않은 클래스를 연관시켜 작동한다.[1]예를 들어, 동물들이 어떻게 생겼는지에 대한 보조 텍스트 설명과 함께 분류되어야 할 동물들의 이미지 세트를 볼 때, 말을 인식하도록 훈련받았지만 얼룩말을 받은 적이 없는 인공지능("AI")은 얼룩말이 줄무늬 말처럼 생겼다는 것도 알 때 얼룩말을 여전히 알아볼 수 있다.이 문제는 컴퓨터 비전, 자연어 처리, 기계 인식 등에서 폭넓게 연구되고 있다.[2]

배경과 역사

자연어 처리에서의 제로샷 학습에 대한 첫 번째 논문은 2008년 AAAI'08에서 등장했지만, 그곳의 학습 패러다임에 주어진 이름은 데이터리스 분류였다.[3]컴퓨터 비전에서의 제로샷 학습에 관한 첫 논문은 같은 컨퍼런스에 제로데이터 학습이라는 이름으로 등장했다.[4]이러한 방향은 나중에 컴퓨터 비전 수 년 전에 도입된 원샷 학습의 도약으로서, 더 잘 알려진 또 다른 CV 논문과[5] 제로샷 학습이라는 용어로 대중화되었다.[6]

컴퓨터 비전에서 제로샷 학습 모델은 관찰된 클래스에 대한 매개변수를 클래스 표현과 함께 학습했으며, 추론 중에 인스턴스를 새로운 클래스로 분류할 수 있도록 클래스 라벨 사이의 표현적 유사성에 의존했다.

자연어 처리에서 개발된 핵심 기술적 방향은 분류할 문서의 그것과 동일한 의미 공간에서 라벨을 나타내는 "라벨을 이해하는" 능력에 기초한다.이것은 제로샷 분류의 가장 순수한 형태인 주석 데이터를 관찰하지 않고 단일 예제의 분류를 지원한다.원래의 논문은[3] 명시적 의미 분석(ESA) 표현을 사용했지만, 이후 논문은 밀도 있는 표현을 포함한 다른 표현을 사용하였다.이 접근법은 또한 다국어 영역,[7][8] 미세한 엔터티[9] 타이핑 및 기타 문제로 확장되었다.더욱이, 표현에만 의존하는 것을 넘어, 텍스트 참여와[10] 질문 답변과 같은 다른 업무로부터의 전송에 의존하도록 컴퓨터 접근법이 확장되었다.[11]

원문에서는[3] 또한 하나의 예를 분류할 수 있는 능력을 넘어, 하나의 예시집단이 주어졌을 때, 동일한 분포로부터 온다고 가정할 때, 그 수행에 대해 반감시를 하는 방식(또는 전이학습)으로 부스트랩하는 것이 가능하다고 지적하고 있다.

기계학습의 표준 일반화와 달리, 분류자가 훈련 중에 이미 관찰한 수업에 새로운 샘플을 올바르게 분류할 것으로 기대되는 ZSL에서는 분류기를 훈련하는 동안 해당 수업에서 어떤 샘플도 주어지지 않았다.따라서 그것은 도메인 적응의 극단적인 사례로 볼 수 있다.

제로샷 클래스에 대한 필수 구성 요소 정보

당연히 이러한 제로샷 클래스에 대해 어떤 형태의 보조 정보가 제공되어야 하며, 이러한 유형의 정보는 여러 가지 유형으로 구성될 수 있다.

  • 속성이 있는 학습: 수업에는 미리 정의된 구조 설명이 수반된다.예를 들어, 새 설명의 경우, 여기에는 "빨간 머리", "긴 부리"[5][12]가 포함될 수 있다.이러한 속성들은 종종 구조화된 구성 방식으로 구성되며, 그 구조를 고려하는 것은 학습을 향상시킨다.[13]이러한 접근방식은 주로 컴퓨터 비전에 사용되었지만, 자연어 처리에도 몇 가지 예가 있다.[14]
  • 텍스트 설명에서 배운다.위에서 지적한 바와 같이, 이것이 자연어 처리에서 추구하는 핵심 방향이었다.여기서 클래스 라벨은 의미를 가지기 위해 취해지고 종종 정의 또는 자유 텍스트 자연 언어 설명으로 강화된다.이것은 예를 들어 수업에 대한 위키피디아 설명을 포함할 수 있다.[9][15][16]
  • 계급적 유사성.여기서 클래스는 연속된 공간에 내장되어 있다. 제로샷 분류기는 샘플이 해당 공간의 어떤 위치에 해당한다고 예측할 수 있으며, 훈련 중에 그러한 샘플이 관찰되지 않았더라도 가장 가까운 임베디드 클래스는 예측된 클래스로 사용된다.[17]

일반화된 제로샷 학습

위의 ZSL 설정은 테스트 시 제로샷 샘플, 즉 보이지 않는 새로운 클래스의 샘플만 제공된다고 가정한다.일반화된 제로샷 학습에서 새로운 클래스와 알려진 클래스의 샘플은 시험 시간에 나타날 수 있다.이것은 시험 시간에 분류자들에게 새로운 도전을 제기한다. 왜냐하면 주어진 샘플이 새로운 것인지 알려진 것인지 추정하는 것은 매우 어렵기 때문이다.이를 다루기 위한 몇 가지 접근방법은 다음과 같다.

  • 게이팅 접근법.여기서 주어진 샘플이 새로운 등급에서 오는지 또는 오래된 등급에서 오는지 결정하기 위해 추가 모듈을 먼저 교육한다.게이터는 어려운 결정을 내릴 수 있지만,[18] 부드러운 확률론적 결정을 내림으로써 이 접근방법의 정확성을 더욱 향상시킨다.[19]
  • 생성적 접근법.여기서, 보이지 않는 클래스의 형상 표현을 생성하도록 생성 모델을 교육한다.그런 다음 표준 분류자가 모든 등급의 표본을 보고 알 수 없는 상태로 교육받는다.[20]

응용 프로그램 도메인

제로 샷 학습은 다음과 같은 분야에 적용되었다.

제로샷 학습 컴퓨터 프로그램, 일부는 카테고리 벡터를 나타내기 위해 위키피디아를 사용한다.프로그램은 wiki 기사를 파싱하고 그 파일에서 발견된 단어들을 바탕으로 숫자를 형성한다. 단어들은 선택되고 카테고리를 형성하여 머신러닝에서 시험 데이터를 분류한다.[21]

참조

  1. ^ Xian, Yongqin; Lampert, Christoph H.; Schiele, Bernt; Akata, Zeynep (2020-09-23). "Zero-Shot Learning -- A Comprehensive Evaluation of the Good, the Bad and the Ugly". arXiv:1707.00600 [cs.CV].
  2. ^ Xian, Yongqin; Schiele, Bernt; Akata, Zeynep (2017). "Zero-shot learning-the good, the bad and the ugly". Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition: 4582–4591. arXiv:1703.04394. Bibcode:2017arXiv170304394X.
  3. ^ a b c Chang, M.W. (2008). "Importance of Semantic Representation: Dataless Classification" (PDF). AAAI.
  4. ^ Larochelle, Hugo (2008). "Zero-data Learning of New Tasks" (PDF).
  5. ^ a b Lampert, C.H. (2009). "Learning to detect unseen object classes by between-class attribute transfer". IEEE Conference on Computer Vision and Pattern Recognition: 951–958. CiteSeerX 10.1.1.165.9750.
  6. ^ Miller, E. G. (2000). "Learning from One Example Through Shared Densities on Transforms" (PDF). CVPR.
  7. ^ Song, Yangqiu (2019). "Toward any-language zero-shot topic classification of textual documents". Artificial Intelligence. 274: 133–150. doi:10.1016/j.artint.2019.02.002.
  8. ^ Song, Yangqiu (2016). "Cross-Lingual Dataless Classification for Many Languages" (PDF). IJCAI.
  9. ^ a b Zhou, Ben (2018). "Zero-Shot Open Entity Typing as Type-Compatible Grounding" (PDF). EMNLP. arXiv:1907.03228.
  10. ^ Yin, Wenpeng (2019). "Benchmarking Zero-shot Text Classification: Datasets, Evaluation and Entailment Approach" (PDF). EMNLP. arXiv:1909.00161.
  11. ^ Levy, Omer (2017). "Zero-Shot Relation Extraction via Reading Comprehension" (PDF). CoNLL. arXiv:1706.04115.
  12. ^ Romera-Paredes, Bernardino; Torr, Phillip (2015). "An embarrassingly simple approach to zero-shot learning" (PDF). International Conference on Machine Learning: 2152–2161.
  13. ^ Atzmon, Yuval; Chechik, Gal (2018). "Probabilistic AND-OR Attribute Grouping for Zero-Shot Learning" (PDF). Uncertainty in Artificial Intelligence. arXiv:1806.02664. Bibcode:2018arXiv180602664A.
  14. ^ Roth, Dan (2009). "Aspect Guided Text Categorization with Unobserved Labels". ICDM. CiteSeerX 10.1.1.148.9946.
  15. ^ Hu, R Lily; Xiong, Caiming; Socher, Richard (2018). "Zero-Shot Image Classification Guided by Natural Language Descriptions of Classes: A Meta-Learning Approach" (PDF). NeurIPS.
  16. ^ Srivastava, Shashank; Labutov, Igor; Mitchelle, Tom (2018). "Zero-shot Learning of Classifiers from Natural Language Quantification". Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers). pp. 306–316. doi:10.18653/v1/P18-1029.
  17. ^ Frome, Andrea; et, al (2013). "Devise: A deep visual-semantic embedding model" (PDF). Advances in Neural Information Processing Systems: 2121–2129.
  18. ^ Socher, R; Ganjoo, M; Manning, C.D.; Ng, A. (2013). "Zero-shot learning through cross-modal transfer". Neural Information Processing Systems. arXiv:1301.3666. Bibcode:2013arXiv1301.3666S.
  19. ^ Atzmon, Yuval (2019). "Adaptive Confidence Smoothing for Generalized Zero-Shot Learning". The IEEE Conference on Computer Vision and Pattern Recognition: 11671–11680. arXiv:1812.09903. Bibcode:2018arXiv181209903A.
  20. ^ Felix, R; et, al (2018). "Multi-modal cycle-consistent generalized zero-shot learning". Proceedings of the European Conference on Computer Vision: 21–37. arXiv:1808.00136. Bibcode:2018arXiv180800136F.
  21. ^ 제로샷 학습 - 티모시 호스페달레스 박사 - 유튜브