코 트레이닝

Co-training

공동 훈련은 레이블이 지정된 데이터의 양이 적고 레이블이 지정되지 않은 데이터의 양이 많을 때 사용되는 기계 학습 알고리즘입니다.그 용도 중 하나는 검색 엔진을 위한 텍스트 마이닝이다.그것은 1998년 에이브림 블럼과 톰 미첼에 의해 소개되었다.

알고리즘 설계

공동 훈련은 데이터의 두 가지 보기를 필요로 하는 반감독 학습 기법이다.각 예는 인스턴스에 대한 보완 정보를 제공하는 두 가지 다른 기능 세트를 사용하여 설명된다고 가정합니다.이상적으로는 두 뷰가 조건적으로 독립적이며(즉, 각 인스턴스의 두 피쳐 세트가 주어진 클래스에 대해 조건적으로 독립적이며), 각 뷰는 충분합니다(즉, 인스턴스의 클래스는 각 뷰에서만 정확하게 예측할 수 있습니다).공동 교육은 먼저 레이블이 지정된 예를 사용하여 각 보기에 대해 별도의 분류자를 학습합니다.라벨이 부착되지 않은 데이터에 대한 각 분류자의 가장 확실한 예측은 라벨이 부착된 추가 훈련 [1]데이터를 반복적으로 구성하는 데 사용된다.

원래 공동 훈련 논문은 웹 페이지를 "학술 과정 홈페이지"로 분류하기 위한 공동 훈련을 사용한 실험을 기술했습니다. 분류자는 12개의 웹 페이지만 있는 788개의 웹 페이지 중 95%를 정확하게 [2]분류했습니다.이 논문은 1000회 이상 인용되었으며, 유명한 컴퓨터 [3][4]사이언스 컨퍼런스인 제25회 기계학습 국제회의(ICML 2008)에서 10년간 최우수 논문상을 받았습니다.

Krogel과 Scheffer는 2004년에 데이터 세트가 독립적일 경우에만 공동 훈련이 유익하다는 것을 보여주었다. 즉, 분류자 중 하나가 이전에 잘못 분류된 데이터 지점에 올바르게 레이블을 붙이는 경우이다.분류자가 라벨이 부착되지 않은 모든 데이터에 동의하는 경우(즉, 종속된 경우), 데이터에 라벨을 부착해도 새로운 정보가 생성되지 않는다.분류기의 의존도가 60% 이상인 실험에서 결과는 [5]악화되었다.

사용하다

페이지상의 텍스트를 하나의 뷰로, 하이퍼링크의 앵커 텍스트를 다른 뷰로 사용하여 웹 페이지를 분류하는 데 공동 교육이 사용되었습니다.간단히 말해서, 하이퍼링크의 텍스트는 링크된 [2]페이지에 대한 정보를 제공할 수 있습니다.공동 교육은 아직 분류되거나 태그가 지정되지 않은 "라벨이 없는" 텍스트에 대해 작동할 수 있습니다. 이는 웹 페이지 및 이메일에 나타나는 텍스트에 대해 일반적으로 사용됩니다.Tom Mitchell에 따르면, "페이지를 설명하는 특징은 페이지 상의 단어와 그 페이지를 가리키는 링크입니다.공동 교육 모델은 두 분류자를 모두 사용하여 페이지에 검색 기준과 관련된 데이터가 포함될 가능성을 결정합니다."웹 사이트의 텍스트는 링크 분류자의 관련성을 판단할 수 있으므로 "공동 훈련"이라는 용어를 사용할 수 있습니다.Mitchell은 다른 검색 알고리즘은 86% 정확하지만, 공동 훈련은 96%[6] 정확하다고 주장한다.

공동 훈련은 구직 사이트인 FlipDog.com과 미국 노동부에서 지속적인 원격 [6]교육 디렉토리를 위해 사용되었습니다.통계 해석 및 시각 [7]검출을 포함한 다른 많은 응용 프로그램에서 사용되고 있습니다.

레퍼런스

  1. ^ Blum, A., Mitchell, T. 레이블이 지정된 데이터와 레이블이 없는 데이터를 공동 훈련과 결합합니다.COLT: Morgan Kaufmann, 1998, 92-100페이지.
  2. ^ a b Committee on the Fundamentals of Computer Science: Challenges and Opportunities, National Research Council (2004). "6: Achieving Intelligence". Computer Science: Reflections on the Field, Reflections from the Field. The National Academies Press. ISBN 978-0-309-09301-9.
  3. ^ McCallum, Andrew (2008). "Best Papers Awards". ICML Awards. Retrieved 2009-05-03.
  4. ^ Shavik, Jude (2008). "10 Year Best Paper: Combining labeled and unlabled data with co-training". ICML Awards. Retrieved 2009-05-03.
  5. ^ Krogel, Marc-A; Tobias Scheffer (2004). "Multi-Relational Learning, Text Mining, and Semi-Supervised Learning for Functional Genomics" (PDF). Machine Learning. 57: 61–81. doi:10.1023/B:MACH.0000035472.73496.0c.
  6. ^ a b Aquino, Stephen (24 April 2001). "Search Engines Ready to Learn". Technology Review. Retrieved 2009-05-03.
  7. ^ Xu, Qian; Derek Hao Hu; Hong Xue; Weichuan Yu; Qiang Yang (2009). "Semi-supervised protein subcellular localization". BMC Bioinformatics. 10: S47. doi:10.1186/1471-2105-10-S1-S47. ISSN 1471-2105. PMC 2648770. PMID 19208149.
메모들

외부 링크