준지도 학습
Semi-supervised learning![]() | 이 기사를 Weak supervisor로 통합하는 것이 제안되고 있습니다. (논의) 2021년 8월부터 제안되고 있습니다. |
시리즈의 일부 |
기계 학습 및 데이터 마이닝 |
---|
![]() |

반지도 학습은 훈련 중에 소량의 레이블이 지정된 데이터와 많은 양의 레이블이 지정되지 않은 데이터를 결합하는 기계 학습 접근법이다.반지도 학습은 비지도 학습(레이블링된 훈련 데이터 없음)과 지도 학습(레이블링된 훈련 데이터만 있음) 사이에 있다.그것은 약한 감시의 특별한 예다.
레이블이 없는 데이터는 레이블이 지정된 소량의 데이터와 함께 사용하면 학습 정확도가 크게 향상될 수 있다.학습 문제에 대한 레이블이 지정된 데이터를 획득하려면 숙련된 인간 에이전트(예: 오디오 세그먼트를 전사하는 것) 또는 물리적 실험(예: 단백질의 3D 구조를 결정하거나 특정 위치에 기름이 있는지 확인)이 필요하다.따라서 라벨링 프로세스와 관련된 비용은 라벨링되지 않은 데이터의 획득이 상대적으로 저렴한 반면 라벨링된 대규모 훈련 세트를 실행할 수 없게 만들 수 있다.이러한 상황에서 반지도 학습은 큰 실용적 가치가 있을 수 있다.반감독 학습은 또한 기계 학습과 인간 학습의 모델로서 이론적으로도 흥미롭다.
\ l \ x x x x x x lX \ x { \ , x { l } \ with 、 대응하는 y 1, Y { }\in 및 style style x style x x x x x x x x x x x x x x x 。 X 가 처리됩니다.반감독 학습은 이 정보를 결합하여 라벨이 없는 데이터를 폐기하고 감독 학습을 수행하거나 라벨을 폐기하고 비감독 학습을 수행함으로써 얻을 수 있는 분류 성능을 능가한다.
반지도 학습은 과도적 학습 또는 귀납적 [1]학습을 지칭할 수 있습니다.전달적 학습의 목표는 라벨이 없는 x +1,… , l + (\u}에만 대해 올바른 라벨을 추론하는 것이다.귀납적 학습의 목표는 X X에서 Y Y로의 올바른 매핑을 추론하는 것입니다.
직관적으로 학습문제는 시험으로 볼 수 있고, 선생님이 다른 문제를 푸는 데 도움이 되는 샘플문제로 데이터에 라벨을 붙일 수 있다.전도성 설정에서는 이러한 미해결 문제가 시험문제로 작용합니다.유도 설정에서는 시험을 구성하는 유형의 연습 문제가 됩니다.
Vapnik의 원리에 따르면, 전체 입력 공간에 대해 분류 규칙을 추론하는 방법으로 전도성 학습을 수행하는 것은 불필요하다. 그러나 실제로는 변환 또는 유도를 위해 공식적으로 설계된 알고리즘이 종종 상호 교환으로 사용된다.
전제 조건
레이블이 지정되지 않은 데이터를 사용하려면 데이터의 기본 분포에 대한 관계가 존재해야 합니다.준지도 학습 알고리즘에서는 다음 전제 [2]조건 중 적어도1개를 사용합니다.
연속성/평활성의 전제 조건
서로 가까운 점은 레이블을 공유할 가능성이 높습니다.이것은 또한 일반적으로 지도 학습에서 가정되며 기하학적으로 단순한 의사결정 경계를 선호한다.반지도 학습의 경우, 부드러움 가정은 저밀도 영역의 의사결정 경계에 대한 선호를 추가로 산출하므로, 서로 가깝지만 다른 [citation needed]등급에 있는 점은 거의 없다.
클러스터 가정
데이터는 이산형 군집을 형성하는 경향이 있으며, 동일한 군집의 점은 레이블을 공유할 가능성이 더 높습니다(라벨을 공유하는 데이터는 여러 군집으로 분산될 수 있음).이것은 평활도 가정의 특별한 경우이며 클러스터링 알고리즘을 통한 특징 학습을 일으킨다.
다양체 가정
데이터는 입력 공간보다 훨씬 낮은 차원의 다양체에 대략적으로 놓여 있습니다.이 경우 레이블이 지정된 데이터와 레이블이 지정되지 않은 데이터를 모두 사용하여 매니폴드를 학습하면 차원성의 저주를 피할 수 있습니다.그러면 다지관에 정의된 거리와 밀도를 사용하여 학습을 진행할 수 있습니다.
다지관 가정은 직접 모형화하기는 어려울 수 있지만 자유도가 적은 일부 공정에서 고차원 데이터가 생성될 때 실용적입니다.예를 들어 사람의 목소리는 몇 개의 [3]성대에 의해 제어되며, 다양한 얼굴표정의 화상은 몇 개의 근육에 의해 제어된다.이 경우 가능한 모든 음파 또는 이미지 공간보다는 발생 문제의 자연 공간에서의 거리와 평활성을 고려하는 것이 좋습니다.
역사
자기 훈련의 발견적 접근법(자기 학습 또는 자기 라벨링이라고도 함)은 1960년대부터 [4]시작된 응용 프로그램의 예와 함께 역사적으로 반 지도 [2]학습에 대한 가장 오래된 접근법이다.
Vladimir Vapnik에 의해 [5]1970년대에 전향적 학습 프레임워크가 공식적으로 도입되었습니다.생성적 모델을 이용한 귀납적 학습에 대한 관심도 1970년대에 시작되었다.1995년 Ratsaby와 Venkatesh에 의해 가우스 혼합물의 반감독 학습을 위한 대략적인 올바른 학습 범위가 입증되었다.[6]
준지도 학습은 웹사이트, [7]단백질 배열 또는 이미지의 텍스트와 같이 라벨이 부착되지 않은 방대한 양의 데이터를 이용할 수 있는 다양한 문제 때문에 최근 더욱 대중화되고 실질적으로[when?] 관련성이 있다.
방법들
생성 모델
통계적 학습에 대한 생성적 접근법은 먼저 각 클래스에 속하는 데이터 포인트의 분포인 py p y[disputed ]를 추정한다.특정 x(\ x에 y(\y가 있을 확률은 p p에 비례합니다.생성 모델을 사용한 반지도 학습은 지도 학습( + p(\에 정보 또는 비지도 학습(클러스터링 + 일부 레이블)의 확장으로 볼 수 있다.
생성 모델에서는 가 특정 py , )(\ p y , \ )(\p(x y , \로 파라미터화되어 있다고 가정합니다.이러한 가정이 올바르지 않은 경우 라벨이 없는 데이터는 실제로 연구소에서 얻은 데이터에 비해 솔루션의 정확도를 저하시킬 수 있습니다.Eled 데이터만.[8]그러나 가정이 맞으면 레이블이 지정되지 않은 데이터는 성능을 [6]향상시켜야 합니다.
레이블이 지정되지 않은 데이터는 개별 클래스 분포의 혼합에 따라 분포됩니다.레이블이 지정되지 않은 데이터에서 혼합물 분포를 학습하려면 식별 가능해야 합니다. 즉, 서로 다른 모수가 서로 다른 합계 분포를 산출해야 합니다.가우스 혼합물 분포는 식별 가능하며 생성 모델에 일반적으로 사용됩니다.
모수화된 관절분포는 체인규칙을 사용하여 p(x , ) ( ) ( , )\ p , \ ) ( \( y , \ } 로 쓸 수 있습니다.각 파라미터 { }는 ( ) y ( , ){ )= 언더셋 { {setmax에 관련지어집니다.그런 다음 파라미터는 라벨이 부착된 데이터와 라벨이 없는 데이터 모두에 적합함을 기준으로 선택되며, 는 §{\입니다.
저밀도 분리
또 다른 주요 클래스의 방법은 데이터 점이 적은 영역(레이블 또는 라벨이 없는 영역)에 경계를 배치하려고 시도합니다.가장 일반적으로 사용되는 알고리즘 중 하나는 TSVM입니다(이름과는 달리 유도 학습에도 사용될 수 있음).지도 학습을 위한 지원 벡터 기계가 레이블이 지정된 데이터에 대해 최대 마진을 가진 결정 경계를 찾는 반면, TSVM의 목표는 레이블이 지정되지 않은 데이터의 레이블이 결정 경계가 모든 데이터에 대해 최대 마진을 갖도록 하는 것이다.표준 힌지손실(- ()+ \ ( 1 - ) )붙은 데이터의 경우 손실 함수-f ()+ { + = f()_ { displaystyle b ( x){ display y =\{ sign } {f )를 y f ( x)로 으로써 라벨이 표시되지 않은 데이터에 손실 함수(1 - ( ) style_{+}가 도입됩니다. 커널 Hilbert H(\ {H는 정규화된 경험적 위험을 최소화하여 다음과 같습니다.
한 해는- f ( )+ {\_ 때문에 다루기 어렵기 때문에 유용한 [9]근사치에 초점을 맞추고 있다.
저밀도 분리를 구현하는 다른 방법으로는 가우스 프로세스 모델, 정보 정규화 및 엔트로피 최소화(TSVM은 특수한 경우)가 있습니다.
라플라시안 정규화
라플라시안 정규화는 역사적으로 그래프 라플라시안을 통해 접근되어 왔다.반감독 학습을 위한 그래프 기반 방법은 레이블이 지정된 예와 레이블이 없는 예에 대한 노드를 사용하여 데이터를 그래프 표현한다.그래프는 도메인 지식 또는 예제의 유사성을 사용하여 구성할 수 있습니다.두 가지 일반적인 방법은 각 데이터 포인트를 가까운 이웃에 연결하거나 어느 정도 거리에 있는 예에 연결하는 입니다.(\ 。\ W_ 의 style j({j})는 e-‖ - { e^ { - \ { - \_ { i } -_ { j } \^ { } { \ } 로 됩니다.
다양체 [10][11]정규화의 프레임워크 내에서 그래프는 다양체의 프록시 역할을 한다.표준 티코노프 정규화 문제에 용어를 추가하여 (문제의 고유공간에서) 다지관에 대한 용액의 평활성을 주위 입력공간과 비교한다.최소화의 문제는
서 H는 재생 커널 Hilbert 이고 M은 데이터가 있는 매니폴드입니다.정규화 파라미터 A \ \ _ { A} I \ \ _ {I } regular regular 、 spaces respect respect respect respect respect respect respect respect respect respect respect respect 、 respect respect respect respect respect respect respect respect respect respect respect respect respect respect respect respect respect그래프는 고유 정규화 항을 근사하는 데 사용됩니다. L -W 정의(서 j + W i { } = \ _ =}^{l f {f는벡터[ ( ) ( l +u)]{ [ f 입니다
- _ _
라플라시안 정규화에 대한 그래프 기반 접근법은 유한 차분 [clarification needed][citation needed]방법과 관련짓는 것이다.
또한 Laplacian은 지도 학습 알고리즘을 확장하는 데 사용할 수 있습니다. 정규화된 최소 제곱과 지원 벡터 머신(SVM)을 반 지도 버전인 Laplacian 정규화된 최소 제곱 및 Laplacian SVM으로 확장할 수 있습니다.
휴리스틱 어프로치
반지도 학습을 위한 일부 방법은 본질적으로 라벨이 부착되지 않은 데이터와 라벨이 부착된 데이터 모두에서 학습하도록 조정되지 않고, 대신 감독된 학습 프레임워크 내에서 라벨이 부착되지 않은 데이터를 사용한다.예를 들어 라벨이 붙어 있거나 라벨이 붙어 있지 않은 x , l +({에서는 감독되지 않은 첫 번째 단계에서 데이터의 표현, 거리 메트릭 또는 커널 중 하나를 선택할 수 있습니다.그런 다음, 지도 학습은 라벨이 붙은 예에서만 진행됩니다.이러한 맥락에서, 일부 방법은 감독된 데이터를 사용하여 저차원 표현을 학습한 다음 학습된 [12][13]표현에 저밀도 분리 또는 그래프 기반 방법을 적용한다.표현을 반복적으로 다듬고, 그 표현에 대한 반감독 학습을 실시하면 퍼포먼스를 더욱 향상시킬 수 있다.
셀프 트레이닝은 반지도 [14]학습을 위한 래퍼링 방법입니다.첫째, 지도 학습 알고리즘은 라벨이 부착된 데이터만을 기반으로 훈련된다.그런 다음 이 분류기를 라벨이 부착되지 않은 데이터에 적용하여 감독 학습 알고리즘의 입력으로 라벨이 부착된 예를 더 많이 생성한다.일반적으로 분류자가 가장 신뢰할 수 있는 라벨만 [15]각 단계에서 추가됩니다.
공동 훈련은 여러 분류기가 서로 다른(이상적으로 분리된) 특징 세트에 대해 훈련되고 [16]서로에 대해 레이블이 지정된 예를 생성하는 자가 훈련의 확장이다.
인간의 인식으로는
공식적인 반감독 학습 문제에 대한 인간의 반응은 레이블이 없는 [17]데이터의 영향 정도에 대해 다양한 결론을 도출했다.더 자연스러운 학습 문제는 반감독 학습의 사례로 볼 수도 있다.인간 개념 학습의 대부분은 라벨이 부착되지 않은 많은 경험(예: 이름을 짓거나 세지 않거나 최소한 피드백 없이 물체를 관찰)과 결합된 소량의 직접 지시(예: 어린 시절 부모의 개체 레이블 지정)를 수반한다.
인간의 유아는 개와 고양이의 이미지 또는 남성과 여성의 [18]얼굴과 같이 라벨이 부착되지 않은 자연 범주의 구조에 민감하다.영유아는 라벨이 부착되지 않은 예뿐만 아니라 라벨이 부착된 예시가 발생하는 샘플링 [19][20]과정을 고려한다.
「 」를 참조해 주세요.
레퍼런스
- ^ "Semi-Supervised Learning Literature Survey, Page 5". 2007. CiteSeerX 10.1.1.99.9681.
{{cite journal}}
:Cite 저널 요구 사항journal=
(도움말) - ^ a b Chapelle, Schölkopf & Zien 2006.
- ^ Stevens, Kenneth N., 1924- (1998). Acoustic phonetics. Cambridge, Mass.: MIT Press. ISBN 0-585-08720-2. OCLC 42856189.
{{cite book}}
: CS1 maint: 여러 이름: 작성자 목록(링크) - ^ Scudder, H. (July 1965). "Probability of error of some adaptive pattern-recognition machines". IEEE Transactions on Information Theory. 11 (3): 363–371. doi:10.1109/TIT.1965.1053799. ISSN 1557-9654.
- ^ Vapnik, V.; Chervonenkis, A. (1974). Theory of Pattern Recognition (in Russian). Moscow: Nauka. Chapelle, Schölkopf & Zien 2006에서 인용, 페이지 3
- ^ a b Ratsaby, J.;벤카테 시가 주인공이죠, S."그리고 레이블이 없는 표시된 예들의 파라 미터적 면 정보가 담긴 혼합물에서 배우는 것은"(PDF). 저자 계산 학습 이론-COLT 95에 8번째 연례 회의에서.뉴욕, 뉴욕, 미국:ACM프레스. 1995년.를 대신하여 서명함. 412–417. doi:10.1145/225298.225348.아이 에스비엔 0-89791-723-5.S2CID 17561403..샤펠, Schölkopf &, Zien 2006년 페이지의 주 4에 영향.
- ^ Zhu, Xiaojin (2008). "Semi-supervised learning literature survey" (PDF). University of Wisconsin-Madison.
- ^ Fabio, Cozman; Ira, Cohen (2006-09-22), "Risks of Semi-Supervised Learning: How Unlabeled Data Can Degrade Performance of Generative Classifiers", Semi-Supervised Learning, The MIT Press, pp. 56–72, doi:10.7551/mitpress/9780262033589.003.0004, ISBN 978-0-262-03358-9 인: 채플레, 숄코프 및 지엔 2006
- ^ a b c 주, 샤오진.위스콘신 매디슨 준감독학습대학
- ^ M. Belkin; P. Niyogi (2004). "Semi-supervised Learning on Riemannian Manifolds". Machine Learning. 56 (Special Issue on Clustering): 209–239. doi:10.1023/b:mach.0000033120.25363.1e.
- ^ M. 벨킨, P.니요기, 브이 신드워니다지관 정규화에 대하여.AISTATS 2005.
- ^ Iscen, Ahmet; Tolias, Giorgos; Avrithis, Yannis; Chum, Ondrej (2019). "Label Propagation for Deep Semi-Supervised Learning". Conference on Computer Vision and Pattern Recognition (CVPR): 5065–5074. arXiv:1904.04717. doi:10.1109/CVPR.2019.00521. ISBN 978-1-7281-3293-8. S2CID 104291869. Retrieved 26 March 2021.
- ^ Burkhart, Michael C.; Shan, Kyle (2020). "Deep Low-Density Separation for Semi-supervised Classification". International Conference on Computational Science (ICCS). Lecture Notes in Computer Science. 12139: 297–311. doi:10.1007/978-3-030-50420-5_22. ISBN 978-3-030-50419-9.
- ^ Triguero, Isaac; García, Salvador; Herrera, Francisco (2013-11-26). "Self-labeled techniques for semi-supervised learning: taxonomy, software and empirical study". Knowledge and Information Systems. 42 (2): 245–284. doi:10.1007/s10115-013-0706-y. ISSN 0219-1377. S2CID 1955810.
- ^ Fazakis, Nikos; Karlos, Stamatis; Kotsiantis, Sotiris; Sgarbas, Kyriakos (2015-12-29). "Self-Trained LMT for Semisupervised Learning". Computational Intelligence and Neuroscience. 2016: 3057481. doi:10.1155/2016/3057481. PMC 4709606. PMID 26839531.
- ^ Didaci, Luca; Fumera, Giorgio; Roli, Fabio (2012-11-07). Gimel’farb, Georgy; Hancock, Edwin; Imiya, Atsushi; Kuijper, Arjan; Kudo, Mineichi; Omachi, Shinichiro; Windeatt, Terry; Yamada, Keiji (eds.). Analysis of Co-training Algorithm with Very Small Training Sets. Lecture Notes in Computer Science. Springer Berlin Heidelberg. pp. 719–726. doi:10.1007/978-3-642-34166-3_79. ISBN 9783642341656. S2CID 46063225.
- ^ Zhu, Xiaojin (2009). Introduction to semi-supervised learning. Goldberg, A. B. (Andrew B.). [San Rafael, Calif.]: Morgan & Claypool Publishers. ISBN 978-1-59829-548-1. OCLC 428541480.
- ^ Younger B. A.; Fearing D. D. (1999). "Parsing Items into Separate Categories: Developmental Change in Infant Categorization". Child Development. 70 (2): 291–303. doi:10.1111/1467-8624.00022.
- ^ Xu, F. & Tenenbaum, J. B. (2007). "Sensitivity to sampling in Bayesian word learning". Developmental Science. 10 (3): 288–297. CiteSeerX 10.1.1.141.7505. doi:10.1111/j.1467-7687.2007.00590.x. PMID 17444970.
- ^ Gweon, H., Tenenbaum J.B., and Schulz L.E (2010). "Infants consider both the sample and the sampling process in inductive generalization". Proc Natl Acad Sci U S A. 107 (20): 9066–71. Bibcode:2010PNAS..107.9066G. doi:10.1073/pnas.1003095107. PMC 2889113. PMID 20435914.
{{cite journal}}
: CS1 maint: 여러 이름: 작성자 목록(링크)
원천
- Chapelle, Olivier; Schölkopf, Bernhard; Zien, Alexander (2006). Semi-supervised learning. Cambridge, Mass.: MIT Press. ISBN 978-0-262-03358-9.