증분학습

Incremental learning

컴퓨터 과학에서 증분 학습은 입력 데이터를 지속적으로 사용하여 기존 모델의 지식을 확장하는 기계 학습 방법, 즉 모델을 더욱 훈련시키는 방법이다. 시간이 지남에 따라 점차적으로 훈련 데이터를 이용할 수 있게 되거나 그 크기가 시스템 기억력 한계를 벗어날 때 적용할 수 있는 감독 학습과 무감독 학습의 역동적인 기법을 나타낸다. 증분 학습을 촉진할 수 있는 알고리즘을 증분 머신러닝 알고리즘이라고 한다.

많은 전통적인 기계 학습 알고리즘은 본질적으로 증분 학습을 지원한다. 다른 알고리즘은 증분 학습을 용이하게 하도록 조정할 수 있다. 증분 알고리즘의 예로는 의사결정 트리(IDE4,[1] ID5R[2]), 의사결정 규칙,[3] 인공신경망(RBF 네트워크,[4] 학습++,[5] 퍼지 아트맵,[6] TopoART,[7] IGNG[8]) 또는 증분 SVM이 있다.[9]

증분 학습의 목적은 학습 모델이 기존의 지식을 잊지 않고 새로운 데이터에 적응하는 것이다. 일부 증분 학습자들은 오래된 데이터의 관련성을 제어하는 일부 매개변수나 가정을 내장하고 있는 반면, 안정적 증분 머신러닝 알고리즘이라고 불리는 다른 학습자들은 시간이 지남에 따라 부분적으로 잊혀지지도 않는 훈련 데이터의 표현을 학습한다. Puzzy[10] ART와[7] TopoART는 이 두 번째 접근법의 두 가지 예다.

증분 알고리즘은 데이터 스트림이나 빅데이터에 자주 적용돼 데이터 가용성과 자원 부족 문제를 각각 해결한다. 주식 추세 예측과 사용자 프로파일링은 새로운 데이터를 지속적으로 사용할 수 있게 되는 데이터 스트림의 몇 가지 예다. 빅데이터에 증분 학습을 적용하는 것은 분류나 예측 시간을 단축하는 것을 목표로 삼는다.

참조

  1. ^ 슐림머, J. C. & 피셔, D. 증분 개념 유도에 대한 사례 연구. 제5차 인공지능 전국회의, 496-501. 필라델피아, 1986년
  2. ^ Utgoff, P. E., 의사결정 나무의 증분 유도. 기계 학습, 4(2): 161-186, 1989
  3. ^ 페러트로야노, 프란시스코, 예수 S. 아길라-루이즈, 그리고 호세 C. 리켈메. 숫자 데이터 스트림에서 예시 근접성에 기반한 증분 규칙 학습. 응용컴퓨팅에 관한 2005년 ACM 심포지엄의 진행. ACM, 2005
  4. ^ 브루조네, 로렌조, 그리고 D. 페르난데스 프리토. 원격 감지 영상의 분류를 위한 증분 학습 신경 네트워크. 패턴 인식 문자: 1241-1248, 1999
  5. ^ R. Polikar, L. Udpa, S. 우드파, V. 호나바르. 학습++: 관리 신경 네트워크를 위한 증분 학습 알고리즘. 시스템, 인간 및 사이버네틱스에 대한 IEEE 거래. 2001년 로완 대학교 미국.
  6. ^ G. 카펜터, S. 그로스버그, N. 마쿠존, J. 레이놀즈, D. Rosen. Puzzy ARTMAP: 아날로그 다차원 지도에 대한 점진적인 감독 학습을 위한 신경 네트워크 아키텍처. 신경망에서의 IEEE 거래, 1992년
  7. ^ a b 마르코 츠레파노우, 마르코 코르트캄프, 마크 카머. 잡음 데이터에서 위상학적 구조와 연관성의 안정적인 증분 학습을 위한 계층적 ART 네트워크 신경망, 24(8): 906-916, 2011
  8. ^ 장 샤를 라미렐, 지드 불릴라, 마하 그리비, 파스칼 쿠삭. 클러스터 라벨링 최대화를 기반으로 한 새로운 증분증식 신경가스 알고리즘: 이기종 텍스트 데이터의 클러스터링에 대한 애플리케이션. IEA/AIE 2010: 응용 인텔리전트 시스템 동향, 139-148, 2010
  9. ^ Diehl, Christopher P, Gert Cauwenbergs. SVM 증분 학습, 적응 및 최적화. 뉴럴 네트워크, 2003년 국제 공동 회의의 진행 상황. 제4권 IEEE, 2003.
  10. ^ 카펜터, G.A., 그로스버그, S., & Rosen, D.B., 퍼지 아트: 적응형 공명 시스템인 Neural Networks에 의한 아날로그 패턴의 빠른 안정적 학습과 분류, 4(6): 759-771, 1991

외부 링크