연결주의 시간구분

Connectionist temporal classification

접속자 시간 분류(Connectionist temporary classification, CTC)는 신경망 출력 및 관련 채점 기능의 일종으로, LSTM 네트워크와 같은 재발 신경망(RN)을 훈련시켜 타이밍이 가변적인 시퀀스 문제를 해결한다. 그것은 온라인 필기[1] 인식이나 음성 오디오의 전화 인식과 같은 작업에 사용될 수 있다. CTC는 출력 및 채점을 말하며, 기초 신경망 구조와는 무관하다. 2006년에 도입되었다.[2]

입력은 관찰의 순서, 출력은 빈 출력을 포함할 수 있는 라벨의 순서다. 훈련의 어려움은 라벨이 있는 것보다 더 많은 관찰이 있는 데서 온다. 예를 들어 음성 오디오에는 전화기 하나에 해당하는 여러 개의 시간 조각이 있을 수 있다. 관측된 시퀀스와 목표 라벨의 정렬을 모르기 때문에 각 시간 단계에서 확률 분포를 예측한다.[3] CTC 네트워크는 연속 출력(예: 소프트맥스)을 가지고 있으며, 라벨의 확률을 모델링하는 훈련을 통해 장착된다. CTC는 경계와 시간을 배우려 하지 않는다: 레이블 시퀀스는 공백은 무시하고 정렬만 다를 경우 동등하다고 간주된다. 등가 라벨 시퀀스는 여러 가지 방법으로 발생할 수 있으며, 이로 인해 스코어링이 비독점적인 작업이 되지만, 이를 위한 효율적인 전방-후방 알고리즘이 있다.

그런 다음 CTC 점수는 신경망 가중치를 업데이트하기 위해 백프로포즈 알고리즘과 함께 사용할 수 있다.

CTC 연결 신경망에 대한 대안적 접근방식으로는 숨겨진 마르코프 모델(HM)이 있다.

참조

  1. ^ Liwicki, Marcus; Graves, Alex; Bunke, Horst; Schmidhuber, Jürgen (2007). "A novel approach to on-line handwriting recognition based on bidirectional long short-term memory networks". In Proceedings of the 9th International Conference on Document Analysis and Recognition, ICDAR 2007. CiteSeerX 10.1.1.139.5852.
  2. ^ Graves, Alex; Fernández, Santiago; Gomez, Faustino (2006). "Connectionist temporal classification: Labelling unsegmented sequence data with recurrent neural networks". In Proceedings of the International Conference on Machine Learning, ICML 2006: 369–376. CiteSeerX 10.1.1.75.6306.
  3. ^ Hannun, Awni (27 November 2017). "Sequence Modeling with CTC". Distill. 2 (11). arXiv:1508.01211. doi:10.23915/distill.00008. ISSN 2476-0757.