대화에서의 감정인식

Emotion recognition in conversation

대화에서의 감정인식(ERC)은 감정인식의 하위 분야로, 둘 이상의 대화 상대가 있는 대화나 대화에서 인간의 감정을 채굴하는 데 초점을 맞춘다.[1] 이 분야의 데이터셋은 대개 무료 및 많은 샘플을 허용하는 소셜 플랫폼에서 파생되며, 멀티모달 데이터(즉, 텍스트, 시각 및 음향 데이터의 일부 조합)[2]를 포함하는 경우가 많다. 자기와 개인간의 영향은 공포, 분노, 기쁨, 놀라움 등과 같은 기본적인 감정을 식별하는 데 결정적인 역할을[3] 한다. 감정표시가 미세하게 갈릴수록 정확한 감정을 감지하기가 더 어렵다. ERC는 대화-컨텍스트 모델링, 스피커-상태 모델링, 대화에서의 빈정거림 존재, 동일한 대화 상대의 연속적인 발언들에 대한 감정 이동과 [1]같은 많은 과제를 내포하고 있다.

과제

ERC의 과제는 화자가 대화의 각 발언에서 표현하는 감정을 감지하는 것이다. ERC는 세 가지 주요 요인에 의존한다. 대화 맥락, 상호 통신사의 정신 상태, 그리고 의도.[1]

데이터 집합

IEMOCAP,[4] SEMAIN,[5] DailyDialogue,[6] MELD는[7] ERC에서 널리 사용되는 4개의 데이터셋이다. 이 네 가지 데이터 세트 중에서 MELD에는 다중 대화 상자가 포함되어 있다.

방법들

ERC에 대한 접근방식은 무감독, 준감독 및 감독[8] 방식으로 구성된다. 일반적인 감독 방법으로는 사전 정의된 기능, 반복 신경 네트워크(DialogRN[10]), 그래프 컨볼루션 네트워크(DialogGCN), 주의력 게이트 계층형 메모리 네트워크를 사용하거나 결합하는 것이 있다.[13] ERC에 대한 현대적 방법의 대부분은 딥러닝 기반이며 잠재적인 스피커-상태 모델링 아이디어에 의존한다.

대화에서 감정을 유발하는 원인 인식

최근 대화에서[14] 감정 원인을 인식하는 데 초점을 맞춘 ERC의 새로운 하위 작업이 등장했다. 이 과제를 해결하는 방법은 언어 모델 기반의 질문 답변 메커니즘에 의존한다. RECCON은[14] 이 작업의 핵심 데이터셋 중 하나이다.

참고 항목

참조

  1. ^ Jump up to: a b c Poria, Soujanya; Majumder, Navonil; Mihalcea, Rada; Hovy, Eduard (2019). "Emotion Recognition in Conversation: Research Challenges, Datasets, and Recent Advances". IEEE Access. 7: 100943–100953. arXiv:1905.02947. Bibcode:2019arXiv190502947P. doi:10.1109/ACCESS.2019.2929050. S2CID 147703962.
  2. ^ Lee, Chul Min; Narayanan, Shrikanth (March 2005). "Toward Detecting Emotions in Spoken Dialogs". IEEE Transactions on Speech and Audio Processing. 13 (2): 293–303. doi:10.1109/TSA.2004.838534. S2CID 12710581.
  3. ^ Hazarika, Devamanyu; Poria, Soujanya; Zimmermann, Roger; Mihalcea, Rada (Oct 2019). "Emotion Recognition in Conversations with Transfer Learning from Generative Conversation Modeling". arXiv:1910.04980 [cs.CL].
  4. ^ Busso, Carlos; Bulut, Murtaza; Lee, Chi-Chun; Kazemzadeh, Abe; Mower, Emily; Kim, Samuel; Chang, Jeannette N.; Lee, Sungbok; Narayanan, Shrikanth S. (2008-11-05). "IEMOCAP: interactive emotional dyadic motion capture database". Language Resources and Evaluation. 42 (4): 335–359. doi:10.1007/s10579-008-9076-6. ISSN 1574-020X. S2CID 11820063.
  5. ^ McKeown, G.; Valstar, M.; Cowie, R.; Pantic, M.; Schroder, M. (2012-01-02). "The SEMAINE Database: Annotated Multimodal Records of Emotionally Colored Conversations between a Person and a Limited Agent". IEEE Transactions on Affective Computing. 3 (1): 5–17. doi:10.1109/t-affc.2011.20. ISSN 1949-3045. S2CID 2995377.
  6. ^ 리, 옌란, 희수, 샤오유 셴, 원지 리, 지창 카오, 슈지 니우. "DailyDialog: 수동 레이블로 표시된 다중 턴 대화 데이터 집합." 제8회 자연어 처리 국제 공동 회의(제1권: 장편 논문)의 절차에서, 페이지 986-995. 2017.
  7. ^ Poria, Soujanya; Hazarika, Devamanyu; Majumder, Navonil; Naik, Gautam; Cambria, Erik; Mihalcea, Rada (2019). "MELD: A Multimodal Multi-Party Dataset for Emotion Recognition in Conversations". Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics. Stroudsburg, PA, USA: Association for Computational Linguistics: 527–536. arXiv:1810.02508. doi:10.18653/v1/p19-1050. S2CID 52932143.
  8. ^ Abdelwahab, Mohammed; Busso, Carlos (March 2005). "Supervised domain adaptation for emotion recognition from speech". IEEE Transactions on Speech and Audio Processing: 5058–5062. doi:10.1109/ICASSP.2015.7178934. ISBN 978-1-4673-6997-8. S2CID 8207841.
  9. ^ Chernykh, Vladimir; Prikhodko, Pavel; King, Irwin (Jul 2019). "Emotion Recognition From Speech With Recurrent Neural Networks". arXiv:1701.08071 [cs.CL].
  10. ^ Majumder, Navonil; Poria, Soujanya; Hazarika, Devamanyu; Mihalcea, Rada; Gelbukh, Alexander; Cambria, Erik (2019-07-17). "DialogueRNN: An Attentive RNN for Emotion Detection in Conversations". Proceedings of the AAAI Conference on Artificial Intelligence. 33: 6818–6825. doi:10.1609/aaai.v33i01.33016818. ISSN 2374-3468.
  11. ^ "Graph Convolutional Networks are Bringing Emotion Recognition Closer to Machines. Here's how". Tech Times. 2019-11-26. Retrieved February 25, 2020.
  12. ^ Ghosal, Deepanway; Majumder, Navonil; Soujanya, Poria (Aug 2019). DialogueGCN: A Graph Convolutional Neural Network for Emotion Recognition in Conversation. Conference on Empirical Methods in Natural Language Processing (EMNLP).
  13. ^ Jiao, Wenxiang; R. Lyu, Michael; King, Irwin (November 2019). "Real-Time Emotion Recognition via Attention Gated Hierarchical Memory Network". arXiv:1911.09075 [cs.CL].
  14. ^ Jump up to: a b Poria, Soujanya; Majumder, Navonil; Hazarika, Devamanyu; Ghosal, Deepanway; Bhardwaj, Rishabh; Jian, Samson Yu Bai; Hong, Pengfei; Ghosh, Romila; Roy, Abhinaba; Chhaya, Niyati; Gelbukh, Alexander (2021-09-13). "Recognizing Emotion Cause in Conversations". Cognitive Computation. doi:10.1007/s12559-021-09925-7. ISSN 1866-9964.