얼굴 표정 데이터베이스 목록

List of facial expression databases

얼굴표현 데이터베이스는 다양한 감정들의 얼굴표현을 가진 이미지나 동영상들을 모아 놓은 것이다.표정 인식 시스템 개발을 위한 알고리즘의 훈련, 테스트 및 검증에는 얼굴 행동에 대한 잘 알려진(감정 태그가 부착된) 미디어 콘텐츠가 필수적이다.감정 주석은 이산 감정 라벨 또는 연속적인 척도로 수행될 수 있다.대부분의 데이터베이스는 대개 여섯 개의 분리된 기본 감정(위험, 공포, 혐오, 놀라움, 기쁨, 슬픔)의 존재를 가정하는 기본 감정 이론(폴 에크만)에 근거한다.그러나, 일부 데이터베이스는 지속적인 흥분-밸런스 척도로 감정 태깅을 포함한다.

포즈 표현 데이터베이스에서 참가자들은 다른 기본적인 감정 표현을 보여야 하는 반면, 자발적 표현 데이터베이스에서는 표현이 자연스럽다.자발적인 표현은 강렬함, 구성, 지속시간 면에서 포즈된 표현과 현저하게 다르다.이와 별도로, 일부 AU의 합성은 관련 감정 상태를 거치지 않고서는 거의 달성할 수 없다.따라서 대부분의 경우 포즈된 표현은 과장된 반면 자발적인 표현은 미묘하고 외모가 다르다.

많은 공공 이용 가능한 데이터베이스는 여기에서 분류된다.[1][2]여기 얼굴 표정 데이터베이스의 몇 가지 세부사항이 있다.

데이터베이스 표정 과목수 이미지/비디오 수 회색/색상 분해능, 프레임률 지상진리 유형
스타일화된 문자를 위한 FERG-3D-DB(Facial Expression Research Group 3D 데이터베이스) 분노, 혐오, 두려움, 기쁨, 중립, 슬픔, 놀라움 4 39574개의 주석이 달린 예시 감정표지 정면 포즈
RYWDESS(Ryerson Audio-Visual Database of Sensitive Speech and Song) 연설: 침착하고, 행복하고, 슬프고, 화가 나고, 두렵고, 놀라고, 혐오스럽고, 중립적이다.

송: 침착하고, 행복하고, 슬프고, 화나고, 두렵고, 중립적인.각각의 표현은 두 단계의 감정적 강도로 이루어진다.

24 7356 비디오 및 오디오 파일 1280x³(720p) 얼굴표현 라벨

319명의 측정자가 제공한 등급

포즈드
CK+([5]확장된 Cohn-Kanade Dataset) 중립, 슬픔, 놀라움, 행복, 두려움, 분노, 경멸, 혐오 123 593개의 영상 시퀀스(별도의 감정 레이블이 있는 327개의 시퀀스) 대부분 회색 640* 490 얼굴 표정 라벨 및 FASS(각 이미지 시퀀스의 최종 프레임에 대한 AU 라벨) 포즈를 취한; 자발적인 미소
일본 여성 얼굴 표정 (JAFFE)[6] 중립, 슬픔, 놀라움, 행복, 두려움, 분노, 혐오감 10 213개의 정적 이미지 회색 256* 256 얼굴표현 라벨 포즈드
MMI 데이터베이스[7] 43 1280개의 비디오와 250개 이상의 이미지 720* 576 각 이미지 시퀀스에서 정점 표정의 이미지 프레임에 대한 AU 라벨 포즈드 및 자발적
벨파스트 데이터베이스[8] 세트 1(혐오, 공포, 오락, 좌절, 놀라움) 114 570 비디오 클립 720*576 자연감정
세트 2(혐오, 공포, 유희, 좌절, 놀라움, 분노, 슬픔) 82 650개의 비디오 클립
세트 3(혐오, 공포, 유희) 60 180개의 비디오 클립 1920*1080
인도 반액션 얼굴표현 데이터베이스(iSAFE)[9] 행복, 슬픔, 두려움, 놀라움, 분노, 중립, 혐오 44 395 클립 1920x1080

(60fps)

감정표지 자발적
DISFA[10] - 27 4,845개의 비디오 프레임 1024*768, 20fps 각 비디오 프레임에 대한 AU 강도(12AU) 자발적
멀티미디어 이해 그룹(MUG)[11] 중립, 슬픔, 놀라움, 행복, 두려움, 분노, 혐오감 86 1462 시퀀스 896*896, 19fps 감정표지 포즈드
인도 자발적 표현 데이터베이스(ISED)[12] 슬픔, 놀라움, 행복, 혐오감 50 428개의 비디오 1920* 1080, 50fps 감정표지 자발적
RaFD(Radboud Faces Database)[13] 중립, 슬픔, 경멸, 놀람, 행복, 공포, 분노, 혐오 67 세 개의 다른 시선 방향과 다섯 개의 카메라 각도(8*67*3*5=8040 이미지) 681*1024 감정표지 포즈드
Oulu-CASIA NIR-VIS 데이터베이스 놀라움, 행복, 슬픔, 분노, 공포와 혐오 80 세 가지 조명 조건: 정상, 약함 및 어둡음(총 2880개의 비디오 시퀀스) 320×240 포즈드
퍼거슨(Facial Expression Research Group Database)-스타일화된 문자를 위한 DB[14] 분노, 혐오, 두려움, 기쁨, 중립, 슬픔, 놀라움 6 55767 768x768 감정표지 정면 포즈
ImpactNet[15] 중립, 행복, 슬픔, 놀라움, 공포, 혐오, 분노, 경멸 수동으로 주석 처리된 최대 45만 개

~ 50만 개의 주석이 자동으로 추가됨

다양한 감정표지, 용맹, 흥청망청 와일드 세팅
임파-페이스3D[16] 중립 정면, 기쁨, 슬픔, 놀라움, 분노, 혐오, 두려움, 개방, 폐쇄, 키스, 왼쪽, 오른쪽, 중립 시상 왼쪽, 중립 시상 오른쪽, 네이프 및 이마(가끔씩) 38 정적 영상 534개 640X480 감정표지 포즈드
FEI 면 데이터베이스 중립, 중립 200 2800개의 정적 이미지 640X480 감정표지 포즈드
[17][18] 윌드 용맹과 흥청망 200 수동으로 주석 처리된 ~1250,000개 다양(평균 = 640x360) 발랑스, 아루살 와일드 내 설정
[19][20] 윌드2 중립, 행복, 슬픔, 놀라움, 공포, 혐오, 분노 + 용맹-아루살 + 액션 유닛 1,2,4,6,12,15,20,25 458 수동으로 주석 처리된 최대 2,800,000개 다양(평균 = 1030x630) Valence, Arousal, 7개의 기본 표현식, 각 비디오 프레임에 대한 액션 단위 와일드 내 설정
실제 환경 영향 데이터베이스(RAF-DB)[21][22] 6 classes of basic emotions (Surprised, Fear, Disgust, Happy, Sad, Angry) plus Neutral and 12 classes of compound emotions (Fearfully Surprised, Fearfully Disgusted, Sadly Angry, Sadly Fearful, Angrily Disgusted, Angrily Surprised, Sadly Disgusted, Disgustedly Surprised, Happily Surprised, Sadly Surprised, Fearfully Angry, Happily Disgusted) 29672개의 주석이 달린 예제 기존 데이터셋의 경우 다양하고 정렬된 데이터셋의 경우 100x100 감정표지 포즈드 및 자발적

참조

  1. ^ "collection of emotional databases". Archived from the original on 2018-03-25.
  2. ^ "facial expression databases".
  3. ^ 아네자, 디팔리 등"인간의 3D 스타일 캐릭터 표현 생성 학습." 2018 IEEE 동계 컴퓨터 비전 응용 콘퍼런스(WACV)IEEE, 2018.
  4. ^ 리빙스톤 & 루소(2018).감성 스피치와 노래의 라이더슨 오디오-비주얼 데이터베이스(RAVDESS): 북미 영어의 다이나믹한 표정과 발성 표현 세트. doi:10.1371/journal.pone.0196391
  5. ^ P. 루시, J. F.콘, T. 카나데, J. 사라기, Z.암바다르와 나.Matthews, "Extended Cohn-Kanade Dataset (CK+): 액션 유닛 및 감정 지정 표현을 위한 완벽한 얼굴 표정 데이터 세트" 2010년 Human Communative Action Analysis, CVPR에 관한 제3차 IEEE 워크숍에서 제공
  6. ^ Lyons, Michael; Kamachi, Miyuki; Gyoba, Jiro (1998). The Japanese Female Facial Expression (JAFFE) Database. doi:10.5281/zenodo.3451524.
  7. ^ M. Valstar와 M. Pantic은 Proc에서 "유인된 혐오, 행복, 놀라움: MMI 얼굴 표정 데이터베이스에 추가"라고 말했다. Int. Conf. 언어 자원평가, 2010
  8. ^ I. Senddon, M. McRory, G. McKeown, J. Hanratty, "The Belfast induced 자연 감정 데이터베이스", IEEE Trans. 감성 컴퓨팅, vol. 3, 1, 페이지 32-41, 2012
  9. ^ Singh, Shivendra; Benedict, Shajulin (2020). Thampi, Sabu M.; Hegde, Rajesh M.; Krishnan, Sri; Mukhopadhyay, Jayanta; Chaudhary, Vipin; Marques, Oge; Piramuthu, Selwyn; Corchado, Juan M. (eds.). "Indian Semi-Acted Facial Expression (iSAFE) Dataset for Human Emotions Recognition". Advances in Signal Processing and Intelligent Recognition Systems. Communications in Computer and Information Science. Singapore: Springer: 150–162. doi:10.1007/978-981-15-4828-4_13 (inactive 28 February 2022). ISBN 978-981-15-4828-4.{{cite journal}}: CS1 maint : 2022년 2월 현재 DOI 비활성화(링크)
  10. ^ S. M. 마바다티, M. H. 마호르, K. 바틀렛, P.Trinh와 J. Cohn, "DISFA: 자발적 얼굴 행동 강도 데이터베이스," IEEE Trans. 감성 컴퓨팅, 제4권, 제2권, 페이지 151-160, 2013
  11. ^ N. 아이판티, C. 파파크리스토우, A.Delopoulos, The MUG Face Expression Database, Proc. 11th Int.2010년 4월 12~14일 이탈리아 데센사노의 멀티미디어 인터렉티브 서비스를 위한 이미지 분석에 관한 워크숍.
  12. ^ S L 해피, P. Patnaik, A.루트레이, 그리고 R.Guha, 2016년 IEEE 영향 컴퓨팅 거래에서 "감정 인식을 위한 인도 자발적 표현 데이터베이스" doi:10.1109/TAFFC.2015.2498174.
  13. ^ Langner, O, Dotsch, R, Bijlstra, G, Wigboldus, D.H.J, Hawk, S.T, & Van Knippenberg, A. (2010)Radboud Faces 데이터베이스의 프레젠테이션 및 검증.인식 및 감정, 24(8), 1377—1388. doi:10.1080/0269999903485076
  14. ^ "Facial Expression Research Group Database (FERG-DB)". grail.cs.washington.edu. Retrieved 2016-12-06.
  15. ^ Mollahosseini, A.; Hasani, B.; Mahoor, M. H. (2017). "AffectNet: A Database for Facial Expression, Valence, and Arousal Computing in the Wild". IEEE Transactions on Affective Computing. PP (99): 18–31. arXiv:1708.03985. doi:10.1109/TAFFC.2017.2740923. ISSN 1949-3045. S2CID 37515850.
  16. ^ "IMPA-FACE3D Technical Reports". visgraf.impa.br. Retrieved 2018-03-08.
  17. ^ Zafeiriou, S.; Kollias, D.; Nicolaou, M.A.; Papaioannou, A.; Zhao, G.; Kotsia, I. (2017). "Aff-Wild: Valence and Arousal in-the-wild Challenge" (PDF). Computer Vision and Pattern Recognition Workshops (CVPRW), 2017: 1980–1987. doi:10.1109/CVPRW.2017.248. ISBN 978-1-5386-0733-6. S2CID 3107614.
  18. ^ Kollias, D.; Tzirakis, P.; Nicolaou, M.A.; Papaioannou, A.; Zhao, G.; Schuller, B.; Kotsia, I.; Zafeiriou, S. (2019). "Deep Affect Prediction in-the-wild: Aff-Wild Database and Challenge, Deep Architectures, and Beyond". International Journal of Computer Vision (IJCV), 2019. 127 (6–7): 907–929. doi:10.1007/s11263-019-01158-4. S2CID 13679040.
  19. ^ Kollias, D.; Zafeiriou, S. (2019). "Expression, affect, action unit recognition: Aff-wild2, multi-task learning and arcface" (PDF). British Machine Vision Conference (BMVC), 2019. arXiv:1910.04855.
  20. ^ Kollias, D.; Schulc, A.; Hajiyev, E.; Zafeiriou, S. (2020). "Analysing affective behavior in the first abaw 2020 competition". IEEE International Conference on Automatic Face and Gesture Recognition (FG), 2020: 637–643. arXiv:2001.11409. doi:10.1109/FG47880.2020.00126. ISBN 978-1-7281-3079-8. S2CID 210966051.
  21. ^ Li., S. "RAF-DB". Real-world Affective Faces Database.
  22. ^ Li, S.; Deng, W.; Du, J. (2017). "Reliable Crowdsourcing and Deep Locality-Preserving Learning for Expression Recognition in the Wild". 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR): 2584–2593. doi:10.1109/CVPR.2017.277. ISBN 978-1-5386-0457-1. S2CID 11413183.