감성 컴퓨팅

Affective computing

감성 컴퓨팅은 인간의 영향을 인식, 해석, 처리 및 시뮬레이션할 수 있는 시스템 및 디바이스의 연구 및 개발입니다.그것은 컴퓨터 과학, 심리학, 인지 [1]과학에 걸친 학문 간 분야이다.이 분야의 핵심 아이디어는 [2]감정에 대한 초기 철학적 연구까지 거슬러 올라갈 수 있지만, 컴퓨터 과학의 보다 현대적인 분야는 로잘린드 피카르의 1995년[3] 감성 컴퓨팅에 관한 논문과 MIT Press[5][6]의해 출판된 그녀의 책 Affective[4] Computing에서 비롯되었습니다.이 연구의 동기 중 하나는 공감 시뮬레이션을 포함한 감성 지능을 기계에 부여하는 능력입니다.기계는 인간의 감정 상태를 해석하고 행동을 적응시켜 그 감정에 적절한 반응을 보여야 한다.

지역들

감정 정보의 검출 및 인식

감정 정보의 검출은, 통상, 입력을 해석하지 않고, 유저의 신체 상태나 행동에 관한 데이터를 캡쳐 하는 수동 센서로부터 개시됩니다.수집된 데이터는 인간이 다른 사람의 감정을 인지하기 위해 사용하는 신호와 유사합니다.예를 들어, 비디오 카메라는 얼굴 표정, 몸짓 및 제스처를 캡처하고 마이크는 말을 캡처할 수 있습니다.다른 센서는 피부 온도와 갈바닉 [7]저항성과 같은 생리학적 데이터를 직접 측정하여 감정적 신호를 감지합니다.

감정적인 정보를 인지하고 집계된 데이터에서 의미 있는 패턴의 추출 필요로 한다.이 음성 인식, 자연 언어 처리, 혹은 얼굴 표정 탐지 같은 다른 양식, 조사 분류합니다 기술들을 배우고 기계 사용하여 처리한다.이러한 기술의 대부분의 목적은 인간 지각하는 사람. 같은 상황에서를 주고는 라벨과 일치하도록 일치하게 라벨을 만들어 내는 있다.만약 어떤 사람 특별한 표정 그들의 이마 만입게 만든다 예를 들어 컴퓨터 시각 시스템"혼란스러워" 나타나거나"약간 부정적인""집중"(만약 그들은happy-appearing 방식으로 웃고 있는 긍정적인,라고 말할 수 있을 것에 반대하)로서 그들의 얼굴을 붙이도록 가르칠 수 있다.이 라벨을 수도 있는 사람이 어떻게 느끼는 지와 일치하지 않다.

기계 속 감정

계산 기기는 설득력 있게 감정simulating 수 있거나 타고난 감정적인 역량이나 나타날 것을 제안했다의 정서적인 컴퓨팅 안에 또 다른 분야는 설계.회화 요원들은 감정의 더 실용적인 접근을 현재 기술적 능력에 따라는 모의 실험에서 주문하고 촉진하고 기계 인간의 상호 작용하기.[8]

마빈 민스키, 하나의 인공 지능에 초창기의 컴퓨터 과학자들의, 기계 지능 진술의 이모션 머신에 그 감정"특히 'thinking이라 부르는 과정과 다를 바 없다 더 넓은 문제들에게 감정과 관련이 있다.'"[9]

테크놀로지

심리학, 인지 과학, 신경 과학에서 어떻게 인간들이 인지하고 분류하다 감정:또는 정언적 연속을 설명하는데, 두 주요 방법이 있습니다.계속 접근 방식 긍정적인, 차분함와 장을 불러일으켰다 vs부정적과 같은 크기를 사용하는 경향이 있다.

그 단정적인 접근법, 슬픈, 화, 무서운, 놀라움, 메스꺼움 행복한 같은 독립 클래스를 사용하는 경향이 있다.기계의 종류 회귀 및 분류 학습 모델을 기계 또는 이산 연속 라벨을 생산한 것에 대해 사용될 수 있다.때때로 모델 또한 범주에 걸쳐 조합 예를 들어happy-surprised 얼굴 또는fearful-surprised 얼굴을 허락한다면 지어진다.[10]

다음 섹션에서는 감정 인식 작업에 사용되는 많은 종류의 입력 데이터에 대해 설명합니다.

감성적인 말씨

자율신경계의 다양한 변화는 사람의 말을 간접적으로 바꿀 수 있고, 감정 기술은 감정을 인식하기 위해 이 정보를 활용할 수 있다.예를 들어, 두려움, 분노, 또는 기쁨의 상태에서 생성된 연설은 빠르고, 크고, 정확하게 발음되며, 피로의 범위와 지루함, 또는 슬픔과 같은 감정들은 느리고, 저조하고,[11] 음침한 말을 만드는 경향이 있다.어떤 감정들은 분노나 [13]승인과 같이[12] 계산적으로 더 쉽게 식별되는 것으로 밝혀졌다.

감성 음성 처리 기술은 음성 특징의 컴퓨터 분석을 사용하여 사용자의 감정 상태를 인식합니다.음성 파라미터와 피치변수, 음성속도 등의 운율특징은 패턴인식기법을 [12][14]통해 해석할 수 있다.

음성 분석은 2003년과 [15][16]2006년 연구에서 보고된 평균 정확도가 70-80%인 감정 상태를 식별하는 효과적인 방법이다.이러한 시스템은 인간의 평균 정확도(약 60%)[12]를 능가하는 경향이 있지만, 생리 상태나 얼굴 [17]표정과 같은 감정 감지를 위해 다른 양식을 사용하는 시스템보다 정확도가 떨어진다.그러나, 많은 음성 특성이 의미론이나 문화와 독립적이기 때문에, 이 기술은 향후 연구를 [18]위한 유망한 경로로 간주된다.

알고리즘

음성/텍스트 영향 검출 프로세스에서는 응용에 대한 모든 요구에 부합할 만큼 충분히 광범위한 신뢰성 있는 데이터베이스, 지식 기반 또는 벡터 공간 [19]모델을 생성해야 하며, 빠르고 정확한 감정 식별을 가능하게 하는 성공적인 분류자를 선택해야 한다.

현재, 가장 자주 사용되는 classifiers 있선형 판별 classifiers(LCD),k-nearest 이웃(k-NN), 가우스의 혼합물 모델(GMM), 지원 벡터 기계(SVM), 인공 신경망(ANN), 결정 트리 알고리즘과 숨겨진 마르코프 모델 다양한 연구는 적당한 선형 분급기 선택 signifi 수 있다는 것을(HMMs)[20].캔트ly는 시스템 [17]전체의 퍼포먼스를 향상시킵니다.각 알고리즘에 대한 간단한 설명은 다음과 같습니다.

  • LDC – 보통 벡터 피쳐 형식으로 제공되는 피쳐 값의 선형 조합에서 얻은 값에 따라 분류됩니다.
  • k-NN: 분류는 기능 공간에서 객체를 찾아 k개의 가장 가까운 네이버와 비교함으로써 이루어집니다(트레이닝 예시).다수결로 분류가 결정된다.
  • GMM – 전체 모집단 내 하위 모집단의 존재를 나타내기 위해 사용되는 확률론적 모델이다.각 하위 모집단은 관측치를 하위 [21]모집단으로 분류할 수 있는 혼합물 분포를 사용하여 설명합니다.
  • SVM – 가능한 두 개 이상의 클래스 중 어느 클래스에 각 입력이 속할지를 결정하는 (보통 바이너리) 선형 분류기의 일종입니다.
  • ANN – 생물학적 신경 네트워크에서 영감을 얻어 특징 공간의 가능한 비선형성을 더 잘 파악할 수 있는 수학적 모델입니다.
  • 의사결정 트리 알고리즘– 분류 결과를 나타내는 잎과 분류를 유도하는 후속 기능의 조합을 나타내는 의사결정 트리에 따라 작업합니다.
  • HMM – 상태와 상태 전이를 직접 관찰할 수 없는 통계 마르코프 모델.대신 상태에 따라 일련의 출력이 표시됩니다.영향 인식의 경우, 출력은 음성 특징 벡터의 시퀀스를 나타내며, 이를 통해 모델이 진행된 상태의 시퀀스를 추론할 수 있다.상태는 감정 표현의 다양한 중간 단계로 구성될 수 있으며, 각각의 상태는 가능한 출력 벡터에 대한 확률 분포를 가집니다.주의 시퀀스는 우리가 분류하려는 감정 상태를 예측할 수 있게 하며, 이것은 언어 영향 검출 영역 내에서 가장 일반적으로 사용되는 기술 중 하나이다.

충분한 음향 증거를 이용할 수 있다는 것은 다수결 분류기에 의해 개인의 감정 상태를 분류할 수 있다는 것을 증명한다.제안된 분류기 세트는 kNN, C4.5 및 SVM-RBF 커널의 3가지 주요 분류기를 기반으로 합니다.이 세트는, 개별적으로 취득한 각 기본 분류자보다 뛰어난 퍼포먼스를 실현합니다.이는 2개의 다른 분류기 세트(하이브리드 커널을 갖춘 OAA(One-Ans-All) 멀티클래스 SVM)와 C5.0과 Neural Network의 두 가지 기본 분류기로 구성된 분류기 세트)와 비교됩니다.제안된 변형은 다른 두 세트의 [22]분류자보다 더 나은 성능을 달성한다.

데이터베이스

현재 시스템의 대부분은 데이터에 의존합니다.이는 분류자를 훈련시키는 데 사용되는 적절한 데이터베이스를 선택하는 것을 수반하기 때문에, 음성에 기초한 감정을 감지하는 데 가장 큰 어려움 중 하나를 야기한다.현재 보유하고 있는 대부분의 데이터는 배우로부터 얻어진 것이며 따라서 전형적인 감정의 표현이다.소위 행동 데이터베이스라고 불리는 이 데이터베이스는 보통 6가지 기본적인 감정(분노, 두려움, 혐오, 놀라움, 기쁨, 슬픔)의 존재를 가정하는 기본 감정 이론(Paul Ekman)에 기초하고 있으며, 다른 것들은 단순히 앞의 [23]감정들의 혼합이다.그럼에도 불구하고, 이것들은 여전히 높은 오디오 품질과 균형 잡힌 클래스를 제공합니다(대부분은 너무 적지만). 이는 감정을 인식하는 데 높은 성공률에 기여합니다.

그러나 실제 적용에는 자연주의 데이터가 선호됩니다.자연주의 데이터베이스는 피사체의 자연적 맥락에서의 관찰과 분석에 의해 생성될 수 있다.궁극적으로, 그러한 데이터베이스는 시스템이 상호작용의 목표와 결과를 산출할 뿐만 아니라 그들의 맥락에 기초한 감정을 인식할 수 있도록 해야 한다.이러한 유형의 데이터는 인간-컴퓨터 상호작용(HCI) 중에 자연적으로 발생하는 상태를 기술하기 때문에 진정한 실생활 구현을 가능하게 한다.

자연주의 데이터가 실제 데이터보다 많은 이점을 가지고 있음에도 불구하고, 그것은 얻기 어렵고 보통 감정의 강도는 낮다.또, 자연 컨텍스트에서 얻을 수 있는 데이터는, 주위의 노이즈나 피사체의 마이크로부터의 거리 때문에, 신호 품질이 낮다.그러한 데이터베이스를 처음 제작하려는 시도는 소니의 아이보 로봇 애완동물과 [24][25]노는 어린이(10-13)의 현실적인 맥락에 기초하여 개발된 CEICES(Combining Emotion Corpus for CEICES)이다.마찬가지로, 모든 감정 연구에 대해 하나의 표준 데이터베이스를 생성하는 것은 다른 영향 인식 시스템을 평가하고 비교하는 방법을 제공할 것이다.

음성 기술자

영향 인식 프로세스의 복잡성은 분류자 내에서 사용되는 클래스(영향)와 음성 기술자의 수에 따라 증가한다.따라서 모델이 감정을 성공적으로 식별할 수 있는 능력을 보장하고 성능을 향상시키려면 가장 관련성이 높은 특징만 선택하는 것이 중요하다. 이는 실시간 탐지에 특히 중요하다.가능한 선택의 폭은 매우 넓으며, 일부 연구에서는 200개 이상의 서로 다른 [20]기능의 사용을 언급하고 있다.시스템을 최적화하고 올바른 감정 검출의 성공률을 높이기 위해서는 중복되고 바람직하지 않은 것을 식별하는 것이 중요하다.가장 일반적인 언어 특성은 다음과 같은 [24][25]그룹으로 분류됩니다.

  1. 주파수 특성[26]
    • 악센트 모양 – 기본 주파수의 변화율에 영향을 받습니다.
    • 평균 피치 – 일반 스피치에 비해 화자가 얼마나 높은/낮은 스피치를 말하는지를 나타냅니다.
    • 등고선 경사 – 시간 경과에 따른 주파수 변화의 경향을 나타냅니다. 상승, 하강 또는 레벨일 수 있습니다.
    • 최종 하강 – 발언의 마지막에 주파수가 떨어지는 양.
    • 피치 범위 – 발화의 최대 및 최소 빈도 사이의 범위를 측정합니다.
  2. 시간 관련 기능:
    • 스피치 레이트– 시간 단위로 발음되는 단어 또는 음절의 비율을 나타냅니다.
    • 응력 빈도 – 피치 악센트 발언의 발생률을 측정합니다.
  3. 음성 품질 파라미터 및 에너지 기술자:
    • 호흡감 – 흡인음 측정
    • 휘도 – 스피치에서 고주파수 또는 저주파의 우위에 대해 설명합니다.
    • Loudness – 음성 파형의 진폭을 측정합니다. 이는 발화의 에너지로 변환됩니다.
    • 일시 중지 중단 – 소리와 무음 사이의 전환에 대해 설명합니다.
    • 피치 불연속성 – 기본 주파수의 변화를 설명합니다.

얼굴 효과 검출

얼굴표정의 검출과 처리는 광학적 흐름, 숨겨진 마르코프 모델, 뉴럴 네트워크 처리 또는 활성 외관 모델 등 다양한 방법을 통해 이루어집니다.둘 이상의 양식이 결합되거나 융합될 수 있다(예: 얼굴 표정과 말투 [27]운율, 얼굴 표정과 손짓,[28] 또는 다중 모달 데이터와 메타데이터 분석을 위한 말투와 텍스트가 있는 얼굴 표정).Affectiva는 감성 컴퓨팅과 직접 관련된 회사(Rosalind PicardRana El Kaliouby가 공동 설립)로 얼굴 영향 검출을 위한 솔루션과 소프트웨어를 조사하는 것을 목표로 하고 있습니다.

표정 데이터베이스

감정 데이터베이스를 만드는 것은 어렵고 시간이 많이 걸리는 작업입니다.그러나 데이터베이스 작성은 인간의 감정을 인식하는 시스템을 구축하기 위한 필수 단계입니다.공개적으로 이용 가능한 감정 데이터베이스의 대부분은 포즈된 표정만을 포함합니다.포즈드 표현 데이터베이스에서는 참가자에게 다른 기본적인 감정 표현을 표시하도록 요구되며, 자발적 표현 데이터베이스에서는 표정이 자연스럽다.자발적인 감정 유발은 의도된 감정의 풍부한 표시를 이끌 수 있는 적절한 자극의 선택에 상당한 노력을 필요로 한다.둘째, 이 과정은 훈련을 받은 개인이 수동으로 감정을 태그 붙이는 것을 포함하므로 데이터베이스의 신뢰성이 매우 높아집니다.표현과 그 강도에 대한 인식은 본질적으로 주관적이기 때문에, 검증의 목적을 위해 전문가의 주석이 필수적이다.

연구자들은 세 가지 유형의 데이터베이스(피크 표현 이미지 데이터베이스, 중성에서 피크까지의 감정을 묘사하는 이미지 시퀀스의 데이터베이스, 감성 주석이 있는 비디오 클립 등)로 작업합니다.표정 인식을 위해 많은 표정 데이터베이스가 만들어지고 공개되고 있다.널리 사용되는 데이터베이스 중 2개는 CK+와 JAFFE입니다.

감정분류

1960년대 말 파푸아뉴기니의 Fore Trivesman에 대한 이종문화 연구를 통해 Paul Ekman은 감정의 표정은 문화적으로 결정되는 것이 아니라 보편적인 것이라는 생각을 제안했습니다.따라서, 그는 그것들이 생물학적 기원이기 때문에 안전하고 정확하게 [23]분류될 수 있다고 제안했다.그래서 그는 [29]1972년에 여섯 가지 기본적인 감정을 공식적으로 표현했다.

하지만, 1990년대에 에크만은 [30]얼굴 근육에 모두 부호화되지 않은 긍정적이고 부정적인 감정의 범위를 포함하여 그의 기본적인 감정의 목록을 확장했다.새롭게 추가된 감정은 다음과 같습니다.

  1. 어뮤즈먼트
  2. 경멸
  3. 만족.
  4. 민망함
  5. 익사이팅
  6. 죄책감
  7. 성과에 대한 자부심
  8. 안도
  9. 만족
  10. 감각적 쾌락
  11. 수치심

안면 동작 부호화 시스템

심리학자들은 얼굴에 나타나는 감정의 물리적 표현을 공식적으로 분류하기 위해 시스템을 고안해냈다.Paul Ekman과 Wallace V가 만든 Facial Action Coding System(FACS)의 중심 개념.Carl-Herman Hjortsjö의[31] 초기 연구에 기초한 1978년의 Friesen은 행동 단위(AU)이다.그것들은 기본적으로 하나 이상의 근육의 수축이나 이완이다.심리학자들은 행동 단위("+"는 "그리고"를 의미)에 따라 다음과 같은 여섯 가지 기본적인 감정의 분류를 제안했습니다.

감정 액션 유닛
행복. 6+12
슬픔 1+4+15
서프라이즈. 1+2+5B+26
두려움은. 1+2+4+5+20+26
분노. 4+5+7+23
역겹다 9+15+16
경멸 R12A+R14A

얼굴 검출의 과제

모든 계산 연습과 마찬가지로 안면 처리에 의한 영향 검출에서는 사용되는 전체 알고리즘 또는 방법의 숨겨진 잠재력을 완전히 풀기 위해 몇 가지 장애물을 극복해야 합니다.거의 모든 종류의 AI 기반 탐지(음성 인식, 얼굴 인식, 영향 인식)의 초기에는 모델링과 추적의 정확성이 문제가 되어 왔다.하드웨어가 발전함에 따라 더 많은 데이터가 수집되고 새로운 발견이 이루어지며 새로운 관행이 도입됨에 따라 이러한 정확성 부족은 사라지며 소음 문제를 남긴다.단, 소음 제거 방법에는 근린 평균화, 선형 가우스 평활, 중위수 [32]필터링 또는 세균 사료 최적화 [33][34]알고리즘과 같은 새로운 방법이 있다.

기타 과제는 다음과 같습니다.

  • 다양한 연구의 대부분의 피험자에 의해 사용되는 포즈된 표현은 자연스럽지 않으며, 따라서 이에 대해 훈련된 알고리즘은 자연 표현에 적용되지 않을 수 있다.
  • 회전 이동의 자유 부족.영향을 감지하는 기능은 정면 사용 시 매우 잘 작동하지만, 헤드를 20도 이상 회전하면 "[35]문제가 발생했습니다."
  • 얼굴 표정은 항상 그에 맞는 근본적인 감정과 일치하는 것은 아닙니다(예를 들어, 자세를 취하거나 가짜로 꾸밀 수 있으며, 사람은 감정을 느끼지만 "포커 얼굴"을 유지할 수 있습니다).
  • FACS는 역학을 포함하지 않았지만, 역학은 명확화를 도울 수 있다(예: 진정한 행복의 미소는 "행복해 보이려고 하는" 웃음과는 다른 역학을 갖는 경향이 있다).
  • FACS 조합은 심리학자들이 처음에 제안한 감정과 1:1로 일치하지 않는다(이러한 1:1 매핑의 결여는 동음이의어 및 많은 다른 모호성 원천을 가진 음성 인식에서도 발생하며, 다른 정보 채널을 도입함으로써 완화될 수 있다).
  • 문맥을 추가하면 인식 정확도가 향상되지만 문맥 및 기타 양식을 추가하면 계산 비용과 복잡성이 증가한다.

몸짓

제스처는 특히 말투 및 얼굴 인식과 함께 사용될 때 사용자의 특정 감정 상태를 감지하는 수단으로 효율적으로 사용될 수 있다.구체적인 행동에 따라, 제스처는 질문에 대한 답을 모를 때 어깨를 들썩이는 것과 같은 단순한 반사 반응일 수도 있고 수화로 의사소통을 할 때처럼 복잡하고 의미 있는 것일 수도 있다.어떤 물체나 주변 환경을 이용하지 않고 우리는 손을 흔들거나 박수를 치거나 손짓을 할 수 있다.한편, 물건을 사용할 때, 우리는 그것들을 가리키고, 움직이고, 만지고, 다룰 수 있다.컴퓨터는 인간-컴퓨터 상호작용에 효율적으로 사용하기 위해 이러한 정보를 인식하고 컨텍스트를 분석하고 의미 있는 방법으로 응답할 수 있어야 합니다.

몸짓을 감지하는 방법에는 여러 가지가 있습니다[36].일부 문헌은 제스처 인식에서 3D 모델 기반과 외관 기반이라는 두 가지 접근 방식을 [37]구분합니다.가장 중요한 방법은 손바닥 위치 또는 관절 각도와 같은 몇 가지 중요한 매개변수를 얻기 위해 신체 부위의 주요 요소의 3D 정보를 사용합니다.한편, 외관 베이스의 시스템에서는, 이미지나 비디오를 사용해 직접 해석을 실시합니다.손동작은 몸짓 감지 [37]방법의 공통적인 초점이 되어 왔다.

생리학적 모니터링

이는 사용자의 생리학적 징후를 모니터링하고 분석함으로써 사용자의 감정 상태를 감지하는 데 사용될 수 있다.이러한 징후는 심박수와 피부 전도율의 변화에서부터 얼굴 근육의 미세한 수축과 얼굴 혈류 변화까지 다양하다.이 분야는 탄력을 받고 있으며, 현재 우리는 기술을 구현하는 실제 제품을 보고 있습니다.일반적으로 분석되는 네 가지 주요 생리학적 징후는 혈량 맥박, 갈바닉 피부 반응, 안면 근전도 검사, 그리고 얼굴 색상의 패턴이다.

혈액량맥박

개요

피험자의 혈액량 맥박은 [38]사지를 통한 혈류를 나타내는 그래프를 만드는 광맥동이라고 불리는 과정에 의해 측정될 수 있다.파도의 최고점은 심장이 사지에 피를 흘리는 심장 주기를 나타낸다.피험자가 공포를 느끼거나 깜짝 놀라면, 그들의 심장은 보통 한동안 빠르게 뛰면서 심장 주기의 진폭을 증가시킨다.이것은 기압골과 파도의 피크 사이의 거리가 줄어들었을 때 광전류 촬영기에서 분명히 볼 수 있다.피험자가 진정되고 몸의 내핵이 확장되어 더 많은 혈액이 사지로 흐를 수 있게 되면 주기는 정상으로 돌아옵니다.

방법론

특수 센서 하드웨어로 피부에 적외선을 비추고 반사되는 빛의 양을 측정합니다.빛이 혈류에서 풍부하게 발견되는 헤모글로빈에 의해 흡수되기 때문에 반사 및 투과되는 빛의 양은 BVP와 상관됩니다.

단점들

적외선을 비추고 반사광을 감시하는 센서가 항상 같은 끝을 가리키도록 하는 것은 번거로울 수 있습니다.특히 피사체가 컴퓨터를 사용하는 동안 스트레칭 및 위치 재조정이 자주 이루어지기 때문입니다.혈액량 맥박에 영향을 줄 수 있는 다른 요소들이 있다.이것은 사지를 통한 혈류량의 측정치이기 때문에, 만약 피험자가 뜨겁거나 특히 차갑다고 느낀다면, 그들의 몸은 피험자의 감정 상태와 상관없이 사지로 혈액이 흐르도록 다소 허용할 수 있다.

안면근조영술에서 전기활동을 측정하기 위해 사용되는 두 개의 주요 근육은 안면근조영술이다.

안면 근전도 검사

안면근조영술은 근섬유가 [39]수축할 때 발생하는 미세한 전기 자극을 증폭시켜 얼굴 근육의 전기적 활동을 측정하는 기술이다.얼굴은 많은 감정을 표현하지만, 보통 감정을 감지하기 위해 연구되는 두 가지 주요 안면 근육 그룹이 있습니다.주름잡기 근육으로도 알려진 주름잡기 근육은 눈썹을 찡그리게 하고, 따라서 부정적이고 불쾌한 감정 반응을 위한 최고의 테스트입니다.①대근육은 웃을 때 입꼬리를 뒤로 당기는 역할을 하기 때문에 긍정적인 감정 반응을 테스트하는 데 사용되는 근육이다.

여기에서는 GSR을 사용하여 측정한 피부 저항도와 피험자가 비디오 게임을 한 시간을 볼 수 있습니다.그래프에는 명확한 피크가 몇 개 있습니다.이것은 GSR이 기동 상태와 비기동 상태를 구별하는 좋은 방법임을 시사합니다.예를 들면, 통상, 신나는 게임 플레이가 많지 않은 게임 개시시에는, 높은 저항 레벨이 기록되고 있어 도전성이 낮기 때문에, 자극성이 낮아진다.경기 중 캐릭터가 죽어가면서 스트레스를 많이 받고 긴장감이 감도는 갑작스러운 수렁과 대조적이다.

갈바닉 피부 반응

갈바닉 피부 반응(GSR)은 [Electrodermal Activity] 또는 EDA로 알려진 보다 일반적인 현상에 대한 오래된 용어입니다. EDA는 피부의 전기적 특성이 변화하는 일반적인 현상입니다.피부는 [교감신경계]에 의해 신경화되어 있기 때문에 저항이나 전도도를 측정하면 자율신경계의 교감지점에 작은 변화를 정량화할 수 있습니다.땀샘이 활성화되면 피부가 땀에 젖기 전에 EDA의 수준을 포착하여(보통 컨덕턴스를 사용하여) 자율 각성의 작은 변화를 식별하는데 사용할 수 있습니다.피사체가 더 흥분할수록 피부 전도성이 [38]더 높아지는 경향이 있습니다.

피부 컨덕턴스는 종종 두 개의 작은 은-염화 은 전극을 피부에 배치하고 그 사이에 소량의 전압을 가하여 측정합니다.편안함을 극대화하고 자극을 줄이기 위해 손목, 다리 또는 발에 전극을 놓을 수 있으며, 이로 인해 손이 일상생활에서 완전히 자유로워집니다.

얼굴색

개요

사람 얼굴의 표면은 큰 혈관망으로 둘러싸여 있다.이러한 혈관의 혈류 변화는 얼굴에 눈에 띄는 색상의 변화를 일으킨다.얼굴 감정이 얼굴 근육을 활성화 시키는지 안 시키는지, 혈류 변화, 혈압, 포도당 수치, 그리고 다른 변화들이 일어납니다.또 얼굴색 신호는 얼굴 근육의 [40]움직임에 의해 제공되는 신호와는 무관하다.

방법론

접근법은 얼굴색 변화에 기초한다.Delaunay 삼각측량은 삼각 지역 작성에 사용됩니다.입과 눈의 내부를 정의하는 이러한 삼각형 중 일부(스크레라와 홍채)는 제거된다.왼쪽 삼각형 영역의 픽셀을 사용하여 피쳐 [40]벡터를 작성합니다.표준 RGB 색 공간의 픽셀 색상을 [42]oRGB 색[41] 공간이나 LMS 채널 등의 색 공간으로 변환하는 것이 얼굴을 다룰 때 더 나은 성능을 발휘한다는 것을 보여준다.따라서 위의 벡터를 더 좋은 색 공간에 매핑하고 적-녹색 및 황-청색 채널로 분해합니다.그런 다음, 동등한 감정을 찾기 위해 심층 학습 방법을 사용하세요.

시각미학

예술과 사진의 세계에서 미학은 아름다움에 대한 자연과 감상의 원리를 말한다.아름다움과 다른 미적 자질을 판단하는 것은 매우 주관적인 작업이다.Penn State의 컴퓨터 과학자는 영상 콘텐츠를 기계 학습의 문제로 사용하여 사진의 심미적 품질을 자동으로 추론하고, 동료 평가 온라인 사진 공유 웹 사이트를 데이터 [43]소스로 사용하는 과제를 해결합니다.그들은 심미적으로 즐거운 이미지와 불쾌한 이미지를 구별할 수 있다는 직감에 따라 특정한 시각적 특징을 추출한다.

잠재적인 응용 프로그램

교육

애정은 학습자의 학습 상태에 영향을 미칩니다.감성 컴퓨팅 기술을 사용하여, 컴퓨터는 학습자의 표정을 인식함으로써 학습자의 애정과 학습 상태를 판단할 수 있다.교육에서 교사는 분석 결과를 사용하여 학생의 학습 및 수용 능력을 파악한 후 합리적인 교육 계획을 수립할 수 있습니다.동시에, 그들은 학생들의 내적인 감정에 주의를 기울일 수 있고, 이것은 학생들의 정신 건강에 도움이 된다.특히 원격교육은 시공간이 분리돼 있어 교사와 학생 사이에 쌍방향 소통에 대한 정서적 유인이 없다.전통적인 교실 학습이 가져다주는 분위기가 없다면, 학생들은 쉽게 지루해지고 학습 효과에 영향을 미친다.원격 교육 시스템에 효과적 컴퓨팅을 적용하면 이 상황을 효과적으로 개선할 수 있습니다.[44]

헬스케어

소셜 로봇은 사용자와 환자의 감정 상태를 더 잘 판단하고 행동/프로그래밍을 적절하게 변경할 수 있기 때문에 의료에 사용되는 로봇뿐만 아니라 감정 인식의 혜택을 받고 있습니다.이는 고령화 인구가 증가하고 있거나 그들의 [45]요구를 충족시킬 젊은 근로자가 부족한 국가에서 특히 중요하다.

감성 컴퓨팅은 또한 [46]자폐증이 있는 사람들이 사용할 수 있는 커뮤니케이션 기술의 개발에도 적용되고 있다.텍스트의 정서적 구성 요소 또한 점점 더 주목을 받고 있으며, 특히 감정적 또는 감정적 [47]인터넷에서의 그 역할이 두드러지고 있다.

비디오 게임

감정적인 비디오 게임은 바이오피드백 [48]장치를 통해 플레이어의 감정 상태에 접근할 수 있습니다.특히 간단한 형태의 바이오피드백은 버튼을 누르는 압력을 측정하는 게임패드를 통해 이용할 수 있다. 이것은 플레이어의 각성 [49]수준과 강하게 상관관계가 있는 것으로 나타났다. 다른 한쪽 끝에는 뇌-컴퓨터 인터페이스[50][51]있다.정서적 게임은 자폐아들[52]정서적 발달을 지원하기 위해 의학 연구에 사용되어 왔다.

기타 응용 프로그램

그 외의 잠재적인 애플리케이션은, 소셜·모니터링을 중심으로 하고 있습니다.예를 들어, 자동차는 모든 탑승자의 감정을 모니터링하고 운전자가 [53]화를 내는 것을 감지하면 다른 차량에 경고하는 등 추가적인 안전 조치를 취할 수 있습니다.감성 컴퓨팅은 인간과 컴퓨터의 상호작용에 응용될 가능성이 있습니다.예를 들어, 사용자가 자신의 퍼포먼스를 확인할 수 있는 감성 미러, 화난 이메일을 보내기 전에 경고를 보내는 감정 감시 에이전트, 심지어 [54]음악 플레이어까지 기분을 바탕으로 트랙을 선택합니다.

루마니아 연구자 니쿠 세베 박사가 인터뷰에서 제시한 아이디어 중 하나는 특정 제품을 사용하는 사람의 얼굴을 분석하는 것이다(그는 아이스크림을 [55]예로 들었다).기업은 이러한 분석을 사용하여 각 시장에서 자사 제품이 좋은 평가를 받을지 여부를 추론할 수 있습니다.

사람들은 또한 그 사람의 실시간 비디오 녹화나 그 혹은 그녀의 표정 연구를 통해 TV 광고의 영향을 판단하기 위해 감정적인 상태 인식을 사용할 수 있다.많은 피험자 그룹에 대해 얻은 결과의 평균을 구하면, 그 광고(또는 영화)가 원하는 효과를 가지고 있는지, 그리고 관찰자가 가장 관심을 가지는 요소가 무엇인지 알 수 있다.

인식론자와 대화식 접근법

인간과 컴퓨터의 상호작용 분야에서는 로잘린드 피카르의 인식주의 또는 "정보 모델"의 감정 개념은 Kirsten Boehner와 다른 사람들이 감정을 본질적으로 [56]사회적이라 보는 "포스트 인지주의" 또는 "인터랙티브" 실용주의 접근법에 의해 비판을 받아왔다.

Picard는 인간과 컴퓨터의 상호작용에 중점을 두고 있으며, 감성 컴퓨팅의 목표는 "컴퓨터에 감정을 인식하고 표현하며 경우에 따라서는 '가진'[4] 감정을 표현할 수 있는 능력을 부여하는 것"입니다.반대로, 인터랙티브 어프로치는, 「사람들이 자신의 [57]감정을 이해하고 경험하는 것」과 컴퓨터에 의한 대인 커뮤니케이션을 향상시키는 것을 목적으로 하고 있습니다.그것은 기계 해석을 위해 반드시 감정을 객관적인 수학적 모델로 매핑하는 것을 추구하지 않고, 오히려 인간이 서로의 감정 표현을 애매하고 주관적이며 [57]: 284 [example needed]상황에 민감할 수 있는 자유로운 방식으로 이해하도록 한다.

피카르의 비평가들은 그녀의 감정 개념을 "객관적이고, 내면적이고, 사적인, 그리고 기계적인" 것으로 묘사한다.그들은 그것이 감정을 측정할 수 있고 인지에 대한 입력인 신체 내부에서 발생하는 분리된 심리 신호로 감소시켜 감정 [57]: 280 [57]: 278 경험의 복잡성을 줄인다고 말한다.

상호작용적 접근은 감정이 생물물리학적 측면을 가지고 있지만, 그것은 "문화적으로 기초가 되고, 역동적으로 경험되고, 행동과 상호작용에 어느 정도 구성되어 있다"[57]: 276 고 주장한다.즉, 「감정」은,[58][57][59] 「상호작용을 통해서 경험하는 사회적, 문화적 상품으로서」라고 하는 것입니다.

「 」를 참조해 주세요.

인용문

  1. ^ Tao, Jianhua; Tieniu Tan (2005). "Affective Computing: A Review". Affective Computing and Intelligent Interaction. Vol. LNCS 3784. Springer. pp. 981–995. doi:10.1007/11573548.
  2. ^ James, William (1884). "What Is Emotion". Mind. 9 (34): 188–205. doi:10.1093/mind/os-IX.34.188. 타오와 탄이 인용했다.
  3. ^ "Affective Computing" MIT 테크니컬 리포트 #321 (개요), 1995
  4. ^ a b Picard, Rosalind (1997). Affective Computing. Cambridge, MA: MIT Press. p. 1.
  5. ^ Kleine-Cosack, Christian (October 2006). "Recognition and Simulation of Emotions" (PDF). Archived from the original (PDF) on May 28, 2008. Retrieved May 13, 2008. The introduction of emotion to computer science was done by Pickard (sic) who created the field of affective computing.
  6. ^ Diamond, David (December 2003). "The Love Machine; Building computers that care". Wired. Archived from the original on 18 May 2008. Retrieved May 13, 2008. Rosalind Picard, a genial MIT professor, is the field's godmother; her 1997 book, Affective Computing, triggered an explosion of interest in the emotional side of computers and their users.
  7. ^ Garay, Nestor; Idoia Cearreta; Juan Miguel López; Inmaculada Fajardo (April 2006). "Assistive Technology and Affective Mediation" (PDF). Human Technology. 2 (1): 55–83. doi:10.17011/ht/urn.2006159. Archived (PDF) from the original on 28 May 2008. Retrieved 2008-05-12.
  8. ^ Heise, David (2004). "Enculturating agents with expressive role behavior". In Sabine Payr; Trappl, Robert (eds.). Agent Culture: Human-Agent Interaction in a Mutlicultural World. Lawrence Erlbaum Associates. pp. 127–142.
  9. ^ Restak, Richard (2006-12-17). "Mind Over Matter". The Washington Post. Retrieved 2008-05-13.
  10. ^ Aleix, and Shichuan Du, Martinez (2012). "A model of the perception of facial expressions of emotion by humans: Research overview and perspectives" (PDF). The Journal of Machine Learning Research. 13 (1): 1589–1608.
  11. ^ Breazeal, Cynthia; Aryananda, Lijin (2002). "Recognition of Affective Communicative Intent in Robot-Directed Speech" (PDF). Autonomous Robots. Springer. 12 (1): 83–104. doi:10.1023/a:1013215010749. ISSN 0929-5593.
  12. ^ a b c 델라트, F., 폴리진, 티. 및 와이벨, 스피치에서의 감정 인식」(In Proc).ICSLP 1996 중 필라델피아, 펜실베이니아, 1970-1973, 1996 페이지
  13. ^ Roy, D.; Pentland, A. (1996-10-01). Automatic spoken affect classification and analysis. Proceedings of the Second International Conference on Automatic Face and Gesture Recognition. pp. 363–367. doi:10.1109/AFGR.1996.557292. ISBN 978-0-8186-7713-7. S2CID 23157273.
  14. ^ Lee, C.M., S., Narayanan; Pieraccini, R., 인간 음성 신호에서 부정적인 감정의 인식, 자동에 관한 워크숍.음성 인식과 이해, 2001년 12월
  15. ^ Neiberg, D; Elenius, K; Laskowski, K (2006). "Emotion recognition in spontaneous speech using GMMs" (PDF). Proceedings of Interspeech.
  16. ^ Yacoub, Sherif; Simske, Steve; Lin, Xiaofan; Burns, John (2003). "Recognition of Emotions in Interactive Voice Response Systems". Proceedings of Eurospeech: 729–732. CiteSeerX 10.1.1.420.8158.
  17. ^ a b Hudlicka 2003, 페이지 24
  18. ^ Hudlicka 2003, 페이지 25
  19. ^ Charles Osgood; William May; Murray Miron (1975). Cross-Cultural Universals of Affective Meaning. Univ. of Illinois Press. ISBN 978-94-007-5069-2.
  20. ^ a b Scherer, Bénziger & Roesch 2010, 페이지 241
  21. ^ "가우스 혼합물 모델"Connexions – 지식 공유 및 커뮤니티 구축2011년 3월 10일 취득.
  22. ^ S.E. Khoruzhnikov; et al. (2014). "Extended speech emotion recognition and prediction". Scientific and Technical Journal of Information Technologies, Mechanics and Optics. 14 (6): 137.
  23. ^ a b 에크만, P.&Friesen, W.V(1969년).비언어적 행동의 레퍼토리:범주, 기원, 사용 및 코딩.Semiotica, 1, 49–98.
  24. ^ a b Steidl, Stefan (5 March 2011). "FAU Aibo Emotion Corpus". Pattern Recognition Lab.
  25. ^ a b 셰레르, Bänziger &, Roesch 2010년 페이지의 주 243.
  26. ^ Singh, Premjeet; Saha, Goutam; Sahidullah, Md (2021). "Non-linear frequency warping using constant-Q transformation for speech emotion recognition". 2021 International Conference on Computer Communication and Informatics (ICCCI). pp. 1–4. arXiv:2102.04029. doi:10.1109/ICCCI50826.2021.9402569. ISBN 978-1-7281-5875-4. S2CID 231846518.
  27. ^ Caridakis, G.; Malatesta, L.; Kessous, L.; Amir, N.; Raouzaiou, A.; Karpouzis, K. (November 2–4, 2006). Modeling naturalistic affective states via facial and vocal expressions recognition. International Conference on Multimodal Interfaces (ICMI'06). Banff, Alberta, Canada.
  28. ^ Balomenos, T.; Raouzaiou, A.; Ioannou, S.; Drosopoulos, A.; Karpouzis, K.; Kollias, S. (2004). "Emotion Analysis in Man-Machine Interaction Systems". In Bengio, Samy; Bourlard, Herve (eds.). Machine Learning for Multimodal Interaction. Lecture Notes in Computer Science. Vol. 3361. Springer-Verlag. pp. 318–328.
  29. ^ Ekman, Paul (1972). Cole, J. (ed.). Universals and Cultural Differences in Facial Expression of Emotion. Nebraska Symposium on Motivation. Lincoln, Nebraska: University of Nebraska Press. pp. 207–283.
  30. ^ 에크만, 폴(1999년)."Basic의 경우 감성".Dalgleish, T, 파워, M(eds.)에서.핸드 북 조사와 정서 학술지(PDF)의.Sussex지역 영국:JohnWiley도&Sons.2010-12-28.에 있는 원본(PDF)에서 Archived.
  31. ^ "체계적으로(FACSFacialActionCodingSystem)과 FACS형태 매뉴얼"Archived 10월 19일 2013년, 승객을 머신에.인력 페이스.212011년 3월 Retrieved.
  32. ^ "Spatial domain methods".
  33. ^ 뛰어난 알고리즘"Bacteric Foraging Optimization AlgorithmSwarm Algorithm – Clear Algorithm" 2019-06-12를 Wayback Machine에 보관.뛰어난 알고리즘212011년 3월 Retrieved.
  34. ^ "소프트 컴퓨팅"소프트 컴퓨팅2011년 3월 18일 취득.
  35. ^ 윌리엄스, 마크"더 나은 얼굴 인식 소프트웨어 테크놀로지 리뷰"테크놀로지 리뷰:테크놀로지의 미래에 관한 권위.212011년 3월 Retrieved.
  36. ^ J. K. Aggarwal, Q. Cai, Human Motion Analysis:A 리뷰, 컴퓨터 비전 및 이미지 이해, 제73, 제3호, 1999년
  37. ^ a b Pavlovic, Vladimir I.; Sharma, Rajeev; Huang, Thomas S. (1997). "Visual Interpretation of Hand Gestures for Human–Computer Interaction: A Review" (PDF). IEEE Transactions on Pattern Analysis and Machine Intelligence. 19 (7): 677–695. doi:10.1109/34.598226.
  38. ^ a b 피카르, 로잘린드(1998).감성 컴퓨팅MIT.
  39. ^ Larsen JT, Norris CJ, Cacioppo JT, "큰 광대뼈 코루게이터 슈퍼실리에 대한 전기근조영 활동에 대한 긍정적부정적 영향", (2003년 9월)
  40. ^ a b Benitez-Quiroz, Carlos F.; Srinivasan, Ramprakash; Martinez, Aleix M. (2018-03-19). "Facial color is an efficient mechanism to visually transmit emotion". Proceedings of the National Academy of Sciences. 115 (14): 3581–3586. doi:10.1073/pnas.1716084115.
  41. ^ Bratkova, Margarita; Boulos, Solomon; Shirley, Peter (2009). "oRGB: A Practical Opponent Color Space for Computer Graphics". IEEE Computer Graphics and Applications. 29 (1): 42–55. doi:10.1109/mcg.2009.13.
  42. ^ Hadas Shahar, Hagit Hel-Or, 얼굴색 딥러닝 방법을 이용한 마이크로 표정 분류, The IEEE International Conference on Computer Vision(ICCV), 2019, 페이지 0-0.
  43. ^ 리텐드라 다타, 다이라이 조시, 지아 리, 제임스 Z.Wang, 컴퓨터 어프로치를 사용한 사진 이미지의 미학을 연구하다, 컴퓨터 과학 강의 노트, 제3953권, 제3부, 페이지 288~301, 오스트리아 그라츠, 2006년 5월.
  44. ^ Wu, Chih-Hung; Huang, Yueh-Min; Hwang, Jan-Pan (November 2016). "Review of affective computing in education/Learning: Trends and challenges". British Journal of Educational Technology. 47 (6): 1304–1323. doi:10.1111/bjet.12324.
  45. ^ Yonck, Richard (2017). Heart of the Machine: Our Future in a World of Artificial Emotional Intelligence. New York: Arcade Publishing. pp. 150–153. ISBN 9781628727333. OCLC 956349457.
  46. ^ 영향 컴퓨팅 프로젝트
  47. ^ 샤나한, 제임스, 쿠, 옌, 위베, 재니스(2006).텍스트에서의 컴퓨팅 태도와 영향: 이론과 응용 프로그램Dordrecht: Springer Science & Business Media, 94페이지.ISBN 1402040261
  48. ^ Gilleade, Kiel Mark; Dix, Alan; Allanson, Jen (2005). Affective Videogames and Modes of Affective Gaming: Assist Me, Challenge Me, Emote Me (PDF). Proc. DiGRA Conf. Archived from the original (PDF) on 2015-04-06. Retrieved 2016-12-10.
  49. ^ Sykes, Jonathan; Brown, Simon (2003). Affective gaming: Measuring emotion through the gamepad. CHI '03 Extended Abstracts on Human Factors in Computing Systems. CiteSeerX 10.1.1.92.2123. doi:10.1145/765891.765957. ISBN 1581136374.
  50. ^ Nijholt, Anton; Plass-Oude Bos, Danny; Reuderink, Boris (2009). "Turning shortcomings into challenges: Brain–computer interfaces for games" (PDF). Entertainment Computing. 1 (2): 85–94. Bibcode:2009itie.conf..153N. doi:10.1016/j.entcom.2009.09.007.
  51. ^ Reuderink, Boris; Nijholt, Anton; Poel, Mannes (2009). Affective Pacman: A Frustrating Game for Brain–Computer Interface Experiments. Intelligent Technologies for Interactive Entertainment (INTETAIN). pp. 221–227. doi:10.1007/978-3-642-02315-6_23. ISBN 978-3-642-02314-9.
  52. ^ Khandaker, M (2009). "Designing affective video games to support the social-emotional development of teenagers with autism spectrum disorders". Studies in Health Technology and Informatics. 144: 37–9. PMID 19592726.
  53. ^ "In-Car Facial Recognition Detects Angry Drivers To Prevent Road Rage". Gizmodo. 30 August 2018.
  54. ^ Janssen, Joris H.; van den Broek, Egon L. (July 2012). "Tune in to Your Emotions: A Robust Personalized Affective Music Player". User Modeling and User-Adapted Interaction. 22 (3): 255–279. doi:10.1007/s11257-011-9107-7.
  55. ^ "Mona Lisa: Smiling? Computer Scientists Develop Software That Evaluates Facial Expressions". ScienceDaily. 1 August 2006. Archived from the original on 19 October 2007.
  56. ^ Battarbee, Katja; Koskinen, Ilpo (2005). "Co-experience: user experience as interaction" (PDF). CoDesign. 1 (1): 5–18. CiteSeerX 10.1.1.294.9178. doi:10.1080/15710880412331289917. S2CID 15296236.
  57. ^ a b c d e f Boehner, Kirsten; DePaula, Rogerio; Dourish, Paul; Sengers, Phoebe (2007). "How emotion is made and measured". International Journal of Human–Computer Studies. 65 (4): 275–291. doi:10.1016/j.ijhcs.2006.11.016.
  58. ^ Boehner, Kirsten; DePaula, Rogerio; Dourish, Paul; Sengers, Phoebe (2005). "Affection: From Information to Interaction". Proceedings of the Aarhus Decennial Conference on Critical Computing: 59–68.
  59. ^ Hook, Kristina; Staahl, Anna; Sundstrom, Petra; Laaksolahti, Jarmo (2008). "Interactional empowerment" (PDF). Proc. CHI: 647–656.

일반 소스

  • Hudlicka, Eva (2003). "To feel or not to feel: The role of affect in human–computer interaction". International Journal of Human–Computer Studies. 59 (1–2): 1–32. CiteSeerX 10.1.1.180.6429. doi:10.1016/s1071-5819(03)00047-8.
  • Scherer, Klaus R; Bänziger, Tanja; Roesch, Etienne B (2010). A Blueprint for Affective Computing: A Sourcebook and Manual. Oxford: Oxford University Press.

외부 링크