컴퓨터 얼굴 애니메이션

Computer facial animation

컴퓨터 얼굴 애니메이션은 주로 캐릭터 얼굴의 이미지 또는 모델을 생성하고 애니메이션화하는 방법과 기술을 캡슐화한 컴퓨터 그래픽 영역입니다.캐릭터는 인간, 휴머노이드, 동물, 전설의 생물, 캐릭터 등이 될 수 있습니다.주제와 산출물 유형으로 인해, 심리학에서 전통적인 애니메이션에 이르기까지 많은 다른 과학 예술 분야와 관련이 있다.언어적, 비언어적 커뮤니케이션에서 인간의 얼굴의 중요성과 컴퓨터 그래픽 하드웨어 및 소프트웨어의 발전은 컴퓨터 얼굴 애니메이션에 상당한 과학적, 기술적, 예술적 관심을 불러일으켰다.

얼굴 애니메이션을 위한 컴퓨터 그래픽 방식의 개발은 1970년대 초에 시작되었지만, 이 분야의 주요 업적은 1980년대 후반부터 일어난 최근의 일이다.

컴퓨터 페이셜 애니메이션을 중심으로 한 작업은 크게 애니메이션 데이터를 생성하는 기술과 캐릭터에 적용하는 방법 두 가지로 나눌 수 있다.모션 캡처 및 키 프레임과 같은 기술은 첫 번째 그룹에 속하며, 모프 타깃 애니메이션(더 일반적으로 블렌드 쉐이프 애니메이션으로 알려져 있음) 및 골격 애니메이션은 두 번째 그룹에 속합니다.얼굴 애니메이션은 애니메이션 장편 영화 및 컴퓨터 게임을 통해 널리 알려지고 인기를 끌었지만, 그 응용 분야에는 커뮤니케이션, 교육, 과학 시뮬레이션 및 에이전트 기반 시스템(예: 온라인 고객 서비스 담당자)과 같은 더 많은 영역이 포함됩니다.최근 퍼스널 및 모바일 장치의 컴퓨팅 능력이 향상됨에 따라 얼굴 애니메이션은 사전 렌더링된 콘텐츠에 나타나는 것에서 런타임에 생성되는 것으로 전환되었습니다.

역사

인간의 얼굴 표정은 100년 이상 과학 연구의 대상이 되어 왔다.얼굴의 움직임과 표정에 대한 연구는 생물학적 관점에서 시작되었다.예를 들어 1640년대 후반 존 불워의 오래된 조사 후에, 찰스 다윈의 책 인간과 동물의 감정 표현은 행동 생물학에서 현대 연구의 주요한 출발로 여겨질 수 있다.

컴퓨터 기반의 표정 모델링과 애니메이션은 새로운 노력이 아니다.컴퓨터 기반 얼굴 표현에 대한 최초의 연구는 1970년대 초에 이루어졌다.최초의 3차원 얼굴 애니메이션은 1972년 파크에 의해 만들어졌다.1973년, Gilenson은 선으로 그려진 얼굴 이미지를 조합하고 편집하는 대화형 시스템을 개발했다.1974년, 파크는 매개변수화된 3차원 얼굴 모델을 개발했다.

얼굴의 움직임을 설명하는 가장 중요한 시도 중 하나는 얼굴 동작 코딩 시스템(FACS)이었다.원래 1960년대에 Carl-Herman Hjortsjö에 의해 개발되었고 1978년에 Ekman과 Friesen에 의해 갱신된 FACS는 46개의 기본 얼굴 행동 단위(AUs)를 정의한다.이러한 행동 단위의 주요 그룹은 눈썹 치켜세우기, 윙크, 말하기와 같은 행동에서 얼굴 근육의 원시적인 움직임을 나타냅니다.8AU는 단단한 3차원 헤드 이동(좌우 회전 및 기울기, 상하좌우 이동, 상하좌우 이동, 전후좌우 이동)을 위한 것입니다.FACS는 합성 얼굴의 바람직한 움직임을 기술하고 얼굴 활동을 추적하는 데 성공적으로 사용되었습니다.

1980년대 초반에는 플랫에 의해 최초로 근육 제어 얼굴 모델이 개발되었고 브레넌에 의해 얼굴 캐리커처를 위한 기술이 개발되었습니다.1985년 단편 애니메이션 토니 드 펠트리는 얼굴 애니메이션의 랜드마크였다.이것은 처음으로 컴퓨터 표정과 말장난이 이야기의 기본이 된 것이다.

1980년대 후반에는 워터스의 새로운 근육 기반 모델 개발, 마그네나트 탈만과 동료들의 추상적인 근육 동작 모델 개발, 루이스와 힐의 자동 음성 동기화에 대한 접근 등이 있었다.1990년대는 토이스토리(1995), 앤츠(1998), 슈렉, 몬스터 주식회사(2001년) 등의 애니메이션 영화나 심스 등의 컴퓨터 게임 등에서도 볼 수 있듯이 얼굴 애니메이션 기술의 개발과 주요 스토리텔링 요소로서의 컴퓨터 얼굴 애니메이션의 사용이 활발해지고 있다.10년 만의 이정표인 캐스퍼(1995년)는 디지털 얼굴 애니메이션을 단독 제작하는 첫 번째 영화다.

영화의 정교함은 2000년 이후 증가했다.매트릭스 리로드와 매트릭스 레볼루션에서는 얼굴의 모든 지점에서 사실적인 얼굴 움직임을 포착하기 위해 여러 고화질 카메라의 고밀도 광학 흐름이 사용되었습니다.Polar Express(필름)는 대형 Vicon 시스템을 사용하여 150점 이상을 캡처했습니다.이러한 시스템은 자동화되어 있지만 데이터를 사용할 수 있도록 하기 위해서는 여전히 많은 양의 수동 청소 작업이 필요합니다.얼굴 애니메이션의 또 다른 이정표는 캐릭터 고유의 형태 기반 시스템이 개발된 반지의 제왕에 의해 이루어졌다.Mark Sagar는 엔터테인먼트 페이셜 애니메이션에서 FACS를 최초로 사용했으며, Sagar가 개발한 FACS 기반 시스템은 Monster House, King Kong 및 기타 영화에서 사용되었습니다.

기술

얼굴 애니메이션 데이터 생성

얼굴 애니메이션 데이터의 생성은 1) 연기자의 얼굴의 포인트 또는 마크에 대한 마커 기반 모션 캡처, 2) 다른 유형의 카메라를 사용하는 마커리스 모션 캡처 기술, 3) 오디오 기반 기술, 4. 키 프레임 애니메이션 등 다양한 방법으로 접근할 수 있습니다.

  • 모션 캡처는 피사체 주위에 배치된 카메라를 사용합니다.피사체는 일반적으로 반사체(패시브 모션 캡처) 또는 피사체의 공간 내 위치를 정확하게 결정하는 소스(액티브 모션 캡처)를 장착한다.카메라에 의해 기록된 데이터는 디지털화되어 피험자의 3차원 컴퓨터 모델로 변환됩니다.최근까지 모션 캡처 시스템에서 사용되는 검출기/선원의 크기로 인해 이 기술은 얼굴 캡처에 적합하지 않았다.그러나 소형화와 다른 진보로 인해 모션 캡처는 컴퓨터 얼굴 애니메이션을 위한 실행 가능한 도구가 되었습니다.얼굴 모션 캡처는 Imageworks에 의해 폴라 익스프레스에서 수백 개의 모션 포인트를 캡처하는 데 광범위하게 사용되었습니다.이 영화는 매우 완성도 높았고 리얼리즘을 재현하려다 애니메이션 리얼리즘이 인간 인식과 감정적 메시지를 전달하기에 충분하지만 캐릭터가 리얼리즘으로 인식되지 않는 '이상한 계곡'에 빠졌다는 비판을 받았다.모션 캡처의 주요 어려움은 진동을 포함할 수 있는 데이터의 품질과 점의 지오메트리를 재설정하는 것입니다.
  • 마커리스 모션 캡처는 마커로 연주자에게 부담을 주지 않도록 함으로써 모션 캡처 프로세스를 단순화하는 것을 목적으로 합니다.최근 다양한 센서를 활용한 몇 가지 기술이 나왔는데, 그 중 표준 비디오 카메라, 키넥트 및 깊이 센서 또는 기타 구조화된 조명 기반 장치들이 그것이다.구조화된 빛에 기반한 시스템은 고속 구조화된 빛 스캐너를 사용하여 마커를 사용하지 않고도 실시간 성능을 달성할 수 있습니다.이 시스템은 다양한 표정으로 시스템을 훈련시키는 강력한 오프라인 얼굴 추적 단계를 기반으로 합니다.일치된 시퀀스는 이후 온라인 얼굴 추적 및 표정 전송에 사용되는 개인별 선형 얼굴 모델을 작성하는 데 사용됩니다.
  • 오디오 구동 기법은 특히 음성 애니메이션에 적합합니다.음성은 보통 얼굴 표정 애니메이션과 다른 방식으로 처리된다. 이는 애니메이션에 대한 단순한 키프레임 기반 접근법이 일반적으로 실제 음성 역학에 대한 근사치를 잘 제공하지 않기 때문이다.관찰된 음성(즉, 특정 음소를 생성할 때 입술, 턱 및 혀의 위치)에서 주요 자세를 나타내는 데 종종 내장(viseme)이 사용되지만, 자연 음성 생성 중 내장 실현에는 상당한 변화가 있다.이 변동의 근원은 현재 내장에 대한 주변 내장의 영향(즉, 맥락의 영향)인 공동화(coarticulation)라고 한다.공동화를 고려하기 위해 현재 시스템은 비셈 키 프레임을 혼합할 때 문맥을 명시적으로 고려하거나 쌍음, 트라이폰, 음절 또는 심지어 단어와 문장의 길이 단위와 같은 더 긴 단위를 사용한다.음성 애니메이션에 대한 가장 일반적인 접근법 중 하나는 Cohen과 Massaro가 도입한 우세 기능의 사용이다.각각의 우위 함수는 시간 경과에 따른 비소가 음성 발화에 미치는 영향을 나타낸다.일반적으로 영향은 내장 중심에서 가장 크며 내장 중심으로부터의 거리에 따라 저하됩니다.우위 함수는 스플라인 베이스 함수가 함께 혼합되어 곡선을 생성하는 것과 거의 같은 방법으로 음성 궤적을 생성하기 위해 함께 혼합된다.각 우세 기능의 모양은 그것이 나타내는 내장 및 얼굴의 어떤 측면(예: 입술 폭, 턱 회전 등)에 따라 달라진다.컴퓨터 생성 음성 애니메이션에 대한 이러한 접근은 발디 토킹 헤드에서 볼 수 있습니다.다른 음성 모델은 가시 대신 컨텍스트(예: 다이폰, 트라이폰 등)를 포함하는 기본 단위를 사용한다.기본 단위는 문맥에 따라 각 비장의 변동을 이미 통합하고 있으며, 어느 정도 각 비장의 역학을 통합하기 때문에, 공동화 모델은 필요하지 않다.음성은 데이터베이스에서 적절한 단위를 선택하고 그 단위를 함께 혼합함으로써 간단히 생성됩니다.이것은 음성 음성 합성에서의 연결 기술과 유사합니다.이러한 모델의 단점은 자연스러운 결과를 얻으려면 캡처된 데이터가 대량으로 필요하며, 단위가 길수록 자연스러운 결과가 나온다는 것입니다.또한 필요한 데이터베이스의 크기는 각 단위의 평균 길이에 따라 확대됩니다.마지막으로, 일부 모델은 오디오에서 직접 음성 애니메이션을 생성합니다.이러한 시스템은 일반적으로 숨겨진 마르코프 모델 또는 신경망을 사용하여 오디오 매개 변수를 얼굴 모델에 대한 제어 매개 변수의 스트림으로 변환합니다.이 방법의 장점은 복잡한 근사 알고리즘 없이 음성 컨텍스트 처리, 자연스러운 리듬, 템포, 감성 및 다이내믹 처리 능력입니다.음성이나 비주얼이 필요 없기 때문에 트레이닝 데이터베이스에 라벨을 붙일 필요는 없습니다.필요한 데이터는 음성과 애니메이션 파라미터뿐입니다.
  • 키프레임 애니메이션은 애니메이션 데이터를 생성하는 프로세스 중 가장 자동화되지 않은 프로세스이지만 애니메이션에 대한 제어는 최대화됩니다.애니메이션에 최종적인 광택을 전달하기 위해 종종 다른 기술과 조합하여 사용됩니다.키프레임 데이터는 골격 기반 리그가 있는 모델에서 골격의 모프 대상 계수 또는 회전 및 변환 값을 정의하는 스칼라 값으로 만들 수 있습니다.키프레임 애니메이션 프로세스의 속도를 높이기 위해 애니메이션에서 제어 리그를 사용하는 경우가 많습니다.제어 장비는 동시에 여러 형태 표적 계수 또는 골격에 작용할 수 있는 더 높은 수준의 추상화를 나타냅니다.예를 들어, "미소" 컨트롤은 입 모양이 구부러지는 것과 눈을 가늘게 뜨는 것에 동시에 작용할 수 있습니다.

캐릭터에 얼굴 애니메이션 적용

캐릭터에 얼굴 애니메이션을 적용하는 데 사용되는 주요 기술은 1) 형태 표적 애니메이션, 2. 뼈 기반 애니메이션, 3. 텍스처 기반 애니메이션(2D 또는 3D), 4. 생리 모델입니다.

  • Morph Targets('Blendshapes'라고도 함) 기반 시스템은 빠른 재생과 높은 수준의 표현 충실도를 제공합니다.이 기술은 얼굴 망사의 일부를 근사한 표정과 시각에 맞게 모델링한 다음 형태 표적 또는 혼합 형태라고 알려진 여러 하위 망사를 혼합하는 것을 포함합니다.아마도 이 기술을 사용한 가장 뛰어난 인물은 반지의 제왕에 나오는 골룸일 것이다.이 기술의 단점은 강도 높은 수작업이 수반되고 각 캐릭터에 고유하다는 것입니다.최근 3D 모델링의 새로운 개념이 등장하기 시작했습니다.최근에는 기존의 정적 형상 모델링이 아닌 3D 물체의 움직임을 모델링하는 것을 강조하는 곡선 제어[2] 모델링과 같은 기존 기법에서 벗어난 새로운 기술이 등장하기 시작했습니다.
  • 골격 애니메이션은 게임에서 매우 널리 사용된다.모든 미묘한 표정을 허용하기 위해 뼈의 구성은 몇 개의 뼈에서 백 개 가까이 다양할 수 있습니다.골격 기반 애니메이션의 주요 장점은 얼굴의 형태만 비슷하면 동일한 애니메이션을 다른 캐릭터에 사용할 수 있고, 두 번째로 모든 Morph 대상 데이터를 메모리에 로드할 필요가 없다는 것입니다.뼈 기반 애니메이션은 3D 게임 엔진에서 가장 널리 지원됩니다.골격 기반 애니메이션은 2D 및 3D 애니메이션에 모두 사용할 수 있습니다.예를 들어 Adobe Flash를 사용하여 Bone을 사용하여 2D 캐릭터를 조작하고 애니메이션을 만들 수 있습니다.
Quantic Dream 애니메이션 단편 '카라'의 스크린샷
  • 텍스처 기반 애니메이션은 캐릭터 얼굴에 애니메이션을 만들기 위해 픽셀 색상을 사용합니다. 2D 얼굴 애니메이션은 일반적으로 스틸 사진에서의 이미지와 비디오 시퀀스를 포함한 이미지의 변환을 기반으로 합니다.이미지 모핑은 한 쌍의 타깃 정지화면 사이 또는 비디오 시퀀스에서 프레임 사이에 과도화면을 생성할 수 있는 기술입니다.이러한 모핑 기법은 일반적으로 대상 이미지를 정렬하는 기하학적 변형 기법과 이미지 텍스처의 부드러운 전환을 만드는 크로스 페이드의 조합으로 구성됩니다.이미지 모핑의 초기 예는 마이클 잭슨의 "Black or White" 비디오에서 볼 수 있다.3D 애니메이션에서는 텍스처 자체 또는 UV 매핑을 애니메이션화하여 텍스처 기반 애니메이션을 구현할 수 있습니다.후자의 경우, 모든 얼굴 표정의 텍스처 맵을 작성하고, UV맵 애니메이션을 사용하여 하나의 표정에서 다음 표정으로 이행한다.
  • 골격근 시스템 및 신체 기반 머리 모델과 같은 생리학적 모델은 머리와 [3]얼굴을 모델링하는 데 있어 또 다른 접근방식을 형성합니다.여기서 뼈, 조직 및 피부의 물리적 및 해부학적 특성을 시뮬레이션하여 사실적인 외관(예: 스프링과 같은 탄력성)을 제공한다.이러한 방법들은 사실주의를 만드는데 매우 강력할 수 있지만, 얼굴 구조의 복잡성은 그것들을 계산적으로 비싸게 만들고 만들기 어렵게 만든다.(다음 절에서 설명하듯이) 통신 목적을 위한 매개 변수화된 모델의 효과를 고려할 때, 물리적 기반 모델은 많은 애플리케이션에서 매우 효율적인 선택이 아니라고 주장할 수 있습니다.이는 물리적 기반 모델의 이점 및 필요할 때 로컬 세부 정보를 제공하기 위해 매개 변수화된 모델의 컨텍스트 내에서 사용할 수 있다는 사실을 부인하지 않습니다.

얼굴 애니메이션 언어

얼굴 애니메이션의 내용을 묘사하기 위해 많은 얼굴 애니메이션 언어가 사용됩니다.호환되는 "플레이어" 소프트웨어에 입력되어 요청된 액션을 생성할 수 있습니다.페이스 애니메이션 언어는 SMIL이나 VRML 등의 다른 멀티미디어 프레젠테이션 언어와 밀접하게 관련되어 있습니다.데이터 표현 메커니즘으로서의 XML의 인기와 효과로 인해 대부분의 페이스 애니메이션 언어는 XML 기반의 언어입니다.예를 들어 Virtual Human Markup Language(VHML)의 예를 다음에 나타냅니다.

 <vhml><사람의 성질="50">처음에는 화난 목소리로 말하고, 매우 화난 것처럼 보이지만, 갑자기 놀란 얼굴로 바뀌어 버린다.</facebook> </person> </vhml>

고급 언어를 사용하면 의사 결정, 이벤트 처리 및 병렬 및 순차 작업을 수행할 수 있습니다.얼굴 모델링 언어(FML)는 얼굴 [4]애니메이션을 기술하기 위한 XML 기반 언어입니다.FML은 MPEG-4 Face Animation Parameters(FAPS), 의사결정 및 다이내믹이벤트 처리, 루프 등의 일반적인 프로그래밍 구조를 지원합니다.이것은 iFACE [4]시스템의 일부입니다.다음으로 FML의 예를 나타냅니다.

 <fml>    <액트>      <파>   <hdmv 입력="실패" 값="15" 시작="0" end="2000" />   <expr> 입력='즐기다' 값="-60" 시작="0" end="2000" />      </par>      <클라이언트> event_name="kbd" event_value="" 반복="kbd;F3_up" >   <hdmv 입력="실패" 값="40" 시작="0" end="2000" event_value="F1_up" />   <hdmv 입력="실패" 값="-40" 시작="0" end="2000" event_value="F2_up" />      </filters>    </act>  </fml>

「 」를 참조해 주세요.

레퍼런스

  1. ^ Hjortsjö, CH(1969)남자의 얼굴과 흉내내는 언어.
  2. ^ Ding, H.; Hong, Y. (2003). "NURBS curve controlled modeling for facial animation". Computers and Graphics. 27 (3): 373–385.
  3. ^ Lucero, J.C.; Munhall, K.G. (1999). "A model of facial biomechanics for speech production". Journal of the Acoustical Society of America. 106: 2834–2842. doi:10.1121/1.428108. PMID 10573899.
  4. ^ a b "iFACE". Carleton University. 6 June 2007. Archived from the original on 6 June 2007. Retrieved 16 June 2019.

추가 정보

외부 링크