얼굴 동작 캡처

Facial motion capture

얼굴 움직임 캡처는 카메라나 레이저 스캐너를 사용하여 사람의 얼굴 움직임을 전자적으로 디지털 데이터베이스로 변환하는 과정이다.그런 다음 이 데이터베이스를 사용하여 컴퓨터 그래픽(CG), 영화, 게임 또는 실시간 아바타를 위한 컴퓨터 애니메이션을 만들 수 있습니다.CG 캐릭터의 움직임은 실제 사람의 움직임에서 비롯되기 때문에 수동으로 만든 애니메이션보다 더 사실적이고 미묘한 컴퓨터 캐릭터 애니메이션을 만들 수 있다.

얼굴 동작 캡처 데이터베이스는 배우 얼굴상의 기준점의 좌표 또는 상대 위치를 기술한다.캡처는 2차원일 수 있으며, 이 경우 캡처 프로세스를 "표현 추적" 또는 3차원이라고 부르기도 합니다.단일 카메라와 캡처 소프트웨어를 사용하여 2차원 캡처를 수행할 수 있습니다.따라서 추적 작업이 덜 정교하고 헤드 회전과 같은 3차원 모션을 완전히 캡처할 수 없습니다.3차원 캡처는 멀티 카메라 리그 또는 레이저 마커 시스템을 사용하여 수행됩니다.이러한 시스템은 일반적으로 훨씬 더 비싸고 복잡하며 시간이 많이 소요됩니다.마커와 마커리스 추적 시스템의 두 가지 주요 기술이 있습니다.

얼굴 모션 캡처는 신체 모션 캡처와 관련이 있지만 눈과 입술의 작은 움직임에서 가능한 미묘한 표정을 감지하고 추적하기 위한 고해상도 요구 사항 때문에 더 어렵습니다.이러한 움직임은 보통 전신 캡처에 사용되는 것보다 훨씬 더 높은 해상도와 충실도 및 다른 필터링 기술이 필요한 경우가 많습니다.얼굴의 추가적인 제약은 또한 모델과 규칙을 사용할 수 있는 더 많은 기회를 허용합니다.

표정 캡처는 표정 캡처와 비슷합니다.시각적인 수단이나 기계적인 수단을 사용하여 컴퓨터 생성 문자를 사람의 얼굴에서 입력으로 조작하거나 사용자의 감정을 인식하는 과정입니다.

역사

퍼포먼스 지향 애니메이션에 관한 최초의 논문 중 하나는 1990년에 랜스 윌리엄스에 의해 출판되었다.거기서 그는 '실제 얼굴의 표현을 습득하여 컴퓨터 생성 [1]얼굴에 적용하는 수단'을 설명한다.

테크놀로지

마커 베이스

기존의 마커 기반 시스템은 최대 350개의 마커를 배우의 얼굴에 적용하고 고해상도 카메라로 마커 움직임을 추적합니다.이것은 톰 행크스와 같은 배우가 여러 다른 캐릭터들의 표정을 조종할 수 있도록 하기 위해 폴라 익스프레스나 베어울프와 같은 영화에서 사용되어 왔다.불행히도 이것은 상대적으로 번거롭고 일단 스무딩과 필터링이 이루어지면 배우들의 표현이 지나치게 추진되게 만든다.CaptiveMotion과 같은 차세대 시스템은 더 높은 수준의 세부 정보를 가진 기존 마커 기반 시스템의 오프스팟을 활용합니다.

액티브 LED 마커 기술은 현재 얼굴 애니메이션을 실시간으로 구동하여 사용자 피드백을 제공하는 데 사용되고 있습니다.

마커리스

마커리스 기술은 콧구멍, 입술, 눈꼬리, 주름 등 얼굴의 특징을 이용해 추적한다.이 기술되고 또 실증되 CMU,[2]IBM,[3]맨체스터 대학교(이 많은 팀 Cootes,[4]가레스 에드워즈와 크리스 테일러에 시작되)및 다른 위치에서 원하는 얼굴 featu을 추적하는데 적극적인 외모 모델, 주성분 분석, 고유 추적식 변형 가능한 표면 모형 및 기타 기법을 사용하여 논의된다.실체에서프레임 투 프레임이 기술은 훨씬 덜 번거롭고 배우에게 더 큰 표현을 가능하게 한다.

이러한 시각 기반 접근법은 또한 대부분의 컴퓨터 애니메이션 기능에서 명백한 문제인 동공의 움직임, 눈꺼풀, 입술과 혀에 의한 치아 폐색을 추적할 수 있는 능력을 가지고 있다.비전 기반 접근법의 일반적인 한계는 해상도와 프레임률입니다. 이 두 가지 모두 여러 소스에서 고속 고해상도 CMOS 카메라를 사용할 수 있게 되면서 문제가 감소되고 있습니다.

얼굴 인식 시스템은 잠재적으로 비디오의 각 프레임에 순차적으로 적용되어 얼굴 추적을 일으킬 수 있기 때문에 마커리스 얼굴 추적 기술은 얼굴 인식 시스템과 관련이 있습니다.예를 들어, Neven Vision[5] 시스템(이전의 Eyematics, 현재는 Google에 인수됨)은 개인별 훈련 없이 실시간 2D 얼굴 추적을 가능하게 했습니다. 또한 이 시스템은 2002년 미국 정부의 FRVT(Facial Recognition Vendor Test)에서 가장 성능이 뛰어난 얼굴 인식 시스템 중 하나였습니다.반면에 일부 인식 시스템은 표현을 명시적으로 추적하지 않거나 중립적이지 않은 표현에서 실패하기 때문에 추적에 적합하지 않다.반대로, 변형 가능한 표면 모델과 같은 시스템은 시간 정보를 통합하여 더 강력한 결과를 얻으며, 따라서 단일 사진에서 적용할 수 없었다.

마커리스 얼굴 추적은 매트릭스 속편이나[6] 벤자민 버튼의 큐리어스 케이스와 같은 영화에 적용된 이미지 메트릭스 같은 상용 시스템으로 발전했다.후자는 Mova 시스템을 사용하여 변형 가능한 얼굴 모델을 캡처했으며, 수동 및 시력 [7]추적의 조합으로 애니메이션을 만들었습니다.아바타는 또 다른 주목할 만한 퍼포먼스 캡처 영화였지만 마커리스보다는 채색된 마커를 사용했다.Dynamixyz는[permanent dead link] 현재 사용되고 있는 또 다른 상용 시스템입니다.

마커리스 시스템은 몇 가지 구별 기준에 따라 분류할 수 있다.

  • 2D 추적과 3D 추적
  • 개인별 훈련 또는 기타 인적 지원이 필요한지 여부
  • 실시간 퍼포먼스(훈련이나 감독이 필요 없는 경우에만 가능)
  • Mova 시스템에 사용되는 것과 같은 투사 패턴이나 보이지 않는 페인트와 같은 추가 정보 소스가 필요한지 여부.

지금까지 이 모든 기준에 대해 이상적인 시스템은 없었습니다.예를 들어, Neven Vision 시스템은 완전 자동이어서 숨겨진 패턴이나 개인별 교육이 필요 없었지만 2D였습니다.Face/Off[8] 시스템은 3D, 자동 및 실시간이지만 투영 패턴이 필요합니다.

표정 캡처

테크놀로지

기계 시스템이 번거롭고 사용하기 어려운 경향이 있기 때문에 디지털 비디오 기반 방법이 점점 더 선호되고 있습니다.

디지털 카메라를 사용하여 입력된 사용자의 표정을 처리하여 헤드 포즈를 제공하고, 소프트웨어는 눈, 코, 입을 찾을 수 있습니다.얼굴은 처음에는 중립 표현을 사용하여 보정됩니다.그리고 구조에 따라 눈썹, 눈꺼풀, 볼, 입 등이 중성적인 표정과 다르게 처리될 수 있습니다.예를 들어 입술의 가장자리를 찾아보고 독특한 물건으로 인식하면 됩니다.대부분의 경우 조영제 강화 메이크업이나 마커를 착용하거나 다른 방법으로 처리 속도를 높일 수 있습니다.음성 인식과 마찬가지로 최적의 기술은 90%에 불과하기 때문에 많은 양의 수동 조정이나 오류에 대한 내성이 필요합니다.

컴퓨터로 생성된 캐릭터들은 실제로 근육을 가지고 있지 않기 때문에, 같은 결과를 얻기 위해 다른 기술들이 사용된다.일부 애니메이터는 캡처 소프트웨어에 의해 제어되는 뼈나 객체를 만들어 그에 따라 이동시키기도 합니다.이것에 의해 캐릭터가 올바르게 조작되면, 적절한 근사치를 얻을 수 있습니다.얼굴이 매우 탄력적이기 때문에, 이 기술은 종종 다른 것과 섞여서, 원하는 표정에 따라 피부 탄력과 다른 요소들을 위해 무게를 다르게 조절합니다.

사용.

몇몇 상업적인 회사들이 중고품들을 개발하고 있지만, 다소 비싼 제품들을 개발하고 있다.

소프트웨어를 저렴한 형식으로 이용할 수 있게 되면 이는 컴퓨터 게임의 주요 입력 장치가 될 것으로 예상되지만, 하드웨어와 소프트웨어는 지난 15년 동안 거의 사용할 수 있는 결과를 만들어 냈음에도 불구하고 아직 존재하지 않는다.

「 」를 참조해 주세요.

레퍼런스

  1. ^ 퍼포먼스 지향 얼굴 애니메이션, 랜스 윌리엄스, 컴퓨터 그래픽스, 제24권, 제4호, 1990년 8월
  2. ^ AAM 피팅 알고리즘, 2017-02-22 카네기 멜론 로보틱스 연구소에서 웨이백 머신에 아카이브
  3. ^ "Real World Real-time Automatic Recognition of Facial Expressions" (PDF). Archived from the original (PDF) on 2015-11-19. Retrieved 2015-11-17.
  4. ^ 모델링 및 검색 소프트웨어 Wayback Machine에서 아카이브된 2009-02-23("이 문서에서는 통계적 외관 모델을 작성, 표시 및 사용하는 방법을 설명합니다.")
  5. ^ Wiskott, Laurenz; J.-M. Fellous; N. Kruger; C. von der Malsurg (1997), "Face recognition by elastic bunch graph matching", Lecture Notes in Computer Science, Springer, 1296: 456–463, CiteSeerX 10.1.1.18.1256, doi:10.1007/3-540-63460-6_150, ISBN 978-3-540-63460-7
  6. ^ Borshukov, George; D. Piponi; O. Larsen; J. Lewis; C. Templelaar-Lietz (2003), "Universal Capture - Image-based Facial Animation for "The Matrix Reloaded"", ACM SIGGRAPH
  7. ^ Barba, Eric; Steve Preeg (18 March 2009), "The Curious Face of Benjamin Button", Presentation at Vancouver ACM SIGGRAPH Chapter, 18 March 2009.
  8. ^ Weise, Thibaut; H. Li; L. Van Gool; M. Pauly (2009), "Face/off: Live Facial Puppetry", ACM Symposium on Computer Animation

외부 링크