매치 무브먼트

이 문서에는 여러 가지 문제가 있습니다.개선을 돕거나 토크 페이지에서 이러한 문제에 대해 논의해 주십시오.(이러한 템플릿메시지를 삭제하는 방법과 타이밍에 대해 설명합니다) 이 문서에는 일반적인 참조 목록이 포함되어 있지만 대응하는 충분한 인라인 인용이 없습니다. 좀 더 정밀한 인용문을 도입하여 이 글의 개선에 도움을 주시기 바랍니다.(2010년 6월) (이 템플릿메시지의 삭제 방법과 삭제 타이밍에 대해 설명합니다) 이 글은 검증을 위해 추가 인용문이 필요합니다. 신뢰할 수 있는 출처에 인용문을 추가하여 이 기사를 개선하는 데 도움을 주십시오. 조달되지 않은 자재는 제거될 수 있습니다.출처 : '매치 무빙'– 뉴스 · 신문 · 서적 · 학자 · JSTOR (2020년 4월) (이 템플릿메시지 삭제 방법 및 삭제 시기 확인) 이 기사는 대부분 또는 전체적으로 단일 출처에 의존하고 있습니다. 관련 토론은 토크 페이지에서 확인할 수 있습니다. 추가 출처에 인용문을 도입하여 이 기사의 개선에 도움을 주시기 바랍니다.출처 : '매치 무빙'– 뉴스 · 신문 · 서적 · 학자 · JSTOR (2020년 4월) 이 기사에는 독창적인 연구가 포함되어 있을 가능성이 있다. 클레임을 확인하고 인라인 인용을 추가하여 개선해 주십시오. 독창적인 연구로만 구성된 문장은 삭제해야 합니다. (2020년 4월) (이 템플릿메시지 삭제 방법 및 삭제 시기 확인) (이 템플릿메시지를 삭제하는 방법과 타이밍을 확인합니다)

시각 효과에서 매치 무빙은 촬영된 물체에 대해 정확한 위치, 스케일, 방향 및 움직임을 가진 실사 영상에 컴퓨터 그래픽을 삽입할 수 있는 기술입니다.이 용어는 영화에서 카메라 모션 정보를 추출하는 여러 가지 다른 방법을 설명하기 위해 느슨하게 사용됩니다.모션 트래킹 또는 카메라 해결이라고도 하는 매치 무빙은 로토스코핑 및 사진 측량과 관련이 있습니다.경기 이동은 때때로 카메라가 아닌 물체, 종종 인간 배우의 움직임을 기록하는 모션 캡쳐와 혼동된다.일반적으로 모션 캡처를 위해서는 특수 카메라와 센서 및 제어된 환경이 필요합니다(Kinect 카메라와 Apple의 Face ID와 같은 최근 개발은 이를 변화시키기 시작했습니다).매치 무빙은 또한 여러 개의 동일한 카메라 무브먼트를 실행하기 위해 기계 하드웨어를 사용하는 모션 컨트롤 사진과는 다릅니다.이와는 대조적으로 성냥 이동은 일반적으로 소프트웨어 기반 기술로, 일반 카메라로 제어되지 않은 환경에서 녹화된 일반 영상에 적용됩니다.

매치 무빙은 주로 샷을 통해 카메라의 움직임을 추적하여 동일한 가상 카메라의 무브먼트를 3D 애니메이션 프로그램에서 재현할 수 있도록 합니다.새로운 애니메이션 요소가 원래의 실사 장면에 합성되면 완벽하게 일치하는 시점으로 나타나기 때문에 매끄럽게 보입니다.

대부분 소프트웨어 기반이기 때문에 컴퓨터 파워의 비용이 감소함에 따라 경기 이동이 점점 더 저렴해지고 있습니다. 이는 이제 확립된 시각 효과 도구이며 미식축구에서 노란색 가상 다운라인과 같은 효과를 제공하는 일부로서 심지어 생방송 TV 방송에서도 사용됩니다.

원칙

경기 이동 과정은 두 단계로 나눌 수 있습니다.

추적

첫 번째 단계는 기능을 식별하고 추적하는 것입니다.기능은 이미지 내에서 트래킹알고리즘이 여러 프레임에 잠기거나 여러 프레임을 통과할 수 있는 특정 포인트입니다(SynthEyes는 이를 블립이라고 부릅니다.기능은 특정 추적 알고리즘에 따라 밝은/어두운 점, 가장자리 또는 모서리이기 때문에 선택되는 경우가 많습니다.일반적인 프로그램에서는 NCC 점수 및 RMS 오류에 기반한 템플릿 조회를 사용합니다.중요한 것은 각 특징이 실제 물체의 표면에서 특정 점을 나타낸다는 것입니다.피쳐가 추적되면 일련의 프레임에 걸쳐 피쳐의 위치를 나타내는 일련의 2차원 좌표가 됩니다.이 시리즈를 "트랙"이라고 합니다.트랙이 생성되면 즉시 2D 모션 트래킹에 사용하거나 3D 정보를 계산하는 데 사용할 수 있습니다.

눈금 매기기

두 번째 단계는 3D 동작을 위한 해결입니다.이 과정은 카메라 위치에 대한 2D 경로의 역투영을 해결함으로써 카메라의 움직임을 유도하려고 시도합니다.이 프로세스를 교정이라고 합니다.

3차원 물체 표면의 점을 촬영하면 3D 투영 함수로 2D 프레임에서의 위치를 계산할 수 있다.카메라는 실제 또는 가상 세계에서 카메라를 모델링하는 데 필요한 모든 매개 변수를 포함하는 추상화라고 볼 수 있습니다.따라서 카메라는 카메라의 위치, 방향, 초점 거리 및 카메라가 필름 평면에 빛을 집중하는 방법을 정의하는 기타 가능한 매개 변수를 요소로 포함하는 벡터입니다.이 벡터가 정확히 어떻게 구성되는지는 호환성이 있는 투영 함수 P가 있는 한 중요하지 않다.

투영 함수 P는, 카메라 벡터(표시 카메라)와 다른 벡터(표시 xyz)를 입력해, 카메라 앞의 평면(표시 XY)에 투영 한 2D 포인트를 되돌린다.다음과 같이 표현할 수 있습니다.

XY = P(카메라, xyz)

투영 기능은 3D 점을 변환하고 깊이의 구성요소를 제거합니다.구성 요소의 깊이를 모르면 역투사 함수는 카메라 렌즈의 결절점에서 나와 투영된 2D 지점을 통과하는 일련의 가능한 3D 점만 반환할 수 있습니다.역투영은 다음과 같이 표현할 수 있습니다.

xyz p P' (카메라, XY)

또는

{xyz:P(카메라, xyz) = XY}

예를 들어 건물과 같은 단단한 물체의 표면에 추적 중인 피쳐가 있다고 가정합니다.실제 점 xyz는 이미지의 한 프레임에서 다음 프레임까지 실제 공간에서 동일한 위치에 유지된다는 것을 알고 있기 때문에 위치를 몰라도 점을 상수로 만들 수 있습니다.그래서:

xyz_i = xyz_j

여기서 첨자 i와 j는 분석 중인 샷의 임의의 프레임을 나타냅니다.이것은 항상 사실이기 때문에 다음 사항을 알고 있습니다.

P'(카메라_i, XY_i) p P'(카메라_j, XY_j) { {}

추적 프로그램에 의해 기능이 추적되는 모든 프레임에 대해 XY 값이_i 결정되었으므로 P'(카메라_i, XY_i) ∩ P'(카메라_j, XY_j)만 작은 세트이면 두 프레임 간의 역투사 함수를 해결할 수 있습니다.i와 j(C로_ij 표시됨)에서 방정식을 푸는 가능한 카메라 벡터 세트입니다.

C_ij = {(카메라_i, 카메라_j):P' (카메라_i, XY_i) p P' (카메라_j, XY_j) { {}

그래서_i 두 점 XY와 XY의_j 역투영 교차점이 이론적인 정지점 xyz를 중심으로 설정된 비어있지 않은, 바라건대 작은, 카메라 벡터_ij 쌍 C 세트가 있습니다.

즉, 흰색의 보이드에 검은 점이 떠 있고 카메라가 있다고 상상해 보세요.카메라를 배치하는 공간의 모든 위치에 대응하는 파라미터(방향, 초점거리 등) 세트가 있어 그 검은 점을 정확히 같은 방법으로 촬영합니다.C는 멤버 수가 무한하기 때문에 1점으로는 카메라의 실제 위치를 판단할 수 없습니다.

추적 지점을 추가하기 시작하면서 카메라 위치를 좁힐 수 있습니다.예를 들어, 포인트 세트_i,0 {xyz,...xyz_i,n} 및_j,0 {xyz,...xyz_j,n}이(가) 있는 경우 i와 j는 여전히 프레임을 참조하고 n은 추적 중인 많은 추적 포인트 중 하나에 대한 인덱스입니다.카메라 벡터 쌍 세트 {C_i,j,0,......C_i,j,n}를 도출할 수 있습니다.

이러한 방식으로 여러 트랙을 통해 가능한 카메라 매개변수를 좁힐 수 있습니다.F에 맞는 가능한 카메라 매개변수 집합은 모든 집합의 교차점입니다.

F = C_i,j,0 ... ...§ C_i,j,n

이 세트에 포함된 요소가 적을수록 카메라의 실제 파라미터를 추출하는 데 더 가까이 다가갈 수 있습니다.실제로 추적 프로세스에 도입된 오류는 각 프레임에 대해 양호한 카메라 벡터를 결정하기 위한 보다 통계적인 접근법을 필요로 하며, 최적화 알고리즘과 번들 블록 조정이 종종 사용됩니다.불행히도 카메라 벡터에는 요소가 너무 많아서 모든 파라미터가 비어있을 때 추적하는 피쳐의 수에 관계없이 F를 단일 가능성으로 좁히지 못할 수 있습니다.다양한 파라미터(특히 초점거리)를 제한할수록 솔루션을 특정하기 쉬워집니다.

전체적으로 3D 해결 과정은 우리가 만들고자 하는 합성물의 요구에 맞는 해결책에 도달할 때까지 카메라의 움직임에 대한 가능한 해결책을 좁히는 과정입니다.

포인트 클라우드 투영

모든 프레임에 대한 카메라 위치가 결정되면 역투영으로 실제 공간에서 각 피쳐의 위치를 추정할 수 있습니다.생성된 점 집합은 성운처럼 생김새 때문에 종종 점 구름이라고 불립니다.포인트 클라우드는 종종 3D 장면의 일부 모양을 표시하므로 합성 객체를 배치하기 위한 참조로 사용하거나 재구성 프로그램에서 실제 장면의 3D 버전을 만들 수 있습니다.

그라운드 플레인 결정

카메라와 포인트 클라우드는 어떤 공간에서 방향을 맞춰야 합니다.따라서 교정이 완료되면 접지 평면을 정의해야 합니다.일반적으로 투영 공간의 크기, 방향 및 원점을 결정하는 단위 평면입니다.사용자가 이 평면을 정의하는 경우가 많지만 일부 프로그램은 자동으로 이 작업을 시도합니다.지면 이동은 모든 점을 단순하게 변환하기 때문에 실제 평면 위치는 정말 편리합니다.

재구축

재구성은 추적 데이터를 사용하여 촬영된 객체를 재생하는 대화형 프로세스입니다.이 기술은 사진 측량술과 관련이 있습니다.이 경우, 우리는 성냥 이동 소프트웨어를 사용하여 부수적인 장면에서 장면을 재구성하는 것을 언급하고 있습니다.

재구성 프로그램은 촬영된 장면에서 실제 물체를 모방한 3차원 객체를 생성할 수 있습니다.포인트 클라우드와 사용자의 추정 데이터를 사용하여 프로그램은 가상 객체를 생성한 후 영상으로부터 표면 텍스처로서 가상 객체에 투영할 수 있는 텍스처를 추출할 수 있습니다.

2D와 3D의 비교

이 문서의 외부 링크 사용은 Wikipedia의 정책 또는 지침을 따르지 않을 수 있습니다. 과도한 외부 링크나 부적절한 외부 링크를 삭제하고 필요에 따라 유용한 링크를 각주 참조로 변환하여 이 문서를 개선하십시오.(2020년 11월) (이 템플릿메시지 삭제 방법 및 삭제 타이밍에 대해 알아보기)

성냥 이동에는 두 가지 형태가 있습니다.Shake, Adobe After Effects 및 이산 연소 등과 같은 일부 합성 프로그램에는 2차원 모션 추적 기능이 포함되어 있습니다.2차원 매치는 2차원 공간에서 특징만 추적하며 카메라의 움직임이나 왜곡은 염려하지 않습니다.동영상에 모션 블러나 영상 안정화 효과를 더하는 데 사용할 수 있습니다.이 기술은 원본 영상에 카메라 투시법의 큰 변화가 없을 때 사실적인 효과를 내기에 충분하다.예를 들어, 샷 배경의 깊은 곳에 있는 광고판은 종종 2차원 추적을 사용하여 대체할 수 있습니다.

3차원 성냥 이동 도구로 2차원 촬영에서 3차원 정보를 추정할 수 있습니다.이러한 툴을 사용하면, 임의의 영상으로부터 카메라의 움직임이나 그 외의 상대적인 움직임을 도출할 수 있습니다.추적 정보는 컴퓨터 그래픽 소프트웨어로 전송되어 가상 카메라와 시뮬레이션된 객체의 애니메이션을 만드는 데 사용될 수 있습니다.3D 매치 이동이 가능한 프로그램에는 다음이 포함됩니다.

• 사이언스의 3DEqualizer.D.Visions (Academy Award for Technical Achievement for Technical Award)^[1]
• 블렌더(오픈 소스, libmv 사용)
• 부두
• 이미지/비디오 시퀀스를 처리하기 위한 고밀도 깊이 회복 시스템을 갖춘 자동 카메라 트래킹 기능
• LS-ACT는 큰 이미지/비디오 시퀀스 데이터 세트를 거의 실시간으로 처리할 수 있고 까다로운 경우(예: 루프백 시퀀스 및 다중 시퀀스)에도 안정적으로 작동할 수 있는 강력하고 효율적인 모션 구조 시스템입니다.
• VISCODA VoCAT
• 이카루스(맨체스터 대학 연구 프로젝트, 현재는 중단되었지만 여전히 인기 있음)
• 마야 매치 무버
• 픽셀 팜 PFTrack, PFMatchit, PFHoE(PFTrack 알고리즘에 기반)
• KeenTools GeoTracker, PinTool
• SynthEyes by Andersson Technologies
• 바우주(2002년 에미상 수상)
• 주조 공장의 NukeX
• The Foundry의 CameraTracker(Adobe After Effects용 플러그인).
• Punchcard의 VideoTrace(비디오 및 이미지에서 3D 모델을 생성하기 위한 소프트웨어)
• IXIR 2D 트랙 에디터 3D 이퀄라이저, PFTrack, Boujou, SynthEyes, Matchmover, Movimento, Nuke, Shake, Fusion, Affter Effects, 연소, Mocha, Shilulete와 같은 소프트웨어의 2D 트랙 및 마스크 파일을 사용할 수 있습니다.
• Imagineer Systems의 mocha Pro, 포스트 프로덕션용 Planel Tracker 기반 유틸리티
• fayteq에서 Adobe After Effects 플러그인(2017년 Facebook에 인수)
• Alicevision의 Meshroom은 장면의 3D 재구성과 함께 애니메이션 카메라를 내보낼 수 있는 무료 오픈 소스 사진 측량 애플리케이션입니다.

자동 추적과 인터랙티브 추적

이미지에서 모션 정보를 추출하는 방법은 두 가지가 있습니다.인터랙티브 트래킹('감독 추적'이라고도 함)은 사용자가 장면을 통해 기능을 추적하는 데 의존합니다.자동 추적은 샷을 통해 특징을 식별하고 추적하기 위해 컴퓨터 알고리즘에 의존합니다.그런 다음 추적된 점 이동을 사용하여 "솔루션"을 계산합니다.이 솔루션은 움직임, 초점 거리, 렌즈 왜곡 등 카메라의 모든 정보로 구성됩니다.

자동 추적의 장점은 컴퓨터가 인간보다 더 빨리 많은 지점을 만들 수 있다는 것입니다.통계량을 사용하여 많은 점을 분석하여 가장 신뢰할 수 있는 데이터를 결정할 수 있습니다.자동 추적의 단점은 알고리즘에 따라 컴퓨터가 장면을 통해 물체를 추적하기 때문에 쉽게 혼동될 수 있다는 것입니다.자동추적방식은 특히 핸드헬드 카메라 작업과 같은 빠른 카메라 모션을 수반하는 촬영이나 작은 타일 등 반복적인 피사체가 있는 촬영이나 한 영역이 그다지 뚜렷하지 않은 일반 패턴의 촬영에서는 효과적이지 않다.이 추적 방식은 샷에 많은 양의 모션 블러(motion blur)가 포함되어 있어 세세한 부분까지 구별하기가 어렵습니다.

인터랙티브 트래킹의 장점은 사용자가 전체 장면에서 피쳐를 따라갈 수 있고 경직되지 않은 피쳐로 인해 혼동되지 않는다는 것입니다.또한 모션 블러에 시달리는 샷의 피처 위치를 사용자가 판단할 수 있습니다.자동 트래커가 모션 블러량이 많은 피처를 정확하게 찾는 것은 매우 어렵습니다.인터랙티브 트래킹의 단점은 사용자가 장면을 통해 물체를 따라갈 때 필연적으로 작은 오류가 발생하게 되어 이른바 "드리프트"로 이어질 수 있다는 것입니다.

전문가 수준의 모션 트래킹은 일반적으로 대화형 및 자동 기술을 조합하여 이루어집니다.아티스트는 명백히 비정상적인 포인트를 삭제하고 "추적 매트"를 사용하여 혼란스러운 정보를 자동 추적 프로세스에서 차단할 수 있습니다.트래킹 매트도 액터나 회전 천장 팬 등의 이동 요소를 포함한 샷 영역을 커버하기 위해 사용됩니다.

매트 추적

트래킹 매트란 주행용 매트 컴포지트에 사용되는 가비지 매트와 비슷한 개념이다.그러나 트래킹 매트(tracking matte)의 목적은 트래킹알고리즘이 신뢰할 수 없는 트래킹포인트, 무관한 트래킹포인트 또는 비강성 트래킹포인트를 사용하지 않도록 하는 것입니다.예를 들어 배우가 배경 앞으로 걸어가는 장면에서 트래킹 아티스트는 배우의 움직임이 계산을 망친다는 것을 알고 배경만 사용하여 장면을 통해 카메라를 추적하려고 할 것입니다.이 경우 아티스트는 트래킹 매트(Tracking Matte)를 구축하여 배우를 따라 장면을 통과하도록 하고 트래킹 프로세스에서 해당 정보를 차단합니다.

정제

대부분의 경우 교정 프로세스에는 여러 가지 가능한 솔루션이 있으며 상당한 오차가 누적될 수 있으므로 이동을 일치시키기 위한 마지막 단계는 손으로 용액을 다듬는 것입니다.이는 카메라 모션 자체를 변경하거나 보정 메커니즘에 힌트를 제공하는 것을 의미할 수 있습니다.이 대화형 교정을 "정리"라고 합니다.

대부분의 일치 이동 애플리케이션은 추적 및 보정을 위한 유사한 알고리즘을 기반으로 합니다.종종 처음 얻은 결과는 비슷합니다.그러나 프로그램마다 정제 능력이 다릅니다.

실시간

촬영장에서 실시간 카메라 트래킹은 촬영장에서 사후 제작에 삽입될 요소를 실시간으로 시각화할 수 있도록 하기 위해 장편 영화 제작에 더욱 널리 사용되고 있습니다.이는 감독 및 배우가 테이크 작업을 하는 동안(또는 직후) 세트 확장자 또는 CGI 캐릭터를 실제로 보고 연기를 개선하는 데 도움이 된다는 장점이 있습니다.더 이상 녹색/파란 화면에서 수행할 필요가 없으며 최종 결과에 대한 피드백도 없습니다.아이라인 레퍼런스, 배우 포지셔닝 및 CGI 인터랙션을 현장에서 라이브로 수행할 수 있게 되어 촬영이 정확하고 최종 합성에서 작동한다는 확신을 갖게 되었습니다.

이를 위해서는 하드웨어에서 소프트웨어에 이르기까지 많은 컴포넌트를 조합해야 합니다.소프트웨어는 PhaseSpace의 액티브 LED 마커 기반 시스템과 같은 모션 캡처 시스템, 모션 분석 또는 Vicon과 같은 패시브 시스템, 로터리 인코더 등 다양한 유형의 하드웨어 장치에서 카메라의 360도 자유 이동 및 줌, 포커스, 홍채, 셔터 요소 등의 메타데이터를 수집합니다.카메라 크레인이나 돌리(Technocranes나 Fisher Dollies 등) 또는 카메라에 직접 장착된 관성 및 자이로스코프 센서에 장착됩니다.또한 스테디캠을 포함한 모든 것에 부착하여 빗속 30미터 거리까지 카메라를 추적할 수 있는 레이저 기반 추적 시스템도 있다.

모션 컨트롤 카메라는 3D 카메라 데이터의 소스 또는 대상으로도 사용할 수 있습니다.카메라의 움직임을 미리 시각화한 후 3D 카메라와 정확히 동일한 경로를 따라 카메라 크레인을 구동하는 모션 컨트롤 데이터로 변환할 수 있습니다.또한 크레인의 인코더를 실시간으로 사용하여 이 과정을 역전시켜 라이브 3D 카메라를 생성할 수 있습니다.데이터는 다양한 3D 응용 프로그램으로 전송할 수 있으므로 3D 아티스트는 CGI 요소를 라이브로 수정할 수도 있습니다.주요 장점은 나중에 시간이 많이 걸리고 비용이 많이 드는 디자인 문제를 촬영 과정에서 해결할 수 있다는 것입니다. 따라서 배우들은 연기를 하는 동안 각 촬영에 대해 각 환경에 "적합"할 수 있습니다.

카메라 데이터 스트림 내에서 실시간 모션 캡처 시스템을 혼합하여 촬영장에서 가상 캐릭터를 삽입할 수도 있습니다.이를 통해 플레이트와 CG 퍼포먼스를 함께 안무할 수 있기 때문에 실제와 실제가 아닌 MoCap 구동 캐릭터 간의 상호작용이 대폭 개선됩니다.

「 」를 참조해 주세요.

• 퍼스트&텐 (그래픽스 시스템)
• PVI 가상 미디어 서비스
• 움직임으로부터의 구조
• 가상 스튜디오

레퍼런스

• 일치 이동: The Invisible Art of Camera Tracking, Tim Dobbert, Sybex, 2005년 2월 ISBN0-7821-4403-9
• 이동에 맞는 3D 추정 및 응용 프로그램 - 수학에 대해 자세히 설명하는 매치 이동에 대한 초기 논문입니다.
• 일치 이동 응용 프로그램과 추적 응용 프로그램 비교
• 트래킹 및 3D 매칭 튜토리얼*Dead Link*

외부 링크

• Matchmoving은 2013년 5월 FLIP 애니메이션 블로그에서 설명