운동장

컴퓨터 비전에서는 운동장이 카메라 이미지에 투영될 때 3D 모션을 이상적으로 표현한다. 단순화된 카메라 모델을 사용할 경우 영상의$$ 각 지점$({\displaystyle {}_{}}$ ${\displaystyle {1\mathrm{}}_{}}$,${\displaystyle {}_{}{y\mathrm{}}_{}}$ 2${\displaystyle {}_{}}$) ${\displaystyle(y_{1},y_{2})$은 3D 장면에서 특정 지점의 투영이지만 공간에 고정 지점의 투영 위치는 시간에 따라 달라질 수 있다. 움직임 필드는 고정된 3D 포인트에 해당한다는 점에서 모든 영상 포인트의 영상 위치의 시간 파생물로 공식적으로 정의할 수 있다. 이는 운동장이 영상 좌표를 2차원 벡터에 매핑하는 함수로 표현될 수 있다는 것을 의미한다. 모션 필드는 공식적으로 정의될 수 있지만 실제로는 영상 데이터에서 모션 필드의 근사치를 결정하는 것만이 가능하다는 점에서 투영된 3D 모션에 대한 이상적인 설명이다.

소개

카메라 모델은 일부 매핑 기능 $m{\displaystyle {}_{}}$ ${\displaystyle {1\mathrm{}}_{}}$,$$${\displaystyle {}_{}{}_{}}$$displaystyle m_{1$}, ${\displaystyle {}_{}}$ ${\displaystyle {3\mathrm{}}_{}}$)에 따라$$ 3D 공간의$$ 각 지점$(x_{1},$${\displaystyle {}_{}}$${2$},$$${\displaystyle(y_{1},$$y_{2$$})$에 매핑한다$.$

${\displaystyle {\pmatrix}y_{1}_{1}\y_{2}\end{pmatrix}}={\pmatrix}m_{1}(x_{1},x_{3})\m_{{1}(x_{1},x_{1},x_{3}}}}}}end{pmatrix}}}}}}}}}}}}}}}}}}}}}}}}}}$

카메라가 묘사하는 장면이 역동적이라고 가정하면, 그것은 서로 상대적으로 움직이는 물체, 변형되는 물체, 그리고 어쩌면 카메라가 장면과 비교하여 움직이는 것으로 구성된다. 3D 공간의 고정된 지점은 이미지의 다양한 포인트에 매핑된다. 시간에 따라 이전 표현식의 차이점 부여

${\displaystyle{\begin{pmatrix}{\frac{dy_{1}}{dt}}\\[2]{\frac{{2dy_}}{dt}}\end{pmatrix}}=ᆳᆴ(x_{1},x_{2},x_{3})}{dt}}\\[2]{\frac{{2dm_}(x_{1},x_{2},x_{3})}{dt}}\end{pmatrix}}={\begin{pmatrix}{\frac{dm_{1}}{dx_{1}}}&{\frac{dm_{1}}{dx_{2}}}&{\frac{dm_{1}}{dx_{3}}}\\[2]{\frac{{2dm_}}{dx_{1}}}&,{\frac. {dm_{2}}{dx_{2}}}&{\frac {dm_{2}}{dx_{3}}}\end{pmatrix}}\,{\begin{pmatrix}{\frac {dx_{1}}{dt}}\\[2mm]{\frac {dx_{2}}{dt}}\\[2mm]{\frac {dx_{3}}{dt}}\end{pmatrix}}}$

여기

${\displaystyle \mathbf {u} ={\pmatrix}{\frac {dy_{1}:{dt}\[2mm]{\frac {d_{d}}{dt}\end{pmatrix}}}}}}}$

동작 필드이며 벡터 u는 시간 t뿐만 아니라$$ 영상 위치$({\displaystyle {}_{}}$ ${\displaystyle {1\mathrm{}}_{}}$,${\displaystyle {}_{}{y\mathrm{}}_{}}$ 2${\displaystyle {}_{}}$) ${\displaystyle(y_{1},y_{2}})$에 모두 의존한다. 마찬가지로

${\displaystyle \mathbf{x'} ={\pmatrix}{\frac {dx_{1}:{dt}\[2mm]{dx_{2}}:{dt}\[2mm]{dx_{dt}}}}{dt}}}}{pmatrix}}}}}}}}}}}}}}}}}}}}}}}}}}}}}$

해당 3D 지점의 운동이며 운동장과의 관계는 다음과 같다.

${\displaystyle \mathbf {u} =\mathbf {M} \,\mathbf {x} '}$

여기서 $M{\displaystyle \mathbf{}}$ ${\$은$($는) $영상{\displaystyle \mathrm{}}$ 위치 ${\displaystyle \mathrm{종속}}$ 2 ${\displaystyle \times }$ 3 $[\displaystyle 2\times$ 3$}$ 매트릭스$$

${\displaystyle \mathbf {M} ={\begin{pmatrix}{\frac {dm_{1}}{dx_{1}}}&{\frac {dm_{1}}{dx_{2}}}&{\frac {dm_{1}}{dx_{3}}}\\[2mm]{\frac {dm_{2}}{dx_{1}}}&{\frac {dm_{2}}{dx_{2}}}&{\frac {dm_{2}}{dx_{3}}}\end{pmatrix}}}$

이 관계는 특정 영상 지점에서 동작장이 $M{\displaystyle \mathbf{}}$ ${\$의 null 공간에 있는 3D 동작에 불변함을 의미한다$.$ 예를 들어 핀홀 카메라의 경우 카메라 초점으로 향하는 모든 3D 동작 구성요소를 동작 필드에서 감지할 수 없다.

특례

운동 필드 $v{\displaystyle \mathbf{}}$ ${\$은(는) 다음과 같이 정의된다$$.

${\displaystyle \mathbf {v} =f{\frac {Z\mathbf {V} -V_{z}\mathbf {P}{Z^{2}}$

어디에

${\displaystyle \mathbf{V}}$=${\displaystyle }$- ${\displaystyle T\mathbf{}}$ -${\displaystyle \Omega }$ ${\displaystyle \times }$ ${\displaystyle P\mathbf{}}$ ${\$}$\times \mathbf$ {$P}$$}.$

어디에

• ${\displaystyle \mathbf{P}}$ ${\$는) 장면에서 Z가 해당 장면 지점까지의 거리인 지점이다$$.
• ${\displaystyle \mathbf{V}}$ ${\$은$($는) 카메라와 장면 사이의 상대적인 움직임이다.
• ${\displaystyle \mathbf{T}}$ ${\$은$($는) 모션의 변환 구성 요소로서,
• ${\displaystyle \Omega }$ ${\$은(는) 운동의 각도 속도다$$.

광학 흐름과의 관계

모션 필드는 각 영상 포인트의 모션을 결정할 수 있다는 생각에 기초하여 이상적인 구성이며, 그 위에 이 2D 모션이 3D 모션과 어떻게 관련되는지 기술되어 있다. 그러나 실제로 참 동작 필드는 영상 데이터에 대한 측정을 기반으로만 근사치를 계산할 수 있다. 문제는 대부분의 경우 각 이미지 포인트는 개별적인 움직임을 가지고 있기 때문에 이미지 데이터에 대한 근린 연산을 통해 로컬로 측정해야 한다는 것이다. 따라서 특정 유형의 인접 지역에 대해 올바른 운동장을 결정할 수 없으며 대신 광학 흐름이라고 하는 근사치를 사용해야 한다. 예를 들어, 일정한 강도를 가진 근방은 0이 아닌 운동장에 해당할 수 있지만, 국소 영상 운동을 측정할 수 없기 때문에 광학 흐름은 0이다. 마찬가지로 내적 1차원(예: 에지 또는 선)인 근방은 임의 운동장에 해당할 수 있지만 광학 흐름은 운동장의 정상적인 구성 요소만 포착할 수 있다. 또한 영상 노이즈, 3D 폐색, 시간 별칭과 같은 다른 영향도 있는데, 이는 광학 흐름을 측정하는 모든 방법에 내재되어 있고 그 결과 광학 흐름이 실제 운동장에서 이탈하게 한다.

요컨대 운동장은 모든 영상 포인트에 대해 정확하게 측정할 수 없으며, 광학 흐름은 운동장의 근사값이다. 광학 추정이 어떻게 이루어져야 하는지에 대한 다른 기준에 근거하여 광학 흐름을 계산하는 몇 가지 다른 방법이 있다.

참조

• Bernd Jähne and Horst Haußecker (2000). Computer Vision and Applications, A Guide for Students and Practitioners. Academic Press. ISBN 0-13-085198-1.

• Linda G. Shapiro and George C. Stockman (2001). Computer Vision. Prentice Hall. ISBN 0-13-030796-3.

• Milan Sonka, Vaclav Hlavac and Roger Boyle (1999). Image Processing, Analysis, and Machine Vision. PWS Publishing. ISBN 0-534-95393-X.