에센셜 매트릭스

Essential matrix

컴퓨터 비전에서 필수 매트릭스핀홀 카메라 모델을 만족한다고 가정할 때 스테레오 영상해당 지점을 연결하는 3 매트릭스 이다.

함수

으로 y {y {가) 이미지 1과 2에서 각각 균일한 정규화영상 좌표인 경우

y 이(가) 씬(scene)의 동일한 3D 포인트에 해당하는 경우

본질적 매트릭스를 정의하는 위의 관계는 1981년에 H에 의해 발표되었다. Christopher Longuet-Higgins, 컴퓨터 비전 커뮤니티에 이 개념을 소개한다.리처드 하틀리와 앤드류 지서먼의 저서는 그 훨씬 전에 사진 측정에 유사한 매트릭스가 나타났다고 보고한다.Longuet-Higins' 논문에는 정규화된 이미지 좌표 에서 E 를) 추정하는 알고리즘과 E 가) 알려진 경우 두 카메라의 상대 위치와 방향을 결정하는 알고리즘이 포함되어 있다.마지막으로, 필수 매트릭스의 도움으로 영상 포인트의 3D 좌표를 결정하는 방법을 보여준다.

사용하다

필수 매트릭스는 기본 매트릭스 의 전조로 볼 수 있다 두 매트릭스는 일치된 영상 포인트 간의 제약 조건을 설정하는 데 사용할 수 있지만 내부 카메라 파라미터(매트릭스 ) 때문에 보정된 카메라와 관련하여만 필수 매트릭스를 사용할 수 있다. )을(를) 알아야 정상화가 가능하다.그러나 카메라가 보정된 경우 필수 매트릭스는 카메라 사이의 상대적 위치와 방향 및 해당 영상 지점의 3D 위치를 결정하는 데 유용할 수 있다.기본 매트릭스는 다음과 같은 기본 매트릭스와 관련이 있다.

파생 및 정의

이 파생은 룽구엣 히긴스의 논문을 따른다.

정상화된 두 대의 카메라는 3D 세계를 각각의 이미지 평면에 투영한다.P의 3D 좌표는 각 카메라의 좌표계에 비례하여 ( ,x , ) ( x ) (이 되도록 한다.카메라가 정상화되기 때문에 해당 영상 좌표는

and

그런 다음 두 이미지 좌표에 대해 동일한 표현을 제공한다.

and

이 또한 다음과 같이 더욱 간결하게 쓰여질 수 있다.

and

where and are homogeneous representations of the 2D image coordinates and and are proper 3D coordinates but in two different coordinate sy줄기

정상화된 카메라의 또 다른 결과는 각각의 좌표계가 번역과 회전을 통해 연관되어 있다는 것이다.이는 두 세트의 3D 좌표가 다음과 같은 관계가 있음을 의미한다.

여기서 는) 3 3 회전 행렬이고 는) 3차원 변환 벡터다.

그 다음, 필수 행렬은 다음과 같이 정의된다.

여기서 [ 은(는) t {를) 사용한 교차 제품의 행렬 표현이다

의 정의에 대해서는 정규화된 영상 좌표제의 방향에만 관심이 있다(참조:트리플 제품).따라서 영상 좌표를 필수 방정식으로 대체할 때 우리는 변환 구성요소가 필요하지 않다.{\의 정의가 두 개의 서로 다른 좌표계에서 포인트 P의 3D 좌표와 왼쪽 및 오른쪽에서 을(를) 곱한 값으로 해당 영상 좌표에 대한 제약 조건을 설명하는지 확인하려면:


  1. Insert the above relations between and and the definition of in terms of and .
  2. 이(가) 회전 행렬이므로.
  3. 교차 제품의 행렬 표현 특성.

마지막으로, x {{\ x 모두 0 >이라고 가정할 수 있으며, 그렇지 않으면 두 카메라에서 모두 볼 수 없다.이것으로 알 수 있다.

즉, 필수 매트릭스가 해당 영상 포인트 사이에서 정의하는 제약조건이다.

특성.

모든 의 3 일부 스테레오 카메라의 필수 매트릭스가 될 수 있는 은 아니다통지가 하나의 행렬과 하나의 스큐 대칭 행렬의 행렬로 정의되는 것을 보려면 3 3스큐 대칭 행렬에는 동일한 두 개의 단수 값과 0인 다른 값이 있어야 한다.회전 행렬의 곱셈은 단수 값을 변경하지 않으며, 이는 기본 행렬이 동일한 두 개의 단수 값과 0인 한 개의 단수평 행렬의 곱셈은 단수 값을 변경하지 않는다.여기서 설명하는 속성을 본질적 매트릭스의 내부 제약조건이라고 부르기도 한다.

필수 행렬 에 0이 아닌 스칼라를 곱하면 결과는 E 정확하게 동일한 구속조건을 정의하는 필수 행렬이 된다., E 을(를) 투사 공간의 요소로 볼 수 있다는 것을 의미한다. 즉, 한 행렬이 다른 행렬의 0이 아닌 스칼라 곱인 경우 그러한 행렬 2개가 동등하다고 간주된다.예를 들어 (가) 영상 데이터에서 추정된 경우 관련 위치.그러나 가) 로 정의되어 있다는 입장도 취할 수 있다.

여기서 ~=- 그리고 은(는 잘 정의된 "scaling"을 갖는다.어떤 포지션이 더 관련성이 높은지는 신청서에 달려 있다.

제약조건은 또한 다음과 같이 표현될 수 있다.

그리고

여기서 마지막 방정식은 매트릭스 제약조건으로, 매트릭스 원소마다 하나씩 9개의 제약조건으로 볼 수 있다.이러한 제약조건은 5개의 해당 점 쌍으로부터 필수 행렬을 결정하는 데 종종 사용된다.

본질적인 매트릭스는 투영적인 요소로 보여지는가에 따라 5, 6도의 자유도를 가진다.회전 행렬 (와) 변환 벡터 는) 각각 3개의 자유도를 가지며 총 6개의 자유도를 가진다.그러나 필수 행렬을 투영 요소로 간주할 경우, 메스커 곱셈과 관련된 자유도를 1도 빼야 하며, 총 자유도는 5도 남는다.

추정

해당 영상 포인트 세트가 주어진 경우 세트의 모든 포인트에 대해 정의되는 경구 구속조건을 만족시키는 필수 매트릭스를 추정할 수 있다.그러나 이미지 포인트가 어떤 실제 상황에서나 흔히 볼 수 있는 노이즈의 영향을 받는다면 모든 제약을 정확히 충족하는 필수 매트릭스를 찾을 수 없다.

각 제약조건과 관련된 오차를 어떻게 측정하느냐에 따라 주어진 영상점 집합에 대한 제약조건을 최적으로 만족시키는 필수 매트릭스를 결정하거나 추정할 수 있다.가장 간단한 접근법은 일반적으로 8점 알고리즘으로 알려진 총 최소 제곱 문제를 설정하는 것이다.

회전 및 변환 추출

스테레오 카메라 쌍에 대해 필수 매트릭스가 결정되었으므로(예: 위의 추정 방법을 사용하여) 이 정보는 두 카메라 좌표 sysste 사이의 R 및 변환 t {\최대 스케일링)를 결정하는 데도 사용할 수 있다.ms. 이러한 파생에서 은(는) 잘 정의된 스케일링이 아니라 투영 요소로 간주된다.

하나의 솔루션 찾기

{t를) 결정하는 다음 방법은 SVD 수행에 기반을 두고 있으며 Hartley & Zisserman의 책을 참조하십시오.[2]SVD 없이 를) 결정하는 것도 가능하다(예: Longuet-Higgins 논문).

의 SVD가 제공하는 기능

여기서 V 는) 3 행렬이고 () 대각 행렬이다

의 대각선 항목은 의 단수 값이며, 이 값은 필수 행렬의 내부 제약 조건에 따라 동일한 두 개의 0 값으로 구성되어야 한다.정의

W);-1&, 0\\1&, 0&, 0\\0&, 0&, 1\end{pmatrix}}}W− 1와 같이 WT=(010− 100001){\displaystyle \mathbf{W}^{)}=\mathbf{W}^{T}={\begin{pmatrix}0&, 1&, 0\\-1&,{\displaystyle \mathbf{W}={\begin{pmatrix}0&(0− 10100001).0&, 0\\0&, 0&, 1\end{pmatrix}}}

그리고 다음과 같은 안사츠를 만든다.

은(는) 실제 데이터(예: 카메라 이미지)를 처리할 때 제약 조건을 완전히 충족하지 못할 수 있으므로, 대안은 다음과 같다.

with

도움이 될 수도 있다

증명

첫째, [ 대한 이러한 식은 필수 행렬에 대한 정의 방정식을 충족한다.

둘째, 이[ 이(가) 일부 에 대한 교차 제품의 행렬 표현임을 보여 주어야 한다 이후

it is the case that is skew-symmetric, i.e., . This is also the case for our , since

교차 제품의 매트릭스 표현에 대한 일반적인 속성에 따르면에는 [ t ] × 정확히 하나의 t 의 교차 제품 연산자여야 한다

셋째, 에 대한 위의 식이 회전 행렬이라는 것도 보여야 한다.It is the product of three matrices which all are orthogonal which means that , too, is orthogonal or . To be a proper rotation matrix it must also satisfy . Since, in this case, 은(는) 필요한 경우 의 기호를 반대로 적용하여 달성할 수 있는 투영 요소로 간주된다.

모든 솔루션 찾기

까지 E 에 대한 하나의 가능한 해결책이 수립되었지만, E {\이(가) 유일한 해결책은 아니며 실제적인 관점에서도 유효한 해결책이 아닐 수 있다우선 배율이 정의되지 않았으므로 의 배율도 정의되지 않았다.이후 null 공간에 있어야 함

그러나 솔루션의 후속 분석에서 의 정확한 확장은 "사인" 즉, 그것이 가리키는 방향만큼 중요하지 않다.Let be normalized vector in the null space of . It is then the case that both and are valid translation vectors relative 위의 및 t {R 파생에서 변경할 수도 있다.번역 벡터에게 이것은 기호의 변화만 일으킬 뿐, 이미 가능성으로 설명되어 있다.반면에 회전의 경우, 이것은 적어도 일반적인 경우에서 다른 변형을 만들어 낼 것이다.

요약하자면, 가) 주어진 경우 에 대해 가능한 두 개의 반대 방향과 이 필수 매트릭스와 호환되는 두 개의 다른 회전이 있다.전체적으로 이것은 두 카메라 좌표계 사이의 회전과 번역을 위한 네 가지 등급의 해결책을 제공한다.여기에 선택한 번역방향에 대해 알 수 없는 s> 0 s도 있다.

그러나 실제로 실현될 수 있는 솔루션은 네 가지 등급 중 한 가지에 불과한 것으로 나타났다.해당 이미지 좌표 한 쌍을 지정하면 3개의 해결책이 항상 3D 포인트를 생성하는데, 이는 두 카메라 중 적어도 한 대의 에 있기 때문에 볼 수 없다.4개 클래스 중 1개 클래스만이 두 카메라 앞에 있는 3D 포인트를 지속적으로 생산하게 된다.그렇다면 이것이 올바른 해결책이 되어야 한다.그러나 여전히 번역 요소와 관련하여 확정되지 않은 양의 스케일링을 가지고 있다.

의 R{\ t{\ 결정은 가) 필수 행렬의 내부 제약 조건을 만족한다고 가정한다.예를 들어 가) 실제(소음이 많은) 이미지 데이터에서 추정된 경우가 아니라면 내부 제약 조건을 거의 충족한다고 가정해야 한다. t ^ {\hat {\ {은(는) 가장 작은 단수 값에 해당하는 의 오른쪽단수 벡터로 선택된다.

해당 영상 포인트에서 3D 포인트

Many methods exist for computing given corresponding normalized image coordinates and , if the essential matrix is known and the corresponding rotati온 및 번역 변환이 결정되었다.

참고 항목

도구 상자

외부 링크

참조

  1. ^ Photogrammetric Computer Vision: Statistics, Geometry, Orientation and Reconstruction (1st ed.).
  2. ^ Hartley, Richard; Andrew Zisserman (2004). Multiple view geometry in computer vision (2nd ed.). Cambridge, UK. ISBN 978-0-511-18711-7. OCLC 171123855.