에센셜 매트릭스
Essential matrix이 글은 대부분의 독자들이 이해하기에는 너무 기술적인 것일 수도 있다.(2010년 9월)(이를 과 시기 |
컴퓨터 비전에서 필수 매트릭스는 가 핀홀 카메라 모델을 만족한다고 가정할 때 스테레오 영상의 해당 지점을 연결하는 3 매트릭스 이다.
함수
으로 y {y ′ {가) 이미지 1과 2에서 각각 균일한 정규화된 영상 좌표인 경우
y 이(가) 씬(scene)의 동일한 3D 포인트에 해당하는 경우
본질적 매트릭스를 정의하는 위의 관계는 1981년에 H에 의해 발표되었다. Christopher Longuet-Higgins, 컴퓨터 비전 커뮤니티에 이 개념을 소개한다.리처드 하틀리와 앤드류 지서먼의 저서는 그 훨씬 전에 사진 측정에 유사한 매트릭스가 나타났다고 보고한다.Longuet-Higins' 논문에는 정규화된 이미지 좌표 에서 E 를) 추정하는 알고리즘과 E 가) 알려진 경우 두 카메라의 상대 위치와 방향을 결정하는 알고리즘이 포함되어 있다.마지막으로, 필수 매트릭스의 도움으로 영상 포인트의 3D 좌표를 결정하는 방법을 보여준다.
사용하다
필수 매트릭스는 기본 매트릭스 의 전조로 볼 수 있다 두 매트릭스는 일치된 영상 포인트 간의 제약 조건을 설정하는 데 사용할 수 있지만 내부 카메라 파라미터(매트릭스 ) 때문에 보정된 카메라와 관련하여만 필수 매트릭스를 사용할 수 있다. 및 )을(를) 알아야 정상화가 가능하다.그러나 카메라가 보정된 경우 필수 매트릭스는 카메라 사이의 상대적 위치와 방향 및 해당 영상 지점의 3D 위치를 결정하는 데 유용할 수 있다.기본 매트릭스는 다음과 같은 기본 매트릭스와 관련이 있다.
파생 및 정의
이 파생은 룽구엣 히긴스의 논문을 따른다.
정상화된 두 대의 카메라는 3D 세계를 각각의 이미지 평면에 투영한다.점 P의 3D 좌표는 각 카메라의 좌표계에 비례하여 ( ,x , ) 및( x ) (이 되도록 한다.카메라가 정상화되기 때문에 해당 영상 좌표는
- and
그런 다음 두 이미지 좌표에 대해 동일한 표현을 제공한다.
- and
이 또한 다음과 같이 더욱 간결하게 쓰여질 수 있다.
- and
where and are homogeneous representations of the 2D image coordinates and and are proper 3D coordinates but in two different coordinate sy줄기
정상화된 카메라의 또 다른 결과는 각각의 좌표계가 번역과 회전을 통해 연관되어 있다는 것이다.이는 두 세트의 3D 좌표가 다음과 같은 관계가 있음을 의미한다.
여기서 은는) 3 3 회전 행렬이고 는) 3차원 변환 벡터다.
그 다음, 필수 행렬은 다음과 같이 정의된다.
여기서 [ 은(는) t {를) 사용한 교차 제품의 행렬 표현이다
의 정의에 대해서는 정규화된 영상 좌표제의 방향에만 관심이 있다(참조:트리플 제품).따라서 영상 좌표를 필수 방정식으로 대체할 때 우리는 변환 구성요소가 필요하지 않다.이 {\의 정의가 두 개의 서로 다른 좌표계에서 포인트 P의 3D 좌표와 왼쪽 및 오른쪽에서 을(를) 곱한 값으로 해당 영상 좌표에 대한 제약 조건을 설명하는지 확인하려면:
- Insert the above relations between and and the definition of in terms of and .
- 이(가) 회전 행렬이므로.
- 교차 제품의 행렬 표현 특성.
마지막으로, 와 x {{\ x 모두 0 >이라고 가정할 수 있으며, 그렇지 않으면 두 카메라에서 모두 볼 수 없다.이것으로 알 수 있다.
즉, 필수 매트릭스가 해당 영상 포인트 사이에서 정의하는 제약조건이다.
특성.
모든 의 3 가 일부 스테레오 카메라의 필수 매트릭스가 될 수 있는 은 아니다이 통지가 하나의 행렬과 하나의 스큐 대칭 행렬의 행렬로 정의되는 것을 보려면 3 3스큐 대칭 행렬에는 동일한 두 개의 단수 값과 0인 다른 값이 있어야 한다.회전 행렬의 곱셈은 단수 값을 변경하지 않으며, 이는 기본 행렬이 동일한 두 개의 단수 값과 0인 한 개의 단수평 행렬의 곱셈은 단수 값을 변경하지 않는다.여기서 설명하는 속성을 본질적 매트릭스의 내부 제약조건이라고 부르기도 한다.
필수 행렬 에 0이 아닌 스칼라를 곱하면 결과는 E 과 정확하게 동일한 구속조건을 정의하는 필수 행렬이 된다., E 을(를) 투사 공간의 요소로 볼 수 있다는 것을 의미한다. 즉, 한 행렬이 다른 행렬의 0이 아닌 스칼라 곱인 경우 그러한 행렬 2개가 동등하다고 간주된다.예를 들어 이(가) 영상 데이터에서 추정된 경우 관련 위치.그러나 가) 로 정의되어 있다는 입장도 취할 수 있다.
여기서 ~=- 그리고 은(는 잘 정의된 "scaling"을 갖는다.어떤 포지션이 더 관련성이 높은지는 신청서에 달려 있다.
제약조건은 또한 다음과 같이 표현될 수 있다.
그리고
여기서 마지막 방정식은 매트릭스 제약조건으로, 매트릭스 원소마다 하나씩 9개의 제약조건으로 볼 수 있다.이러한 제약조건은 5개의 해당 점 쌍으로부터 필수 행렬을 결정하는 데 종종 사용된다.
본질적인 매트릭스는 투영적인 요소로 보여지는가에 따라 5, 6도의 자유도를 가진다.회전 행렬 과(와) 변환 벡터 는) 각각 3개의 자유도를 가지며 총 6개의 자유도를 가진다.그러나 필수 행렬을 투영 요소로 간주할 경우, 메스커 곱셈과 관련된 자유도를 1도 빼야 하며, 총 자유도는 5도 남는다.
추정
해당 영상 포인트 세트가 주어진 경우 세트의 모든 포인트에 대해 정의되는 경구 구속조건을 만족시키는 필수 매트릭스를 추정할 수 있다.그러나 이미지 포인트가 어떤 실제 상황에서나 흔히 볼 수 있는 노이즈의 영향을 받는다면 모든 제약을 정확히 충족하는 필수 매트릭스를 찾을 수 없다.
각 제약조건과 관련된 오차를 어떻게 측정하느냐에 따라 주어진 영상점 집합에 대한 제약조건을 최적으로 만족시키는 필수 매트릭스를 결정하거나 추정할 수 있다.가장 간단한 접근법은 일반적으로 8점 알고리즘으로 알려진 총 최소 제곱 문제를 설정하는 것이다.
회전 및 변환 추출
스테레오 카메라 쌍에 대해 필수 매트릭스가 결정되었으므로(예: 위의 추정 방법을 사용하여) 이 정보는 두 카메라 좌표 sysste 사이의 R 및 변환 t {\최대 스케일링)를 결정하는 데도 사용할 수 있다.ms. 이러한 파생에서 은(는) 잘 정의된 스케일링이 아니라 투영 요소로 간주된다.
하나의 솔루션 찾기
및 {t를) 결정하는 다음 방법은 의 SVD 수행에 기반을 두고 있으며 Hartley & Zisserman의 책을 참조하십시오.[2]SVD 없이 및 를) 결정하는 것도 가능하다(예: Longuet-Higgins 논문).
의 SVD가 제공하는 기능
여기서 V 는) 3 행렬이고 은() 대각 행렬이다
의 대각선 항목은 의 단수 값이며, 이 값은 필수 행렬의 내부 제약 조건에 따라 동일한 두 개의 0 값으로 구성되어야 한다.정의
- W);-1&, 0\\1&, 0&, 0\\0&, 0&, 1\end{pmatrix}}}W− 1와 같이 WT=(010− 100001){\displaystyle \mathbf{W}^{)}=\mathbf{W}^{T}={\begin{pmatrix}0&, 1&, 0\\-1&,{\displaystyle \mathbf{W}={\begin{pmatrix}0&(0− 10100001).0&, 0\\0&, 0&, 1\end{pmatrix}}}
그리고 다음과 같은 안사츠를 만든다.
은(는) 실제 데이터(예: 카메라 이미지)를 처리할 때 제약 조건을 완전히 충족하지 못할 수 있으므로, 대안은 다음과 같다.
- with
도움이 될 수도 있다
증명
첫째, 및[ 에 대한 이러한 식은 필수 행렬에 대한 정의 방정식을 충족한다.
둘째, 이[ 이(가) 일부 에 대한 교차 제품의 행렬 표현임을 보여 주어야 한다 이후
it is the case that is skew-symmetric, i.e., . This is also the case for our , since
교차 제품의 매트릭스 표현에 대한 일반적인 속성에 따르면 그 에는 [ t ] × 정확히 하나의 t 의 교차 제품 연산자여야 한다
셋째, 에 대한 위의 식이 회전 행렬이라는 것도 보여야 한다.It is the product of three matrices which all are orthogonal which means that , too, is orthogonal or . To be a proper rotation matrix it must also satisfy . Since, in this case, 은(는) 필요한 경우 의 기호를 반대로 적용하여 달성할 수 있는 투영 요소로 간주된다.
모든 솔루션 찾기
까지 E 및 에 대한 하나의 가능한 해결책이 수립되었지만, E {\이(가) 유일한 해결책은 아니며 실제적인 관점에서도 유효한 해결책이 아닐 수 있다우선 배율이 정의되지 않았으므로 의 배율도 정의되지 않았다.이후 의 null 공간에 있어야 함
그러나 솔루션의 후속 분석에서 의 정확한 확장은 "사인" 즉, 그것이 가리키는 방향만큼 중요하지 않다.Let be normalized vector in the null space of . It is then the case that both and are valid translation vectors relative 위의 및 t {R의 파생에서 로 변경할 수도 있다.번역 벡터에게 이것은 기호의 변화만 일으킬 뿐, 이미 가능성으로 설명되어 있다.반면에 회전의 경우, 이것은 적어도 일반적인 경우에서 다른 변형을 만들어 낼 것이다.
요약하자면, 가) 주어진 경우 에 대해 가능한 두 개의 반대 방향과 이 필수 매트릭스와 호환되는 두 개의 다른 회전이 있다.전체적으로 이것은 두 카메라 좌표계 사이의 회전과 번역을 위한 네 가지 등급의 해결책을 제공한다.여기에 선택한 번역방향에 대해 알 수 없는 s> 0 s도 있다.
그러나 실제로 실현될 수 있는 솔루션은 네 가지 등급 중 한 가지에 불과한 것으로 나타났다.해당 이미지 좌표 한 쌍을 지정하면 3개의 해결책이 항상 3D 포인트를 생성하는데, 이는 두 카메라 중 적어도 한 대의 뒤에 있기 때문에 볼 수 없다.4개 클래스 중 1개 클래스만이 두 카메라 앞에 있는 3D 포인트를 지속적으로 생산하게 된다.그렇다면 이것이 올바른 해결책이 되어야 한다.그러나 여전히 번역 요소와 관련하여 확정되지 않은 양의 스케일링을 가지고 있다.
의 R{\ t{\ 결정은 가) 필수 행렬의 내부 제약 조건을 만족한다고 가정한다.예를 들어 가) 실제(소음이 많은) 이미지 데이터에서 추정된 경우가 아니라면 내부 제약 조건을 거의 충족한다고 가정해야 한다. t ^ {\hat {\ {은(는) 가장 작은 단수 값에 해당하는 의 오른쪽단수 벡터로 선택된다.
해당 영상 포인트에서 3D 포인트
Many methods exist for computing given corresponding normalized image coordinates and , if the essential matrix is known and the corresponding rotati온 및 번역 변환이 결정되었다.
참고 항목
도구 상자
- MATLAB(Manolis Lourakis)의 필수 매트릭스 추정.
외부 링크
참조
- David Nistér (June 2004). "An efficient solution to the five-point relative pose problem". IEEE Transactions on Pattern Analysis and Machine Intelligence. 26 (6): 756–777. doi:10.1109/TPAMI.2004.17. PMID 18579936. S2CID 886598.
- H. Stewénius and C. Engels and D. Nistér (June 2006). "Recent Developments on Direct Relative Orientation". ISPRS Journal of Photogrammetry and Remote Sensing. 60 (4): 284–294. Bibcode:2006JPRS...60..284S. CiteSeerX 10.1.1.61.9329. doi:10.1016/j.isprsjprs.2006.03.005.
- H. Christopher Longuet-Higgins (September 1981). "A computer algorithm for reconstructing a scene from two projections". Nature. 293 (5828): 133–135. Bibcode:1981Natur.293..133L. doi:10.1038/293133a0. S2CID 4327732.
- Richard Hartley and Andrew Zisserman (2003). Multiple View Geometry in computer vision. Cambridge University Press. ISBN 978-0-521-54051-3.
- Yi Ma; Stefano Soatto; Jana Košecká; S. Shankar Sastry (2004). An Invitation to 3-D Vision. Springer. ISBN 978-0-387-00893-6.
- Gang Xu and Zhengyou Zhang (1996). Epipolar geometry in Stereo, Motion and Object Recognition. Kluwer Academic Publishers. ISBN 978-0-7923-4199-4.
- Förstner, Wolfgang and Wrobel, Bernhard P. (2016). Photogrammetric Computer Vision: Statistics, Geometry, Orientation and Reconstruction (1st ed.). Springer Publishing Company, Incorporated. ISBN 3319115499.
{{cite book}}: CS1 maint : 복수이름 : 작성자 목록(링크)