이미지 수정

Image rectification

이미지 수정은 이미지를 공통 이미지 평면에 투영하는 데 사용되는 변환 과정이다. 이 과정은 몇 가지 자유도를 가지고 있으며 이미지를 공통 평면으로 변환하기 위한 많은 전략이 있다.

  • 컴퓨터 스테레오 비전(computer steer vision)에 사용되어 이미지 사이의 일치점을 찾는 문제(즉, 통신 문제)를 단순화한다.
  • 그것은 지리 정보 시스템에서 여러 관점에서 촬영한 영상을 공통 지도 좌표계로 통합하는 데 사용된다.
이미지가 가상 이미지 평면(파란색)에 투영되어 수정될 때 카메라(빨간색)가 파란색 축을 중심으로 5°~90° 회전한다. 가상 평면은 스테레오 기준선(주황색)과 평행해야 하며 시각화를 위해 회전 중앙에 위치해야 한다. 이 경우, 정정은 각각 빨간색 및 녹색 이미지 평면을 가상으로 회전시켜 스테레오 기준선과 평행하게 된다.

[1]

컴퓨터 시각에서

오른쪽 에서 x L {\L의 일치 항목을 e 로 제한한다. 영상이 수정되지 않기 때문에 R의 선은 기울어져 있다. 수리 후에는 수평이 된다.

컴퓨터 스테레오 비전은 서로 다른 관점의 물체를 보여주는 상대 카메라 위치가 알려진 두 개 이상의 이미지를 촬영한다. 그런 다음 각 픽셀에 대해 먼저 다른 영상에서 일치하는 픽셀(즉, 동일한 씬(scene) 포인트를 표시하는 픽셀)을 찾은 다음 발견된 일치 항목에 삼각 측량을 적용하여 해당 씬(scene) 포인트의 깊이(즉, 카메라로부터의 거리)를 결정한다. 스테레오 시각에서 일치하는 것을 찾는 것은 경구 기하학으로 제한된다: 다른 영상에서 각각의 픽셀의 일치점은 경구선이라는 선에서만 찾을 수 있다. 두 개의 이미지가 동일 평면인 경우, 즉 오른쪽 카메라가 왼쪽 카메라에 비해 수평으로 오프셋되거나(물체 쪽으로 이동하거나 회전하지 않도록), 각 픽셀의 경극 라인은 수평이며 해당 픽셀과 동일한 수직 위치에 있다. 그러나 일반적인 설정(카메라가 물체를 향해 움직이거나 회전한 경우)에서는 경사진 선들이 기울어져 있다. 이미지 수정은 두 이미지를 수평 이동만으로 찍은 것처럼 보이게 하고, 그 결과 모든 경간선이 수평으로 나타나 스테레오 일치 과정을 약간 단순화시킨다. 단, 수리가 스테레오 매칭 프로세스를 근본적으로 바꾸지는 않는다는 점에 유의하십시오. 선으로 검색하고, 앞은 비스듬히, 뒷면은 가로로 검색한다.

또한 이미지 수정은 완벽한 카메라 동일성(그리고 더 자주 사용됨[2])에 대한 대안이기도 하다. 고정밀 장비라도 카메라 간 완벽한 동일 평면성을 유지하는 것이 비실용적일 수 있기 때문에 대개 이미지 교정을 수행한다.

영상 정정은 한 번에 두 개의 영상으로만 수행할 수 있으며, 일반적으로 세 개 이상의 영상을 동시에 보정하는 것은 불가능하다.[3]

변환

추가 정보: 변환 행렬

수정할 영상을 기하학적 왜곡 없이 카메라 쌍에서 찍으면 선형 변환으로 쉽게 계산할 수 있다. X & Y 회전은 이미지를 같은 평면에 놓고 스케일링은 이미지 프레임을 같은 크기로 만들고 Z 회전 & 스큐 조정은 이미지 픽셀 행을 직접[citation needed] 정렬시킨다. 카메라의 견고한 정렬은 (교정에 의해) 알려져야 하며, 보정 계수는 변환에 의해 사용된다.[4]

변환을 수행할 때 카메라 자체가 내부 파라미터에 대해 보정된 경우 필수 매트릭스는 카메라 사이의 관계를 제공한다. (카메라 보정 없이) 보다 일반적인 케이스는 기본 매트릭스로 표현된다. 기본 매트릭스를 알 수 없는 경우, 스테레오 이미지 사이에서 예비 포인트 대응점을 찾아야 추출이 용이하다.[4]

알고리즘

영상 정류 알고리즘에는 평면 정류,[1] 원통형 정류[2], 극극 정류의 세 가지 범주가 있다.[5][6][7]

이행내역

수정된 모든 영상은 다음 두 가지 속성을 충족한다.[8]

  • 모든 후각선은 수평축과 평행하다.
  • 해당 지점은 수직 좌표가 동일하다.

원본 영상 쌍을 수정 영상 쌍으로 변환하려면 투영적 변환 H를 찾아야 한다. 위의 두 특성을 만족시키기 위해 H에 구속조건을 배치한다. 예를 들어 경구선을 수평축과 평행하게 구속한다는 것은 경구선이 동종 좌표에서 무한점[1,0,0]T에 매핑되어야 함을 의미한다. 이러한 제약에도 불구하고 H는 여전히 4도의 자유도를 가지고 있다.[9] 또한 영상 쌍의 두 번째 이미지를 수정하기 위해 일치하는 H'를 찾아야 한다. 'H와 H'를 잘 선택하지 않으면 영상이 극적으로 스케일이 변경되거나 심하게 왜곡될 수 있다.

가능한 모든 솔루션에서 각 이미지에 대해 투영적인 변환 H를 선택하는 데는 여러 가지 전략이 있다. 한 가지 고급 방법은 수정 이미지 쌍의 수평 축에 있는 해당 점의 불균형 또는 최소 제곱 차이를 최소화하는 것이다.[9] 또 다른 방법은 이미지 왜곡을 최소화하기 위해 H를 특수 투영 변환, 유사성 변환, 깎기 변환으로 분리하는 것이다.[8] 한 가지 간단한 방법은 두 이미지를 자신의 집단 광학 중심과 결합하는 선에 수직으로 보이도록 회전시키고, 각 영상의 수평 축이 다른 영상의 광학 중심 방향으로 가리키도록 광학 축을 비틀고, 마지막으로 선 대 라인 통신에 맞추어 작은 영상의 크기를 조정하는 것이다.[3] 이 과정은 다음의 예에서 증명된다.

예.

이미지 수정에 사용되는 모델 예.
예제 씬(scene)의 3D 보기입니다. 첫 번째 카메라의 광학 중심과 이미지 평면은 각각 녹색 원과 사각형으로 표현된다. 두 번째 카메라는 유사한 빨간색 표현을 가지고 있다.
예제에서 가져온 2D 이미지 세트. 원본 이미지는 다른 관점(1열)에서 촬영된다. 예제(2열과 3열)의 체계적인 변환을 사용하여 두 이미지를 동일한 수평 스캔 라인(4열)에 해당하는 포인트가 오도록 변환할 수 있다.

이 예에 대한 우리의 모델은 각 이미지의 픽셀 좌표에서 p와 p'에 해당하는 3D 포인트 P를 관찰하는 한 쌍의 이미지를 기반으로 한다. O와 O'는 알려진 매트릭스 M= [ 0 M과 = K [ ] M로 각 카메라의 광학 중심을 나타낸다(우리는 세계 기원이 첫 번째 카메라에 있다고 가정한다). 예시 장면에서 영상 쌍을 수정하는 H와 H의 투영적 변환을 찾기 위한 간단한 접근법에 대한 결과를 간략하게 개략적으로 설명하고 묘사할 것이다.

첫째, 각 이미지에서 e와 e'를 계산한다.

둘째, 첫 번째 이미지를 O와 O'를 연결하는 기준선에 수직으로 회전시키는 투영적 변환 H를1 발견한다(2D 이미지 세트의 1열). 이 회전은 원래 광학 축과 원하는 광학 축 사이의 교차 제품을 사용함으로써 찾을 수 있다.[3] 다음으로 회전된 이미지를 취하여 수평축이 기준선에 맞춰지도록 반전시키는 투영적 변환 H를2 찾는다. 올바르게 계산된 경우 이 두 번째 변환은 e를 x축의 무한대에 매핑해야 한다(2D 영상 세트의 3열, 1열). 마지막으로 = }를 정의하십시오.첫 번째 이미지를 수정하기 위한 투영적 변환으로

셋째, 등가 연산을 통해 H'를 찾아 두 번째 영상(2D 영상 세트 중 2열)을 바로잡을 수 있다. H'1는 두 번째 영상의 광학 축을 첫 번째 영상의 변환된 광학 축과 평행하도록 회전해야 한다는 점에 유의하십시오. 한 가지 전략은 두 개의 원래 광학 축이 교차하는 선에 평행한 평면을 선택하여 재분사 공정의 왜곡을 최소화하는 것이다.[10] 이 예에서는 회전 행렬 R과 초기 투영 변환 H를 = T 로 간단히 정의한다..

마지막으로, 두 이미지를 동일한 대략적인 분해능으로 스케일링하고 이제 수평 입구를 정렬하여 서신을 보다 쉽게 수평으로 스캔한다(2D 이미지 세트의 4행).

카메라 파라미터 매트릭스 M과 M' 없이도 이와 유사한 알고리즘을 수행할 수 있다는 점에 유의하십시오. 필요한 것은 기본 매트릭스와 에피폴을 계산하기 위해 영상에 대응하는 7개 이상의 이미지 세트뿐입니다.[9]

지리 정보 시스템

GIS의 이미지 정리는 이미지를 표준 지도 좌표계로 변환한다. 이는 매핑 시스템의 접지 제어 지점(GCP)을 영상의 포인트와 일치시킴으로써 이루어진다. 이러한 GCP는 필요한 영상 변환을 계산한다.[11]

프로세스에서 일차적인 어려움이 발생함

  • 지도점의 정확도가 잘 알려져 있지 않을 때
  • 영상에 지도에 해당할 명확히 식별할 수 있는 지점이 없는 경우.

수정된 이미지와 함께 사용되는 지도는 지형적이지 않다. 그러나 사용할 이미지에는 지형의 왜곡이 포함될 수 있다. 영상 직교화는 이러한 효과를 추가로 제거한다.[11]

이미지 수정은 GIS 소프트웨어 패키지와 함께 사용할 수 있는 표준 기능이다.

참조 구현

이 섹션은 이미지 수정의 기준 구현에 대한 외부 링크를 제공한다.

참고 항목

참조

  1. ^ Jump up to: a b Fusiello, Andrea; Trucco, Emanuele; Verri, Alessandro (2000-03-02). "A compact algorithm for rectification of stereo pairs" (PDF). Machine Vision and Applications. 12: 16–22. doi:10.1007/s001380050120. S2CID 13250851. Retrieved 2010-06-08.
  2. ^ Jump up to: a b Oram, Daniel (2001). "Rectification for Any Epipolar Geometry". 누락 또는 비어 있음 url= (도움말)
  3. ^ Jump up to: a b c Richard Szeliski (2010). Computer vision: Algorithms and applications. Springer. ISBN 9781848829350.
  4. ^ Jump up to: a b c Fusiello, Andrea (2000-03-17). "Epipolar Rectification". Retrieved 2008-06-09.
  5. ^ Pollefeys, Marc; Koch, Reinhard; Van Gool, Luc (1999). "A simple and efficient rectification method for general motion" (PDF). Proc. International Conference on Computer Vision: 496–501. Retrieved 2011-01-19.
  6. ^ Lim, Ser-Nam; Mittal, Anurag; Davis, Larry; Paragios, Nikos. "Uncalibrated stereo rectification for automatic 3D surveillance" (PDF). International Conference on Image Processing. 2: 1357. Archived from the original (PDF) on 2010-08-21. Retrieved 2010-06-08.
  7. ^ Roberto, Rafael; Teichrieb, Veronica; Kelner, Judith (2009). "Retificação Cilíndrica: um método eficente para retificar um par de imagens" (PDF). Workshops of Sibgrapi 2009 - Undergraduate Works (in Portuguese). Archived from the original (PDF) on 2011-07-06. Retrieved 2011-03-05.
  8. ^ Jump up to: a b Loop, Charles; Zhang, Zhengyou (1999). "Computing rectifying homographies for stereo vision" (PDF). Proceedings. 1999 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (Cat. No PR00149). pp. 125–131. CiteSeerX 10.1.1.34.6182. doi:10.1109/CVPR.1999.786928. ISBN 978-0-7695-0149-9. S2CID 157172. Retrieved 2014-11-09.
  9. ^ Jump up to: a b c Richard Hartley and Andrew Zisserman (2003). Multiple view geometry in computer vision. Cambridge university press. ISBN 9780521540513.
  10. ^ David A. Forsyth and Jean Ponce (2002). Computer vision: a modern approach. Prentice Hall Professional Technical Reference.
  11. ^ Jump up to: a b Fogel, David. "Image Rectification with Radial Basis Functions". Archived from the original on 2008-05-24. Retrieved 2008-06-09.
  12. ^ Huynh, Du. "Polar rectification". Retrieved 2014-11-09.
  1. R. I. Hartley (1999). "Theory and Practice of Projective Rectification". International Journal of Computer Vision. 35 (2): 115–127. doi:10.1023/A:1008115206617. S2CID 406463.
  2. Pollefeys, Marc. "Polar rectification". Retrieved 2007-06-09.
  3. Linda G. Shapiro and George C. Stockman (2001). Computer Vision. Prentice Hall. pp. 580. ISBN 978-0-13-030796-5.

추가 읽기