위상 상관 관계

위상 상관 관계는 두 개의 유사한 영상(디지털 이미지 상관 관계) 또는 다른 데이터 세트 사이의 상대적 변환 오프셋을 추정하는 접근법이다. 일반적으로 이미지 등록에 사용되며 데이터의 주파수 영역 표현에 의존하며, 보통 빠른 푸리에 변환에 의해 계산된다. 이 용어는 특히 상 정보를 교차 상각문자의 푸리에-공간 표현에서 분리하는 교차 상관 기법의 하위 집합에 적용된다.

예

다음 이미지는 독립 가우스 노이즈에 의해 손상된 두 이미지 사이의 상대적 번역적 이동을 결정하기 위한 위상 상관관계의 사용을 보여준다. 그 이미지는 (30,33) 픽셀로 번역되었다. 따라서 약 (30,33)에서 위상-상관 표현에서 피크를 명확하게 볼 수 있다.

방법

두 개의 입력 이미지 ${\displaystyle g{}_{}}$ ${\displaystyle a_{}}$ ${\$\ $g_{a}$ 및$$ ${\displaystyle g{}_{}}$ ${\displaystyle b_{}}$ ${\$\$g_{b}$:

에지 효과를 줄이기 위해 두 이미지에 창 기능(예: 해밍 창)을 적용하십시오(이미지 특성에 따라 선택 사항일 수 있음). 그런 다음 두 영상의 이산 2D 푸리에 변환을 계산하십시오.

${\displaystyle \mathbf {G} _{a}={\mathcal {F}\{g_{a}\\\\\mathbf {G} _{b}}}$

두 번째 결과의 복잡한 결합을 취하고, 푸리에 변환을 요소별로 곱하고, 이 제품을 요소별로 표준화하여 교차 전력 스펙트럼을 계산한다.

${\displaystyle \R={\frac {\mathbf {G} _{a}\circle \mathbf {G}{b}^{*}}{{a}\circathbf {G} \circhermathbf _{b}^{*}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}$

여기서 $\circ {\displaystyle }$ ${\displaystyle \circle }$은(는) Hadamard 제품(엔트리-wise 제품)이며$$ 절대값도 항목별로 계산한다. 요소 색인$({\displaystyle j}$, ${\displaystyle k}$) ${\displaystyle(j,k)}$에 대한 항목별 작성$:$

${\displaystyle \R_{jk}={\frac {G_{a,jk}\cdot G_{b,jk}^{*}}{G_{a,jk}}}}{b,jk}^{*}}}}}}}}}}}}}}$

역 푸리에 변환을 적용하여 정규화된 교차 상관 관계를 얻으십시오.

${\displaystyle \ r={\mathcal{F}^{-1}\{R\}}}$

${\displaystyle r}$ ${\displaystyle$\$r}$에서 피크의 위치를 결정하십시오$.$

${\displaystyle \(\Delta x,\Delta y)=\arg \max_{(x,y)}\{r\}}}}$

일반적으로 보간법은 데이터가 이산형임에도 불구하고 비정수자 값에 대한 교차상각문자의 피크 위치를 추정하기 위해 사용되며, 이 절차를 흔히 '하위화소 등록'이라고 한다. 기술 문헌에는 다양한 서브픽셀 보간법이 제시되어 있다. 포물선 보간과 같은 일반적인 첨두 보간법이 사용되어 왔으며, OpenCV 컴퓨터 비전 패키지는 일반적으로 좀 더 정교한 방법에 비해 정확도가 떨어지지만 중심 기반 방법을 사용한다.

데이터의 푸리에 표현은 이미 계산되었기 때문에, 푸리에 변환의 사인파 기반 함수를 사용하여 본질적으로 보간하는 이 목적을 위해 실제 값(하위정수) 교대조와의 푸리에 시프트 정리를 사용하는 것이 특히 편리하다. 특히 인기 있는 FT 기반 추정기는 Fortosh 등이 제공한다.^[1] 이 방법에서 하위 픽셀 피크 위치는 피크 픽셀 값과 가장 가까운 이웃의 값을 포함하는 간단한 공식에 의해 근사치가 된다. 여기서 $r{\displaystyle {}_{}}$($,$ 0$){\$은 피크 값이고$$ $r{\displaystyle {}_{}}$(${\displaystyle 1_{}}$,$){\$은 대부분의 승인과 같이 x 방향에서 가장 가까운 이웃이다$$.s, 정수의 이동이 이미 발견되었으며 비교 이미지들은 서브픽셀 이동에 의해서만 달라진다.

${\displaystyle \Delta x={\frac {r_{(1,0)}{r_{(1,0)}}}{r_{pm r_{0,0}}}}}}}}}}}}}}}}}}}:$^{[필요하다]}

Foroosh 등 방법은 항상 가장 정확한 것은 아니지만 대부분의 방법에 비해 상당히 빠르다. 어떤 방법은 푸리에 공간의 피크를 이동시키고 비선형 최적화를 적용하여 상관도 피크를 최대화하지만, 이러한 방법들은 목표함수에 역 푸리에 변환 또는 이와 동등한 것을 적용해야 하기 때문에 매우 느린 경향이 있다.^[2]

스톤이 지적한 바와 같이 역변환 없이 푸리에 공간의 위상 특성에서 피크 위치를 유추할 수도 있다.^[3] 이러한 방법에서는 일반적으로 평면 모형에 대한 위상 각도의 선형 최소 제곱(LLS) 적합을 사용한다. 이러한 방법에서 위상각 계산의 긴 지연 시간은 단점이지만, 속도는 영상 크기에 따라 Forossh 등의 방법에 필적할 수 있다. 그들은 종종 반복적인 비선형 방법에서 극도로 느린 객관적 기능의 여러 반복과 속도에서 유리하게 비교한다.

모든 하위 픽셀 시프트 연산 방법은 근본적으로 보간법이기 때문에, 특정 방법의 성능은 기초 데이터가 보간법의 가정에 얼마나 잘 부합하는가에 따라 달라진다. 또한 보간 방법 선택에 의한 불확실성이 특정 방법의 수치 또는 근사 오차보다 클 수 있기 때문에 이 사실은 알고리즘의 높은 수치 정확도의 유용성을 제한할 수 있다.

서브픽셀 방법은 영상의 노이즈에도 특히 민감하며, 특정 알고리즘의 효용은 속도와 정확성뿐만 아니라 어플리케이션의 특정 유형의 노이즈에 대한 복원력에 의해 구별된다.

이론적 근거

그 방법은 푸리에 시프트 정리에 기초하고 있다.

${\displaystyle {다음}_{}}$ 두 이미지$$g a {\$displaystyle \ g_{$${\displaystyle a}$}와$$g b {\$displaystyle \ g_{$b}를 서로 원형 변형된 버전으로$$ 유지하십시오.

${\displaystyle \g_{b}(x,y)\\\stackrel {\mathrm {def}{}}{}}\{a}(x-\Delta x){\bmod {M}, (y-\Delta y){\bmod}}}}}}$

(여기서 영상의 ${\displaystyle \mathrm{크기}}$는 ${\displaystyle M}$ ${\displaystyle \times }$ N ${\displaystyle$\$M\times N}).$

그런 다음 영상의 이산 푸리에 변환은 상대적으로 위상에서 이동된다.

${\displaystyle \mathbf {G} _{b}(u,v)=\mathbf {G}_{a}(u,v)e^{-2\pi i({\frac {u\Delta x}{M}+{\frac {v\Delta y}{N}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}$

그런 다음 표준화된 교차 전력 스펙트럼을 계산하여 위상 차이를 배제할 수 있다.

${\displaystyle{\begin{정렬}(u,v)&, ={\frac{\mathbf{G}_{를}\mathbf{G}_{b}^{*}}{\mathbf{G}_{를}\mathbf{G}_{b}^{*}}}\\&, ={\frac{\mathbf{G}_{를}\mathbf{G}_{를}^{*}e^{2\pi i({\frac{u\Delta)}{M}}와{\frac{v\Delta는 y}{N}})}},)_{를}\mathbf{G}_{를}^{*}e^{2\pi i({\frac{u\Delta)}{M}}와{\frac{v\Delta는 y}{N}})}}}\\&{\mathbf{G}{\fra.c{\mathbf{G} _{a}\mathbf {G} _{a}^{*}e^{2\pi i({\frac {u\Delta x}{M}}+{\frac {v\Delta y}{N}})}}{ \mathbf {G} _{a}\mathbf {G} _{a}^{*} }}\\&=e^{2\pi i({\frac {u\Delta x}{M}}+{\frac {v\Delta y}{N}})}\end{aligned}}}$

상상의 지수 크기는 항상 1이고 ${\displaystyle G{\mathbf{}}_{}}$ ${\displaystyle {}_{}}$ G ${\displaystyle {}_{}{\mathbf{}}_{}^{}}$ ${\$의 위상은 항상 0이기 때문이다.

복잡한 지수에서 역방향 푸리에 변환은 Kronecker 델타, 즉 단일 피크:

${\displaystyle \ r(x,y)=\delta(x+\Delta x,y+\Delta y)}$

이 결과는 교차 상관관계를 직접 계산하여 얻을 수 있었다. 이 방법의 장점은 이산 푸리에 변환과 그 역변환이 고속 푸리에 변환을 사용하여 수행될 수 있다는 것인데, 이것은 큰 이미지의 상관 관계보다 훨씬 빠르다.

혜택들

많은 공간 영역 알고리즘과 달리 위상 상관관계 방법은 의료 또는 위성 영상의 일반적인 소음, 막힘 및 기타 결함에 탄력적이다.^{[citation needed]}

먼저 영상을 로그극 좌표로 변환하여 두 영상 간의 회전 및 스케일링 차이를 결정하는 방법을 확장할 수 있다. 푸리에 변환의 특성 때문에 회전 및 스케일링 파라미터는 번역에 불변하는 방식으로 결정할 수 있다.^[4][5]

제한 사항

실제로 ${\displaystyle g{}_{}}$ ${\displaystyle b_{}}$ ${\$\$g_{b}}$은(는) 위의 설명에 따라 원형 교대보다는 ${\displaystyle g{}_{}}$ ${\displaystyle a_{}}$ ${\$\$g_{a$의 단순한 선형 교대일 가능성이$$ 더 높다. 이러한 경우 ${\displaystyle r}$ ${\displaystyle$\$r}$은(는) 단순한 델타 함수가 아니므로$$ 방법의 성능이 저하된다. 그러한 경우, 에지 효과를 줄이기 위해 푸리에 변환 중에 윈도우 기능(가우스 또는 투키 창 등)을 사용하거나, 영상을 제로 패딩하여 에지 효과를 무시할 수 있도록 해야 한다. 영상이 모든 세부 정보가 가장자리에서 멀리 위치하는 평평한 배경으로 구성된 경우, 선형 이동은 원형 이동과 동일하며, 위의 파생은 정확하게 유지될 것이다. 피크는 에지 또는 벡터 상관 관계를 이용하여 날카롭게 할 수 있다.^[6]

주기적 영상(예: 체스보드)의 경우 위상 상관 관계가 결과 출력에서 몇 개의 피크를 사용하여 모호한 결과를 산출할 수 있다.

적용들

위상 상관관계는 가장 적은 유물을 남기 때문에 텔레비전 표준 변환에 선호되는 방법이다.

참고 항목

일반

• 교차상관
• 축척 상관 관계
• 위상 검색

텔레비전

• 텔레비전 표준 변환
• 역표준 변환

참조

외부 링크

• Matlab을 사용하여 영상에서 표준화된 교차 상관 수행