컴퓨터 스테레오 비전

컴퓨터 스테레오 비전은 CCD 카메라로 얻은 것과 같은 디지털 이미지에서 3D 정보를 추출하는 것입니다.2개의 유리한 지점으로부터의 장면 정보를 비교하는 것으로, 2개의 패널내의 사물의 상대적인 위치를 조사하는 것으로, 3D 정보를 추출할 수 있다.이것은 입체시기의 생물학적 과정과 유사하다.

개요

전통적인 스테레오 비전에서는, 두 대의 카메라를 서로 수평으로 바꿔서, 사람의 양안 시력과 유사한 방식으로 한 장면에 대한 두 가지 다른 시야를 얻기 위해 사용되었습니다.이들 2개의 화상을 비교하는 것으로, 대응하는 화상점의 수평 좌표의 차이를 부호화하는 시차 맵의 형태로 상대적인 깊이 정보를 얻을 수 있다.이 시차 맵의 값은 해당 픽셀 위치의 장면 깊이에 반비례합니다.

인간이 두 이미지를 비교하기 위해서는 오른쪽 카메라의 영상이 관찰자의 오른쪽 눈에, 왼쪽에서 왼쪽 눈에 보여지는 입체 장치에 중첩되어야 한다.

컴퓨터 비전 시스템에서는 몇 가지 전처리 단계가 필요합니다.^[1]

1. 먼저 배럴 왜곡과 접선 왜곡이 제거되도록 이미지를 왜곡하지 않아야 합니다.따라서 관찰된 영상이 이상적인 핀홀 카메라의 투영과 일치합니다.
2. 이미지 쌍을 비교할 수 있도록 이미지를 공통 평면으로 다시 투영해야 합니다. 이를 이미지 수정이라고 합니다.
3. 두 이미지를 비교하는 정보 척도는 최소화된다.이를 통해 두 이미지에서 피쳐의 위치를 가장 잘 추정할 수 있으며, 시차 맵을 작성합니다.
4. 수신한 시차 맵은 3D 포인트클라우드에 투영됩니다.카메라의 투영 파라미터를 이용하여 점 구름을 계산하여 알려진 척도로 측정할 수 있습니다.

액티브 스테레오 비전

액티브 스테레오 비전은 스테레오 매칭 문제를 단순화하기 위해 레이저 등의 빛이나 구조화된 빛을 적극적으로 사용하는 스테레오 비전의 한 형태입니다.반대되는 용어는 패시브 스테레오 비전입니다.

기존 SLV(Structured-Light Vision)

기존의 SLV(Structured-Light Vision)는 구조화된 빛 또는 레이저를 사용하여 프로젝터와 카메라를 ^[2][3]대응시킵니다.

기존 액티브 스테레오 비전(ASV)

기존의 액티브 스테레오 비전(ASV)은 구조화된 빛 또는 레이저를 사용하지만, 스테레오 매칭은 패시브 스테레오 비전과 같은 방법으로 카메라와 카메라의 대응에만 행해진다.

Structured-Light 스테레오(SLS; 구조화 라이트 스테레오)

카메라 카메라와 프로젝터 카메라의 ^[4]대응을 모두 활용하는 하이브리드 기술이 있습니다.

적용들

3D 스테레오 디스플레이는 엔터테인먼트, 정보 전송 및 자동 시스템에서 많은 응용 프로그램을 찾습니다.스테레오 비전은 자율 시스템 근처에서 3D 물체의 상대적 위치에 대한 정보를 추출하기 위해 로보틱스와 같은 분야에서 매우 중요합니다.로보틱스의 다른 응용 프로그램에는 객체 ^[5]인식이 포함됩니다.이 경우 깊이 정보는 시스템이 다른 기준으로 별도의 개체로 구별하지 못할 수 있는 다른 의자 앞에 있는 의자 등 방해되는 이미지 구성요소를 분리할 수 있습니다.

디지털 스테레오 비전에 대한 과학적 응용 프로그램에는 항공 측량, 등고선 지도 계산, 심지어 3D 건물 지도, 사진 측량 위성 ^[6]지도 또는 NASA STEREO 프로젝트에서 얻은 3D 일선 정보 계산 등이 포함됩니다.

상세 정의

픽셀은 한 위치의 색상을 기록합니다.위치는 픽셀 그리드(x, y)의 위치와 픽셀 z까지의 깊이로 식별됩니다.

입체 시야는 다른 위치에서 동일한 장면의 두 이미지를 제공합니다.인접한 도표에서는, A점으로부터의 빛이, B, D의 핀홀 카메라의 진입점을 개입시켜 E, H의 화상 스크린에 투과된다.

첨부된 다이어그램에서 두 카메라 렌즈의 중심 사이의 거리는 BD = BC + CD입니다.삼각형은 비슷하지만

• ACB 및 BFE
• ACD 및 DGH

$\displaystyle \ signed \ text \따라서 치환량 }}d&=EF+GH\&=BF({\frac {EF}{B)F}}+{\frac {GH}{BF}})\&=BF({\frac {EF}{B})F}}+{\frac {GH}{DG}}}\&=BF({\frac {BC+})CD}{AC}})\\&=BF {\frac {BD} {AC}}\&=subscfrac {k} {z}}{\text{, where}}\\end{aligned}}$

• k = BD BF
• z = AC는 카메라 평면에서 물체까지의 거리입니다.

따라서 카메라가 수평이고 이미지 평면이 동일한 평면에 평평하다고 가정하면 두 이미지에서 동일한 픽셀 사이의 Y축 변위는 다음과 같습니다.

${\displaystyle d=syslogfrac {k}{z}}$

여기서 k는 두 카메라 사이의 거리에 렌즈에서 이미지까지의 거리를 곱한 값입니다.

두 이미지의 깊이 구성요소는 z $({$ 및$$ ${\displaystyle {z\mathrm{}}_{}}$2({$displaystyle z_{2$로, 다음과 같이 지정됩니다.

$({displaystyle z_{2}(x,y)=\min \left\{v:v=z_{1}(x,y)})\right\}$

$\displaystyle z_{1}(x,y)=\min \left\{v:v=z_{2}(x,y+{\frac {k}{z_{2}(x,y)}})\right\}$

이러한 수식을 통해 객체 표면의 한 이미지에서 볼 수 있는 복셀을 다른 이미지에서 볼 수 있는 더 가까운 복셀에 의해 객체 표면에서 볼 수 있습니다.

이미지 수정

영상 평면이 동일 평면이 아닌 경우 영상을 동일 평면으로 조정하려면 영상 수정이 필요합니다.이는 선형 변환을 통해 달성할 수 있습니다.

또한 각 이미지가 평면에 투영된 핀홀 카메라에서 찍은 이미지와 동일하도록 수정해야 할 수도 있습니다.

부드러움

부드러움은 서로 가까운 색이 얼마나 비슷한지를 나타내는 척도이다.물체는 적은 수의 색으로 염색될 가능성이 높다는 가정이 있다.같은 색의 픽셀이 2개 검출되면, 그 픽셀이 같은 오브젝트에 속할 가능성이 높아집니다.

위에서 설명한 평활도 평가방법은 정보이론에 기초하고 있으며, 복셀 색상의 영향이 점 사이의 거리에 대한 정규 분포에 따라 인근 복셀 색상에 영향을 미친다는 가정에 기초하고 있다.그 모델은 세상에 대한 대략적인 가정에 기초하고 있다.

평활성에 대한 이전의 가정에 기초한 또 다른 방법은 자동 상관이다.

부드러움은 세상의 특성이다.이는 본질적으로 이미지의 속성이 아닙니다.예를 들어 랜덤한 점으로 구성된 이미지는 평활성이 없으며 인접한 점에 대한 추론은 무용지물입니다.

이론적으로 평활성과 더불어 세계의 다른 특성도 배워야 한다.이것이 인간의 시각 시스템이 하는 것으로 보인다.

정보 측정

최소 제곱 정보 측도

정규 분포는

${\displaystyle P(x,\mu,\displays}=parc {1}{\displayrt {2\pi}}}e^{-{\frac {(x-\mu)^2}}}{2\displays^{2}}}}}$

가능성은 메시지 길이 L로 기술된 정보 내용과 관련이 있습니다.

$(\displaystyle P(x)=2^{-L(x)})}$

${\displaystyle L(x)=-\log _{2}{P(x)}}$

그렇게,

${\displaystyle L(x,\mu,\displays}=\log _{2}(\displayrt {2\pi })+{\frac {(x-\mu)^{2}}\log _{2}e}$

입체 영상을 비교할 때 상대 메시지 길이만 중요합니다.이를 바탕으로 차이 제곱합(SSD)이라고 하는 정보 측도 I는 다음과 같습니다.

${\displaystyle I(x,\mu,\displays}=syslogfrac {(x-\mu)^{2}}{\display ^{2}}}$

어디에,

$\displaystyle L(x,\mu,\display)=\log _{2}(\displayrt {2\pi })+I(x,\mu,\sigma){\frac {log _{2}e}{2}}$

SSD의 제곱 숫자에 대한 처리 시간의 비용 때문에 많은 구현에서 정보 척도를 계산하기 위한 기준으로 SAD(Sum of Absolute Difference)를 사용합니다.다른 방법에서는 정규화 상호 상관(NCC)을 사용합니다.

입체 영상의 정보 측정

최소 제곱 척도는 각 $지점{\displaystyle }$ z${\displaystyle (x}$ ${\displaystyle ,y}$ )$${$displaystyle$ z$(x, y$의 깊이에 따라 입체 ^[7]영상의 정보 내용을 측정하는 데 사용할 수 있습니다. 먼저 한 이미지를 다른 이미지로 표현하는 데 필요한 정보를 도출합니다.이것은 ${m$이라고 $합니다{\displaystyle {}_{}}$.

색차이 함수를 사용하여 색차이를 공평하게 측정해야 합니다.색차 함수는 아래 cd로 표기되어 있습니다.두 이미지 간의 색상 일치를 기록하는 데 필요한 정보의 척도는 다음과 같습니다.

${\displaystyle I_{m}(z_{1},z_{2})=flac {1}{\sum _{x,y}\operatorname {cd}(\operatorname {color} _{1}(x,y+{\frac {k}{1}(x,y})\operatorname {color},^{2}}$

화상의 부드러움에 대해 추측한다.두 픽셀이 같은 색일 가능성이 높을수록 표시되는 복셀에 가깝다고 가정합니다.이 척도는 동일한 깊이에서 그룹화된 유사한 색상을 선호하기 위한 것입니다.예를 들어, 앞에 있는 물체가 뒤에 있는 하늘 영역을 가리는 경우, 매끄러운 척도는 파란색 픽셀이 모두 같은 깊이로 그룹화되는 것을 선호합니다.

평활도의 총 측정치는 복셀 사이의 거리를 색상 차이의 예상 표준 편차의 추정치로 사용합니다.

${\displaystyle I_{s}(z_{1},z_{2})=sum frac {1}{2\display_{h}^{2}}\sum _{i:\{1,2\}\sum _{1}\sum _x_{2},y_{2}}\frac {{cdorname {cd}}\cdorn}^{2}}{(x_{1}-x_{2}^{2}+(y_{1}-y_{2})^{2}+(z_{i}(x_{1})-z_{i}(x_{2},y_{2}))^{2}}}}$

그러면 총 정보 내용은 총합이 됩니다.

${\displaystyle I_{t}(z_{1},z_{2})=I_{m}(z_{1},z_{2})+I_{s}(z_{1},z_{2})}$

각 픽셀의 z 성분을 선택하여 정보 내용에 대한 최소값을 제공해야 합니다.이것에 의해, 각 픽셀의 깊이가 최대가 됩니다.최소 총 정보 척도는 다음과 같습니다.

${\displaystyle I_{\operatorname {min} =\min {i:i=I_{t}(z_{1},z_{2})\}}\}}\}$

좌우 영상의 깊이 함수는 쌍입니다.

$\{(z_{1},z_{2}\in:I_{t}(z_{1},z_{2})=I_{\operatorname {min} } \}}$

구현 방법

최소화의 문제는 NP-complete입니다.즉, 이 문제에 대한 일반적인 해결책에 도달하는 데 오랜 시간이 걸립니다.그러나 합리적인 시간 내에 결과를 근사하는 휴리스틱스를 기반으로 하는 컴퓨터에는 방법이 있습니다.또한 뉴럴 ^[8]네트워크를 기반으로 한 방법도 존재한다.입체 시력의 효율적인 구현은 활발한 연구 분야이다.

「 」를 참조해 주세요.

• 여러 영상에서 3D 재구성
• 3D 스캐너
• 자동내시경 검사
• 컴퓨터 비전
• 에피폴라 기하학
• 준글로벌 매칭
• 움직임으로부터의 구조
• 스테레오 카메라
• 입체 사진 측량
• 스테레오시스
• 입체 깊이 표현
• 삼초점 텐서 - 삼초점 입체 투시용(2개가 아닌 3개의 영상 사용)

레퍼런스

외부 링크

• 보정되지 않은 스테레오 비전 튜토리얼
• MATLAB에서 스테레오 비전에 대해 알아보기
• 행성 탐사를 위한 스테레오 비전 및 Rover 내비게이션 소프트웨어
• 스테레오 기준선 및 초점 거리를 선택하고 예상되는 깊이 측정 오류를 계산하기 위한 계산기
• REMOVEAS: 효율적인 대규모 스테레오 매칭을 위한 라이브러리
• Viva3D Stereo Vision 매뉴얼 및 깊이 튜토리얼
• 스테레오 카메라 선택 방법