광학적 흐름

Optical flow
회전하는 옵티컬 플로우(이 경우 플라이)가 경험합니다.각 위치에서 광학 흐름의 방향과 크기는 각 화살표의 방향과 길이로 표시됩니다.

광학 흐름 또는 광학 흐름은 관찰자와 [1][2]장면 사이의 상대적인 움직임으로 인해 발생하는 시각적 장면에서 물체, 표면 및 가장자리의 겉보기 움직임 패턴입니다.광학적 흐름은 또한 이미지 [3]내의 휘도 패턴의 움직임의 겉보기 속도의 분포로도 정의할 수 있다.광학 흐름의 개념은 1940년대 미국 심리학자 제임스 J. 깁슨에 의해 [4]세계를 이동하는 동물들에게 제공되는 시각적 자극을 설명하기 위해 도입되었다.Gibson은 어포던스 인식을 위한 광학 흐름의 중요성, 즉 환경 내에서 행동의 가능성을 식별하는 능력의 중요성을 강조했습니다.깁슨의 추종자들과 심리학에 대한 그의 생태학적 접근은 세계에서 관찰자에 의한 움직임의 지각, 세계의 물체의 형태, 거리 그리고 움직임의 지각, 그리고 [5]이동의 제어를 위한 광학적 흐름 자극의 역할을 더욱 증명했습니다.

광학 흐름이라는 용어는 로봇 공학자에 의해서도 사용되며, 움직임 검출, 객체 분할, 접촉 시간 정보, 확장 계산의 초점, 휘도, 움직임 보정 부호화 및 스테레오 간격 [6][7]측정을 포함한 이미지 처리 및 내비게이션 제어에서 관련된 기술을 포함합니다.

견적

순서가 지정된 영상의 시퀀스를 사용하면 순간 영상 속도 또는 이산 영상 변위 [7]중 하나로 움직임을 추정할 수 있습니다.Fleet과 Weiss는 그라데이션 기반의 광학 [8]흐름에 대한 튜토리얼을 제공합니다.존 L. 배런, 데이비드 J.Fleet과 Steven Beauchemin은 여러 광학 흐름 기법의 성능 분석을 제공합니다.측정의 [9]정확성과 밀도를 강조합니다.

광학 흐름 방식은 복셀 위치마다 tt와 + t 촬영되는 두 이미지 프레임 간의 움직임을 계산합니다.이러한 방법은 영상 신호의 로컬 Taylor 시리즈 근사치를 기반으로 하므로 미분이라고 합니다. 즉, 공간 및 시간 좌표와 관련하여 편도함수를 사용합니다.

(2D + t) 차원 케이스(\ 또는 n-D 대소문자는 유사)의 경우 I t { {(x, y,t)} {displaystyle t)} { Y { } {}의 복셀이 합니다.rames 및 다음 밝기 항상성 제약 조건을 지정할 수 있습니다.

이동이 작다고 가정하면, Taylor 시리즈를 사용하는 I { I, 에서 영상 구속조건을 개발하여 다음을 얻을 수 있습니다.

고차항

선형화를 수행하는 고차 항을 잘라내면 다음과 같이 됩니다.

또는 tt로 나누면

결과적으로

서 V x {}, I y I 또는 광학 흐름의 , t) 컴포넌트y입니다., y, (x, y, t)(y, t) (, t (x t에 있는 이미지의 파생 모델입니다. 파생상품에는 I x x( I_ x ( I_ t( I_ 쓸 수 있습니다.

다음과 같이 됩니다.

또는

이것은 두 가지 미지의 방정식이기 때문에 그렇게 풀 수 없다.이것은 광플로우 알고리즘의 조리개 문제로 알려져 있습니다.광학적 흐름을 찾으려면 몇 가지 추가 제약에 의해 주어진 다른 일련의 방정식이 필요합니다.모든 광플로우 방식은 실제 플로우를 추정하기 위한 추가 조건을 도입한다.

결정 방법

  • 위상 상관 - 정규화된 교차 전력 스펙트럼의 역수
  • 블록 기반 방법 – 차이의 제곱합 또는 절대 차이의 합을 최소화하거나 정규화된 상호 상관 관계를 최대화합니다.
  • 다음과 같은 화상신호 및/또는 원하는 흐름장 및 고차 부분파생물에 기초한 광학적 흐름을 추정하는 미분방법.
  • 이산 최적화 방법 – 검색 공간을 양자화한 다음 모든 픽셀에서 라벨 할당을 통해 이미지 매칭을 처리하여 대응하는 변형을 통해 소스 이미지와 [12]대상 이미지 사이의 거리를 최소화합니다.최적 솔루션은 종종 Max-flow min-cut 정리 알고리즘, 선형 프로그래밍 또는 믿음 전파 방법을 통해 복구됩니다.

최신 알고리즘 외에 이러한 알고리즘의 대부분은 Middlebury Benchmark [13][14]Dataset에서 평가됩니다.기타 인기 있는 벤치마크 데이터 세트로는 KITI와 Sintel있습니다.

사용하다

움직임 추정과 비디오 압축은 광학 흐름 연구의 주요 측면으로 발전해 왔다.광학 흐름장이 운동 추정 기술에서 파생된 조밀한 운동장과 표면적으로 유사한 반면, 광학 흐름은 광학 흐름장 자체의 결정뿐만 아니라 장면의 3차원 특성과 구조 및 물체의 3D 움직임을 추정하는 데 사용되는 연구입니다.장면에 상대적인 관찰자 대부분은 제이코비안 [15]이미지를 사용합니다.

광학 흐름은 물체 감지 및 추적, 이미지 지배적 평면 추출, 움직임 감지, 로봇 내비게이션 및 시각적 주행 기록 [6]측정과 같은 많은 분야에서 로봇 연구자들에 의해 사용되었습니다.광학적 흐름 정보는 마이크로 에어 [16]차량을 제어하는 데 유용한 것으로 인식되었습니다.

광학적 흐름의 적용은 장면에서 관찰자와 물체의 움직임뿐만 아니라 물체와 환경의 구조도 추론하는 문제를 포함한다.움직임의 인식과 환경 구조의 멘탈 맵의 생성이 동물(및 인간) 시력의 중요한 요소이기 때문에, 이 선천적인 능력을 컴퓨터 능력으로 전환하는 것은 기계 [17]시각 분야에서 마찬가지로 중요합니다.

비디오 시퀀스에서 움직이는 물체의 광학적 흐름 벡터.

시야의 왼쪽 하단에서 오른쪽 상단으로 공이 이동하는 5프레임 클립을 생각해 보십시오.움직임 추정 기술은 2차원 평면 상에서 볼이 위쪽으로, 오른쪽으로 이동하는 것을 결정할 수 있으며, 이 움직임을 기술하는 벡터는 프레임의 시퀀스로부터 추출할 수 있다.비디오 압축(예를 들어 MPEG)의 목적상, 이제 시퀀스가 필요한 만큼 설명됩니다.그러나 기계 시각 분야에서 볼이 오른쪽으로 움직이는지 관찰자가 왼쪽으로 움직이는지에 대한 질문은 알 수 없지만 중요한 정보이다.5개의 프레임에 정적인 패턴의 배경이 존재하더라도 패턴이 관찰자와의 거리가 무한할 수 있기 때문에 공이 오른쪽으로 이동하고 있다고 자신 있게 말할 수 있습니다.

광유량 센서

광유량 센서는 광유량 또는 시각적 움직임을 측정하고 광유량에 기초한 측정을 출력할 수 있는 비전 센서입니다.광유량 센서의 다양한 구성이 존재합니다.하나의 구성은 광플로우 알고리즘을 실행하도록 프로그램된 프로세서에 연결된 이미지 센서 칩입니다.또 다른 구성은 이미지 센서와 프로세서가 같은 다이 상에 있는 집적회로인 비전칩을 사용하여 콤팩트한 [18][19]구현을 가능하게 한다. 예로는 광마우스에 사용되는 범용 광마우스 센서가 있습니다.경우에 따라서는 아날로그 또는 혼합신호회로를 사용하여 처리회로를 구현하여 최소한의 전류소비를 사용하여 고속광학류 계산을 가능하게 할 수 있습니다.

현대 연구의 한 영역은 광학적 흐름에 반응하는 회로를 구현하기 위해 신경 동형 공학 기술을 사용하는 것이며, 따라서 광학적 흐름 [20]센서에 사용하기에 적합할 수 있다.이러한 회로는 광학적 흐름에 유사하게 반응하는 생물학적 신경 회로에서 영감을 얻을 수 있습니다.

광유량 센서는 표면을 가로지르는 마우스의 움직임을 측정하기 위한 주요 감지 구성요소로서 컴퓨터 광마우스에서 광범위하게 사용된다.

광학 유량 센서는 주로 로봇과 로봇 근처의 다른 물체 사이의 시각적 움직임 또는 상대적인 움직임을 측정해야 하는 로봇 애플리케이션에도 사용됩니다.안정성과 장애물 회피를 위해 무인항공기(UAV)에 광학 유량 센서를 사용하는 것도 현재 연구 [21]분야이다.

「 」를 참조해 주세요.

레퍼런스

  1. ^ Burton, Andrew; Radford, John (1978). Thinking in Perspective: Critical Essays in the Study of Thought Processes. Routledge. ISBN 978-0-416-85840-2.
  2. ^ Warren, David H.; Strelow, Edward R. (1985). Electronic Spatial Sensing for the Blind: Contributions from Perception. Springer. ISBN 978-90-247-2689-9.
  3. ^ Horn, Berthold K.P.; Schunck, Brian G. (August 1981). "Determining optical flow" (PDF). Artificial Intelligence. 17 (1–3): 185–203. doi:10.1016/0004-3702(81)90024-2. hdl:1721.1/6337.
  4. ^ Gibson, J.J. (1950). The Perception of the Visual World. Houghton Mifflin.
  5. ^ Royden, C. S.; Moore, K. D. (2012). "Use of speed cues in the detection of moving objects by moving observers". Vision Research. 59: 17–24. doi:10.1016/j.visres.2012.02.006. PMID 22406544. S2CID 52847487.
  6. ^ a b Aires, Kelson R. T.; Santana, Andre M.; Medeiros, Adelardo A. D. (2008). Optical Flow Using Color Information (PDF). ACM New York, NY, USA. ISBN 978-1-59593-753-7.
  7. ^ a b c Beauchemin, S. S.; Barron, J. L. (1995). "The computation of optical flow". ACM Computing Surveys. ACM New York, USA. 27 (3): 433–466. doi:10.1145/212094.212141. S2CID 1334552.
  8. ^ Fleet, David J.; Weiss, Yair (2006). "Optical Flow Estimation" (PDF). In Paragios, Nikos; Chen, Yunmei; Faugeras, Olivier D. (eds.). Handbook of Mathematical Models in Computer Vision. Springer. pp. 237–257. ISBN 978-0-387-26371-7.
  9. ^ Barron, John L.; Fleet, David J. & Beauchemin, Steven (1994). "Performance of optical flow techniques" (PDF). International Journal of Computer Vision. 12: 43–77. CiteSeerX 10.1.1.173.481. doi:10.1007/bf01420984. S2CID 1290100.
  10. ^ a b Zhang, G.; Chanson, H. (2018). "Application of Local Optical Flow Methods to High-Velocity Free-surface Flows: Validation and Application to Stepped Chutes" (PDF). Experimental Thermal and Fluid Science. 90: 186–199. doi:10.1016/j.expthermflusci.2017.09.010.
  11. ^ Glyn W. Humphreys and Vicki Bruce (1989). Visual Cognition. Psychology Press. ISBN 978-0-86377-124-8.
  12. ^ B. Glocker; N. Komodakis; G. Tziritas; N. Navab; N. Paragios (2008). Dense Image Registration through MRFs and Efficient Linear Programming (PDF). Medical Image Analysis Journal.
  13. ^ Baker, Simon; Scharstein, Daniel; Lewis, J. P.; Roth, Stefan; Black, Michael J.; Szeliski, Richard (March 2011). "A Database and Evaluation Methodology for Optical Flow". International Journal of Computer Vision. 92 (1): 1–31. doi:10.1007/s11263-010-0390-2. ISSN 0920-5691. S2CID 316800.
  14. ^ Baker, Simon; Scharstein, Daniel; Lewis, J. P.; Roth, Stefan; Black, Michael J.; Szeliski, Richard. "Optical Flow". vision.middlebury.edu. Retrieved 2019-10-18.
  15. ^ Corke, Peter (8 May 2017). "The Image Jacobian". QUT Robot Academy.
  16. ^ Barrows, G. L.; Chahl, J. S.; Srinivasan, M. V. (2003). "Biologically inspired visual sensing and flight control". Aeronautical Journal. 107 (1069): 159–268. doi:10.1017/S0001924000011891. S2CID 108782688 – via Cambridge University Press.
  17. ^ Brown, Christopher M. (1987). Advances in Computer Vision. Lawrence Erlbaum Associates. ISBN 978-0-89859-648-9.
  18. ^ Moini, Alireza (2000). Vision Chips. Boston, MA: Springer US. ISBN 9781461552673. OCLC 851803922.
  19. ^ Mead, Carver (1989). Analog VLSI and neural systems. Reading, Mass.: Addison-Wesley. ISBN 0201059924. OCLC 17954003.
  20. ^ Stocker, Alan A. (2006). Analog VLSI circuits for the perception of visual motion. Chichester, England: John Wiley & Sons. ISBN 0470034882. OCLC 71521689.
  21. ^ Floreano, Dario; Zufferey, Jean-Christophe; Srinivasan, Mandyam V.; Ellington, Charlie, eds. (2009). Flying insects and robots. Heidelberg: Springer. ISBN 9783540893936. OCLC 495477442.

외부 링크