이벤트 카메라

Event camera
"실리콘 망막"은 여기서 방향을 바꾼다. 시각적 보형물은 인공 실리콘 망막을 참조하십시오.
"다이내믹 비전 센서"가 여기서 리디렉션됨 정보 처리 카메라는 스마트 비전 센서를 참조하십시오. 다른 용도는 비전 센서를 참조하십시오.

신경형 카메라,[1] 실리콘 망막[2] 또는 동적 시야 센서로도 알려진 이벤트 카메라는 밝기의 국소 변화에 반응하는 영상 센서다.[3] 이벤트 카메라는 기존 카메라처럼 셔터를 이용해 영상을 캡처하지 않는다. 대신, 이벤트 카메라 내부의 각 픽셀은 독립적이고 비동기적으로 작동하며, 발생 시 밝기의 변화를 보고하고, 그렇지 않으면 침묵을 지킨다. 현대의 이벤트 카메라는 초단 시간 분해능, 120dB 동적 범위, 프레임 카메라보다 과소/과잉 노출 및 모션 블러드가[4][5] 적다.

기능 설명

이벤트 카메라는 발생 시 밝기 변화에 독립적으로 반응하는 픽셀을 포함하고 있다.[4] 각 픽셀은 기준 밝기 레벨을 저장하고, 이를 현재 밝기 수준과 지속적으로 비교한다. 밝기 차이가 사전 설정된 임계값을 초과하면 해당 픽셀이 기준 수준을 재설정하고 픽셀 주소와 타임스탬프를 포함하는 이산 정보 패킷의 이벤트를 생성한다. 또한 이벤트는 밝기 변화의 극성(증가 또는 감소) 또는 현재 조명 수준의 즉각적인 측정을 포함할 수 있다.[6] 따라서 이벤트 카메라는 장면 조명의 변화에 의해 촉발된 비동기적인 이벤트 스트림을 출력한다.

이벤트 카메라와 기존 카메라에서 생성된 데이터의 비교.
이미지 센서의 일반적인 특성
센서 동적

범위(dB)

등가

framrate* (framrate*)

공간적

분해능(MP)

힘

소비(mW)

사람의 눈 30–40 200-300 - 10[7]
고급 DSLR 카메라(Nikon D850) 44.6[8] 120 2–8 -
초고속 카메라(팬텀 v2640)[9] 64 12,500 0.3–4 -
이벤트 카메라[10] 120 1,000,000 0.1–0.2 30

*인간의 눈과 이벤트 카메라는 프레임을 출력하지 않기 때문에 시간 분해능을 나타낸다.

종류들

모든 이벤트 카메라는 밝기의 국부적인 변화에 반응하지만, 몇 가지 변형도 있다. 시간 대비 센서(선구적 DVS[4](Dynamic Vision Sensor) 또는 sDVS(감도-DVS)와 같이 시간 대비 센서는 극성을 나타내는 이벤트(밝기의 증가 또는 감소)를 생성하며, 시간 이미지[6] 센서는 각 이벤트와의 순간 강도를 나타낸다. DABS[12](Dynamic and Active-pixel Vision Sensor)에는 동일한 광센서 어레이를 공유하는 DVS(Dynamic 비전 센서) 외에 글로벌 셔터 액티브 픽셀 센서(APS)가 내장되어 있다. 따라서, 그것은 이벤트와 함께 이미지 프레임을 제작할 수 있는 능력을 가지고 있다. 많은 이벤트 카메라에는 관성 측정 장치(IMU)가 추가로 탑재된다.

이벤트 카메라
이름 이벤트 출력 이미지 프레임 색 IMU 제조사 상용화
DVS128[4] 극성 아니요. 아니요. 아니요. 이비션 아니요.
sDVS128[11] 극성 아니요. 아니요. 아니요. CSIC 아니요.
데이비스240[12] 극성 네 아니요. 네 이비션 네
데이비스346[13] 극성 네 아니요. 네 이비션 네
시스[14] 극성 네 아니요. 네 통찰력 네
실키에브캠[15] 극성 아니요. 아니요. 아니요. 센츄리 아크스 네
삼성 DVS[16] 극성 아니요. 아니요. 네 삼성 아니요.
탑승[6] 극성 아니요. 아니요. 네 예언자 네
겔렉스[17] 강도 네 아니요. 네 셀레픽셀 네
IMX636[18] 강도 네 아니요. 네 소니 / 예언자 네

망상형 센서

주요 기사: 레티노폴릭 센서
왼쪽: 감광성 콘덴서의 단면도. 중심: 감광성 콘덴서가 상단에 있는 레티노폴릭 센서의 회로 다이어그램. 오른쪽: 일정한 조명의 적용에 대한 레티노폴릭 센서의 과도 응답 예상

또 다른 종류의 이벤트 센서는 소위 망상형 센서라고 불린다. 레티노폴릭(retinomphic)이라는 용어는 이벤트 센서를 일반적으로 설명하기 위해 사용되어 왔으나,[19][20] 2020년에는 직렬로 저항기와 감광성 콘덴서를 기반으로 한 특정 센서 설계의 명칭으로 채택되었다.[21] 이러한 캐패시터는 태양 에너지를 저장하는 데 사용되는 광촉매와는 구별되며,[22] 대신 조명 하에서 캐패시턴스를 변경하도록 설계되었다. 따라서 캐패시턴스가 변경될 때 약간 충전/방전될 것으로 예상되지만, 그렇지 않을 경우 평형을 유지한다. 감광성 콘덴서를 저항기와 직렬로 배치하고 입력 전압을 회로 전체에 가하면 광도가 변할 때 전압을 출력하지만 그렇지 않으면 신호를 출력하지 않는 센서가 된다.

다른 이벤트 센서(일반적으로 광다이오드 및 일부 다른 회로 요소로 구성되는)와는 달리, 이러한 망상형 센서는 설계에 의해 신호를 본질적으로 생성한다. 따라서 그것들은 다른 이벤트 카메라의 작은 회로와 동일한 결과를 생성하는 단일 장치로 간주될 수 있다. 레티노폴릭 센서는 현재까지 연구 환경에서만 연구되어 왔으나, 물체 인식, 자율주행차, 로봇공학 등에 응용할 수 있기를 희망한다.[23][24][25][26]


알고리즘

Night run reconstruction
밤에 보행자가 자동차 전조등 앞을 달린다. 왼쪽: 기존 카메라로 찍은 이미지는 심한 모션 블러와 노출되지 않은 상태를 보인다. 오른쪽: 왼쪽 영상을 이벤트 카메라의 이벤트와 결합하여 재구성된 영상.[27]

이미지 재구성

이벤트로부터 영상 재구성은 높은 동적 범위, 높은 시간 분해능 및 최소 모션 블러로 영상과 비디오를 만들 수 있는 잠재력을 가지고 있다. 영상 재구성은 하이패스 또는 보완 필터와 같은 임시 평활을 사용하여 달성할 수 있다.[27] 대안적 방법으로는 최적화[28] 및 구배 추정에[29] 이어 포아송 통합이 있다.

공간적 경련

공간 사건 주도형 콘볼루션의 개념은 처음에는 1999년[30](DVS 발명 전)에 가정되었지만, 이후 EU 프로젝트 CAVIAR[31](DVS가 발명된 기간 동안) 동안 이벤트 좌표 주위에 사건별 콘볼루션 커널을 통합 및 화재 픽셀의 배열로 투영함으로써 일반화되었다.[32] 다중-커널 이벤트 중심 경련으로[33] 확장하면 이벤트 중심 깊은 경련 네트워크가 가능하다.[34]

모션 감지 및 추적

이벤트 카메라가 보는 움직이는 물체의 분할과 검출은 센서 온칩에 의해 이루어지기 때문에 사소한 작업으로 보일 수 있다. 그러나, 이벤트는 정보를[35] 거의 전달하지 않고 질감이나 색과 같은 필수적인 유용한 시각적 특징을 포함하지 않기 때문에 이러한 작업은 어렵다.[36] 이러한 작업은 움직이는 물체와 정적 장면에 의해 생성되는 영상 평면의 모든 곳에서 이벤트가 트리거되기 때문에 움직이는 카메라의[35] 시나리오에서 더욱 어려워진다. 이 문제를 해결하기 위한 최근의 접근방식으로는 모션 보상 모델의[37][38] 통합과 전통적인 클러스터링 알고리즘을 사용하는 것이 있다.[39][40][36][41]

참고 항목

참조

  1. ^ Li, Hongmin; Liu, Hanchao; Ji, Xiangyang; Li, Guoqi; Shi, Luping (2017). "CIFAR10-DVS: An Event-Stream Dataset for Object Classification". Frontiers in Neuroscience. 11: 309. doi:10.3389/fnins.2017.00309. ISSN 1662-453X. PMC 5447775. PMID 28611582.
  2. ^ Sarmadi, Hamid; Muñoz-Salinas, Rafael; Olivares-Mendez, Miguel A.; Medina-Carnicer, Rafael (2021). "Detection of Binary Square Fiducial Markers Using an Event Camera". IEEE Access. 9: 27813–27826. arXiv:2012.06516. doi:10.1109/ACCESS.2021.3058423. ISSN 2169-3536. S2CID 228375825.
  3. ^ Liu, Min; Delbruck, Tobi (May 2017). "Block-matching optical flow for dynamic vision sensors: Algorithm and FPGA implementation". 2017 IEEE International Symposium on Circuits and Systems (ISCAS). pp. 1–4. arXiv:1706.05415. doi:10.1109/ISCAS.2017.8050295. ISBN 978-1-4673-6853-7. S2CID 2283149. Retrieved 27 June 2021.
  4. ^ a b c d Lichtsteiner, P.; Posch, C.; Delbruck, T. (February 2008). "A 128×128 120 dB 15μs Latency Asynchronous Temporal Contrast Vision Sensor" (PDF). IEEE Journal of Solid-State Circuits. 43 (2): 566–576. Bibcode:2008IJSSC..43..566L. doi:10.1109/JSSC.2007.914337. ISSN 0018-9200. S2CID 6119048.
  5. ^ Longinotti, Luca. "Product Specifications". iniVation. Retrieved 2019-04-21.
  6. ^ a b c Posch, C.; Matolin, D.; Wohlgenannt, R. (January 2011). "A QVGA 143 dB Dynamic Range Frame-Free PWM Image Sensor With Lossless Pixel-Level Video Compression and Time-Domain CDS". IEEE Journal of Solid-State Circuits. 46 (1): 259–275. Bibcode:2011IJSSC..46..259P. doi:10.1109/JSSC.2010.2085952. ISSN 0018-9200. S2CID 21317717.
  7. ^ Skorka, Orit (2011-07-01). "Toward a digital camera to rival the human eye". Journal of Electronic Imaging. 20 (3): 033009–033009–18. Bibcode:2011JEI....20c3009S. doi:10.1117/1.3611015. ISSN 1017-9909.
  8. ^ DxO. "Nikon D850 : Tests and Reviews DxOMark". www.dxomark.com. Retrieved 2019-04-22.
  9. ^ "Phantom v2640". www.phantomhighspeed.com. Retrieved 2019-04-22.
  10. ^ Longinotti, Luca. "Product Specifications". iniVation. Retrieved 2019-04-22.
  11. ^ a b Serrano-Gotarredona, T.; Linares-Barranco, B. (March 2013). "A 128x128 1.5% Contrast Sensitivity 0.9% FPN 3μs Latency 4mW Asynchronous Frame-Free Dynamic Vision Sensor Using Transimpedance Amplifiers" (PDF). IEEE Journal of Solid-State Circuits. 48 (3): 827–838. Bibcode:2013IJSSC..48..827S. doi:10.1109/JSSC.2012.2230553. ISSN 0018-9200. S2CID 6686013.
  12. ^ a b Brandli, C.; Berner, R.; Yang, M.; Liu, S.; Delbruck, T. (October 2014). "A 240 × 180 130 dB 3 µs Latency Global Shutter Spatiotemporal Vision Sensor". IEEE Journal of Solid-State Circuits. 49 (10): 2333–2341. Bibcode:2014IJSSC..49.2333B. doi:10.1109/JSSC.2014.2342715. ISSN 0018-9200.
  13. ^ Taverni, Gemma; Paul Moeys, Diederik; Li, Chenghan; Cavaco, Celso; Motsnyi, Vasyl; San Segundo Bello, David; Delbruck, Tobi (May 2018). "Front and Back Illuminated Dynamic and Active Pixel Vision Sensors Comparison" (PDF). IEEE Transactions on Circuits and Systems II: Express Briefs. 65 (5): 677–681. doi:10.1109/TCSII.2018.2824899. ISSN 1549-7747. S2CID 19091270.
  14. ^ "Insightness – Sight for your device". Retrieved 2019-04-22.
  15. ^ "Event Based Vision Camera - Century Arks". Retrieved 2021-08-30.
  16. ^ Son, Bongki; Suh, Yunjae; Kim, Sungho; Jung, Heejae; Kim, Jun-Seok; Shin, Changwoo; Park, Keunju; Lee, Kyoobin; Park, Jinman (February 2017). "4.1 A 640×480 dynamic vision sensor with a 9µm pixel and 300Meps address-event representation". 2017 IEEE International Solid-State Circuits Conference (ISSCC). San Francisco, CA, USA: IEEE. pp. 66–67. doi:10.1109/ISSCC.2017.7870263. ISBN 9781509037582. S2CID 19371922.
  17. ^ Chen, Shoushun; Tang, Wei; Zhang, Xiangyu; Culurciello, Eugenio (December 2012). "A 64 $\times$ 64 Pixels UWB Wireless Temporal-Difference Digital Image Sensor". IEEE Transactions on Very Large Scale Integration (VLSI) Systems. 20 (12): 2232–2240. doi:10.1109/TVLSI.2011.2172470. ISSN 1063-8210. S2CID 5909607.
  18. ^ "Sony to Release Two Types of Stacked Event-Based Vision Sensors with the Industry's Smallest 4.86μm Pixel Size for Detecting Subject Changes Only Delivering High-Speed, High-Precision Data Acquisition to Improve Industrial Equipment Productivity｜News Releases｜Sony Semiconductor Solutions Group". Sony Semiconductor Solutions Group (in Japanese). Retrieved 2021-10-28.
  19. ^ Boahen, K. (1996). "Retinomorphic vision systems". Proceedings of Fifth International Conference on Microelectronics for Neural Networks: 2–14. doi:10.1109/MNNFS.1996.493766. ISBN 0-8186-7373-7. S2CID 62609792.
  20. ^ Posch, Christoph; Serrano-Gotarredona, Teresa; Linares-Barranco, Bernabe; Delbruck, Tobi (2014). "Retinomorphic Event-Based Vision Sensors: Bioinspired Cameras With Spiking Output". Proceedings of the IEEE. 102 (10): 1470–1484. doi:10.1109/JPROC.2014.2346153. hdl:11441/102353. ISSN 1558-2256. S2CID 11513955.
  21. ^ Trujillo Herrera, Cinthya; Labram, John G. (2020-12-07). "A perovskite retinomorphic sensor". Applied Physics Letters. 117 (23): 233501. Bibcode:2020ApPhL.117w3501T. doi:10.1063/5.0030097. ISSN 0003-6951. S2CID 230546095.
  22. ^ Miyasaka, Tsutomu; Murakami, Takurou N. (2004-10-25). "The photocapacitor: An efficient self-charging capacitor for direct storage of solar energy". Applied Physics Letters. 85 (17): 3932–3934. Bibcode:2004ApPhL..85.3932M. doi:10.1063/1.1810630. ISSN 0003-6951.
  23. ^ "Perovskite sensor sees more like the human eye". Physics World. 2021-01-18. Retrieved 2021-10-28.
  24. ^ "Simple Eyelike Sensors Could Make AI Systems More Efficient". Inside Science. Retrieved 2021-10-28.
  25. ^ Hambling, David. "AI vision could be improved with sensors that mimic human eyes". New Scientist. Retrieved 2021-10-28.
  26. ^ "An eye for an AI: Optic device mimics human retina". BBC Science Focus Magazine. Retrieved 2021-10-28.
  27. ^ a b Scheerlinck, Cedric; Barnes, Nick; Mahony, Robert (2019). "Continuous-Time Intensity Estimation Using Event Cameras". Computer Vision – ACCV 2018. Lecture Notes in Computer Science. Springer International Publishing. 11365: 308–324. arXiv:1811.00386. doi:10.1007/978-3-030-20873-8_20. ISBN 9783030208738. S2CID 53182986.
  28. ^ Pan, Liyuan; Scheerlinck, Cedric; Yu, Xin; Hartley, Richard; Liu, Miaomiao; Dai, Yuchao (June 2019). "Bringing a Blurry Frame Alive at High Frame-Rate With an Event Camera". 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Long Beach, CA, USA: IEEE. pp. 6813–6822. arXiv:1811.10180. doi:10.1109/CVPR.2019.00698. ISBN 978-1-7281-3293-8. S2CID 53749928.
  29. ^ Scheerlinck, Cedric; Barnes, Nick; Mahony, Robert (April 2019). "Asynchronous Spatial Image Convolutions for Event Cameras". IEEE Robotics and Automation Letters. 4 (2): 816–822. arXiv:1812.00438. doi:10.1109/LRA.2019.2893427. ISSN 2377-3766. S2CID 59619729.
  30. ^ Serrano-Gotarredona, T.; Andreou, A.; Linares-Barranco, B. (Sep 1999). "AER Image Filtering Architecture for Vision Processing Systems". IEEE Transactions on Circuits and Systems I: Fundamental Theory and Applications. 46 (9): 1064–1071. doi:10.1109/81.788808. hdl:11441/76405. ISSN 1057-7122.
  31. ^ Serrano-Gotarredona, R.; et, al (Sep 2009). "CAVIAR: A 45k-Neuron, 5M-Synapse, 12G-connects/sec AER Hardware Sensory-Processing-Learning-Actuating System for High Speed Visual Object Recognition and Tracking". IEEE Transactions on Neural Networks. 20 (9): 1417–1438. doi:10.1109/TNN.2009.2023653. hdl:10261/86527. ISSN 1045-9227. PMID 19635693. S2CID 6537174.
  32. ^ Serrano-Gotarredona, R.; Serrano-Gotarredona, T.; Acosta-Jimenez, A.; Linares-Barranco, B. (Dec 2006). "A Neuromorphic Cortical-Layer Microchip for Spike-Based Event Processing Vision Systems". IEEE Transactions on Circuits and Systems I: Regular Papers. 53 (12): 2548–2566. doi:10.1109/TCSI.2006.883843. hdl:10261/7823. ISSN 1549-8328. S2CID 8287877.
  33. ^ Camuñas-Mesa, L.; et, al (Feb 2012). "An Event-Driven Multi-Kernel Convolution Processor Module for Event-Driven Vision Sensors". IEEE Journal of Solid-State Circuits. 47 (2): 504–517. Bibcode:2012IJSSC..47..504C. doi:10.1109/JSSC.2011.2167409. hdl:11441/93004. ISSN 0018-9200. S2CID 23238741.
  34. ^ Pérez-Carrasco, J.A.; Zhao, B.; Serrano, C.; Acha, B.; Serrano-Gotarredona, T.; Chen, S.; Linares-Barranco, B. (November 2013). "Mapping from Frame-Driven to Frame-Free Event-Driven Vision Systems by Low-Rate Rate-Coding and Coincidence Processing. Application to Feed-Forward ConvNets". IEEE Transactions on Pattern Analysis and Machine Intelligence. 35 (11): 2706–2719. doi:10.1109/TPAMI.2013.71. hdl:11441/79657. ISSN 0162-8828. PMID 24051730. S2CID 170040.
  35. ^ a b Gallego, Guillermo; Delbruck, Tobi; Orchard, Garrick Michael; Bartolozzi, Chiara; Taba, Brian; Censi, Andrea; Leutenegger, Stefan; Davison, Andrew; Conradt, Jorg; Daniilidis, Kostas; Scaramuzza, Davide (2020). "Event-based Vision: A Survey". IEEE Transactions on Pattern Analysis and Machine Intelligence. PP: 154–180. arXiv:1904.08405. doi:10.1109/TPAMI.2020.3008413. ISSN 1939-3539. PMID 32750812. S2CID 234740723.
  36. ^ a b Mondal, Anindya; R, Shashant; Giraldo, Jhony H.; Bouwmans, Thierry; Chowdhury, Ananda S. (2021). "Moving Object Detection for Event-Based Vision Using Graph Spectral Clustering". International Conference on Computer Vision (ICCV) Workshops: 876–884. arXiv:2109.14979. doi:10.1109/ICCVW54120.2021.00103. ISBN 978-1-6654-0191-3. S2CID 238227007 – via IEEE Xplore.
  37. ^ Mitrokhin, Anton; Fermuller, Cornelia; Parameshwara, Chethan; Aloimonos, Yiannis (October 2018). "Event-Based Moving Object Detection and Tracking". 2018 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). Madrid: IEEE: 1–9. arXiv:1803.04523. doi:10.1109/IROS.2018.8593805. ISBN 978-1-5386-8094-0. S2CID 3845250.
  38. ^ Stoffregen, Timo; Gallego, Guillermo; Drummond, Tom; Kleeman, Lindsay; Scaramuzza, Davide (2019). "Event-Based Motion Segmentation by Motion Compensation": 7244–7253. arXiv:1904.01293. {{cite journal}}: Cite 저널은 필요로 한다. journal= (도움말)
  39. ^ Piątkowska, Ewa; Belbachir, Ahmed Nabil; Schraml, Stephan; Gelautz, Margrit (June 2012). "Spatiotemporal multiple persons tracking using Dynamic Vision Sensor". 2012 IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops: 35–40. doi:10.1109/CVPRW.2012.6238892. ISBN 978-1-4673-1612-5. S2CID 310741.
  40. ^ Chen, Guang; Cao, Hu; Aafaque, Muhammad; Chen, Jieneng; Ye, Canbo; Röhrbein, Florian; Conradt, Jörg; Chen, Kai; Bing, Zhenshan; Liu, Xingbo; Hinz, Gereon (2018-12-02). "Neuromorphic Vision Based Multivehicle Detection and Tracking for Intelligent Transportation System". Journal of Advanced Transportation. 2018: e4815383. doi:10.1155/2018/4815383. ISSN 0197-6729.
  41. ^ Mondal, Anindya; Das, Mayukhmali (2021-11-08). "Moving Object Detection for Event-based Vision using k-means Clustering". 2021 IEEE 8th Uttar Pradesh Section International Conference on Electrical, Electronics and Computer Engineering (UPCON). pp. 1–6. arXiv:2109.01879. doi:10.1109/UPCON52273.2021.9667636. ISBN 978-1-6654-0962-9. S2CID 237420620.