영상 콘텐츠 분석

Video content analysis

비디오 분석 또는 비디오 분석(VA)이라고도 하는 비디오 콘텐츠 분석 또는 비디오 콘텐츠 분석(VCA)은 비디오를 자동으로 분석하여 시간적, 공간적 이벤트를 감지하고 결정하는 기능이다.

이 기술 기능은 엔터테인먼트,[1] 비디오 검색 및 비디오 검색,[2] 의료, 소매, 자동차, 운송, 가정용 자동화, 화염 및 연기 감지, 안전 및 보안을 포함한 광범위한 영역에서 사용된다.[3] 알고리즘은 범용기계의 소프트웨어로 구현하거나, 전문화된 영상처리장치의 하드웨어로 구현할 수 있다.

VCA에서는 많은 다양한 기능을 구현할 수 있다. 비디오 동작 감지는 고정된 배경 장면과 관련하여 움직임이 감지되는 가장 단순한 형태 중 하나이다. 보다 진보된 기능에는 비디오 추적과[4] 자기모션 추정이 포함된다.[5]

VCA가 기계에서 생성하는 내부 표현을 바탕으로 영상 요약,[6] 식별, 행동 분석 또는 기타 형태의 상황 인식과 같은 다른 기능을 구축할 수 있다.

VCA는 좋은 입력 비디오에 의존하기 때문에 비디오 데노이즈, 이미지 안정화, 샤프 마스킹, 초 해상도 등의 비디오 강화 기술과 결합되는 경우가 많다.

기능성

몇 가지 기사는 비디오 분석 애플리케이션 개발에 관련된 모듈의 개요를 제공한다.[7][8] 이것은 알려진 기능들의 목록과 간단한 설명이다.

함수 설명
동적 마스킹 예를 들어 프라이버시 문제로 인해 신호 자체에 기반한 비디오 신호의 일부를 차단하는 것.
불꽃 및 연기 감지 지능형 비디오 감시 기술이 적용된 IP 카메라는 내장된 DSP 칩 때문에 15~20초 안에 불꽃과 연기를 감지할 수 있다. 칩은 색채도, 깜박임 비율, 모양, 패턴, 이동 방향 등 불꽃과 연기 특성을 위해 촬영된 영상을 분석하는 알고리즘을 처리한다.
자기모션추정 에고모션 추정치는 출력신호를 분석해 카메라의 위치를 결정하는 데 사용된다.
동작 탐지 동작 감지는 관찰된 장면에서 관련 동작의 존재를 결정하는 데 사용된다.
형상인식 형상 인식은 입력 비디오에서 원이나 정사각형과 같은 모양을 인식하는 데 사용된다. 이 기능은 일반적으로 객체 탐지와 같은 보다 진보된 기능성에 사용된다.
물체 탐지 물체 감지 기능은 물체나 실체의 유형(예: 사람 또는 자동차)의 존재를 결정하는 데 사용된다. 다른 예로는 화재와 연기 탐지가 있다.
인식 얼굴 인식 및 자동 번호판 인식은 사람이나 자동차를 인식하여 식별하기 위해 사용된다.
스타일 탐지 스타일 검출은 예를 들어 텔레비전 방송과 같이 비디오 신호가 생성된 설정에서 사용된다. 스타일 검출은 생산 공정의 스타일을 검출한다.[9]
변조 탐지 변조 감지는 카메라 또는 출력 신호가 변조되었는지 여부를 결정하는 데 사용된다.
비디오 추적 비디오 추적은 가능한 외부 기준 그리드와 관련하여 비디오 신호에서 사람 또는 물체의 위치를 결정하는 데 사용된다.
비디오 오류 수준 분석 무료 소프트웨어를 사용한 비디오 장면 컨텐츠 변조 분석. 비디오 오류 수준 분석(VELA)
객체 공동 세그먼트화 하나 이상의 관련 비디오 시퀀스에서 대상 검색, 분류 및 세분화

상업적 응용 프로그램

VCA는 2000년대 중반 수많은 기업이 VCA 강화 제품을 출시할 정도로 비교적 새로운 기술이다.[10][11][12] 애플리케이션은 많지만, 서로 다른 VCA 솔루션의 트랙은 매우 다르다. 모션 감지, 사람 수, 총기 탐지 등의 기능은 상용 기성품으로 제공되며 트랙 레코드가 괜찮다고 판단된다(예를 들어, dsprobotics Flowstone과 같은 프리웨어도 움직임과 색상 분석을 처리할 수 있다). COVID-19 대유행 사태에 대응하여, 많은 소프트웨어 제조업체들은 얼굴 마스크 탐지나 사회적 거리 추적과 같은 새로운 공중 보건 분석을 도입했다.[13][14][15]

많은 도메인에서 VCA는 카메라(최신)에 배포되거나 전용 처리 시스템에 집중되어 CCTV 시스템에 구현된다. 비디오 분석과 스마트 CCTV는 보안 영역 내 VCA의 상용어다. 영국에서 BSIA는 보안 영역의 VCA에 대한 소개 가이드를 개발했다.[16] 영상 분석과 보완을 위해 오디오 분석 기능도 활용할 수 있다.[17]

영상 관리 소프트웨어 제조업체들은 이용 가능한 영상 분석 모듈의 범위를 지속적으로 확대하고 있다. 새로운 용의자 추적 기술을 통해, 그들이 어디서 왔는지, 언제 어디서 왔는지, 어떻게 이동했는지 등 이 대상의 모든 움직임을 쉽게 추적할 수 있다. 특정 감시 시스템 내에서 인덱싱 기술은 특정 기간 동안 또는 특정 기간 내에 카메라의 관점에 있는 유사한 기능을 가진 사람들을 찾을 수 있다. 보통 이 시스템은 유사한 기능을 가진 많은 다른 사람들을 찾아내어 스냅샷 형태로 제시한다. 운영자는 추적해야 할 영상과 피사체만 클릭하면 된다. 1분 남짓이면 특정인의 모든 움직임을 추적할 수 있고, 심지어 그 움직임의 단계별 영상을 만들 수도 있다.

키넥트는 사용자 입력의 일부로 VCA를 사용하는 Xbox 360 게임 콘솔의 추가 기능 주변장치다.[18]

유통업계에서는 VCA가 매장 내 쇼핑객을 추적하는 데 사용된다.[19] 이렇게 하면 매장 열 지도를 얻을 수 있어 매장 디자인과 마케팅 최적화에 이롭다. 다른 애플리케이션에는 제품 및 품목 제거/좌측 검출 시 체류 시간이 포함된다.

상업적 환경에서 VCA의 품질은 결정하기 어렵다. 사용 사례, 구현, 시스템 구성 및 컴퓨팅 플랫폼과 같은 많은 변수에 따라 달라진다. 상업적 환경에서 품질을 객관적으로 파악하기 위한 대표적인 방법으로는 독립적인 벤치마킹과[20] 지정된 시험 장소가 있다.

VCA는 군중 관리 목적으로 사용되었으며, 특히 런던의 O2 아레나 및 런던 아이에서 그러하다.

법 집행

참고 항목: INDECT 및 대량 감시

경찰과 법의학자들은 범죄 활동을 조사할 때 CCTV 영상을 분석한다. 경찰은 동영상 콘텐츠 분석을 실시하는 키네센스 등 소프트웨어를 활용해 동영상의 주요 사건을 검색하고 용의자를 찾는다. 조사 결과 최고 75%가 CCTV와 관련된 것으로 나타났다. 경찰은 비디오 콘텐츠 분석 소프트웨어를 이용해 긴 동영상을 검색해 중요한 이벤트를 진행한다.[21][22]

학술연구

영상 콘텐츠 분석은 컴퓨터 비전과 인공지능의 하위집합이다. 주요 학술 벤치마크 이니셔티브로는 i-LIDS 영상 중 작은 부분을 사용하는 [23]TRECVID와 PETS 벤치마크 데이터가 있다.[24] 그들은 추적, 왼쪽 짐 감지, 가상 펜싱과 같은 기능들에 초점을 맞춘다. UCF101과[25] 같은 벤치마크 비디오 데이터셋은 시간적, 공간적 시각적 주의와 경련적 신경망 및 장기적 기억력을 통합한 행동인식 연구를 가능하게 한다. 비디오 분석 소프트웨어는 또한 공개 영상을 보다 쉽게 재조정하고 동영상에서 사건과 사람을 식별하기 위해 차체를 착용한 카메라와 대시보드 카메라의 영상과 페어링되고 있다.[26]

EU는 임베디드 시스템의 비디오 콘텐츠 분석을 경찰과 통합하고 보안 데이터베이스를 전송하기 위해 P-REACT라는 FP7 프로젝트에 자금을 지원하고 있다.[28]

인공지능

주요 기사: 비디오 감시를 위한 인공지능

영상 감시를 위한 인공지능은 사람과 차량, 사물, 이벤트를 인식하기 위해 비디오 감시 카메라의 오디오와 이미지를 분석하는 컴퓨터 소프트웨어 프로그램을 활용한다. 보안 계약자 프로그램은 카메라 감시로 보호되는 재산에 대해 카메라 시야 내에서 제한구역(예: 울타리 쳐진 소외지역, 주차장, 주차장 등, 주차장 밖 보도나 공공도로는 제외)과 시간대별 프로그램(영업 종료 후 등)을 규정하는 소프트웨어다. 인공지능(이하 AI)은 하루 중 해당 지역에 사람이 출입할 수 없다는 '규칙'을 어긴 침입자를 발견하면 경보를 보낸다.

참고 항목

참조

  1. ^ KINECT 2010년 9월 12일 웨이백 머신에 보관된 Xbox 360 콘솔용 추가 기능 주변 장치
  2. ^ 디미트로바, 네벤카 등 "비디오 콘텐츠 분석 및 검색의 적용" IEEE 멀티미디어 9.3(2002년): 42-55.
  3. ^ 영국 보안의 VCA 사용량 증가, BSIA 보고서
  4. ^ 카발리에르, 다닐로, 빈첸초 로이아, 사브리나 세나토레. "UAV 비디오 콘텐츠 분석을 위한 온톨로지 설계 패턴 제시" IEEE Access 7(2019): 105342-105353.
  5. ^ "A human-like description of scene events for a proper UAV-based video content analysis". Knowledge-Based Systems. 178: 163–175. 2019-08-15. doi:10.1016/j.knosys.2019.04.026. ISSN 0950-7051.
  6. ^ Ma, Yu-Fei, et al. "비디오 요약에 대한 사용자 주의 모델" 멀티미디어에 관한 제10차 ACM 국제회의의 진행. 2002.
  7. ^ Nik Gagvani, 비디오 분석 소개
  8. ^ 성펑, 영상 분석
  9. ^ 스타일 탐지, Cees G.M. Snoek 등, 스타일 분석별 TV 뉴스 독백 탐지, ICME'04
  10. ^ Kwet, Michael (2020-01-27). "The Rise of Smart Camera Networks, and Why We Should Ban Them". The Intercept. Retrieved 2020-10-19.
  11. ^ "Aimetis", Wikipedia, 2020-01-28, retrieved 2020-10-19
  12. ^ "Infographic: History of Video Surveillance". IFSEC Global Security and Fire News and Resources. 2013-12-12. Retrieved 2020-10-19.
  13. ^ "COVID-19 makes face mask detection essential video analytics - asmag.com". www.asmag.com. Retrieved 2020-10-06.
  14. ^ Looveren, Pieter van de. "Functionality Beyond Security: The Advent of Open Platform Cameras". www.securityinformed.com. Retrieved 2020-10-06.
  15. ^ "StackPath". www.securityinfowatch.com. Retrieved 2020-10-06.
  16. ^ 영국 산업 VCA 가이드, 262 비디오 컨텐츠 분석 산업 가이드 소개
  17. ^ CCTV 산업에 오디오 분석을 제공하는 영국 기반 스타트업
  18. ^ "Project Natal 101". Microsoft. 2009-06-01. Archived from the original on 2012-01-21. Retrieved 2009-06-02.
  19. ^ "Heat map Intelligent module".
  20. ^ 영국 내무부의 i-Lids, 벤치마킹 이니셔티브
  21. ^ "Northgate offers police forces improved CCTV analysis system". Retrieved 29 Dec 2015.
  22. ^ "Northgate teams with Dublin tech firm Kinesense to help police video analysis". Risk Manager Online. Retrieved 26 May 2014.
  23. ^ TRECVID, NIST의 학술 벤치마크 이니셔티브
  24. ^ PETS 벤치마크 데이터, 독서대학별 추적 및 감시(PET) 성능평가
  25. ^ Center, UCF (2013-10-17). "UCF101 – Action Recognition Data Set". CRCV. Retrieved 2018-09-12.
  26. ^ "Police Body Cameras Will Do More Than Just Record You Fast Company The Future Of Business". Fast Company. 2017-03-03. Retrieved 2017-03-08.
  27. ^ P-REACT 프로젝트 웹사이트
  28. ^ "Kinesense launches P-REACT, an FP7 project against Petty Crime". Retrieved 27 May 2014.