디지털 비디오 지문 채취

Digital video fingerprinting

비디오 지문 또는 비디오 해싱은 시스템이 비디오의 특성 구성요소를 고유하거나 다수의 지각 해시 집합으로 식별, 추출 및 요약하여 해당 비디오를 고유하게 식별할 수 있도록 하는 치수 감소 기법의[1][2] 한 종류다. 이 기술은 비디오 파일을 검색하고 비교하는 데 효과가 있는 것으로 입증되었다.[3][4]

역사와 과정

비디오 지문채취는 2002년 필립스에 의해 실용화되었다.[5][failed verification]

비디오 지문 채취에는 여러 가지 방법이 존재한다. Van Oostven은 연속적인 비디오 프레임에 대한 이미지 강도 패턴의 변화에 의존했다.[5] 이것은 제한된 색상의 변화 또는 원본 비디오의 그레이 스케일로의 색상의 변환에 대해 비디오 지문 감식을 강력하게 만든다. 다른 사람들은 제작된 비디오에서 촬영된 변화를 중심으로 계산하는 것만으로 지문 크기를 줄이려고 노력해왔다.[6]

비디오 지문 채취는 비디오 스트림에 어떠한 추가도 의존하지 않는다. 비디오 지문은 추가되지 않기 때문에 제거할 수 없다. 또한 비디오의 어떤 복사본에서도 참조 비디오 지문을 만들 수 있다.[7][8]

디지털 워터마킹과 비교

비디오 지문 채취는 디지털 워터마킹과 혼동해서는 안 된다. 디지털 워터마킹은 콘텐츠에 식별 기능을 삽입하여 콘텐츠를 변경해야 한다. 일부 워터마크는 시청자가 감지할 수 없는 방식으로 삽입할 수 있다. 튼튼한 워터마크는 검출과 제거가 어려울 수 있지만, 보이지 않는 워터마크의 제거는 상당한 약점이다.

워터마크는 비디오에 삽입되어야 하기 때문에, 그들은 단지 그 시점 이후에 만들어진 특정 비디오의 복사본만 식별한다. 예를 들어, 방송에 워터마크를 삽입하면 방송 전에 만들어진 비디오의 복사본을 식별하는 데 사용할 수 없다.

워터마크는 지문 채취에 비해 몇 가지 장점을 제공한다. 배포 과정에서 어느 단계에서나 콘텐츠에 독특한 워터마크를 추가할 수 있고, 동일한 동영상 콘텐츠에 여러 개의 독립적인 워터마크를 삽입할 수 있다. 이것은 특히 비디오 복사본의 기록을 추적하는 데 유용할 수 있다. 영상에서 워터마크를 검출하면 무허가 카피의 출처를 알 수 있다.

비디오 지문 시스템은 잠재적으로 큰 규모의 기준 지문을 검색해야 하지만, 워터마크 감지 시스템은 워터마크를 감지하는 연산만 하면 된다. 이 계산은 중요할 수 있으며, 여러 워터마크 키를 시험해야 할 때 워터마크는 사용자 생성 비디오 서비스와 같은 상용 애플리케이션에서 요구하는 볼륨으로 확장되지 못할 수 있다.

적용들

권한 관리 및 분배 추적

비디오 지문채취는 특히 인터넷에서 무허가 콘텐츠의 유통과 관련하여 DRM(Digital Rights Management) 분야에 관심이 있다. 비디오 지문 인식 시스템은 콘텐츠 제공자(예: 영화 스튜디오) 또는 게시자(예: 사용자 생성 콘텐츠(UGC) 사이트)가 게시자의 파일 중 지문 서비스에 등록된 콘텐츠가 포함되어 있는지 여부를 판단할 수 있도록 한다. 등록된 콘텐츠가 탐지되면 게시자가 적절한 조치를 취할 수 있으며, 이를 사이트에서 제거하고, 수익을 창출하며, 올바른 속성을 추가하는 등의 조치를 취할 수 있다.

비디오 지문 감식은 방송 모니터링(예: 광고 모니터링, 뉴스 모니터링) 및 일반 미디어 모니터링에 사용할 수 있다. 방송 모니터링 솔루션은 콘텐츠 제공자와 콘텐츠 소유자에게 재생 목록을 통해 콘텐츠의 사용 시기와 장소를 알릴 수 있다. 일반적인 응용 프로그램은 이 텔레비전 제작 및 방송용 비디오 지문 인식 사용 사례에 설명되어 있다.[9]

콘텐츠 제공자의 관점에서, 비디오와 오디오 지문 채취는 대부분의 어플리케이션에서 사용될 필요가 있다.[10] "매시업"의 온라인 출판을 고려하십시오. 매시업은 함께 컴파일되고 고유한 오디오 트랙으로 설정된 여러 소스의 콘텐츠로 구성될 수 있다. 오디오 트랙이 원본과 다르기 때문에, 이러한 매시업에서 저작권이 있는 자료는 오디오 지문 인식 기술만을 사용하여 탐지되지 않을 것이다. 다른 경우에 매시업은 영화와 같이 상업용 비디오 소스의 사운드 트랙으로 구성되며, 다른 비디오 스트림과 함께 사용된다. 이 경우 비디오 지문은 일치하지 않지만 오디오 지문은 일치한다. 오디오와 비디오 스트림이 동일한 마스터워크에서 나오지 않을 경우, 공정한 사용에 대한 문제가 발생할 수 있다.

이러한 불일치는 영화 배급 측면에서 전 세계 온라인 커뮤니티에서 실제 적용이 가능하다. 원산지가 아닌 다른 나라에서 상영되는 영화들은 종종 다른 언어로 더빙된다. 이러한 오디오 변경은 알려진 모든 버전의 복사본이 지문을 채취하지 않는 한 오디오 지문 인식 기술로 사실상 필름을 인식하지 못하게 한다. 그러나 비디오 지문 감식을 사용하면 콘텐츠 소유자가 단 한 번만 지문을 채취할 수 있으며 이후 각 버전을 인식할 수 있게 된다. 고객이 특정 동영상에 어떤 언어 사운드 트랙이 있는지 알고 싶다면 오디오 지문을 사용해야 한다.

또 다른 용도는 기업들이 기밀 녹음이나 동영상의 유출 여부를 추적하거나, 유명인사들이 허가받지 않은 동영상의 인터넷상의 존재를 추적하는 것이다(예를 들어, 아마추어가 캠코더나 휴대폰을 이용해 찍은 동영상).

인터랙티브 미디어

스마트 TV에 적용된 비디오 지문 감식은 새로운 인터랙티브 텔레비전 응용 분야를 가능하게 하고 있다. 실시간 지문인식 소프트웨어와 통합된 텔레비전 기기는 프로그램 상단에 인터랙티브 기능과 응용 프로그램이 가능하도록 화면 상의 비디오 콘텐츠를 자동으로 인식할 수 있다. 기업가 마크 쿠바는 이 기술을 이용하여 그의 케이블 네트워크 HDNet과 그것의 후계자인 AXS를 위한 상호 작용 기능을 만들기 위해 투자를 해왔다.[11]

비디오 지문은 또한 콘텐츠 인식 비디오 광고를 만드는 데 사용될 수 있다. 하나의 구현으로서, 비디오 서비스 제공자가 국가 방송 TV 광고가 포함된 콘텐츠를 배급하는 경우, 국가 광고에 지역화된 텍스트/그래픽 오버레이를 실시할 수 있다. 이러한 방식으로 국가 광고는 해당 광고에 특정된 정보의 국부적 오버레이를 갖게 될 것이다. 예를 들어 국가 광고가 포드 익스플로러 SUV의 15초 지점을 포함하고 있는 경우 지문 기술을 통해 지역 운영자는 15초 광고에 지역 대리점 정보(전화 번호, 프로모션 등)를 오버레이하여 현지만을 대상으로 하는 것으로 보이는 SUV에 대한 지역화된 광고를 만들 수 있다. 청중의

범죄수사

동영상 지문 채취는 당국이 해피슬래핑, 테러범, 아동성폭력 관련 동영상 등 불법 콘텐츠 유통을 추적하는 데도 활용된다.

2008년에 네덜란드 회사인 Ziuz는 네덜란드 경찰, TNO, 암스테르담 대학교와 함께 아동 성학대 관련 동영상을 탐지하기 위한 비디오 지문 감식을 개발했다.[12][13]

2014년 4월 영국 회사인 Friend MTS Ltd.는 아동 포르노 수사의 효율성을 높이고 인터넷을 통한 유사한 파일의 지속적인 공유를 중단시키기 위해 국제 실종 아동 및 착취 아동 센터(ICMEC)에 비디오 지문 채취 기술(F1)을 기증했다.[7][14] ICMEC는 이 기술을 법 집행 기관, 소프트웨어 제공업체 및 온라인 서비스 제공업체에 배포하여 이러한 자료의 확산을 방해한다.[15][16]

참고 항목

참조

  1. ^ Lv, Fang; Wei, Yuliang; Han, Xixian; Wang, Bailing (2019). "Semi-supervised hash learning method with consistency-based dimensionality reduction". Advances in Mechanical Engineering. 11. doi:10.1177/1687814018819170. S2CID 115604151.
  2. ^ https://eprints.lancs.ac.uk/id/eprint/87898/1/ijcai2017_submission_gengshen.pdf
  3. ^ http://ivg.au.tsinghua.edu.cn/paper/2017_Deep%20video%20hashing.pdf
  4. ^ Song, Jingkuan; Zhang, Hanwang; Li, Xiangpeng; Gao, Lianli; Wang, Meng; Hong, Richang (2018). "Self-Supervised Video Hashing with Hierarchical Binary Auto-Encoder" (PDF). IEEE Transactions on Image Processing. 27 (7): 3210–3221. arXiv:1802.02305. Bibcode:2018ITIP...27.3210S. doi:10.1109/TIP.2018.2814344. PMID 29641401. S2CID 3633912.
  5. ^ a b 오스트베엔, J, 칼커, T, & 하이츠마, J. (2002년, 3월) 비디오 지문 인식을 위한 기능 추출 및 데이터베이스 전략. 시각 정보 시스템의 발전에 관한 국제 회의 (pp. 117-128)에서. 스프링거 베를린 하이델베르크,
  6. ^ Van Rest, J.H.C. (2002) 서명을 사용한 비디오 인덱싱 및 검색, 마스터 논문
  7. ^ a b Liat Clark (April 30, 2014). "Child abuse-tracking tech donated to the world". Wired UK.
  8. ^ 콘텐츠 제어: 디지털 워터마킹 및 지문 인식
  9. ^ "Video Fingerprinting Technology for Television Productions and Broadcaster". ivitec. August 30, 2017.
  10. ^ "Philips video fingerprints to work side by side with Gracenote's audio". Rethink. Retrieved 2021-10-16.
  11. ^ 플링고 - CNET의 쿠바 플링스 펀딩 표시
  12. ^ Eendebak, P, Kraij, W, Raijmakers, S, Ranguelova, E, De Roij, O, Thean, A, & Worring, M. (2008). 아동 포르노 조사자를 지원하기 위한 시각적 도구. 네덜란드 암스테르담 대학교 델프트의 TNO 과학 산업
  13. ^ 존 셰이브메이커, 피터 얀 도엣츠, 베르너 바이엘러, 하랄드 스티글러, 펠릭스 리, 헬무트 네우스미드, 웨셀 크라이즈, 폴 브란트, 피터 에덴데박, 엘레나 란겔로바, 앤디 테안. http://pietereendebak.nl/files/schavemaker-2010-vdFP.pdf, 2010.
  14. ^ Jeff Elder (April 30, 2014). "British Company Donates Tech to Fight Child Porn". The Wall Street Journal.
  15. ^ "New Video Fingerprinting Technology Created to Remove Child Pornography Online". MarketWatch. April 30, 2014.
  16. ^ "Fingerprints Used to Track Abuse Images". Sky News. May 5, 2014. Archived from the original on May 8, 2014.