컨텐츠 기반 이미지 검색

Content-based image retrieval
컨텐츠 기반 이미지 검색의 일반 구성표

이미지 콘텐츠(QBIC) 및 콘텐츠 기반 영상 정보 검색(CBVIR)에 의한 쿼리라고도 하는 콘텐츠 기반 이미지 검색은 대형 데이터베이스에서 디지털 이미지를 검색하는 문제인 이미지 검색 문제에 컴퓨터 비전 기법을 적용하는 것이다(CBIR 필드의 과학적 개요는 이 설문[1] 조사 참조). 컨텐츠 기반 이미지 검색은 기존의 개념 기반 접근 방식과 반대된다(개념 기반 이미지 인덱싱 참조).

"콘텐츠 기반"은 검색이 키워드, 태그, 이미지와 관련된 설명 등의 메타데이터가 아닌 이미지의 콘텐츠를 분석하는 것을 의미한다. 이 맥락에서 "내용"이라는 용어는 색상, 모양, 질감 또는 이미지 자체에서 파생될 수 있는 다른 정보를 나타낼 수 있다. 순수하게 메타데이터에 의존하는 검색은 주석 품질과 완전성에 따라 달라지기 때문에 CBIR이 바람직하다.

큰 데이터베이스에 키워드나 메타데이터를 입력하여 인간이 수동으로 이미지에 주석을 달게 하는 것은 시간이 많이 소요될 수 있으며 이미지를 묘사하고자 하는 키워드를 캡처하지 못할 수도 있다. 키워드 이미지 검색의 효과에 대한 평가는 주관적이며, 아직 제대로 정의되지 않고 있다. 같은 점에서, CBIR 시스템은 성공을 정의하는 데 있어서 비슷한 어려움을 가지고 있다.[2] "키워드도 질의의 범위를 미리 정해진 기준의 집합으로 제한한다.", "설치되었다"는 내용 자체를 사용하는 것보다 신뢰성이 떨어진다.[3]

역사

'콘텐츠 기반 이미지 검색'이라는 용어는 1992년 일본의 전기기술 연구소 엔지니어 가토 도시카즈(가토 도시카즈)[2][4]가 데이터베이스로부터 이미지를 자동으로 검색하기 위한 실험을 기술하기 위해 사용하면서 생긴 것으로 보인다. 그 이후로 이 용어는 구문학적 영상 기능을 바탕으로 대집합에서 원하는 영상을 검색하는 과정을 설명하기 위해 사용되었다. 사용되는 기술, 도구, 알고리즘은 통계, 패턴 인식, 신호 처리, 컴퓨터 비전 등의 분야에서 비롯된다.[1]

콘텐츠 기반 비디오 브라우징은 지멘스에서 근무하던 이란 엔지니어 파르시드 아르만, 대만 컴퓨터 과학자 아딩 슈, 컴퓨터 과학자 밍예 치우가 소개한 것으로 1993년 8월 ACM 국제회의에서 발표됐다.[5][6] 그들은 원래 JPEG, MPEG, H.26x와 같은 이산 코사인 변환(DCT) 비디오 코딩 표준으로 인코딩된 압축 비디오에 대한 샷 감지 알고리즘을 설명했다. DCT 계수는 수학적으로 공간영역과 연관되어 있고 각 프레임의 내용을 나타내기 때문에 비디오 프레임의 차이를 감지하는 데 사용할 수 있다는 것이 기본 생각이었다. 알고리즘에서는 프레임의 블록 부분 집합과 각 블록에 대한 DCT 계수의 부분 집합이 프레임의 모션 벡터 표현으로 사용된다. 이 알고리즘은 압축된 DCT 표현으로 작동함으로써 감압에 대한 계산 요건을 크게 줄이고 효과적인 비디오 브라우징을 가능하게 한다.[7] 이 알고리즘은 모션 추적 영역에 의해 프레임된 샷의 썸네일인 r-프레임에 의한 비디오 시퀀스의 별도 샷을 나타낸다. 이 개념의 변화는 QBIC 비디오 콘텐츠 모자이크에 채택되었다. 각 r프레임은 그것이 나타내는 샷에서 여전히 두드러진다.[8]

QBIC - 이미지 컨텐츠별 쿼리

초창기 상업 CBIR 시스템은 IBM에 의해 개발되었으며 QBIC(Query By Image Content)라고 불렸다.[9][10] 최근의 네트워크와 그래프 기반 접근방식은 기존 방법에 대한 단순하고 매력적인 대안을 제시해 왔다.[11]

복수의 영상을 하나의 실체의 일부로서 저장하는 것이 BLOB(Binary Large OBject)라는 용어 앞에 앞서 있는 동안,[12] 서술보다는 컨텐츠에 의한 완전한 검색 능력은 IBM의 QBIC를 기다려야 했다.[3]

기술진행

CB에 대한 관심효율적인 이미지 검색을 위한 광범위한 사용 가능 범위뿐만 아니라 메타데이터 기반 시스템에 내재된 한계 때문에 IR이 성장했다. 영상에 대한 텍스트 정보는 기존 기술을 이용해 쉽게 검색할 수 있지만, 이를 위해서는 데이터베이스에 있는 각 이미지를 인간이 수동으로 기술해야 한다. 이것은 매우 큰 데이터베이스나 감시 카메라 등에서 자동으로 생성되는 이미지의 경우 비실용적일 수 있다. 설명에서 서로 다른 동의어를 사용하는 이미지를 놓칠 수도 있다. "cat"과 같은 의미 클래스의 영상을 "동물"의 하위 클래스로 분류하는 것에 기반을 둔 시스템은 오분류 문제를 피할 수 있지만, "고양이"일 수도 있지만 "동물"으로만 분류될 수 있는 이미지를 찾기 위해서는 사용자의 더 많은 노력이 필요할 것이다. 이미지를 분류하기 위해 많은 표준이 개발되었지만, 모든 표준은 여전히 스케일링과 잘못된 범주화 문제에 직면해 있다.[2]

이니셜 CBIR 시스템은 이미지 색상, 텍스처 및 형상 특성을 기반으로 데이터베이스를 검색하도록 개발되었다. 이러한 시스템이 개발된 후, 사용자 친화적인 인터페이스의 필요성이 명백해졌다. 따라서, CBIR 분야에서의 노력은 검색을 수행하는 사용자의 요구를 충족시키기 위해 노력하는 인간 중심의 디자인을 포함하기 시작했다. 이것은 일반적으로 서술적 의미론을 허용할 수 있는 쿼리 방법, 사용자 피드백을 포함할 수 있는 쿼리, 기계 학습을 포함할 수 있는 시스템 및 사용자 만족도를 이해할 수 있는 시스템의 포함을 의미한다.[1]

기술

많은 CBIR 시스템이 개발되었지만, 2006년 현재, 화소 함량을 바탕으로 이미지를 회수하는 문제는 대부분 해결되지 않은 채로 남아 있다.[1][needs update]

다른 쿼리 기법과 CBIR 구현은 다른 유형의 사용자 쿼리를 사용한다.

예시별 쿼리

QBE(Query By Sampaign)는 CB 제공과 관련된 질의 기법이다[13].그런 다음 검색을 기반으로 할 예제 이미지가 있는 IR 시스템. 기본 검색 알고리즘은 애플리케이션에 따라 다를 수 있지만 결과 영상은 모두 제공된 예와 공통 요소를 공유해야 한다.[14]

참고 항목: 역방향 이미지 검색

시스템에 예제 이미지를 제공하기 위한 옵션:

  • 기존 이미지는 사용자가 제공하거나 임의 세트에서 선택할 수 있다.
  • 사용자는 예를 들어 색상이나 일반적인 모양의 블럽을 사용하여 찾고 있는 이미지의 대략적인 근사치를 그린다.[14]

이 쿼리 기법은 이미지를 단어로 묘사하려 할 때 발생할 수 있는 어려움을 없앤다.

의미 검색

의미 검색은 사용자가 "아브라함 링컨의 사진 찾기"와 같은 요청을 하는 것으로 시작된다. 이러한 유형의 오픈 엔드 작업은 컴퓨터가 수행하기가 매우 어렵다 - 링컨이 항상 카메라를 마주하거나 같은 자세로 있는 것은 아닐 수 있다. 많은 CB따라서 IR 시스템은 일반적으로 질감, 색상, 모양과 같은 하위 수준의 특징을 이용한다. 이러한 기능은 기준을 보다 쉽게 입력할 수 있는 인터페이스 또는 이미 기능(예: 얼굴, 지문 또는 모양 일치)과 일치하도록 훈련된 데이터베이스와 함께 사용된다. 그러나 일반적으로 이미지 검색은 더 높은 수준의 개념을 식별하기 위해 인간의 피드백을 필요로 한다.[10]

관련성 피드백(인간의 상호작용)

CB 결합광범위한 잠재 사용자 및 이들의 의도와 함께 사용할 수 있는 IR 검색 기술은 어려운 작업이 될 수 있다. CBIR을 성공시키는 측면은 전적으로 사용자 의도를 이해하는 능력에 달려 있다.[15] CBIR 시스템은 관련성 피드백을 사용할 수 있으며, 사용자는 결과의 이미지를 검색 질의에 "관련", "관련되지 않음" 또는 "중립"으로 표시한 후 새로운 정보와 함께 검색을 반복하여 검색 결과를 점진적으로 재조정할 수 있다. 이러한 유형의 인터페이스의 예는 개발되었다.[16]

반복/기계 학습

기계 학습과 반복 기술의 적용은 CBIR에서 점점 더 일반화되고 있다.[17]

기타 쿼리 방법

다른 쿼리 방법으로는 예시 이미지 탐색, 사용자 지정/계층적 범주 탐색, 이미지 영역별 쿼리(전체 이미지가 아닌) 다중 예제 이미지별 쿼리, 시각적 스케치별 쿼리, 이미지 기능의 직접 사양에 의한 쿼리, 다중 모드 쿼리(예: 터치, 음성 등을 결합한 쿼리)[18] 등이 있다.

영상 거리 측도를 사용한 내용 비교

내용 기반 이미지 검색에서 두 이미지를 비교하는 가장 일반적인 방법은 영상 거리 측정(일반적으로 데이터베이스의 영상과 예시 이미지)을 사용하는 것이다. 이미지 거리 측정은 색상, 질감, 모양 등 다양한 차원에서 두 이미지의 유사성을 비교한다. 예를 들어, 0의 거리는 고려된 치수와 관련하여 쿼리와 정확히 일치함을 의미한다. 직관적으로 수집할 수 있듯이, 값이 0보다 크면 이미지 사이의 다양한 유사도를 나타낸다. 검색 결과는 조회된 이미지와의 거리를 기준으로 정렬할 수 있다.[14] 많은 영상 거리 측정(유사성 모델)이 개발되었다.[19]

색

색상 유사성에 기반한 거리 측정 계산은 특정 값을 가진 이미지 내에서 픽셀의 비율을 식별하는 각 이미지에 대한 색상 히스토그램을 계산함으로써 달성된다.[2] 그들이 포함하고 있는 색상을 바탕으로 영상을 검사하는 것은 이미지 크기나 방향과 관계없이 완성될 수 있기 때문에 가장 널리 사용되는 기법 중 하나이다.[10] 그러나, 연구는 또한 여러 색 지역들 사이의 공간적 관계와 지역별로 색 비율을 나누려고 시도했다.[18]

식감

텍스처 측정은 이미지에서 시각적 패턴과 그것들이 어떻게 공간적으로 정의되는지를 찾는다. 텍스처는 이미지에서 감지되는 텍스처의 개수에 따라 여러 세트로 배치되는 텍스처로 표현된다. 이러한 세트는 텍스처뿐만 아니라 이미지에서 텍스처가 위치한 위치도 정의한다.[14]

질감은 표현하기 어려운 개념이다. 영상에서 특정 질감의 식별은 주로 질감을 2차원 회색 수준 변화로 모델링함으로써 달성된다. 픽셀 쌍의 상대 밝기는 대조도, 규칙성, 공진도 및 방향성을 추정할 수 있도록 계산된다.[10][20] 문제는 공동 픽셀 변동의 패턴을 식별하고 이를 비단결, 또는 거친 것과 같은 특정 종류의 텍스처와 연관시키는 것이다.

질감을 분류하는 다른 방법에는 다음이 포함된다.

모양

모양은 이미지의 모양이 아니라 찾는 특정 지역의 모양을 가리킨다. 형상은 분할 또는 에지 감지를 영상에 적용하여 먼저 결정되는 경우가 많다. 다른 방법에서는 이미지의 주어진 모양을 식별하기 위해 형상 필터를 사용한다.[21] 형상 설명자는 번역, 회전 및 규모에도 불변할 필요가 있을 수 있다.[10]

일부 형상 설명자에는 다음이 포함된다.[10]

취약성, 공격 및 방어

인식이나 검출과 같은 컴퓨터 비전의 다른 작업들과 마찬가지로 최근의 신경망 기반 검색 알고리즘은 후보로서나 질의 공격으로서 모두 적대적 공격에 취약하다.[22] 회수된 순위는 인간에게 감지할 수 없는 작은 동요만으로 극적으로 바뀔 수 있다는 것을 보여준다. 또한 모델 불가지론 전송 가능한 적대적 사례도 가능하여, 하위 시스템에 대한 블랙박스 적대적 공격을 기본 구현에 대한 액세스 없이 가능하게 한다.[22][23]

반대로, 그러한 공격에 대한 저항은 매드리 방어와 같은 적대적 방어를 통해 개선될 수 있다.[24]

이미지 검색 평가

영상 검색 측정은 정밀도 및 회수 측면에서 정의할 수 있다. 그러나, 다른 방법들도 고려되고 있다.[25]

이미지 검색(CB)서로 다른 기법에 의해 동시에 IR 시스템

이미지가 CB에서 검색됨IR 시스템은 픽셀 클러스터 인덱싱 통합, 히스토그램 교차점 및 이산 파월트 변환 방법과 같은 몇 가지 기술을 동시에 채택한다.[26]

적용들

CBIR의 잠재적 용도는 다음과 같다.[2]

개발된 상용 시스템에는 다음이 포함된다.[2]

  • IBM의 QBIC
  • Virage의 VIR 이미지 엔진
  • Excalibur의 이미지 검색기
  • VisualSEEK 및 WebSEEK
  • 네트라
  • 마스
  • 보토
  • 픽솔루션

실험 시스템에는 다음이 포함된다.[2]

  • MIT의 포토북
  • 컬럼비아 대학교 웹섹
  • 카네기멜론 대학교의 인디아
  • iSearch - PICT

참고 항목

참조

  1. ^ a b c d 컨텐츠 기반 멀티미디어 정보 검색: 기술 및 과제 상태(원래 출처, 404'd)컨텐츠 기반 멀티미디어 정보 검색: State of the Art and Challenges Wayback Machine, Michael Lew, et al., ACM Transactions on Multimedia Computing, Communications and Applications, 2006 페이지 1-19.
  2. ^ a b c d e f g Eakins, John; Graham, Margaret. "Content-based Image Retrieval". University of Northumbria at Newcastle. Archived from the original on 2012-02-05. Retrieved 2014-03-10.
  3. ^ a b Julie Anderson (April 29, 1996). "Search Images / Object Design Inc - Bargain of the year Stock Discussion Forums (Aug. 6, 1996)". Information Week (OnLine-reprinted in Silicon Investor's Stock Discussion Forums (Aug. 6, 1996). p. 69 (IW). At DB Expo in San Francisco earlier this month ...[영구적 데드링크]
  4. ^ Kato, Toshikazu (April 1992). "Database architecture for content-based image retrieval". Image Storage and Retrieval Systems. International Society for Optics and Photonics. 1662: 112–123. Bibcode:1992SPIE.1662..112K. doi:10.1117/12.58497. S2CID 14342247.
  5. ^ Arman, Farshid; Hsu, Arding; Chiu, Ming-Yee (August 1993). "Image Processing on Compressed Data for Large Video Databases". Proceedings of the First ACM International Conference on Multimedia. Association for Computing Machinery: 267–272. doi:10.1145/166266.166297. ISBN 0897915968. S2CID 10392157.
  6. ^ Arman, Farshid; Depommier, Remi; Hsu, Arding; Chiu, Ming-Yee (October 1994). "Content-based Browsing of Video Sequences". Proceedings of the Second ACM International Conference on Multimedia. Association for Computing Machinery. pp. 97–103. CiteSeerX 10.1.1.476.7139. doi:10.1145/192593.192630. ISBN 0897916867. S2CID 1360834.
  7. ^ Zhang, HongJiang (1998). "Content-Based Video Browsing And Retrieval". In Furht, Borko (ed.). Handbook of Internet and Multimedia Systems and Applications. CRC Press. pp. 83–108 (89). ISBN 9780849318580.
  8. ^ Steele, Michael; Hearst, Marti A.; Lawrence, A. Rowe (1998). "The Video Workbench: a direct manipulation interface for digital media editing by amateur videographers". Semantic Scholar: 1–19 (14). S2CID 18212394.
  9. ^ Flickner, M.; Sawhney, H.; Niblack, W.; Ashley, J.; Qian Huang; Dom, B.; Gorkani, M.; Hafner, J.; Lee, D.; Petkovic, D.; Steele, D.; Yanker, P. (1995). "Query by image and video content: the QBIC system". Computer. 28 (9): 23–32. doi:10.1109/2.410146. Abstract: Research on ways to extend and improve query methods for image databases is widespread. We have developed the QBIC (Query by Image Content) ...
  10. ^ a b c d e f Rui, Yong; Huang, Thomas S.; Chang, Shih-Fu (1999). "Image Retrieval: Current Techniques, Promising Directions, and Open Issues". Journal of Visual Communication and Image Representation. 10: 39–62. CiteSeerX 10.1.1.32.7819. doi:10.1006/jvci.1999.0413.[영구적 데드링크]
  11. ^ Banerjee, S. J.; et al. (2015). "Using complex networks towards information retrieval and diagnostics in multidimensional imaging". Scientific Reports. 5: 17271. arXiv:1506.02602. Bibcode:2015NatSR...517271B. doi:10.1038/srep17271. PMC 4667282. PMID 26626047.
  12. ^ "The true story of BLOBs". Archived from the original on 2011-07-23.
  13. ^ "Query-by-Example". IBM.com KnowledgeCenter. QBE is a language for querying ...
  14. ^ a b c d Shapiro, Linda; George Stockman (2001). Computer Vision. Upper Saddle River, NJ: Prentice Hall. ISBN 978-0-13-030796-5.
  15. ^ Datta, Ritendra; Dhiraj Joshi; Jia Li; James Z. Wang (2008). "Image Retrieval: Ideas, Influences, and Trends of the New Age". ACM Computing Surveys. 40 (2): 1–60. doi:10.1145/1348246.1348248. S2CID 7060187.
  16. ^ a b Bird, C.L.; P.J. Elliott; E. Griffiths (1996). "User interfaces for content-based image retrieval". IEE Colloquium on Intelligent Image Databases. IET. doi:10.1049/ic:19960746.
  17. ^ Cardoso, Douglas; et al. "Iterative Technique for Content-Based Image Retrieval using Multiple SVM Ensembles" (PDF). Federal University of Parana(Brazil). Retrieved 2014-03-11.
  18. ^ a b Liam M. Mayron. "Image Retrieval Using Visual Attention" (PDF). Mayron.net. Retrieved 2012-10-18.
  19. ^ 에이덴베르거, 호르스트(2011년). "근본적인 미디어 이해", atpress. ISBN 978-3-8423-7917-6.
  20. ^ Tamura, Hideyuki; Mori, Shunji; Yamawaki, Takashi (1978). "Textural Features Corresponding to Visual Perception". IEEE Transactions on Systems, Man and Cybernetics. 8 (6): 460, 473. doi:10.1109/tsmc.1978.4309999. S2CID 32197839.
  21. ^ Tushabe, F.; M.H.F. Wilkinson (2008). Content-based Image Retrieval Using Combined 2D Attribute Pattern Spectra (PDF). Lecture Notes in Computer Science. 5152. pp. 554–561. doi:10.1007/978-3-540-85760-0_69. ISBN 978-3-540-85759-4.
  22. ^ a b Zhou, Mo; Niu, Zhenxing; Wang, Le; Zhang, Qilin; Hua, Gang (2020). "Adversarial Ranking Attack and Defense". arXiv:2002.11293v2 [cs.CV].
  23. ^ Li, Jie; Ji, Rongrong; Liu, Hong; Hong, Xiaopeng; Gao, Yue; Tian, Qi (2019). "Universal Perturbation Attack Against Image Retrieval". pp. 4899–4908. arXiv:1812.00552 [cs.CV].
  24. ^ Madry, Aleksander; Makelov, Aleksandar; Schmidt, Ludwig; Tsipras, Dimitris; Vladu, Adrian (2017-06-19). "Towards Deep Learning Models Resistant to Adversarial Attacks". arXiv:1706.06083v4 [stat.ML].
  25. ^ Deselaers, Thomas; Keysers, Daniel; Ney, Hermann (2007). "Features for Image Retrieval: An Experimental Comparison" (PDF). RWTH Aachen University. Retrieved 11 March 2014.
  26. ^ Bhattacharjee, Pijush kanti (2010). "Integrating Pixel Cluster Indexing, Histogram Intersection and Discrete Wavelet Transform Methods for Color Images Content Based Image Retrieval System" (PDF). International Journal of Computer and Electrical Engineering [IJCEE], Singapore, vol. 2, no. 2, pp. 345-352, 2010.
  27. ^ Wang, James Ze; Jia Li; Gio Wiederhold; Oscar Firschein (1998). "System for Screening Objectionable Images". Computer Communications. 21 (15): 1355–1360. CiteSeerX 10.1.1.78.7689. doi:10.1016/s0140-3664(98)00203-5.

추가 읽기

관련 연구 논문

외부 링크