자동 영상 주석

Automatic image annotation

자동 이미지 주석(자동 이미지 태그 부착 또는 언어 색인이라고도 함)은 컴퓨터 시스템이 디지털 이미지에 캡션 또는 키워드의 형태로 메타데이터를 자동으로 할당하는 프로세스입니다.이 컴퓨터 비전 기술의 애플리케이션은 이미지 검색 시스템에서 데이터베이스에서 관심 있는 이미지를 구성하고 찾기 위해 사용됩니다.

이 방법은 어휘 크기만큼 매우 많은 클래스를 가진 다중 클래스 이미지 분류의 한 유형으로 간주할 수 있습니다.일반적으로 추출된 특징 벡터 및 훈련 주석 단어 형태의 영상 분석은 기계 학습 기법에 의해 새 영상에 주석을 자동으로 적용하기 위해 사용됩니다.첫 번째 방법은 이미지 특징과 훈련 주석 사이의 상관관계를 학습한 후 기계번역을 사용하여 텍스트 어휘를 '시각적 어휘', 즉 블럽으로 알려진 군집화된 영역으로 번역하려고 하는 기술을 개발했습니다.이러한 노력을 따르는 작업에는 분류 접근법, 관련성 모델 등이 포함되었다.

자동 이미지 주석과 Content-Based Image Retrieval(CBIR; 콘텐츠 기반 이미지 검색)의 장점은 사용자가 [1]쿼리를 보다 자연스럽게 지정할 수 있다는 것입니다.일반적으로 CBIR에서는 사용자가 색상이나 텍스처 등의 이미지 개념으로 검색하거나 샘플 쿼리를 검색해야 합니다.샘플 이미지의 특정 이미지 기능은 사용자가 실제로 집중하고 있는 개념을 재정의할 수 있습니다.라이브러리에서 사용되는 것과 같은 기존의 이미지 검색 방법은 수동 주석이 달린 이미지에 의존해 왔으며, 특히 크고 지속적으로 증가하는 이미지 데이터베이스를 고려할 때 비용과 시간이 많이 소요됩니다.

「 」를 참조해 주세요.

레퍼런스

  1. ^ "Archived copy" (PDF). i.yz.yamagata-u.ac.jp. Archived from the original (PDF) on 8 August 2014. Retrieved 13 January 2022.{{cite web}}: CS1 maint: 제목으로 아카이브된 복사(링크)

추가 정보

  • 단어 공존 모형
Y Mori; H Takahashi & R Oka (1999). "Image-to-word transformation based on dividing and vector quantizing images with words.". Proceedings of the International Workshop on Multimedia Intelligent Storage and Retrieval Management. CiteSeerX 10.1.1.31.1704.
  • 기계번역으로서의 주석
P Duygulu; K Barnard; N de Fretias & D Forsyth (2002). "Object recognition as machine translation: Learning a lexicon for a fixed image vocabulary". Proceedings of the European Conference on Computer Vision. pp. 97–112. Archived from the original on 2005-03-05.
  • 통계 모델
J Li & J Z Wang (2006). "Real-time Computerized Annotation of Pictures". Proc. ACM Multimedia. pp. 911–920.
J Z Wang & J Li (2002). "Learning-Based Linguistic Indexing of Pictures with 2-D MHMMs". Proc. ACM Multimedia. pp. 436–445.
  • 자동 언어 색인화
J Li & J Z Wang (2008). "Real-time Computerized Annotation of Pictures". IEEE Transactions on Pattern Analysis and Machine Intelligence.
J Li & J Z Wang (2003). "Automatic Linguistic Indexing of Pictures by a Statistical Modeling Approach". IEEE Transactions on Pattern Analysis and Machine Intelligence. pp. 1075–1088.
  • 계층적 측면 클러스터 모델
K Barnard; D A Forsyth (2001). "Learning the Semantics of Words and Pictures". Proceedings of International Conference on Computer Vision. pp. 408–415. Archived from the original on 2007-09-28.
  • 잠재 디리클레 할당 모델
D Blei; A Ng & M Jordan (2003). "Latent Dirichlet allocation" (PDF). Journal of Machine Learning Research. pp. 3:993–1022. Archived from the original (PDF) on 2005-05-21.
G Carneiro; A B Chan; P Moreno & N Vasconcelos (2006). "Supervised Learning of Semantic Classes for Image Annotation and Retrieval" (PDF). IEEE Transactions on Pattern Analysis and Machine Intelligence. pp. 394–410.
  • 텍스처 유사성
R W Picard & T P Minka (1995). "Vision Texture for Annotation". Multimedia Systems.
  • 서포트 벡터 머신
C Cusano; G Ciocca & R Scettini (2004). "Image Annotation Using SVM". Proceedings of Internet Imaging IV. Internet Imaging V. Vol. 5304. p. 330. Bibcode:2003SPIE.5304..330C. doi:10.1117/12.526746.
  • Decision Tree와 랜덤 서브창의 조합
R Maree; P Geurts; J Piater & L Wehenkel (2005). "Random Subwindows for Robust Image Classification". Proceedings of the IEEE International Conference on Computer Vision and Pattern Recognition. pp. 1:34–30.
  • 최대 엔트로피
J Jeon; R Manmatha (2004). "Using Maximum Entropy for Automatic Image Annotation" (PDF). Int'l Conf on Image and Video Retrieval (CIVR 2004). pp. 24–32.
  • 관련성 모델
J Jeon; V Lavrenko & R Manmatha (2003). "Automatic image annotation and retrieval using cross-media relevance models" (PDF). Proceedings of the ACM SIGIR Conference on Research and Development in Information Retrieval. pp. 119–126.
  • 연속 확률 밀도 함수를 사용한 관련성 모델
V Lavrenko; R Manmatha & J Jeon (2003). "A model for learning the semantics of pictures" (PDF). Proceedings of the 16th Conference on Advances in Neural Information Processing Systems NIPS.
  • 일관성 있는 언어 모델
R Jin; J Y Chai; L Si (2004). "Effective Automatic Image Annotation via A Coherent Language Model and Active Learning" (PDF). Proceedings of MM'04.
  • 추론 네트워크
D Metzler & R Manmatha (2004). "An inference network approach to image retrieval" (PDF). Proceedings of the International Conference on Image and Video Retrieval. pp. 42–50.
  • 복수 베르누이 분포
S Feng; R Manmatha & V Lavrenko (2004). "Multiple Bernoulli relevance models for image and video annotation" (PDF). IEEE Conference on Computer Vision and Pattern Recognition. pp. 1002–1009.
  • 다양한 설계 대안
J Y Pan; H-J Yang; P Duygulu; C Faloutsos (2004). "Automatic Image Captioning" (PDF). Proceedings of the 2004 IEEE International Conference on Multimedia and Expo (ICME'04). Archived from the original (PDF) on 2004-12-09.
  • 이미지 캡션
Quan Hoang Lam; Quang Duy Le; Kiet Van Nguyen; Ngan Luu-Thuy Nguyen (2020). "UIT-ViIC: A Dataset for the First Evaluation on Vietnamese Image Captioning". Proceedings of the 2020 International Conference on Computational Collective Intelligence (ICCCI 2020). arXiv:2002.00175. doi:10.1007/978-3-030-63007-2_57.
  • 자연 장면 주석
J Fan; Y Gao; H Luo; G Xu (2004). "Automatic Image Annotation by Using Concept-Sensitive Salient Objects for Image Content Representation". Proceedings of the 27th annual international conference on Research and development in information retrieval. pp. 361–368.
  • 관련 저수준 글로벌 필터
A Oliva & A Torralba (2001). "Modeling the shape of the scene: a holistic representation of the spatial envelope" (PDF). International Journal of Computer Vision. pp. 42:145–175.
  • 글로벌 영상 특징 및 비모수 밀도 추정
A Yavlinsky, E Schofield & S Rüger (2005). "Automated Image Annotation Using Global Features and Robust Nonparametric Density Estimation" (PDF). Int'l Conf on Image and Video Retrieval (CIVR, Singapore, Jul 2005). Archived from the original (PDF) on 2005-12-20.
  • 비디오 의미론
N Vasconcelos & A Lippman (2001). "Statistical Models of Video Structure for Content Analysis and Characterization" (PDF). IEEE Transactions on Image Processing. pp. 1–17.
Ilaria Bartolini; Marco Patella & Corrado Romani (2010). "Shiatsu: Semantic-based Hierarchical Automatic Tagging of Videos by Segmentation Using Cuts". 3rd ACM International Multimedia Workshop on Automated Information Extraction in Media Production (AIEMPro10).
  • 이미지 주석 미세 조정
Yohan Jin; Latifur Khan; Lei Wang & Mamoun Awad (2005). "Image annotations by combining multiple evidence & wordNet". 13th Annual ACM International Conference on Multimedia (MM 05). pp. 706–715.
Changhu Wang; Feng Jing; Lei Zhang & Hong-Jiang Zhang (2006). "Image annotation refinement using random walk with restarts". 14th Annual ACM International Conference on Multimedia (MM 06).
Changhu Wang; Feng Jing; Lei Zhang & Hong-Jiang Zhang (2007). "content-based image annotation refinement". IEEE Conference on Computer Vision and Pattern Recognition (CVPR 07). doi:10.1109/CVPR.2007.383221.
Ilaria Bartolini & Paolo Ciaccia (2007). "Imagination: Exploiting Link Analysis for Accurate Image Annotation". Springer Adaptive Multimedia Retrieval. doi:10.1007/978-3-540-79860-6_3.
Ilaria Bartolini & Paolo Ciaccia (2010). "Multi-dimensional Keyword-based Image Annotation and Search". 2nd ACM International Workshop on Keyword Search on Structured Data (KEYS 2010).
  • 시각적 설명자의 앙상블에 의한 자동 이미지 주석
Emre Akbas & Fatos Y. Vural (2007). "Automatic Image Annotation by Ensemble of Visual Descriptors". Intl. Conf. on Computer Vision (CVPR) 2007, Workshop on Semantic Learning Applications in Multimedia. doi:10.1109/CVPR.2007.383484.
  • 이미지 주석의 새 기준선
Ameesh Makadia and Vladimir Pavlovic and Sanjiv Kumar (2008). "A New Baseline for Image Annotation" (PDF). European Conference on Computer Vision (ECCV).

영상 분류 및 주석 동시 실행

Chong Wang and David Blei and Li Fei-Fei (2009). "Simultaneous Image Classification and Annotation" (PDF). Conf. on Computer Vision and Pattern Recognition (CVPR).
  • TagProp: 이미지 자동 주석을 위한 가장 가까운 네이버모델에서의 차별적 메트릭러닝
Matthieu Guillaumin and Thomas Mensink and Jakob Verbeek and Cordelia Schmid (2009). "TagProp: Discriminative Metric Learning in Nearest Neighbor Models for Image Auto-Annotation" (PDF). Intl. Conf. on Computer Vision (ICCV).
  • 시멘틱 네이버에서의 메트릭러닝을 사용한 이미지 주석
Yashaswi Verma & C. V. Jawahar (2012). "Image Annotation Using Metric Learning in Semantic Neighbourhoods" (PDF). European Conference on Computer Vision (ECCV). Archived from the original (PDF) on 2013-05-14. Retrieved 2014-02-26.
  • 딥 러닝 표현을 사용한 자동 이미지 주석
Venkatesh N. Murthy & Subhransu Maji and R. Manmatha (2015). "Automatic Image Annotation Using Deep Learning Representations" (PDF). International Conference on Multimedia (ICMR).
  • 베이지안 네트워크 및 활성 학습을 사용한 의료 영상 주석
N. B. Marvasti & E. Yörük and B. Acar (2018). "Computer-Aided Medical Image Annotation: Preliminary Results With Liver Lesions in CT". IEEE Journal of Biomedical and Health Informatics.