단순 인터랙티브 객체 추출
Simple interactive object extractionSIOX(Simple Interactive Object Extraction, SIOX)는 사용자 상호 작용이 거의 없는 컬러 영상과 비디오에서 포그라운드 객체를 추출하기 위한 알고리즘이다.[1] 그것은 KIMP (버전 2.3.3 이후), 잉크케이프 (0.44pre3)의 추적 도구의 일부로, 그리고 ImageJ와 Fiji (플러그인)에서 기능으로서 구현되었다. 블렌더와 크리타에 대해서도 실험적인 구현이 보고되었다. 알고리즘은 원래 비디오용으로 설계되었지만, 사실상 모든 구현은 주로 스틸 이미지 분할을 위해 SIOX를 사용한다. 사실 오픈소스 세계에서는 흔히 이 과제에 대한 현재의 사실상의 표준이라고 한다.
처음에는 자유 선택 도구를 사용하여 관심 영역을 지정한다. 추출할 모든 전경 물체와 가능한 적은 수의 배경을 포함해야 한다. 관심 영역 밖의 픽셀은 확실한 배경을 형성하는 반면 내부 영역은 전경의 상위 집합(즉, 알 수 없는 영역)을 정의한다. 대표적인 전경 영역을 표시하기 위해 이른바 전경 브러시를 사용한다. 알고리즘이 선택 마스크를 출력한다. 전경 표시를 더 추가하거나 배경 브러시를 사용하여 배경 표시를 추가하여 선택 영역을 세분화할 수 있다.
기술적으로 알고리즘은 다음 단계를 수행한다.
- 확실한 전경과 확실한 배경, 소위 색상 서명이라고 불리는 대표적인 색상의 세트를 만드세요.
- 색상 서명의 가중된 가장 가까운 인접 검색으로 모든 이미지 포인트를 전경 또는 배경에 할당하십시오.
- 아티팩트를 제거하려면 침식, 확장 및 흐림과 같은 일부 표준 이미지 처리 작업을 적용하십시오.
- 충분히 크거나 사용자가 표시한 연결된 전경 구성요소를 찾으십시오.
비디오 분할의 경우 확실한 배경과 확실한 전경 영역이 모션 통계로부터 학습된다. SIOX는 또한 서브픽셀의 정확한 가장자리와 높은 텍스처 면적을 정교하게 다듬을 수 있는 도구, 이른바 '세부 정제 브러시'도 갖추고 있다.
모든 분할 알고리즘과 마찬가지로 알고리즘이 완벽한 결과를 내지 못하는 그림이 항상 존재한다. SIOX의 가장 결정적인 단점은 색상 의존성이다. 많은 사진들이 색상으로 잘 구분되어 있지만, 이 알고리즘은 위장술에 대처할 수 없다. 전경과 배경이 유사한 색상의 많은 동일한 음영을 공유하는 경우 알고리즘은 부품이 누락되거나 잘못 분류된 결과를 제공할 수 있다. SIOX는 Grabcut과 같은 그래프 기반 분할 방법과 비교하여 다른 벤치마크에서 거의 동일한 성능을 발휘한다. 그러나 SIOX는 노이즈가 더 강하므로 비디오 분할에도 사용할 수 있다. 그래프 기반 분할 방법은 최소 절단을 검색하므로 복잡한 구조에서는 최적으로 수행되지 않는 경향이 있다.
이 알고리즘은 처음에 프리 우니베르시타테 베를린의 컴퓨터 과학부에서 개발되었다. 메인 개발자인 제럴드 프리들랜드는 현재 버클리 캘리포니아 대학의 EECS 학과 교수진이며 로렌스 리버모어 국립 연구소의 수석 데이터 과학자이기도 하다. 구글 서머 오브 코드(Summer of Code) 등 멘토링을 통해 개발을 계속 지원하고 있다.
메모들
- ^ Friedland, G., Jantz, K., Lenz, T., Wiesel, F., and Rojas, R. (2006). "A practical approach to boundary accurate multi-object extraction from still images and videos". Multimedia, 2006. ISM'06. Eighth IEEE International Symposium on: 307–316. doi:10.1109/ISM.2006.9. ISBN 978-0-7695-2746-8.CS1 maint: 여러 이름: 작성자 목록(링크)
참조
- G. Friedland, K. Jantz, R. R. Rojas: SIOX: 정지 이미지에서의 단순 인터랙티브 객체 추출, IEEE 국제 멀티미디어 심포지엄(ISM2005), 페이지 253–259, 어바인(캘리포니아), 2005년 12월. 온라인 기사
- G. 프리드랜드, K. 얀츠, T. 렌츠, F. 비젤, R. 로하스: 이미지 및 비디오에 객체 절단 및 붙여넣기, 국제 의미론 컴퓨팅 저널 Vol 1, 2, 페이지 221–247, World Scientific, USA, 2007년 6월. 온라인 기사
