카디르-브래디 염도 검출기

Kadir–Brady saliency detector

카디르-브래디 경도 검출기는 구별되고 대표적인 이미지에서 물체의 특징을 추출한다.2001년 Timor Kadir와 J. Michael[1] Brady에 의해 발명되었으며 2004년[2] Kadir와 Brady에 의해 아핀 불변 버전이 도입되었으며 2007년 Shao 등이 견고한 [3]버전을 설계하였다.

검출기는 알고리즘을 사용하여 백그라운드 노이즈를 보다 효율적으로 제거하므로 3D 모델에서 사용할 수 있는 특징을 보다 쉽게 식별할 수 있다.검출기는 이미지를 스캔할 때 글로벌 변환의 세 가지 기본, 로컬 섭동 및 클래스 내 변동을 사용하여 검색 영역을 정의하고 보다 전통적인 모서리 또는 블롭 검색을 사용하는 대신 이러한 이미지의 고유한 영역을 식별합니다.변환과 조명 변화를 [4]조정하기 위해 불변성을 시도합니다.

이는 이전 방법보다 더 객체 지향적인 검색으로 이어지며 이미지의 흔들림이 없고 느리게 변화하는 영역을 무시하는 기능 및 표면 형상 특성에 대한 광범위한 정의로 인해 다른 검출기를 능가한다.그 결과 카디르-브래디 염도 검출기는 전체 영상 대응에 초점을 맞춘 다른 검출기보다 물체 인식 능력이 뛰어나다.

서론

많은 컴퓨터 비전 및 이미지 처리 애플리케이션은 원시 이미지가 아닌 이미지에서 추출된 기능을 사용하여 직접 작동합니다(예: 이미지 대응 계산 또는 학습 객체 범주).응용 프로그램에 따라 다른 특성이 선호됩니다.단, 뛰어난 퍼포먼스가 요구되는 이미지 변경에는 크게 3가지 종류가 있습니다.

그림 1. 중심점과 경계로 표시된 감지 영역은 시점 변경과 함께 이동해야 한다(여기에서 변환 H로 표시됨).

글로벌 전환:기능은 예상되는 글로벌 이미지 변환 클래스 전체에서 반복 가능해야 합니다.여기에는 영상 조건의 변화로 인해 발생하는 기하학적 변환과 광도 변환이 모두 포함됩니다.예를 들어, 영역 검출은 그림 1과 같이 관점과 공변해야 한다.즉, 시점 변경으로 통근하기 위해서는 분할이 필요합니다.이 속성은 현지화 및 지역 추정의 반복성과 정확성에 따라 평가됩니다.

로컬 섭동:기능은 반로컬 이미지의 장애 클래스에 영향을 주지 않아야 합니다.예를 들어, 사람의 얼굴에 반응하는 특징은 입의 움직임에 영향을 받지 않아야 한다.두 번째 장애 클래스는 영역이 전경계/배경계 부근입니다.검출기는 배경의 변경에도 불구하고 전경 영역을 검출해야 할 수 있다.

클래스 내 변동:피쳐는 오브젝트의 클래스 내 변화 하에 대응하는 오브젝트 부분을 캡처해야 합니다.예를 들어, 다른 브랜드의 자동차용 전조등(같은 시점에서 촬영)입니다.

모든 기능 검출 알고리즘은 위에서 설명한 세 가지 유형의 이미지 변경에서 안정적인 영역을 검출하려고 합니다.Kadir-Brady salency detector는 모서리, 블롭 또는 특정 형태의 영역을 찾는 대신 국소적으로 복잡하고 전체적으로 차별적인 영역을 찾는다.이러한 영역은 일반적으로 이러한 유형의 이미지 변경에서 보다 안정적인 영역에 해당합니다.

정보이론성

정보이론에서는 Shannon 엔트로피를 p logp \ p \ p , 하기 때문에 p 가 클수록 p 가 복잡하기 때문에 예측이 불가능하다.

R R을 가진 x x 주변의 영역 { 복잡성을 측정하려면 , e)의 값을 D(\ D 8비트)를 사용합니다.각 픽셀의 0 ~255)는 P ( , ,) { P _ { _ { i} , x , ), 영역 , }(\에서 할 확률을 계산할 수 정의됩니다. 이미지 영역 x 엔트로피는 다음과 같이 계산할 수 있습니다.

이 엔트로피 방정식을 사용하면 x(\ x 영역 (\ R마다 추가로 할 수 있습니다. 눈 영역과 같이 영역이 복잡할수록 분배기가 더 복잡하므로 엔트로피가 더 높습니다.

D( ,) { 국소 복잡성에 대한 적절한 측정값입니다.엔트로피는 로컬 속성의 통계 정보만 측정합니다.로컬 속성의 공간 배치는 측정하지 않습니다.그러나 이 4개 영역은 척도 변경 시 차별성이 동일하지 않습니다.이 관찰은 하위 섹션의 차별에 대한 측정을 정의하는 데 사용됩니다.

다음 서브섹션에서는 지역적 복잡성이 높고 지역 간 차별이 큰 지역을 선택하는 다양한 방법에 대해 설명합니다.

유사성 불변성 경도

카디르-브래디 염도 검출기의 첫 번째 버전[10]은 유사성 변환 하에서 불변인 돌출 영역만 찾는다.알고리즘은 척도가 다른 원 영역을 찾습니다.즉, H ( ,) { H _ { x , 는 원 R { \ R}의 스케일 파라미터인{ \ displaystyle H_}(x , s , , ) ... N { \ { x { _ { i } \ s _ s _ s _ { s \ i}\ i } 11 n n n n niiiiiiiiiiiiiiiiiiii

이 방법은 다음 3단계로 구성됩니다.

  • x의 로컬 이미지 속성의 섀넌 엔트로피 계산 - H D ( , ) - ii ( ... r)( i, , ) / \\ H _ { } ( , ) \ 1 ) P_
  • 엔트로피 과척도 함수가 피크를 나타내는 척도를 선택합니다(p \}).
  • 피크에서의 스케일 함수로서 PDF의 크기 변화를 계산합니다.(x , ) D ( { } (, ) \ _ { \ ( \ ) } {

최종 )({ Y_ s_p , )와 , p , s p )의 곱입니다.

각 x에 대해 이 방법은 p {\ 선택하고 돌출 D ) ,p)를 계산합니다. Y D(x , s p ) {displaystyle, s p )를 하여 x style rank를 할 수 있습니다ost 대표작들

아핀 불변 염도

이전 방법은 기하학적 변환의 유사성 그룹 및 광도 변화에 대해 불변한다.단, 개회 발언에서 언급한 바와 같이 이상적인 검출기는 시점 변화까지 불변 영역을 검출해야 한다.유사성 변환보다 시점 변화의 더 나은 근사치인 아핀 불변 영역을 검출할 수 있는 검출기가 여러 개 있다.

아핀 불변 영역을 검출하려면 검출기가 그림 4와 같이 타원을 검출해야 한다.{\ R 3개의 파라미터(s, "θ", "θ")로 파라미터화됩니다. 여기서 "θ"는 축 비율이고 "θ"는 타원의 방향입니다.

이 수정은 이전 알고리즘의 검색 공간을 스케일에서 일련의 파라미터로 증가시켜 아핀 불변성 검출기의 복잡성을 증가시킨다.실제로 아핀 불변성 염도 검출기는 유사성 불변성 염도 검출기에서 생성된 포인트와 척도의 집합에서 시작하여 차선의 매개변수를 반복적으로 근사한다.

비교

유사도 불변성 염도 검출기는 아핀 불변성 염도 검출기보다 빠르지만 차별적 W 등방성 척도로 측정되기 때문에 등방성 구조를 선호하는 단점도 있다.

요약:아핀 불변성 경도 검출기는 아핀 변환에 불변하며 더 많은 생성 돌출 영역을 검출할 수 있다.

볼록볼록

더 높은 돌출 점수에서 직접 포인트를 선택하고 "점수" 또는 "성적 점수"에 대한 일정 수의 임계값이 충족되면 중지하는 것이 직관적이다.자연 이미지에는 노이즈와 모션 블러(motion blur)가 포함되어 있으며, 노이즈와 모션 블러는 랜덤라이저로 기능하며 일반적으로 엔트로피를 증가시켜 이전에는 낮은 엔트로피 값에 높은 엔트로피 값보다 더 큰 영향을 미칩니다.

보다 강력한 방법은 엔트로피 공간의 점보다는 영역을 선택하는 것입니다.돌출 영역 내의 개별 픽셀은 특정 순간에 영향을 받을 수 있지만, 노이즈에 의해 영역 전체가 비경감 상태가 되는 방식으로 모든 픽셀에 영향을 미칠 가능성은 낮다.

또한 각 주요 특징이 표현되도록 전체 기울기 공간을 분석할 필요가 있다.글로벌 임계값 접근법은 이미지의 한 부분에서 다른 부분을 지배하는 매우 두드러진 특징을 야기할 수 있습니다.국소 임계값 접근방식은 다른 척도 매개변수를 설정해야 한다.

이 두 가지 요건을 충족하는 단순한 클러스터링 알고리즘이 알고리즘의 마지막에 사용됩니다.그것은 국지적인 지지를 받는 매우 두드러진 지점, 즉 유사한 기울기와 규모를 가진 인근 지점을 선택하여 작동한다.각 지역은 (R3의) 다른 모든 지역으로부터 충분히 떨어져 있어야만 독립된 독립체로 인정된다.견고성을 위해 선택한 영역의 모든 점을 포함하는 표현을 사용합니다.이 방법은 다음과 같이 동작합니다.

  1. 글로벌 임계값을 적용합니다.
  2. 기울기 공간(Y)에서 가장 높은 돌출점을 선택합니다.
  3. 가장 가까운 K개의 이웃을 찾습니다(K는 미리 설정된 상수입니다).
  4. 중앙점 차이를 사용하여 지지대를 테스트합니다.
  5. R3에서 이미 군집화된 돌출 영역으로부터의 거리 D를 찾으십시오.
  6. 리젼의 D > scalemean 및 충분히 cluster화된 경우(변동량이 사전 설정된 임계값 Vth 미만)를 받아들입니다.
  7. K 점의 평균 척도 및 공간 위치로 저장합니다.
  8. 다음으로 높은 돌출점을 가지고 2단계부터 반복합니다.

이 알고리즘은 Dr.에 의해 matlab에서 GreadyCluster1.m으로 구현됩니다.티모르[5] 카디르

퍼포먼스 평가

컴퓨터 비전 분야에서는 여러 테스트에 의해 서로 다른 특징 검출기가 평가되었습니다.가장 심오한 평가는 2006년 '[6]International Journal of Computer Vision'에 게재되었습니다.다음 서브섹션에서는 논문의 테스트 서브셋에서 카디르-브래디 염도 검출기의 성능에 대해 논의한다.

글로벌 환경에서의 퍼포먼스

글로벌 변환 하에서 동일한 물체 또는 장면에서 검출된 영역의 일관성을 영상에서 측정하기 위해 Mikolajczyk와 Cordelia Schmid가 [18, 19]에서 처음 제안한 반복성 점수를 다음과 같이 계산합니다.[7][8]

우선 서로 다른 이미지 상의 대응하는 생략 b(\b})의 쌍에 오버랩 오류δ 정의됩니다.

여기서 A는 두 이미지 사이의 호모그래피의 국소 선형화된 아핀 변환입니다.

a( ( A )\ \ _ { } \ ( { } \ _ { } ) a† ( T b A) \ \_ { } \ ( ^ { b } \ _ {} A )는 생략된 면적을 나타냅니다.

검출된 영역의 크기 변동 카운트를 측정하기 위해 고정 스케일(\ _ 스케일링됩니다. "epsilon_{ 보다 작을 경우에만 두 줄기의 쌍이 대응하는 것으로 간주됩니다.

그런 다음 주어진 영상 쌍에 대한 반복성 점수는 두 영상에서 장면의 일부에 위치한 영역만 카운트되는 영상 쌍 내의 영역 대 영역 대응 수와 더 작은 영역 간의 비율로 계산됩니다.일반적으로 우리는 검출기가 높은 반복성 점수와 많은 수의 대응성을 갖기를 원한다.

테스트 데이터 집합에서 테스트된 특정 글로벌 전환은 다음과 같습니다.

  • 시점 변경
  • 줌+회전
  • 이미지 흐림
  • JPEG 압축
  • 라이트 체인지

카디르-브래디 염도 검출기의 성능은 주로 검출 지점 수가 다른 검출기보다 낮기 때문에 대부분의 다른 검출기에 비해 떨어진다.

정확한 절차는 디텍터 평가 #소프트웨어 구현의 Matlab 코드에 나와 있습니다.

클래스 내 변동 및 이미지 섭동 시 성능

객체 클래스 분류 작업에서 객체 인스턴스 간에 클래스 내 변동 및 이미지 섭동이 주어진 유사한 영역을 탐지하는 능력은 매우 중요합니다.클래스 내 변동 및 영상 섭동에 대한 반복성 측정이 제안됩니다.다음 서브섹션에서는 정의를 소개하고 성능에 대해 설명합니다.

클래스 내 변동 테스트

예를 들어 오토바이와 같은 객체 클래스의 이미지 세트가 있다고 가정합니다.클래스 내 변동의 영향을 받지 않는 영역 감지 작업자는 모든 물체의 해당 부분(예: 오토바이용 휠, 엔진 또는 시트)의 영역을 안정적으로 선택합니다.

클래스 내 변동에 대한 반복성은 영상 세트에 대한 올바른 대응의 (평균) 수를 측정하는 것입니다. 여기서 올바른 대응은 수동 선택에 의해 결정됩니다.

영역은 다음 세 가지 요건을 충족하는 경우 일치합니다.

  • 위치는 10픽셀 이내로 일치합니다.
  • 규모는 20% 이내입니다.
  • 외관 간의 정규화된 상호 정보는 0.4 이상입니다.

상세하게는 평균 대응 점수 S를 다음과 같이 측정한다.

데이터 세트내의 M 화상의 각 화상에서 N개의 영역이 검출된다.그런 다음, 특정 기준 영상의 경우, 데이터 세트의 다른 모든 영상에서 검출된 영역에 대응하는 비율에 점수 S i})가 부여됩니다.

i})는 기준 영상의 M/2개 선택에 대해 계산되고 평균화되어 S가 됩니다.점수는 검출된 영역 N의 수에 따른 함수로 평가됩니다.

카디르-브래디 염도 검출기는 오토바이, 자동차 및 얼굴의 세 가지 테스트 등급에서 가장 높은 점수를 제공한다.기울기 검출기는 대부분의 검출이 물체 근처에 있음을 나타냅니다.반면 다른 검출기 맵은 전체 영역에 걸쳐 훨씬 더 확산된 패턴을 보여준다. 이는 배경 잡동사니에 대한 잘못된 응답과 낮은 국산화 때문이다.

영상 섭동 테스트

이미지 섭동에 대한 무감각을 테스트하기 위해 데이터 세트는 두 부분으로 분할됩니다. 첫 번째 이미지에는 균일한 배경을 가진 이미지가 포함되어 있고 두 번째 이미지에는 다양한 수준의 배경을 가진 이미지가 포함되어 있습니다.검출기가 백그라운드 잡동사니에 강한 경우 평균 대응 점수 S는 두 영상의 하위 세트에 대해 유사해야 합니다.

이 테스트에서는 세 가지 이유로 다른 검출기를 능가한다.

  • 몇 가지 검출 방법에 의해 이미지가 흐려지기 때문에 사물과 배경의 유사성이 높아집니다.
  • 대부분의 이미지에서 관심 물체는 초점이 맞춰져 있는 반면 배경은 초점이 맞지 않아 흐릿한 경향이 있습니다.흐릿한 영역은 느리게 변화하는 통계량을 보이는 경향이 있으며, 이로 인해 상대적으로 낮은 엔트로피와 염도 검출기에서 스케일 간 염도가 발생한다.
  • 다른 검출기는 국소 표면 형상의 특정 속성과 관련하여 기울기를 정의합니다.이와는 대조적으로, 염도 검출기는 훨씬 더 넓은 정의를 사용한다.

기울기 검출기는 물체 인식 작업에서 가장 유용하며, 다른 검출기는 영상 대응 계산 작업에서 더 유용하다.그러나 세 가지 유형의 영상 변화가 모두 결합된 3D 객체 인식 작업에서는 기울기 검출기가 여전히 [citation needed]강력할 수 있습니다.

소프트웨어 구현

레퍼런스

  1. ^ Kadir, Timor; Zisserman, Andrew; Brady, Michael (2004). "An Affine Invariant Salient Region Detector". Computer Vision - ECCV 2004. Lecture Notes in Computer Science. Vol. 3021. pp. 228–241. doi:10.1007/978-3-540-24670-1_18. ISBN 978-3-540-21984-2. ISSN 0302-9743.
  2. ^ 지저맨, A.
  3. ^ 링사오, 티모르 카디르, 마이클 브래디.기하학적 및 광도학적 불변성 고유 영역 감지.정보과학177 (4) : 1088-1122, 2007 doi : 10.1016/j.ins . 2006 . 09 . 003
  4. ^ W. Li; G. Bebis; N. G. Bourbakis (2008). "3-D Object Recognition Using 2-D Views". IEEE Transactions on Image Processing. 17 (11): 2236–2255. Bibcode:2008ITIP...17.2236L. CiteSeerX 10.1.1.158.1872. doi:10.1109/tip.2008.2003404. PMID 18854254.
  5. ^ [1] Kadir,T Gready Cluster 1.m 다운로드
  6. ^ 아핀 영역 검출기 비교.K. 미콜라이치크, T.투이텔라르스, C슈미드, A. 지서만, J. 마타스, F.샤팔리츠키, T. 카디르, L. 반 굴.국제 컴퓨터 비전 저널
  7. ^ [2] 미콜라이치크
  8. ^ [3] Schmid, C

추가 정보