기능(컴퓨터 비전)

Feature (computer vision)

컴퓨터 비전 및 이미지 처리에서 기능은 이미지 내용에 대한 정보입니다. 일반적으로 이미지의 특정 영역이 특정 속성을 가지고 있는지 여부에 대한 정보입니다.피쳐는 점, 가장자리 또는 개체와 같은 영상의 특정 구조일 수 있습니다.피쳐는 일반적인 네이버 조작 또는 이미지에 적용된 피쳐 검출의 결과일 수도 있습니다.특징의 다른 예는 영상 시퀀스의 움직임 또는 다른 영상 영역 간의 곡선 또는 경계 측면에서 정의된 모양과 관련이 있습니다.

보다 광범위하게 기능은 특정 애플리케이션과 관련된 계산 태스크를 해결하는 데 관련된 모든 정보입니다.이는 일반적으로 기계학습 패턴인식 기능동일한 의미이지만 이미지 처리에는 매우 정교한 기능 집합이 있습니다.특징의 개념은 매우 일반적이며, 특정 컴퓨터 비전 시스템의 특징 선택은 당면한 특정 문제에 따라 크게 좌우될 수 있습니다.

정의.

기능을 구성하는 요소에 대한 보편적 또는 정확한 정의는 없으며, 정확한 정의는 종종 문제 또는 응용 프로그램의 유형에 따라 달라집니다.그럼에도 불구하고 피쳐는 일반적으로 이미지의 "흥미로운" 부분으로 정의되며 피쳐는 많은 컴퓨터 비전 알고리즘의 시작점으로 사용됩니다.

피쳐는 후속 알고리즘의 시작점 및 주요 프리미티브로 사용되므로 전체 알고리즘은 대부분의 경우 피쳐 디텍터만큼만 사용할 수 있습니다.따라서 특징 검출기의 바람직한 속성은 반복성입니다.즉, 같은 특징이 같은 장면의 두 개 이상의 다른 영상에서 검출되는지 여부입니다.

기능 검출은, 저레벨의 화상 처리 조작입니다.즉, 보통 이미지의 첫 번째 작업으로 수행되며 모든 픽셀을 검사하여 해당 픽셀에 특징이 있는지 확인합니다.이 알고리즘이 더 큰 알고리즘의 일부인 경우 알고리즘은 일반적으로 피쳐 영역의 이미지만 검사합니다.특징 검출의 임베디드 전제 조건으로서 입력 화상은 통상 스케일 공간 표현에서 가우스 커널에 의해 평활되고, 1개 또는 복수의 특징 화상이 계산되며, 종종 국소 화상 파생 연산에 의해 표현된다.

경우에 따라서는, 특징 검출에 계산 비용이 많이 들고, 시간 제약이 있는 경우, 보다 높은 레벨의 알고리즘을 사용해 특징 검출 스테이지의 가이드로서 화상의 특정 부분만을 검색할 수 있습니다.

초기 단계로 특징 검출을 사용하는 컴퓨터 비전 알고리즘이 많이 있기 때문에 그 결과 매우 많은 수의 특징 검출기가 개발되었습니다.이러한 기능은 검출된 기능의 종류, 계산의 복잡성 및 반복성에 따라 크게 다릅니다.

이미지에 적용되는 로컬 근린 조작(일반적으로 기능 추출이라고 불리는 절차)에 따라 피쳐를 정의하면 특정 이미지 포인트에 특정 유형의 피쳐가 있는지 여부를 로컬로 결정하는 피쳐 검출 접근 방식과 비바이너리 데이터를 리소스로 생성하는 방식을 구별할 수 있다.lt. 검출된 특성이 상대적으로 희박한 경우 구별이 관련된다.로컬에서 결정이 내려지지만 피쳐 검출 스텝의 출력은 바이너리이미지일 필요는 없습니다.결과는 피쳐가 검출된 영상 포인트의 (연결 또는 연결되지 않은) 좌표 세트(때로는 서브픽셀 정확도)로 표시됩니다.

로컬 의사결정을 하지 않고 피쳐 추출을 수행할 경우 그 결과를 피쳐 이미지라고 부릅니다.이것에 의해, 특징 화상은, 원래의 화상과 같은 공간(또는 시간) 변수의 함수이지만, 화소치가 강도나 색 대신에 화상 특징에 관한 정보를 보관 유지하고 있는 의미에서의 화상으로 볼 수 있다.즉, 이미지 센서에 의해 생성된 일반 이미지와 유사한 방법으로 피쳐 이미지를 처리할 수 있습니다.피쳐 이미지는 종종 피쳐 검출을 위한 알고리즘의 통합 단계로 계산됩니다.

피쳐 벡터 및 피쳐 공간

일부 응용 프로그램에서는 이미지 데이터에서 관련 정보를 얻기 위해 한 가지 유형의 기능만 추출하는 것만으로는 충분하지 않습니다.대신 두 개 이상의 다른 피쳐가 추출되어 각 이미지 포인트에 두 개 이상의 피쳐 기술자가 생성됩니다.일반적인 방법은 이러한 모든 기술자가 제공하는 정보를 하나의 단일 벡터의 요소(일반적으로 특징 벡터라고 함)로 구성하는 것입니다.가능한 모든 피쳐 벡터 세트가 피쳐 [1]공간을 구성합니다.

특징 벡터의 일반적인 예는 각 이미지 포인트가 특정 클래스에 속하는 것으로 분류될 때 나타납니다.각 화상점이 적절한 특징 세트에 근거해 대응하는 특징 벡터를 가지고 있다고 가정하면, 각 클래스가 대응하는 특징 공간내에서 잘 분리되어 있다고 가정하면, 각 화상점의 분류는 표준 분류법을 사용해 실시할 수 있다.

또 다른 관련 예는 영상에 뉴럴 네트워크 기반 처리를 적용했을 때 발생합니다.뉴럴 네트워크에 공급되는 입력 데이터는 종종 각 이미지 포인트에서 특징 벡터의 관점에서 제공되며, 여기서 벡터는 이미지 데이터에서 추출된 여러 다른 특징에서 구성됩니다.학습 단계에서는 네트워크 자체가 당면한 문제를 해결하는 데 유용한 다양한 기능의 조합을 찾을 수 있습니다.

종류들

가장자리

가장자리는 두 영상 영역 사이에 경계(또는 가장자리)가 있는 지점입니다.일반적으로 가장자리는 거의 임의의 모양일 수 있으며 접합부를 포함할 수 있습니다.실제로 가장자리는 일반적으로 영상에서 그라데이션 크기가 강한 점 세트로 정의됩니다.또한 일부 일반적인 알고리즘은 높은 구배점을 함께 연결하여 모서리에 대한 보다 완벽한 설명을 형성합니다.이러한 알고리즘은 일반적으로 모양, 평활도 및 그라데이션 값과 같은 모서리의 특성에 몇 가지 제약을 가합니다.

로컬로 모서리는 1차원 구조를 가집니다.

코너/관심 포인트

코너와 관심점이라는 용어는 어느 정도 서로 다른 의미로 사용되며 로컬 2차원 구조를 가진 이미지 내의 점 모양의 특징을 나타냅니다."코너"라는 이름은 초기 알고리즘이 에지 탐지를 처음 수행한 이후 생겨났으며, 그런 다음 에지를 분석하여 방향(코너)의 빠른 변화를 찾았습니다.그런 다음 이러한 알고리즘은 예를 들어 영상 구배에서 높은 수준의 곡률을 찾아 명시적 에지 검출이 더 이상 필요하지 않도록 개발되었습니다.그 후, 종래의 의미에서는 모서리가 아닌 이미지의 일부에서도, 이른바 모서리가 검출되고 있는 것을 알 수 있었다(예를 들면 어두운 배경의 작은 밝은 점이 검출될 가능성이 있다).이러한 점들은 종종 관심점이라고 알려져 있지만, "코너"라는 용어는 전통에 의해[citation needed] 사용됩니다.

블럽/관심 영역

블럽은 점처럼 보이는 모서리가 아니라 영역 측면에서 이미지 구조를 보완적으로 설명합니다.그럼에도 불구하고 블럽 기술자는 종종 선호 지점(운영자 응답 또는 무게 중심 국소 최대값)을 포함할 수 있으며, 이는 많은 블롭 검출기가 관심 지점 연산자로 간주될 수 있음을 의미한다.블럽 디텍터는 이미지에서 모서리 디텍터로 감지하기에는 너무 매끄러운 영역을 감지할 수 있습니다.

이미지를 축소하고 모서리 검출을 실행하는 것을 검토해 주세요.디텍터는 축소된 이미지에서는 선명하지만 원본 이미지에서는 매끄러운 점에 반응합니다.코너 검출기와 블럽 검출기의 차이가 다소 모호해지는 것은 이 시점이다.대부분의 경우, 이러한 구별은 적절한 규모의 개념을 포함시킴으로써 교정할 수 있다.그럼에도 불구하고, 다양한 척도의 다른 유형의 영상 구조에 대한 응답 특성 때문에, LoG 및 DoH 블롭 검출기는 코너 검출에 대한 기사에 언급되어 있다.

능선

길쭉한 물체의 경우 능선의 개념은 자연스러운 도구입니다.그레이 레벨 화상으로부터 산출된 능선 기술자는, 중앙 축의 일반화로서 볼 수 있다.실용적인 관점에서 보면, 능선은 대칭의 축을 나타내는 1차원 곡선으로 생각할 수 있으며, 또한 각 능선과 관련된 국소 능선 폭의 속성을 가지고 있다.그러나 안타깝게도 회색 수준 영상의 일반 클래스에서 능선 피쳐를 추출하는 것이 에지, 모서리 또는 블롭 피쳐보다 알고리즘적으로 더 어렵다.그럼에도 불구하고 능선 설명자는 항공 영상의 도로 추출 및 의료 영상의 혈관 추출에 자주 사용된다. 능선 검출을 참조한다.

검출

Writing Desk with Harris Detector.png

특징 검출은, 화상 정보의 추상화를 계산해, 그 지점에 소정의 종류의 화상 특징이 있는지 아닌지를 각 화상 포인트에서 국소적으로 판정하는 방법을 포함한다.결과 피쳐는 종종 고립된 점, 연속 곡선 또는 연결된 영역의 형태로 영상 도메인의 하위 집합이 됩니다.

기능의 추출은, 복수의 스케일링에 의해서 행해지는 경우가 있습니다.이러한 방법 중 하나가 Scale-Invariant Feature Transform(SIFT; 스케일 불변 피쳐 변환)입니다.

공통 기능 검출기와 그 분류:
특징 검출기 엣지 코너 블롭 능선
캐니[2] 네. 아니요. 아니요. 아니요.
소벨 네. 아니요. 아니요. 아니요.
Harris & Stephens / 플레시[3] 네. 네. 아니요. 아니요.
수잔.[4] 네. 네. 아니요. 아니요.
시&토마시[5] 아니요. 네. 아니요. 아니요.
수평 곡선 곡률[6] 아니요. 네. 아니요. 아니요.
빠른[7] 아니요. 네. 네. 아니요.
가우스의 라플라시안[6] 아니요. 네. 네. 아니요.
가우스인의 차이[8][9] 아니요. 네. 네. 아니요.
헤시안 행렬식[6] 아니요. 네. 네. 아니요.
헤시안 강도 특징 측정[10][11] 아니요. 네. 네. 아니요.
MSER[12] 아니요. 아니요. 네. 아니요.
주곡률 능선[13][14][15] 아니요. 아니요. 아니요. 네.
그레이 레벨 블럽[16] 아니요. 아니요. 네. 아니요.

추출.

피쳐가 검출되면 피쳐 주변의 로컬이미지 패치를 추출할 수 있습니다.이 추출에는 상당한 양의 이미지 처리가 필요할 수 있습니다.그 결과는 피쳐 기술자 또는 피쳐 벡터라고 불립니다.피쳐 설명에 사용되는 접근법으로는 N-제트와 로컬 히스토그램이 있습니다(로컬 히스토그램 설명자의 예에 대해서는 스케일 불변 피쳐 변환을 참조).특징 검출 스텝은, 이러한 속성 정보에 가세해, 엣지 검출의 엣지 방향이나 구배 크기, 블럽 검출의 블럽의 극성이나 강도등의 보충 속성을 제공할 수도 있다.

저레벨

곡률

  • 에지 방향, 강도 변경, 자기 상관.

이미지 모션

쉐이프 베이스

유연한 방법

  • 변형 가능한 매개 변수화된 모양
  • 활성 등고선(스네이크)

표현

이미지 데이터의 특정 구조 측면에서 정의된 특정 이미지 특성은 종종 다른 방법으로 표현될 수 있습니다.예를 들어, 가장자리는 해당 지점에 가장자리가 존재하는지 여부를 설명하는 각 이미지 포인트의 부울 변수로 나타낼 수 있습니다.또는 에지의 존재에 대한 부울문 대신 확실도 측정을 제공하는 표현을 사용하여 이를 에지의 방향에 대한 정보와 결합할 수 있습니다.마찬가지로, 특정 영역의 색상은 평균 색상(3개의 스칼라) 또는 색상 히스토그램(3개의 함수)으로 나타낼 수 있습니다.

컴퓨터 비전 시스템 또는 컴퓨터 비전 알고리즘을 설계할 때 특징 표현을 선택하는 것이 중요한 문제가 될 수 있습니다.경우에 따라서는 문제를 해결하기 위해 기능 설명에 더 높은 수준의 세부 정보가 필요할 수 있지만, 이는 더 많은 데이터와 더 까다로운 처리를 처리해야 하는 비용입니다.아래에서는 적절한 표현 선택과 관련된 몇 가지 요인에 대해 설명합니다.이 설명에서는 기능 표현의 인스턴스를 기능 기술자 또는 단순 기술자라고 합니다.

확실성 또는 확신

영상 특징의 두 가지 예는 영상 시퀀스의 로컬 에지 방향과 로컬 속도입니다.방향의 경우, 대응하는 네이버에 둘 이상의 에지가 존재하는 경우, 이 피쳐의 값은 어느 정도 정의되지 않을 수 있습니다.해당 영상 영역에 공간 변동이 없는 경우 로컬 속도가 정의되지 않습니다.이러한 관찰의 결과로 특징값에 대한 진술과 관련된 확실성 또는 신뢰성의 측정을 포함하는 특징 표현을 사용하는 것이 적절할 수 있다.그 이외의 경우는, 같은 디스크립터를 사용해 확실도가 낮은 피쳐치를 나타내, 그 결과 이 디스크립터의 해석에 애매함이 생기는 것이 일반적인 상황입니다.출원에 따라서는 이러한 애매모호함이 허용될 수도 있고 허용되지 않을 수도 있다.

특히 후속 처리에서 피쳐 이미지를 사용하는 경우 확실성 또는 신뢰성대한 정보를 포함하는 피쳐 표현을 사용하는 것이 좋습니다.이것에 의해, 복수의 디스크립터(예를 들면, 같은 화상 포인트에서 다른 척도로 계산)로부터, 또는 가중치가 대응하는 특정성에서 도출되는 가중 평균의 관점에서 다른 인접 포인트에서 새로운 피쳐 디스크립터를 계산할 수 있다.가장 간단한 경우, 대응하는 연산은 특징 화상의 로우패스 필터링으로서 실장할 수 있다.결과 피쳐 이미지는 일반적으로 노이즈에 대해 더 안정적입니다.

평균화

표현에 포함되는 확실성 측정치를 가지는 것에 가세해, 대응하는 특징치의 표현 자체가 평균 연산에 적합하거나 적합하지 않은 경우도 있다.대부분의 피쳐 표현은 실제로 평균을 낼 수 있지만, 결과 기술자는 특정 경우에만 피쳐 값의 관점에서 올바르게 해석할 수 있습니다.이러한 표현을 평균화라고 한다.

예를 들어 모서리의 방향이 각도로 표현되는 경우, 이 표현에는 각도가 최대값에서 최소값으로 감기는 불연속성이 있어야 합니다.따라서 두 개의 유사한 방향이 원래 각도에 가깝지 않은 평균을 갖는 각도로 표현될 수 있으며, 따라서 이 표현은 평균화할 수 없다.평균 가능한 구조 텐서와 같은 다른 에지 방향 표현도 있습니다.

또 다른 예는 움직임과 관련된 것으로, 경우에 따라서는 일부 단애에 상대적인 법선 속도만 추출할 수 있다.그러한 두 가지 특징이 추출되어 동일한 실제 속도를 참조한다고 가정할 수 있는 경우, 이 속도는 정규 속도 벡터의 평균으로 주어지지 않는다.따라서 정규 속도 벡터는 평균화할 수 없습니다.대신 행렬 또는 텐서를 사용하여 정상 속도 [citation needed]기술자의 평균 작동 측면에서 진정한 속도를 제공하는 다른 움직임 표현이 있습니다.

매칭

각 영상에서 검출된 특징을 복수의 영상에 걸쳐 일치시켜, 대응하는 점등의 특징을 확립할 수 있습니다.

알고리즘은 기준 영상과 대상 영상 간의 포인트 대응 관계를 비교 및 분석하는 데 기초합니다.문턱값보다 큰 대응관계를 공유하는 문턱값 씬(scene)의 어느 부분이 있으면 문턱값보다 문턱값 씬(scene) 화상의 그 부분이 타깃이 되어 참조 [17]객체를 포함하는 것으로 간주됩니다.

「 」를 참조해 주세요.

레퍼런스

  1. ^ Scott E Umbaugh (27 January 2005). Computer Imaging: Digital Image Analysis and Processing. CRC Press. ISBN 978-0-8493-2919-7.
  2. ^ Canny, J. (1986). "A Computational Approach To Edge Detection". IEEE Transactions on Pattern Analysis and Machine Intelligence. 8 (6): 679–714. doi:10.1109/TPAMI.1986.4767851. PMID 21869365. S2CID 13284142.
  3. ^ C. Harris; M. Stephens (1988). "A combined corner and edge detector" (PDF). Proceedings of the 4th Alvey Vision Conference. pp. 147–151.
  4. ^ S. M. Smith; J. M. Brady (May 1997). "SUSAN - a new approach to low level image processing". International Journal of Computer Vision. 23 (1): 45–78. doi:10.1023/A:1007963824710. S2CID 15033310.
  5. ^ J. Shi; C. Tomasi (June 1994). "Good Features to Track". 9th IEEE Conference on Computer Vision and Pattern Recognition. Springer.
  6. ^ a b c T. Lindeberg (1998). "Feature detection with automatic scale selection" (abstract). International Journal of Computer Vision. 30 (2): 77–116. doi:10.1023/A:1008045108935. S2CID 723210.
  7. ^ E. Rosten; T. Drummond (2006). "Machine learning for high-speed corner detection". European Conference on Computer Vision. Springer. pp. 430–443. CiteSeerX 10.1.1.60.3991. doi:10.1007/11744023_34.
  8. ^ J. L. 크롤리와 A.C. Parker, "로패스[dead link] 변환의 차이에 있어서의 피크와 능선에 근거한 형상 표현", PAMI에 관한 IEEE 트랜잭션, PAMI 6(2), 페이지 156-170, 1984년 3월.
  9. ^ D. Lowe (2004). "Distinctive Image Features from Scale-Invariant Keypoints". International Journal of Computer Vision. 60 (2): 91. CiteSeerX 10.1.1.73.2924. doi:10.1023/B:VISI.0000029664.99615.94. S2CID 221242327.
  10. ^ T. 린데버그 "일반화된 스케일 공간 관심점 검출기의 척도 선택 특성", 수학 영상 및 비전 저널, 제46권, 제2호, 177-210페이지, 2013.
  11. ^ T. 린데버그, "일반화된 축척 공간의 관심점을 이용한 이미지 매칭", 수학 이미징 및 비전 저널, 52권, 1번, 3-36쪽, 2015년.
  12. ^ J. Matas; O. Chum; M. Urban; T. Pajdla (2002). "Robust wide baseline stereo from maximally stable extremum regions" (PDF). British Machine Vision Conference. pp. 384–393.
  13. ^ R. Haralick, "디지털 이미지의 카트리지와 계곡", 컴퓨터 비전, 그래픽스 및 이미지 처리 vol. 22, no. 10, 페이지 28-38, 1983년 4월.
  14. ^ D. 에버리, R. 가드너, B.모스, S. 피저, C.샬라크, 이미지 분석을 위한 능선, 수학 영상 및 시각 저널, v.4 n.4, 페이지 353–373, 1994년 12월.
  15. ^ T. Lindeberg (1998). "Edge detection and ridge detection with automatic scale selection" (abstract). International Journal of Computer Vision. 30 (2): 117–154. doi:10.1023/A:1008097225773. S2CID 207658261.
  16. ^ T. Lindeberg (1993). "Detecting Salient Blob-Like Image Structures and Their Scales with a Scale-Space Primal Sketch: A Method for Focus-of-Attention" (abstract). International Journal of Computer Vision. 11 (3): 283–318. doi:10.1007/BF01469346. S2CID 11998035.
  17. ^ "Object Detection in a Cluttered Scene Using Point Feature Matching - MATLAB & Simulink". www.mathworks.com. Retrieved 2019-07-06.

추가 정보