전경탐지

Foreground detection

전경탐지는 이미지 시퀀스의 변화를 감지하는 것이 목적인 컴퓨터 비전이미지 처리 분야의 주요 업무 중 하나이다. 백그라운드 뺄셈은 추가 처리를 위해 이미지의 전경을 추출할 수 있는 모든 기법이다(객체 인식 등).

이미지의 관심 영역은 그 전경에 있는 물체(인간, 자동차, 텍스트 등)이기 때문에 많은 어플리케이션은 영상 시퀀스의 이동 진화에 관한 모든 것을 알 필요는 없고 장면의 변화에 대한 정보만 필요로 한다. 이미지 사전 처리 단계 후(이미지 디노이즈, 형태학과 같은 사후 처리 포함) 객체 위치 지정이 필요하며, 이 기법을 사용할 수 있다.

전경 탐지는 전경에서 일어나는 이러한 변화에 기초하여 전경과 배경을 구분한다. 그것은 일반적으로 정지 카메라로 실시간으로 기록된 비디오 시퀀스를 분석하는 일련의 기술이다.

배경 이미지 및 전경 이미지.

설명

모든 검출 기법은 이미지의 배경 모델링(즉, 배경을 설정하고 어떤 변화가 발생하는지 탐지)에 기초한다. 배경을 정의하는 것은 모양, 그림자, 움직이는 물체를 포함할 때 매우 어려울 수 있다. 배경을 정의함에 있어 고정된 물체는 시간에 따라 색과 강도가 달라질 수 있다고 가정한다.

이러한 기법이 적용되는 시나리오는 매우 다양한 경향이 있다. 조명이 매우 다른 이미지, 인테리어, 외관, 품질, 노이즈와 같이 매우 가변적인 시퀀스가 있을 수 있다. 실시간으로 처리하는 것 외에도, 시스템은 이러한 변화에 적응할 수 있어야 한다.

매우 우수한 전경 감지 시스템은 다음을 수행할 수 있어야 한다.

  • 배경(추정) 모델을 개발하십시오.
  • 조명 변화, 반복적인 움직임(리브, 파동, 그림자) 및 장기적 변화에 강건하다.

배경 뺄셈

백그라운드 뺄셈은 정적 카메라에서 비디오의 움직이는 물체를 감지하는 데 널리 사용되는 접근법이다. 접근방식의 근거는 현재 프레임과 기준 프레임의 차이에서 움직이는 물체를 감지하는 것으로, 흔히 "배경 이미지" 또는 "배경 모델"이라고 불린다. 백그라운드 뺄셈은 문제의 영상이 영상 스트림의 일부일 경우 대부분 이루어진다. 백그라운드 뺄셈은 감시 추적이나 인간 포즈 추정과 같은 컴퓨터 시야에서 수많은 어플리케이션에 중요한 단서들을 제공한다.[citation needed]

배경 뺄셈은 일반적으로 실제 환경에서는 적용되지 않는 정적 배경 가설에 기초한다. 실내장면에서는 반사나 화면상의 애니메이션 이미지가 배경변화를 이끈다. 마찬가지로, 날씨로 인한 바람, 비 또는 조명 변화로 인해 정적 배경 방식은 야외 장면에 어려움을 겪는다.[1]

임시 평균 필터

임시 평균 필터 예제

시간 평균 필터는 벨라스틴에서 제안된 방법이다. 이 시스템은 이전 이미지의 모든 픽셀의 중위수로부터 배경 모델을 추정한다. 시스템은 마지막 프레임의 픽셀 값이 있는 버퍼를 사용하여 각 영상의 중위수를 업데이트한다.

이 시스템은 배경을 모델링하기 위해 훈련 시간이라는 특정 시간 동안 모든 이미지를 검사한다. 이때는 영상만 표시하며 이번에는 백그라운드에서 모든 플롯의 중앙값인 픽셀을 찾아낼 것이다.

각각의 새로운 프레임에 대한 교육 기간이 끝난 후, 각각의 픽셀 값은 이전에 계산된 펀드의 입력값과 비교된다. 입력 픽셀이 임계값 내에 있으면 픽셀은 배경 모델과 일치하는 것으로 간주되며 그 값은 픽스버프에 포함된다. 그렇지 않으면 값이 이 임계값 픽셀을 벗어나면 전경에 분류되며 버퍼에는 포함되지 않는다.

이 방법은 엄격한 통계적 근거를 제시하지 않고 높은 계산비를 가진 완충기를 요구하기 때문에 매우 효율적이라고 볼 수 없다.

재래식 접근 방식

강력한 배경 감산 알고리즘은 조명 변화, 잡음으로부터의 반복 동작 및 장기 장면 변화를 처리할 수 있어야 한다.[2] 다음 분석은 비디오 시퀀스로 V(x,y,t)의 기능을 사용하며, 여기서 t는 시간 차원이고, x와 y는 픽셀 위치 변수다. 를 들어 V(1,2,3)는 비디오 시퀀스에서 t = 3에서 이미지의 (1,2)픽셀 위치에서의 픽셀 강도다.

프레임 차이점 보관 사용

동작 감지 알고리즘은 전경이나 움직이는 물체가 백그라운드에서 분할되는 분할 부분에서 시작한다. 이를 구현하는 가장 간단한 방법은 이미지를 배경으로 하고 I(t)가 표시한 t 당시 획득한 프레임을 가져가 B가 나타내는 배경 이미지와 비교하는 것이다. 여기서는 간단한 산술적 계산을 이용하여 I(t)의 각 픽셀에 대한 컴퓨터 비전 의미 영상 감산 기법을 이용하여 간단히 객체를 세분화하여 P[I(t)]로 표시된 픽셀 값을 취하여 P[B]로 표시된 배경 영상의 동일한 위치에서 해당 픽셀로 뺄 수 있다.

수학 방정식에서는 다음과 같이 표기한다.

배경은 시간 t의 프레임으로 가정한다. 이 차이 이미지는 두 프레임에서 변경된 픽셀 위치에 대한 일부 강도만 보여줄 것이다. 비록 우리가 겉으로는 배경을 제거했지만, 이 접근법은 모든 전경 픽셀이 움직이고 모든 배경 픽셀이 정적인 경우에 대해서만 효과가 있을 것이다.[2] 감산을 개선하기 위해 이 차이 영상에 임계값 "임계값"을 적용한다(이미지 임계값 설정 참조).

이는 차이 이미지의 픽셀 강도가 '임계값'을 기준으로 필터링되거나 '임계값'을 기준으로 필터링됨을 의미한다. [3] 이 접근법의 정확성은 장면 내 이동 속도에 따라 달라진다. 더 빠른 이동에는 더 높은 임계값이 필요할 수 있다.

평균 필터

배경만 포함하는 영상을 계산하기 위해 일련의 선행 영상이 평균화된다. 즉석 t에서 배경 이미지를 계산하기 위해,

여기서 N은 평균화를 위해 촬영된 이전 이미지의 수입니다. 이 평균값은 주어진 영상에서 해당 픽셀의 평균을 가리킨다. N은 비디오 속도(비디오의 초당 이미지 수)와 비디오의 이동량에 따라 달라진다.[4] 배경 B(x,y,t)를 계산한 후 시간 t = t = t에서 영상 V(x,y,t)에서 빼서 임계값을 지정할 수 있다. 그러므로 전경은

여기서 Th는 임계값이다. 마찬가지로 위의 B(x,y,t) 계산에서 평균 대신 중위수를 사용할 수도 있다.

글로벌 및 시간 독립 임계값(이미지의 모든 픽셀에 대해 동일한 Th 값)을 사용하면 위의 두 가지 접근방식의 정확도가 제한될 수 있다.[2]

러닝 가우스 평균

이 방법을 위해 Wren 등은 가장 최근의 프레임에 가우스 확률적 밀도함수(pdf)를 장착할 것을 제안한다.[5] 새로운 각 프레임 시간 에서 처음부터 pdf를 장착하지 않도록 실행또는 온라인 누적) 평균을 계산한다.

모든 픽셀의 pdf는 평균 t 분산 t 가능한 초기 조건은 다음과 같다(처음에는 모든 픽셀이 배경이라고 가정).

여기서 는 시간 에 있는 픽셀의 강도의 값이다 예를 들어 분산을 초기화하기 위해 각 픽셀 주위의 작은 창에서 x와 y의 분산을 사용할 수 있다.

배경은 시간이 지남에 따라 변할 수 있다는 점에 유의하십시오(예: 조명 변경 또는 정전기 방지 물체). 이러한 변화를 수용하기 위해 모든 프레임 에서 모든 픽셀의 평균과 분산을 다음과 같이 업데이트해야 한다

여기서 이(가) pdf(일반적으로= 0 = 에 맞는 임시 창의 크기를 결정하고 평균과 픽셀 값 사이의 유클리드 거리입니다.

각 픽셀에 대한 가우스 분포.

현재 강도가 분포의 평균에 대한 신뢰 구간 내에 있는 경우 픽셀을 백그라운드로 분류할 수 있다.

여기서 매개 변수 (일반적으로 =5 자유 임계값이다. 의 값이 클수록 더 역동적인 배경을 허용하는 반면, 작은 k 은(는) 더 미묘한 변화로 인해 배경에서 전경으로 전환될 확률을 증가시킨다.

이 방법의 변종에서 픽셀의 분포는 배경으로 분류되는 경우에만 업데이트된다. 새로 도입된 전경 물체가 배경으로 희미해지는 것을 막기 위해서다. 이에 따라 평균에 대한 업데이트 수식이 변경된다.

여기서 = }을를) 전경으로 간주하고 않으면 =0 {\}을(를) 본다. 따라서 = 즉 픽셀이 전경으로 검출되면 평균은 그대로 유지된다. 그 결과 일단 전경이 된 픽셀은 전경을 돌리기 전 강도 값이 이전과 비슷할 때만 다시 배경이 될 수 있다. 그러나 이 방법에는 다음과 같은 몇 가지 문제가 있다. 모든 픽셀이 처음에 백그라운드 픽셀(또는 포그라운드 픽셀에 주석을 달았을 때만 작동한다. 또한 점진적인 배경 변화에 대처할 수 없다. 픽셀이 너무 오랜 시간 동안 전경으로 분류되면 해당 위치의 배경 강도가 변경되었을 수 있다(조명이 바뀌었기 때문). 결과적으로, 일단 전경 물체가 사라지면, 새로운 배경 강도는 더 이상 그렇게 인식되지 않을 수도 있다.

배경 혼합물 모형

가우스 방법의 혼합은 각 픽셀을 가우스인의 혼합물로 모델링하여 접근하며 온라인 근사치를 사용하여 모델을 업데이트한다. 이 기법에서는 영상의 모든 픽셀의 강도 값을 가우스 혼합물 모델을 사용하여 모델링할 수 있다고 가정한다.[6] 단순한 휴리스틱이 배경의 어느 강도가 가장 가능성이 높은지를 결정한다. 그리고 이것들과 일치하지 않는 픽셀을 포그라운드 픽셀이라고 부른다. 전경 픽셀은 2D 연결 성분 분석을 사용하여 그룹화된다.[6]

언제든지 특정 픽셀( y 내역은 다음과 같다.

이 내역은 다음과 같은 K 가우스 분포의 혼합에 의해 모델링된다.

어디에

먼저 각 픽셀은 RGB 컬러 공간에 강렬함이 특징이다. 그 다음 다차원 사례에서 현재 픽셀을 관찰할 확률은 다음과 같은 공식에 의해 주어진다.

여기서 K는 분포의 수, Ω은 시간 t와 µs에서 ih 가우스안과 연관된 가중치, σ은 각각 해당 가우스안의 평균과 표준 편차다.

일단 파라미터를 초기화하면, 첫 번째 포그라운드 탐지를 한 다음 파라미터를 업데이트할 수 있다. 임계값 T를 초과하는 첫 번째 B 가우스 분포는 배경 분포에 대해 유지된다.

다른 분포는 전경 분포를 나타내는 것으로 간주된다. 그런 다음 새 프레임이 + 에서 수입을 올릴 때 각 픽셀에 대한 일치 테스트가 이루어진다 마할라노비스 거리인 경우 픽셀이 가우스 분포와 일치함

where k is a constant threshold equal to . Then, two cases can occur:

Case 1: A match is found with one of the k Gaussians. For the matched component, the update is done as follows[7]

Power and Schoonees [3] used the same algorithm to segment the foreground of the image

The essential approximation to is given by [8]

Case 2: No match is found with any of the Gaussians. In this case, the least probable distribution is replaced with a new one with parameters

Once the parameter maintenance is made, foreground detection can be made and so on. An on-line K-means approximation is used to update the Gaussians. Numerous improvements of this original method developed by Stauffer and Grimson[6] have been proposed and a complete survey can be found in Bouwmans et al.[7] A standard method of adaptive backgrounding is averaging the images over time, creating a background approximation which is similar to the current static scene except where motion occur.

설문 조사

모델의 범주 또는 하위 범주와 관련된 여러 설문조사는 다음과 같이 확인할 수 있다.

  • MOG 배경 감산
  • 하위 공간 학습 배경 뺄셈
  • 통계적 배경 뺄셈
  • 퍼지 배경 감산
  • RPCA 배경 감산[13](자세한 내용은 강력한 주성분 분석 참조)
  • 배경/전면 분리에 대한 동적 RPCA([14]자세한 내용은 견고한 주성분 분석 참조)
  • 배경/전경 분리를 위한 저순위와 가법 행렬로 분해
  • 배경 감산을 위한 심층 신경망 개념
  • 백그라운드 감산에 대한 기존 접근 방식과 최신 접근 방식

적용들

자세한 내용은 을 참조하십시오.

참고 항목

참조

  1. ^ Piccardi, M. (2004). "Background subtraction techniques: A review" (PDF). 2004 IEEE International Conference on Systems, Man and Cybernetics. pp. 3099–3104. doi:10.1109/icsmc.2004.1400815. ISBN 0-7803-8567-5.
  2. ^ a b c Tamersoy, B. (September 29, 2009). "Background Subtraction – Lecture Notes" (PDF). University of Texas at Austin.
  3. ^ Lu, N.; Wang, J.; Wu, Q.; Yang, L. (February 2012). An improved Motion Detection method for real time Surveillance. CiteSeerX 10.1.1.149.33.
  4. ^ Benezeth, Y.; Jodoin, P.M.; Emile, B.; Laurent, H.; Rosenberger, C. (2008). "Review and Evaluation of Commonly-Implemented Background Subtraction Algorithms" (PDF). 2008 19th International Conference on Pattern Recognition (PDF). pp. 1–4. doi:10.1109/ICPR.2008.4760998. ISBN 978-1-4244-2174-9.
  5. ^ Wren, C.R.; Azarbayejani, A.; Darrell, T.; Pentland, A.P. (1997). "Pfinder: Real-time tracking of the human body" (PDF). IEEE Transactions on Pattern Analysis and Machine Intelligence. 19 (7): 780–785. doi:10.1109/34.598236. hdl:1721.1/10652.
  6. ^ a b c Stauffer, C.; Grimson, W.E.L. (1999). "Adaptive background mixture models for real-time tracking" (PDF). Proceedings of the 1999 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. pp. 246–252. doi:10.1109/CVPR.1999.784637. ISBN 0-7695-0149-4.
  7. ^ a b c Bouwmans, T.; El Baf, F.; Vachon, B. (November 2008). "Background Modeling using Mixture of Gaussians for Foreground Detection – A Survey". Recent Patents on Computer Science. 1 (3): 219–237. CiteSeerX 10.1.1.324.22. doi:10.2174/2213275910801030219.
  8. ^ Power, P.; Schoonees, J. (2002). "Understanding Background Mixture Models for Foreground Segmentation" (PDF). Proceedings Image and Vision Computing New Zealand 2002. pp. 267–271.
  9. ^ Bouwmans, Thierry (November 2009). "Subspace Learning for Background Modeling: A Survey". Recent Patents on Computer Science. 2 (3): 223–234. doi:10.2174/1874479610902030223.
  10. ^ Chen, C. H. (2009). Handbook of Pattern Recognition and Computer Vision. pp. 181–199. doi:10.1142/7297. ISBN 978-981-4273-38-1.
  11. ^ Bouwmans, Thierry (September 2011). "Recent Advanced Statistical Background Modeling for Foreground Detection: A Systematic Survey". Recent Patents on Computer Science. 4 (3): 147–176. doi:10.2174/1874479611104030147.
  12. ^ Bouwmans, Thierry (2012). "Background Subtraction for Visual Surveillance". Handbook on Soft Computing for Video Surveillance. Chapman & Hall/CRC Cryptography and Network Security Series. pp. 103–138. ISBN 978-1-4398-5684-0.
  13. ^ Bouwmans, Thierry; Zahzah, El Hadi (2014). "Robust PCA via Principal Component Pursuit: A review for a comparative evaluation in video surveillance". Computer Vision and Image Understanding. 122: 22–34. doi:10.1016/j.cviu.2013.11.009.
  14. ^ Vaswani, Namrata; Bouwmans, Thierry; Javed, Sajid; Narayanamurthy, Praneeth (2018). "Robust Subspace Learning: Robust PCA, Robust Subspace Tracking, and Robust Subspace Recovery". IEEE Signal Processing Magazine. 35 (4): 32–55. arXiv:1711.09492. Bibcode:2017arXiv171109492V. doi:10.1109/MSP.2018.2826566.
  15. ^ Bouwmans, Thierry; Sobral, Andrews; Javed, Sajid; Jung, Soon Ki; Zahzah, El-Hadi (2017). "Decomposition into low-rank plus additive matrices for background/Foreground separation: A review for a comparative evaluation with a large-scale dataset". Computer Science Review. 23: 1–71. arXiv:1511.01245. doi:10.1016/j.cosrev.2016.11.001.
  16. ^ Vaswani, Namrata; Bouwmans, Thierry; Javed, Sajid; Narayanamurthy, Praneeth (2018). "Deep Neural Network Concepts for Background Subtraction: A Systematic Review and Comparative Evaluation". arXiv:1811.05255 [cs.CV].
  17. ^ Bouwmans, T. (2014-07-25). "Traditional Approaches in Background Modeling for Static Cameras". Background Modeling and Foreground Detection for Video Surveillance. CRC Press. ISBN 9781482205374.
  18. ^ Bouwmans, T. (2014-07-25). "Recent Approaches in Background Modeling for Static Cameras". Background Modeling and Foreground Detection for Video Surveillance. CRC Press. ISBN 9781482205374.
  19. ^ Bouwmans, T.; Garcia-Garcia, B. (2019). "Background Subtraction in Real Applications: Challenges, Current Models and Future Directions". arXiv:1901.03577 [cs.CV].

비교

몇 가지 비교/평가 논문은 문헌에서 확인할 수 있다.

책들

  • T. Bouwmans, F. 뽀리클리, B. 호퍼린, A. Vacavant, "비디오 감시를 위한 백그라운드 모델링 전경 감지: "기존 최신 접근 방식, 구현, 벤치마킹평가", CRC Press, Taylor 및 Francis Group, 2014년 6월(자세한 내용은: http://www.crcpress.com/product/isbn/9781482205374)
  • T. Bouwmans, N. Aybat, E. Zahzah. 강력한 저등급 및 희소성 매트릭스 분해에 대한 지침서: 2016년 5월 이미지비디오 처리, CRC 프레스, 테일러 및 프랜시스 그룹의 애플리케이션(자세한 내용은 http://www.crcpress.com/product/isbn/9781498724623)

저널스

워크샵

콘테스트

외부 링크

웹사이트

  • 백그라운드 감산 웹 사이트

백그라운드 뺄셈 웹사이트(T. Bouwmans, Univ. 프랑스의 La Rochelle)에는 해당 분야의 포괄적인 참조 목록과 사용 가능한 데이터셋 및 소프트웨어에 대한 링크가 포함되어 있다.

데이터 집합

도서관

  • BackgroundSubtractorCNT

BackgroundSubtractorCNT 라이브러리는 OpenCV를 기반으로 C++로 작성된 매우 빠르고 고품질 알고리즘을 구현한다. 저사양 하드웨어를 목표로 하지만 최신 Linux와 Windows에서도 똑같이 빠르게 작동한다. (자세한 내용은 https://github.com/sagi-z/BackgroundSubtractorCNT).

  • BGS 라이브러리

BGS 라이브러리(A. Sobral, Univ) 프랑스 La Rochelle)은 배경 뺄셈 알고리즘을 수행할 수 있는 C++ 프레임워크를 제공한다. 이 코드는 Windows나 Linux에서 작동한다. 현재 도서관은 30개 이상의 BGS 알고리즘을 제공하고 있다. (자세한 내용은 https://github.com/andrewssobral/bgslibrary)

  • LRS 라이브러리 – 비디오의 배경 모델링 및 감산을 위한 낮은 등급 및 희소성 도구 LRSLibrary(A. Sobral, Univ) 프랑스 La Rochelle)은 MATLAB에 낮은 등급과 희박한 분해 알고리즘의 컬렉션을 제공한다. 이 도서관은 동영상의 움직임 분할을 위해 설계되었지만, 다른 컴퓨터 시력 문제에도 사용되거나 개조될 수 있다. 현재 LRSLibrary에는 100개 이상의 매트릭스 기반 및 텐서 기반 알고리즘이 포함되어 있다(자세한 내용은 https://github.com/andrewssobral/lrslibrary)
  • OpenCV – OpenCV 라이브러리는 숫자 배경/전면 분할 알고리즘을 제공한다.