움직임으로부터의 구조

Structure from motion
운동으로부터의 구조(정신물리학)와 혼동하지 말 것.

Structure from motion(SfM)[1]은 로컬 모션 신호와 결합될 수 있는 2차원 이미지 시퀀스에서 3차원 구조를 추정하기 위한 포토그램 측정 범위 이미징 기술이다.그것은 컴퓨터 시각과 시각 지각 분야에서 연구된다.생물학적 시각에서 SfM은 움직이는 물체나 장면의 투영된 2D(망막) 운동장에서 인간(및 다른 생물)이 3D 구조를 복구할 수 있는 현상을 말합니다.

원칙

고속도로 인터체인지 건설현장의 디지털 표면모델
실제 사진×질감 있는 색상의 SfM×심플한 셰이더의 SfM.Python Photogrammetry Toolbox GUI로 만들어지며 사이클이 있는 블렌더로 렌더링됩니다.
Pteryx UAV 30분 비행 중 수집한 데이터에서 추출한 베즈미코와 비행장 3D 디지털 표면 모델

인간은 주변 환경의 3차원 구조에 대한 많은 정보를 이동함으로써 인지한다.관찰자가 움직일 때 주변의 물체는 관찰자와의 거리에 따라 다른 양을 움직입니다.이를 모션 시차라고 하며, 이 깊이에서 정보를 사용하여 [2]주변 세계의 정확한 3D 표현을 생성할 수 있습니다.

움직임에서 구조를 찾는 것은 스테레오 비전에서 구조를 찾는 것과 유사한 문제를 일으킨다.두 경우 모두 영상과 3D 객체 재구성 간의 대응 관계를 찾아야 합니다.

영상 간의 대응 관계를 찾기 위해 코너 포인트(다방향 구배가 있는 에지)와 같은 피쳐가 한 영상에서 다음 영상으로 추적됩니다.가장 널리 사용되는 피쳐 디텍터 중 하나는 Scale-Invariant Feature Transform(SIFT; 스케일 불변 피쳐 변환)입니다.그것은 특징으로 DOG(Different-of-Gaussians) 피라미드의 맥시마를 사용한다.SIFT의 첫 번째 단계는 지배적인 구배 방향을 찾는 것입니다.회전 불변으로 만들기 위해 설명자는 이 방향에 [3]맞게 설명자가 회전합니다.또 다른 일반적인 피쳐 디텍터는 SUFF(속도 업된 견고한 기능)[4]입니다.SUFF에서 DOG는 Hessian 매트릭스 기반 블럽 디텍터로 대체됩니다.또한 경사 히스토그램을 평가하는 대신, SURF는 경사 성분의 합계와 절대값의 [5]합계를 계산합니다.통합 이미지를 사용하여 높은 [6]검출률로 기능을 매우 빠르게 검출할 수 있습니다.따라서 SIFT에 비해 SURF는 피쳐 [5]위치의 정확도가 떨어지는 단점이 있는 고속 피쳐 검출기입니다.움직임으로부터의 구조에 최근 실용화된 또 다른 유형의 특징은 일반적인 곡선(예: 국소적으로 한 방향으로 구배가 있는 가장자리)으로, 의미 없는 [7][8]SfM으로 알려진 기술의 일부이며, 점 피쳐가 부족할 때 인간이 [9]만든 환경에서 일반적으로 유용하다.

그러면 모든 이미지에서 검출된 기능이 일치합니다.이미지 간에 특징을 추적하는 일치 알고리즘 중 하나는 Lucas-Kanade [10]Tracker입니다.

일치하는 기능 중 일부가 잘못 일치할 수 있습니다.따라서 일치 항목도 필터링해야 합니다.LANSAC(랜덤 표본 합의)는 특이치 대응 관계를 제거하는 데 일반적으로 사용되는 알고리즘입니다.Fischler와 Bolles의 논문에서 LANSAC는 Location Determination Problem(LDP; 위치 결정 문제)를 해결하기 위해 사용되며,[11] 이 문제의 목적은 이미 알려진 위치를 가진 일련의 랜드마크에 투영되는 공간의 점을 결정하는 것이다.

그런 다음 시간 경과에 따른 특징 궤적을 사용하여 3D 위치와 카메라의 [12]움직임을 재구성합니다.대안은 형상 정보(3D 구조 및 카메라 움직임)를 형상이나 [13]모서리에 중간 추상화하지 않고 이미지에서 직접 추정하는 이른바 직접 접근법에 의해 제시된다.

움직임으로부터의 구조에는 몇 가지 접근법이 있다.증분 [14]SfM에서는 카메라 포즈가 하나씩 해결되어 컬렉션에 추가됩니다.글로벌 [15][16]SfM에서는 모든 카메라의 포즈가 동시에 해결됩니다.다소 중간적인 접근방식은 코어 외 SfM입니다.여기서 몇 가지 부분 재구성이 계산되어 글로벌 솔루션에 통합됩니다.

적용들

지구과학

멀티뷰 스테레오와 함께 모션으로부터의 구조 포토 측량 기능은, 다양한 디지털 카메라로부터 취득한 화상 및 옵션으로 지상 제어 지점 네트워크로부터 취득한 화상을 사용해 초스케일 지형 모델을 제공합니다.이 기술은 시간 빈도에 제한되지 않으며 지상 및 공중 레이저 스캔에 의해 생성된 것과 동등한 밀도 및 정확도에서 적은 [17][18][19]비용으로 포인트 클라우드 데이터를 제공할 수 있습니다.이동에 의한 구조는 기기의 휴대성에 의해 지상 레이저 스캔이 제한되고, 지형적인 거칠기로 인해 공기 중의 레이저 스캔이 제한되는 원격 환경이나 험난한 환경에서도 유용합니다.이 기술은 강,[20] 황무지,[21] 모래 해안선,[22][23] 단층대,[24] 산사태,[25] 산호초 [26]환경 등 많은 환경에 적용되어 왔다.또한 SfM은 [29][30]불연속부의 방향, 지속성 등의 일부 특성을 결정함으로써 하천계의 대규모 목재 축적[27] 부피 및 다공성[28] 평가에도 성공적으로 적용되었다.디지털 SLR, 콤팩트 디지털 카메라, 스마트폰 등 다양한 디지털 카메라를 활용할 수 있다.그러나 일반적으로 더 높은 광학 품질의 렌즈를 포함한 더 비싼 카메라를 사용하면 더 높은 정확도의 데이터를 얻을 수 있습니다.따라서 이 기법은 지표면 지형을 전례 없는 상세하게 특징짓고, 지표면 과정의 징후를 나타내는 고도, 위치 및 체적 변화를 수시 데이터로 감지할 수 있는 흥미로운 기회를 제공합니다.움직임으로부터의 구조는 다른 디지털 측량 방법의 맥락에 배치할 수 있습니다.

문화유산

문화유산은 어디에나 있다.이것의 구조적 통제, 문서화 및 보존은 인류의 주요 임무 중 하나이다.이러한 관점에서 SfM은 상황을 적절하게 추정하기 위해 사용되며 계획 및 유지 보수 작업, 비용, 제어 및 복구에도 사용됩니다.현장의 접근성과 관련된 심각한 제약이 종종 존재하며 기존의 측량 루틴(전체 측점 등)을 사용할 수 없는 침습적 측량 필러를 설치할 수 없기 때문에, SfM은 구조물과 운영자 간의 직접적인 상호작용 없이 구조물에 대한 비침습적 접근 방식을 제공한다.질적 고려만 하면 되므로 사용법이 정확하다.그것은 기념비의 즉각적인 관리 [31]요구에 대응할 수 있을 만큼 충분히 빠르다.첫 번째 작동 단계는 물체로부터의 최적 거리, 초점 거리, 지상 샘플링 거리(GSD) 및 센서 분해능 사이의 관계를 설정하는 사진 측량 조사를 정확하게 준비하는 것입니다.이 정보를 사용하여 최소 60%의 수직 중첩을 사용하여 프로그래밍된 사진 수집을 수행해야 합니다(그림 [32]02).

또한 Structure-from-motion 포토그래메트리는 역사 [33]문서를 디지털화하기 위한 비침습적이고 유연하며 저렴한 방법론을 나타냅니다.

「 」를 참조해 주세요.

추가 정보

  • Jonathan L. Carrivick, Mark W. Smith, Duncan J. Quincey (2016).지구과학에서의 움직임으로부터의 구조.와일리-블랙웰 208쪽이요 ISBN978-1-118-89584-9
  • Richard Hartley & Andrew Zisserman (2003). Multiple View Geometry in Computer Vision. Cambridge University Press. ISBN 978-0-521-54051-3.
  • Olivier Faugeras and Quang-Tuan Luong and Theodore Papadopoulo (2001). The Geometry of Multiple Images. MIT Press. ISBN 978-0-262-06220-6.
  • Yi Ma; S. Shankar Sastry; Jana Kosecka; Stefano Soatto (November 2003). An Invitation to 3-D Vision: From Images to Geometric Models. Interdisciplinary Applied Mathematics Series, #26. Springer-Verlag New York, LLC. ISBN 978-0-387-00893-6.

레퍼런스

  1. ^ S. Ullman (1979). "The interpretation of structure from motion" (PDF). Proceedings of the Royal Society of London. 203 (1153): 405–426. Bibcode:1979RSPSB.203..405U. doi:10.1098/rspb.1979.0006. hdl:1721.1/6298. PMID 34162. S2CID 11995230.
  2. ^ Linda G. Shapiro; George C. Stockman (2001). Computer Vision. Prentice Hall. ISBN 978-0-13-030796-5.
  3. ^ D. G. Lowe (2004). "Distinctive image features from scale-invariant keypoints". International Journal of Computer Vision. 60 (2): 91–110. CiteSeerX 10.1.1.73.2924. doi:10.1023/b:visi.0000029664.99615.94. S2CID 221242327.
  4. ^ H. Bay; T. Tuytelaars & L. Van Gool (2006). "Surf: Speeded up robust features". 9th European Conference on Computer Vision.
  5. ^ a b K. Häming & G. Peters (2010). "The structure-from-motion reconstruction pipeline – a survey with focus on short image sequences". Kybernetika. 46 (5): 926–937.
  6. ^ Viola, P.; Jones, M. (2001). "Rapid object detection using a boosted cascade of simple features". Proceedings of the 2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. CVPR 2001. Kauai, HI, USA: IEEE Comput. Soc. 1: I–511–I-518. doi:10.1109/CVPR.2001.990517. ISBN 978-0-7695-1272-3. S2CID 2715202.
  7. ^ Nurutdinova, Andrew; Fitzgibbon, Andrew (2015). "Towards Pointless Structure from Motion: 3D reconstruction and camera parameters from general 3D curves" (PDF). Proceedings of the IEEE International Conference on Computer Vision (ICCV 2015): 2363–2371. doi:10.1109/ICCV.2015.272. ISBN 978-1-4673-8391-2. S2CID 9120123.
  8. ^ Fabbri, Ricardo; Giblin, Peter; Kimia, Benjamin (2012). "Camera Pose Estimation Using First-Order Curve Differential Geometry" (PDF). Lecture Notes in Computer Science (ECCV 2012). Lecture Notes in Computer Science. 7575: 231–244. doi:10.1007/978-3-642-33765-9_17. ISBN 978-3-642-33764-2.
  9. ^ Apple, ARKIT team (2018). "Understanding ARKit Tracking and Detection". WWDC.
  10. ^ B. D. Lucas & T. Kanade. "An iterative image registration technique with an application to stereo vision". Ijcai81.
  11. ^ M. A. Fischler & R. C. Bolles (1981). "Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography". Commun. ACM. 24 (6): 381–395. doi:10.1145/358669.358692. S2CID 972888.
  12. ^ F. Dellaert; S. Seitz; C. Thorpe & S. Thrun (2000). "Structure from Motion without Correspondence" (PDF). IEEE Computer Society Conference on Computer Vision and Pattern Recognition.
  13. ^ Engel, Jakob; Schöps, Thomas; Cremers, Daniel (2014). "LSD-SLAM: Large-Scale Direct Monocular SLAM". European Conference on Computer Vision (ECCV) 2014 (PDF).
  14. ^ J.L. Schönberger & J.M. Frahm (2016). "Structure-from-Motion Revisited" (PDF). IEEE Computer Society Conference on Computer Vision and Pattern Recognition.
  15. ^ C. Tomasi & T. Kanade (1992). "Shape and motion from image streams under orthography: a factorization method". International Journal of Computer Vision. 9 (2): 137–154. CiteSeerX 10.1.1.131.9807. doi:10.1007/BF00129684. S2CID 2931825.
  16. ^ V.M. Govindu (2001). "Combining two-view constraints for motion estimation". IEEE Computer Society Conference on Computer Vision and Pattern Recognition. 2: II-218–II-225. doi:10.1109/CVPR.2001.990963. ISBN 0-7695-1272-0. S2CID 8252027.
  17. ^ Westoby, M. J.; Brasington, J.; Glasser, N. F.; Hambrey, M. J.; Reynolds, J. M. (2012-12-15). "'Structure-from-Motion' photogrammetry: A low-cost, effective tool for geoscience applications". Geomorphology. 179: 300–314. Bibcode:2012Geomo.179..300W. doi:10.1016/j.geomorph.2012.08.021.
  18. ^ James, M. R.; Robson, S. (2012-09-01). "Straightforward reconstruction of 3D surfaces and topography with a camera: Accuracy and geoscience application" (PDF). Journal of Geophysical Research: Earth Surface. 117 (F3): F03017. Bibcode:2012JGRF..117.3017J. doi:10.1029/2011jf002289. ISSN 2156-2202.
  19. ^ Fonstad, Mark A.; Dietrich, James T.; Courville, Brittany C.; Jensen, Jennifer L.; Carbonneau, Patrice E. (2013-03-30). "Topographic structure from motion: a new development in photogrammetric measurement" (PDF). Earth Surface Processes and Landforms. 38 (4): 421–430. Bibcode:2013ESPL...38..421F. doi:10.1002/esp.3366. ISSN 1096-9837.
  20. ^ Javernick, L.; Brasington, J.; Caruso, B. (2014). "Modeling the topography of shallow braided rivers using Structure-from-Motion photogrammetry". Geomorphology. 213: 166–182. Bibcode:2014Geomo.213..166J. doi:10.1016/j.geomorph.2014.01.006.
  21. ^ Smith, Mark William; Vericat, Damià (2015-09-30). "From experimental plots to experimental landscapes: topography, erosion and deposition in sub-humid badlands from Structure-from-Motion photogrammetry" (PDF). Earth Surface Processes and Landforms. 40 (12): 1656–1671. Bibcode:2015ESPL...40.1656S. doi:10.1002/esp.3747. ISSN 1096-9837.
  22. ^ Goldstein, Evan B; Oliver, Amber R; deVries, Elsemarie; Moore, Laura J; Jass, Theo (2015-10-22). "Ground control point requirements for structure-from-motion derived topography in low-slope coastal environments". PeerJ PrePrints. doi:10.7287/peerj.preprints.1444v1. ISSN 2167-9843.
  23. ^ Mancini, Francesco; Dubbini, Marco; Gattelli, Mario; Stecchi, Francesco; Fabbri, Stefano; Gabbianelli, Giovanni (2013-12-09). "Using Unmanned Aerial Vehicles (UAV) for High-Resolution Reconstruction of Topography: The Structure from Motion Approach on Coastal Environments". Remote Sensing. 5 (12): 6880–6898. Bibcode:2013RemS....5.6880M. doi:10.3390/rs5126880.
  24. ^ Johnson, Kendra; Nissen, Edwin; Saripalli, Srikanth; Arrowsmith, J. Ramón; McGarey, Patrick; Scharer, Katherine; Williams, Patrick; Blisniuk, Kimberly (2014-10-01). "Rapid mapping of ultrafine fault zone topography with structure from motion". Geosphere. 10 (5): 969–986. Bibcode:2014Geosp..10..969J. doi:10.1130/GES01017.1.
  25. ^ Del Soldato, M.; Riquelme, A.; Bianchini, S.; Tomàs, R.; Di Martire, D.; De Vita, P.; Moretti, S.; Calcaterra, D. (2018-06-06). "Multisource data integration to investigate one century of evolution for the Agnone landslide (Molise, southern Italy)". Landslides. 15 (11): 2113–2128. doi:10.1007/s10346-018-1015-z. ISSN 1612-510X.
  26. ^ Bryson, Mitch; Duce, Stephanie; Harris, Dan; Webster, Jody M.; Thompson, Alisha; Vila-Concejo, Ana; Williams, Stefan B. (2016). "Geomorphic changes of a coral shingle cay measured using Kite Aerial Photography". Geomorphology. 270: 1–8. Bibcode:2016Geomo.270....1B. doi:10.1016/j.geomorph.2016.06.018.
  27. ^ Spreitzer, Gabriel; Tunnicliffe, Jon; Friedrich, Heide (2019-12-01). "Using Structure from Motion photogrammetry to assess large wood (LW) accumulations in the field". Geomorphology. 346: 106851. Bibcode:2019Geomo.34606851S. doi:10.1016/j.geomorph.2019.106851.
  28. ^ Spreitzer, Gabriel; Tunnicliffe, Jon; Friedrich, Heide (2020). "Large wood (LW) 3D accumulation mapping and assessment using structure from Motion photogrammetry in the laboratory". Journal of Hydrology. 581: 124430. Bibcode:2020JHyd..58124430S. doi:10.1016/j.jhydrol.2019.124430.
  29. ^ Riquelme, A.; Cano, M.; Tomás, R.; Abellán, A. (2017-01-01). "Identification of Rock Slope Discontinuity Sets from Laser Scanner and Photogrammetric Point Clouds: A Comparative Analysis". Procedia Engineering. 191: 838–845. doi:10.1016/j.proeng.2017.05.251. ISSN 1877-7058.
  30. ^ Jordá Bordehore, Luis; Riquelme, Adrian; Cano, Miguel; Tomás, Roberto (2017-09-01). "Comparing manual and remote sensing field discontinuity collection used in kinematic stability assessment of failed rock slopes" (PDF). International Journal of Rock Mechanics and Mining Sciences. 97: 24–32. doi:10.1016/j.ijrmms.2017.06.004. hdl:10045/67528. ISSN 1365-1609.
  31. ^ Guidi. G.; 베랄딘, J.A.;아츠니, C문화 유산의 고정밀 3D 모델링:도나텔로의 디지털화.IEEE 트랜스이미지 프로세스2004, 13, 370–380
  32. ^ Kraus, K., 2007.포토 측량: 이미지 및 레이저 스캔의 지오메트리.월터 드 그루이터, 459쪽ISBN 978-3-11-019007-6
  33. ^ Brandolini, Filippo; Patrucco, Giacomo (September 2019). "Structure-from-Motion (SFM) Photogrammetry as a Non-Invasive Methodology to Digitalize Historical Documents: A Highly Flexible and Low-Cost Approach?". Heritage. 2 (3): 2124–2136. doi:10.3390/heritage2030128.