구조 조명 3D 스캐너

Structured-light 3D scanner

구조광 3D 스캐너는 투사광 패턴 및 카메라 [1]시스템을 사용하여 물체의 3차원 형상을 측정하는 3D 주사 장치이다.

원칙

3차원 형상의 표면에 좁은 빛의 띠를 투사하면 프로젝터 이외의 시점에서 왜곡되어 보이는 조명선이 생성되어 표면 형상(라이트 섹션)의 기하학적 재구성에 사용할 수 있습니다.

보다 빠르고 다용도적인 방법은 다수의 샘플을 동시에 획득할 수 있기 때문에 한 번에 많은 스트라이프로 구성된 패턴 또는 임의의 프링으로 구성된 패턴을 투영하는 것입니다.다른 관점에서 보면, 물체의 표면 형상으로 인해 패턴이 기하학적으로 왜곡된 것처럼 보입니다.

구조화된 광투영의 다른 많은 변형도 가능하지만 평행 줄무늬 패턴이 널리 사용됩니다.사진은 단순한 3D 표면에 투영된 단일 줄무늬의 기하학적 변형을 보여줍니다.줄무늬의 변위를 통해 물체 표면의 세부 사항에 대한 3D 좌표를 정확하게 검색할 수 있습니다.

광패턴 발생

2대의 카메라를 갖춘 프린지 패턴 기록 시스템(장애물을 피함)

스트라이프 패턴 생성에는 레이저 간섭과 투영이라는 두 가지 주요 방법이 확립되어 있습니다.

레이저 간섭 방법은 두 개의 넓은 평면 레이저 빔 프론트에서 작동합니다.이러한 간섭에 의해 규칙적인 등거리 회선 패턴이 발생합니다.이러한 빔 사이의 각도를 변경하면 다른 패턴 크기를 얻을 수 있습니다.이 방법을 사용하면 필드 깊이를 제한하지 않고 매우 미세한 패턴을 정확하고 쉽게 생성할 수 있습니다.단점은 구현 비용이 비싸고 이상적인 빔 지오메트리를 제공하기 어려우며, 레이저의 전형적인 효과(스펙클 노이즈 및 물체에서 반사된 빔 부품에 대한 자기 간섭 가능성 등)입니다.일반적으로 그레이 코드와 같이 개별 스트라이프를 변조하는 방법은 없습니다.

투사 방식은 일관성이 없는 빛을 사용하여 기본적으로 비디오 프로젝터와 같이 작동합니다.패턴은 일반적으로 디지털 공간광변조기를 통해 빛을 투과시킴으로써 발생합니다.일반적으로 현재 가장 널리 보급되어 있는 디지털 투영 기술인 투과형 액정, 실리콘(LCOS)의 반사형 액정 또는 디지털 광처리(DLP; moving micro mirror) 변조기 중 하나를 기반으로 합니다.이 어플리케이션의 장점과 단점을 설명합니다.그러나 다른 투영 방법을 사용할 수도 있고 사용되었을 수도 있다.

디지털 디스플레이 프로젝터에 의해 생성되는 패턴은 디스플레이의 픽셀 경계로 인해 불연속성이 작습니다.그러나 충분히 작은 경계는 아주 작은 디포커스에도 균등해지기 때문에 사실상 무시될 수 있다.

일반적인 측정 어셈블리는 1개의 프로젝터와 1개 이상의 카메라로 구성됩니다.많은 어플리케이션에서 프로젝터의 반대편에 있는 2대의 카메라가 유용하게 사용되고 있습니다.

보이지 않는(또는 감지할 수 없는) 구조화된 빛은 투영 패턴이 혼란스러운 다른 컴퓨터 비전 작업을 방해하지 않고 구조화된 빛을 사용합니다.예를 들어 적외선 또는 정반대의 [2]두 패턴을 번갈아 사용하는 매우 높은 플레이머레이트를 사용하는 방법이 있습니다.

눈금 매기기

라이브러리의 3D 스캐너.교정 패널은 오른쪽에 있습니다.

광학 및 원근법에 의한 기하학적 왜곡은 특수 교정 패턴 및 표면을 사용하여 측정 장비의 교정을 통해 보정해야 합니다.수학적 모델은 프로젝터 및 카메라의 촬상 특성을 기술하기 위해 사용된다.기본적으로 핀홀 카메라의 단순한 기하학적 특성에 기초하여 모델은 프로젝터와 카메라 렌즈의 기하학적 왜곡과 광학 수차도 고려해야 합니다.카메라의 파라미터와 공간에서의 방향은 사진 측량 번들 조정을 사용하여 일련의 보정 측정을 통해 확인할 수 있습니다.

스트라이프 패턴 분석

관찰된 줄무늬 패턴에는 몇 가지 깊이 단서가 포함되어 있습니다.단일 스트라이프의 변위는 직접 3D 좌표로 변환할 수 있습니다.이 때문에, 개별의 스트라이프를 특정할 필요가 있습니다.예를 들어 스트라이프를 트레이스 또는 카운트 하는 것으로 실현할 수 있습니다(패턴 인식 방식).또 다른 일반적인 방법은 스트라이프 패턴을 번갈아 투영하여 오브젝트에 부딪히는 각 개별 스트라이프의 수를 식별하는 바이너리 그레이 코드 시퀀스를 생성한다.또한 객체 표면을 따라 스트라이프 폭이 다양하기 때문에 중요한 깊이 신호가 발생합니다.스트라이프 폭은 표면 부분, 즉 표고의 1차 도함수의 함수이다.스트라이프 주파수와 위상은 유사한 신호를 전달하며 푸리에 변환으로 분석할 수 있습니다.마지막으로, 웨이브릿 변환은 최근에 같은 목적을 위해 논의되었습니다.

많은 실제 구현에서 패턴 인식, 그레이 코드 및 푸리에 변환을 조합한 일련의 측정이 완전하고 모호하지 않은 형태의 재구성을 위해 얻어진다.

또,[3] 카메라의 피사계 심도를 이용해, 프린지 투영 영역에 속하는 다른 방법을 실증했다.

투영 패턴을 기본적으로 사진 측량 획득을 위해 장면에 구조를 삽입하는 수단으로 주로 사용할 수도 있습니다.

정밀도와 범위

프린지 투사법의 광학 해상도는 사용하는 스트라이프의 폭과 그 광학적 품질에 따라 달라집니다.그것은 또한 빛의 파장에 의해 제한된다.

스트라이프 폭을 극단적으로 줄이면 필드 깊이, 카메라 해상도 및 디스플레이 해상도에 제한이 있기 때문에 비효율적입니다.따라서 위상 이동 방법이 널리 확립되어 있습니다. 최소 3회, 일반적으로 약 10회의 노출이 약간 이동된 스트라이프로 촬영됩니다.이 방법의 첫 번째 이론적인 추론은 사인파 모양의 강도 변조를 가진 스트라이프에 의존했지만, 이 방법은 LCD 또는 DLP 디스플레이에서 제공되는 "직사각형" 변조 스트라이프에도 적용됩니다.위상 시프트에 의해 예를 들어 1/10 스트라이프 피치의 표면 디테일을 해결할 수 있다.

따라서 현재 광학 스트라이프 패턴 프로파일링을 통해 빛의 파장, 실제로는 1마이크로미터 미만 또는 더 큰 스트라이프 패턴의 경우 스트라이프 폭의 약 1/10까지 세부 분해능을 제공할 수 있습니다.레벨 정밀도에 관해서는, 취득한 카메라 화상의 몇개의 화소에 보간하는 것으로, 신뢰성이 높은 높이 해상도와 1/50 화소까지의 정밀도를 얻을 수 있습니다.

따라서 큰 스트라이프 패턴 및 설정으로 임의의 큰 오브젝트를 측정할 수 있습니다.실제 적용은 수 미터 크기의 물체와 관련된 것으로 문서화되어 있습니다.

일반적인 정확도 수치는 다음과 같습니다.

  • 10마이크로미터(0.00039인치)까지의 2피트(0.61m) 폭의 표면 평탄도.
  • 모터 연소실의 모양은 2마이크로미터−5(7.9×10인치)로 부피 측정 용량보다 부피 정확도가 10배 향상됩니다.
  • 2인치(51mm)에서 약 1마이크로미터(3.9×10인치−5) 크기의 물체 모양
  • 10마이크로미터(0.00039인치)~±0.4μm의 블레이드 가장자리 반지름

내비게이션

이 방법은 한 번에 하나의 관점에서만 형상을 측정할 수 있기 때문에, 완전한 3D 형상을 다른 각도로 다른 측정에서 조합해야 합니다.이 작업은 마커 포인트를 객체에 부착하고 나중에 이러한 마커를 일치시켜 원근법을 결합함으로써 수행할 수 있습니다.전동식 턴테이블 또는 CNC 포지셔닝 장치에 물체를 장착함으로써 프로세스를 자동화할 수 있습니다.마커는 객체 자체 대신 위치 결정 장치에 적용할 수도 있습니다.

수집된 3D 데이터를 사용하여 기존 구성 요소(역 엔지니어링), 손으로 만든 샘플 또는 조각, 자연물 또는 아티팩트에서 CAD(컴퓨터 지원 설계) 데이터와 모델을 검색할 수 있습니다.

과제들

모든 광학 방법과 마찬가지로 반사 또는 투명 표면은 어려움을 일으킨다.반사는 빛을 카메라에서 멀리 또는 광학으로 반사시킵니다.어느 경우든, 카메라의 다이나믹 레인지를 넘을 수 있다.투명 또는 반투명 표면도 큰 어려움을 일으킨다.이 경우 측정 목적으로만 표면에 얇은 불투명 옻칠을 하는 것이 일반적입니다.최근의 방법은 광원(예를 들어 프로젝터)과 스캔 [4]대상물 사이에 1차원 확산기를 삽입함으로써 반사율이 높고 경사가 심한 물체를 취급한다.완전히 투명하고 경사진 [5]물체를 다루기 위한 대체 광학 기법이 제안되었다.

이중반사 및 상호반사로 인해 스트라이프 패턴이 불필요한 빛으로 덮여 적절한 검출이 불가능해질 수 있습니다.따라서 반사 공동 및 오목한 물체는 다루기가 어렵습니다.피부, 대리석, 왁스, 식물, 인체 조직 등 반투명 물질도 지표면 아래 산란 현상으로 취급하기 어렵다.최근 컴퓨터 비전 커뮤니티에서는 조명 [6]패턴을 재설계하여 이러한 광학적으로 복잡한 장면을 처리하려는 노력이 이루어지고 있습니다.이 방법들은 고도로 비치는 금속 오목부 및 반투명 왁스 캔들 [7]등 전통적으로 어려운 물체에 대해 유망한 3D 스캐닝 결과를 보여주었습니다.

스피드

대부분의 구조화된 빛 변형에서 사진 한 장당 여러 패턴을 촬영해야 하지만, 고속 구현은 다음과 같은 여러 애플리케이션에 사용할 수 있습니다.

  • 생산 공정 중 부품의 인라인 정밀 검사.
  • 인체 형태 또는 피부 미세 구조의 실시간 측정과 같은 건강 관리 애플리케이션.

예를 들어 3차원 텔레비전의 공간 장면 데이터 획득과 같은 동영상 애플리케이션이 제안되었습니다.

적용들

  • GOM GmbH의 ATOS(Industrial Optical Metrology Systems)는 Structured Light 기술을 활용하여 측정의 고정밀과 확장성을 실현합니다.이러한 시스템은 교정 상태, 변환 정확도, 환경 변화 및 부품 이동을 자체 모니터링하여 고품질 측정 [8]데이터를 보장합니다.
  • Structured Light, Time of Flight, Ste레오 등의 깊이 기술을 사용한 Google Project Tango SLAM(동시 현지화 및 매핑)비행 시간에는 적외선(IR) 프로젝터와 IR 센서를 사용해야 합니다.스테레오에서는 사용할 수 없습니다.
  • 마이크로소프트 키넥트의 초기 버전에서 사용된 PrimeSense의 기술은 고밀도 3D 이미지를 생성하기 위해 투영된 적외선 점의 패턴을 사용했습니다.(나중에 Microsoft Kinect는 구조화된 빛 대신 비행 시간 카메라를 사용하는 것으로 전환했습니다.)
  • 후두부
    • Structure Sensor는 왜곡을 최소화하도록 보정된 투사 적외선 점의 패턴을 사용하여 고밀도 3D 이미지를 생성합니다.
    • Structure Core는 투사된 적외선 점의 랜덤 패턴과 일치하는 스테레오 카메라를 사용하여 고밀도 3D 이미지를 생성합니다.
  • 인텔 RealSense 카메라는 일련의 적외선 패턴을 투사하여 3D 구조를 구현합니다.
  • 얼굴 ID 시스템은 30,000개 이상의 적외선 점을 얼굴에 투영하고 3D 얼굴 지도를 제작하는 방식으로 작동합니다.
  • VicoVR 센서는 골격 추적에 적외선 포인트 패턴을 사용합니다.
  • Chiaro Technologies는 Symbolic Light라는 단일 적외선 점 패턴을 사용하여 산업용 3D 점 구름을 스트리밍합니다.
  • 패션 소매업 측정용
  • 3D 자동 광학 검사
  • 생산 제어를 위한 정밀 형상 측정(예: 터빈 블레이드)
  • 리버스 엔지니어링(기존 객체에서 정밀 CAD 데이터 가져오기)
  • 체적 측정(예: 모터의 연소실 체적)
  • 연삭재료 및 공구 분류
  • 지표면 정밀구조 측정
  • 절삭 공구 블레이드의 반지름 측정
  • 평탄도 정밀도 측정
  • 문화재 기록물
  • 증강현실 게임을 위한 환경 캡처
  • 화장품 및 의약품 피부 표면 측정
  • 체형 측정
  • 법의학 검사
  • 도로포장구조 및 거칠기
  • 천과 가죽의 주름 측정
  • 구조화 조명 현미경법
  • 태양전지[9] 지형 측정
  • DHL의 e-fulfillment 로봇이 가능한 3D 비전 시스템

소프트웨어

  • 3DUNDER WORLD SLS – 오픈[11] 소스
  • Python[12] 언어로 구성된 조명과 스테레오 비전을 기반으로 하는 DIY 3D 스캐너
  • SLStudio:오픈 소스 실시간 구조 라이트[13]

「 」를 참조해 주세요.

레퍼런스

  1. ^ Borko Furht (2008). Encyclopedia of Multimedia (2nd ed.). Springer. p. 222. ISBN 978-0-387-74724-8.
  2. ^ Fofi, David; T. Sliwa; Y. Voisin (January 2004). "A Comparative Survey on Invisible Structured Light" (PDF). SPIE Electronic Imaging — Machine Vision Applications in Industrial Inspection XII. San Jose, USA. pp. 90–97.
  3. ^ "Tiefenscannende Streifenprojektion (DSFP) mit 3D-Kalibrierung". University of Stuttgart (in German). Archived from the original on 9 April 2013.
  4. ^ 슈리 케이나야르와 모히트 굽타, 산란 구조 빛, 산부인과.IEEE 국제 컴퓨터 사진 회의, 2012
  5. ^ Eron Steger & Kiriakos N. Kutulakos (2008). "A Theory of Refractive and Specular 3D Shape by Light-Path Triangulation". Int. J. Computer Vision, vol. 76, no. 1.
  6. ^ Mohit Gupta, Amit Agrawal, Ashok Veeraraghavan and Srinivasa G. Narasimhan (2011). "Measuring Shape in the Presence of Inter-reflections, Sub-surface Scattering and Defocus". Proc. CVPR.{{cite news}}: CS1 maint: 여러 이름: 작성자 목록(링크)
  7. ^ Mohit Gupta; Shree K. Nayar (2012). "Micro Phase Shifting". Proc. CVPR.
  8. ^ "ATOS – Industrial 3D Scanning Technology". GOM GmbH. Retrieved 9 July 2018.
  9. ^ W J Walecki, F Szondy 및 M M Hilali, "빠른 인라인 표면 지형 측정으로 시간당 2000 웨이퍼 이상의 처리량을 위한 태양전지 제조 응력 계산이 가능합니다." 2008 Meas.Sci. Technol.19 025302 (6pp) doi : 10.1088/0957-0233/19/2/025302
  10. ^ "3D vision system enables DHL's e-fulfillment robot". The Robot Report. December 12, 2018.
  11. ^ Kyriakos Herakleous & Charalambos Poullis (2014). "3DUNDERWORLD-SLS: An Open-Source Structured-Light Scanning System for Rapid Geometry Acquisition". arXiv:1406.6595 [cs.CV].
  12. ^ Hesam H. (2015). "DIY 3D scanner based on structured light and stereo vision in Python language".
  13. ^ J. Wilm; et al. (2014). "SLStudio: Open-source framework for real-time structured light". doi:10.1109/IPTA.2014.7002001.

원천

추가 정보