핑거 트래킹

Finger tracking
두 피아니스트의 손가락이 같은 곡을 연주하는 핑거 트래킹(슬로우 모션, 무음)[1]

제스처 인식 및 화상 처리 분야에서 핑거 트래킹은 1969년에 개발된 고해상도 기술로, 사용자의 손가락의 연속 위치를 알고, 따라서 물체를 3D로 표현하기 위해 채택되었다.또, 핑거 트래킹 기술은, 컴퓨터의 툴로서 사용되고 있어 키보드나 마우스와 같이, 컴퓨터의 외부 디바이스로서 기능합니다.

서론

핑거 트래킹 시스템은 사용자가 가상 데이터와 상호 작용하는 데 중점을 두고 있으며, 사용자가 3D 객체의 볼륨 감지를 손가락을 통해 처리하여 표현하고자 합니다.이 시스템은 인간과 컴퓨터의 상호작용 문제를 바탕으로 탄생했다.그 목적은 이들 간의 커뮤니케이션과 제스처 및 손동작의 사용을 보다 직관적으로 하기 위한 것이며, 핑거 트래킹 시스템이 개발되었습니다.이러한 시스템은 실시간으로 각 마커 손가락 방향의 위치를 추적하고 직관적인 손놀림과 제스처를 사용하여 상호 작용합니다.

트래킹의 종류

핑거 트래킹의 실장에는, 주로 인터페이스 유무에 관계없이, 많은 옵션이 있습니다.

인터페이스를 사용한 트래킹

이 시스템은 대부분 관성 및 광학 모션 캡처 시스템을 사용합니다.

관성 모션 캡처 장갑

관성 모션 캡처 시스템은 3D 공간에서 각 손가락 세그먼트의 회전을 읽어내 손가락 움직임을 캡처할 수 있습니다.이러한 회전을 운동학적 체인에 적용하면, 사람의 손 전체를 폐색이나 무선 없이 실시간으로 추적할 수 있습니다.

Synertial mocap 장갑과 같은 수동 관성 모션 캡처 시스템은 각 손가락 세그먼트에 위치한 작은 IMU 기반 센서를 사용한다.정확한 캡처를 위해서는 최소 16개의 센서를 사용해야 합니다.또한 나머지 손가락 세그먼트를 보간(근위 세그먼트) 또는 외삽(원위 세그먼트)하는 센서(13/7 센서)가 적은 모자 장갑 모델도 있다.센서는 일반적으로 직물 장갑에 삽입되므로 센서를 보다 편안하게 사용할 수 있습니다.

관성 센서는 세 방향 모두에서 움직임을 포착할 수 있습니다. 즉, 손가락과 엄지손가락의 굴곡, 신장 및 외상을 감지할 수 있습니다.

손골격

관성 센서는 회전만 추적하기 때문에 적절한 출력을 얻기 위해 일부 손 골격에 회전을 적용해야 합니다.정확한 출력을 얻으려면(예를 들어 손가락 끝에 닿을 수 있도록) 손 골격의 크기를 실제 손에 맞게 적절하게 조정해야 합니다.이를 위해 손의 수동 측정 또는 자동 측정 추출을 사용할 수 있습니다.

손 위치 추적

핑거 트래킹의 상단에서, 많은 유저들은 공간에서의 손 전체의 위치 트래킹을 필요로 합니다.이 목적을 위해 여러 가지 방법을 사용할 수 있습니다.

  • 관성모캡 시스템을 사용하여 몸 전체를 캡처합니다(손 골격은 신체 골격 운동 체인의 끝에 부착됩니다).손바닥의 위치는 신체에서 결정됩니다.
  • 광모캡 시스템을 사용하여 손바닥(전완)의 위치를 캡처합니다.
  • VR 헤드셋(HTC Vive Lighthouse 등)에서 널리 사용되는 다른 위치 추적 방법을 사용하여 손바닥(전완)의 위치를 캡처합니다.
관성 모션 캡처 시스템의 단점

관성 센서에는 핑거 트래킹과 관련된 두 가지 주요 단점이 있습니다.

  • 우주에서 손의 절대 위치를 포착하는 데 문제가 있습니다.
  • 자기 간섭
  • 금속 재료는 센서를 간섭하는 데 사용됩니다.이 문제는 손이 종종 금속으로 만들어진 다른 물건과 접촉하기 때문에 주로 눈에 띈다.현재 세대의 모션 캡처 장갑은 자기 간섭에 견딜 수 있습니다.자기 간섭에 대한 내성의 정도는 제조사, 가격대 및 모자 장갑에 사용되는 센서의 수에 따라 달라집니다.특히 스트레치 센서는 자기 간섭의 영향을 전혀 받지 않는 실리콘 기반 캐패시터입니다.

광학 모션 캡처 시스템

마커 및 패턴의 위치 추적이 3D로 수행되고 시스템이 마커 및 패턴을 식별하고 사용자 손가락 위치에 따라 각 마커에 레이블을 표시합니다.이러한 마커의 라벨의 3D 좌표는 다른 애플리케이션을 사용하여 실시간으로 생성됩니다.

마커

Vicon이나 ART와 같은 광학 시스템은 마커를 통해 손의 움직임을 포착할 수 있습니다.각 손에는 각 "작동" 손가락마다 마커가 있습니다.세 대의 고해상도 카메라가 각 마커를 캡처하고 위치를 측정합니다.이것은 카메라가 그들을 볼 수 있을 때만 생산됩니다.일반적으로 반지 또는 팔찌로 알려진 시각적 마커는 사용자의 제스처를 3D로 인식하는 데 사용됩니다.게다가 분류에 나타나 있듯이, 이러한 링은 2D의 인터페이스로서 기능합니다.

상호작용 방법으로서의 폐색

시각적 폐색은 가상 정보를 3차원으로 보다 사실적인 시각으로 제공하기 위한 매우 직관적인 방법입니다.인터페이스는 베이스 6에 비해 보다 자연스러운 3D 상호작용 기술을 제공합니다.

마커 기능

마커는 일반적으로 이미 설정되어 있는 상호 작용 지점을 통해 작동하며 지역에 대한 지식이 있습니다.그 때문에, 각 마커를 항상 따를 필요는 없고, 조작 포인터가 1개뿐인 경우, 멀티 포인터를 동일하게 취급할 수 있다.상호작용을 통해 그러한 포인터를 검출하기 위해 초음파 적외선 센서를 활성화합니다.많은 포인터를 하나로 처리할 수 있다는 것은 문제를 해결할 수 있을 것이다.조명 불량, 모션 블러, 마커 변형, 폐색 등 어려운 조건에서의 조작에 노출된 경우.일부 마커가 표시되지 않더라도 시스템은 개체를 추적할 수 있습니다.모든 마커의 공간 관계가 알려져 있기 때문에 보이지 않는 마커의 위치는 알려진 마커를 사용하여 계산할 수 있습니다.테두리 마커 및 추정 마커 방법과 같은 여러 마커 감지 방법이 있습니다.

  • Homer 기법에는 직접 취급을 통한 광선 선택이 포함됩니다.오브젝트가 선택되고 그 위치와 방향이 마치 손에 직접 연결된 것처럼 처리됩니다.
  • Conner 기술은 매개 역할을 하는 가상 위젯을 통해 가상 개체와 간접적으로 상호 작용할 수 있는 3D 위젯 집합을 제공합니다.
광학 모션 캡처 시스템과 데이터 융합

캡처 시 마커가 가려지기 때문에 Vicon, Optitrack, ART 등의 광학 모션 캡처 시스템에서는 손가락 트래킹이 가장 어려운 부분입니다.옵티컬 mocap 시스템 사용자들은 대부분의 후처리 작업은 일반적으로 손가락 캡처에 의한 것이라고 주장한다.관성 mocap 시스템(적절하게 보정된 경우)은 대부분 후처리가 필요하지 않으므로 하이엔드 mocap 사용자를 위한 일반적인 용도는 관성 mocap 시스템(손가락)의 데이터를 광학 mocap 시스템(본체 + 공간 내 위치)과 융합하는 것입니다.
mocap 데이터를 융합하는 프로세스는 관성 및 광학 mocap 시스템 데이터 소스에 대한 각 프레임의 일치 시간 코드를 기반으로 합니다.이렇게 하면 모든 타사 소프트웨어(예: MotionBuilder, Blender)가 사용되는 mocap 방법과 관계없이 두 가지 소스에서 모션을 적용할 수 있습니다.

스트레치 센서 핑거 트래킹

스트레치 센서 지원 모션 캡처 시스템은 플렉시블 병렬 플레이트 캐패시터를 사용하여 센서가 늘어나거나 구부러지거나 전단되거나 압력을 받을 때 용량 차이를 감지합니다.스트레치 센서는 일반적으로 실리콘 기반이며, 이는 자기 간섭, 폐색 또는 위치 드리프트(관성 시스템에서 공통)의 영향을 받지 않음을 의미합니다.이러한 센서의 견고하고 유연한 품질은 고화질 핑거 트래킹으로 이어지며 StretchSense에서 [2]생산된 모캡 장갑의 기능으로 이어집니다.

관절식 핸드 트래킹

관절형 핸드 트래킹은 카메라 1대만 필요하기 때문에 많은 방법보다 간단하고 비용이 적게 듭니다.이러한 단순성으로 인해 정밀도가 떨어집니다.모델링, 애니메이션 제어 및 사실주의 추가를 위한 새로운 기반을 제공합니다.그것은 손가락의 위치에 따라 할당된 일련의 색깔로 구성된 장갑을 사용한다.이 색채 테스트는 컴퓨터의 시각 시스템에 한정되며, 캡처 기능과 색상의 위치를 바탕으로 손의 위치를 알 수 있습니다.

인터페이스를 사용하지 않는 트래킹

시각 인식의 관점에서 다리와 손은 관절 메커니즘으로 모델링될 수 있으며, 다리와 손은 관절 사이에 하나 이상의 자유도를 갖는 관절로 연결되는 강체 시스템이다.이 모델은 손의 움직임을 묘사하기 위해 더 축소된 척도에 적용할 수 있으며, 전체적인 신체 움직임을 묘사하기 위해 넓은 척도에 기초할 수 있다.예를 들어 어떤 손가락 동작은 통상적인 각도에서 인식할 수 있으며 카메라에 대한 손의 위치에 의존하지 않는다.

많은 추적 시스템은 영상 시퀀스와 변경 모델을 제공하는 시퀀스 추정 문제에 초점을 맞춘 모델을 기반으로 각 사진에 대한 3D 구성을 추정합니다.가능한 모든 손 모양은 손의 위치와 손가락 관절의 각도를 코드화하는 상태 공간상의 벡터로 표현됩니다.각 손의 구성은 손가락 관절의 폐색 경계 검출을 통해 이미지 세트를 생성합니다.각 영상의 추정은 측정된 특성에 더 잘 맞는 상태 벡터를 찾아 계산됩니다.손가락 관절은 손바닥의 강체 운동보다 추가된 21개의 상태를 가진다. 이는 추정의 계산 비용이 증가함을 의미한다.이 기술은 각 핑거 조인트 링크가 실린더로 모델링된 레이블로 구성됩니다.각 접합부에서 축을 만들고 이 축의 이등분선은 접합부의 돌출부입니다.따라서 3DOF를 사용합니다.왜냐하면 이동도는 3도밖에 없기 때문입니다.

이 경우, 이 주제에 대한 배치 논문이 매우 다양하기 때문에 이전 유형론과 동일합니다.따라서 이 기술을 사용하는 사람의 목적과 필요에 따라 단계와 치료 기술이 다릅니다.어쨌든, 매우 일반적인 방법으로, 대부분의 시스템에서는 다음의 순서를 실행할 필요가 있습니다.

  • 배경 감산: 5x5의 Gauss 필터로 캡처한 모든 이미지를 합성한 후 노이즈가 많은 픽셀 데이터를 줄이기 위해 크기를 조정합니다.
  • 분할: 이진 마스크 애플리케이션은 손에 속하는 픽셀인 흰색으로 표시하고 전경 피부 이미지에 검은색으로 적용하기 위해 사용됩니다.
  • 영역 추출: 비교에 기초한 왼손과 오른손 검출.
  • 특징 추출: 손가락 끝의 위치 및 정상인지 계곡인지를 검출합니다.점, 피크 또는 계곡을 분류하기 위해 이러한 벡터를 3D 벡터로 변환한 다음, 일반적으로 xy 평면에서 의사 벡터라고 명명된 다음 교차곱을 계산합니다.교차곱의 z성분의 부호가 양이면 점을 피크라고 간주하고 교차곱의 결과가 음의 경우 계곡이 된다.
  • 포인트 및 핀치 제스처 인식: 표시 가능한 기준점(손가락 끝)을 고려하여 특정 제스처를 연관시킵니다.
  • 포즈 추정: 위치 간의 거리를 계산하는 알고리즘을 사용하여 손의 위치를 식별하는 절차입니다.

기타 추적 기술

손가락을 능동적으로 추적할 수도 있습니다.스마트 레이저 스캐너는 2003-2004년에 도쿄 대학에서 개발된 수정된 레이저 스캐너/프로젝터를 사용한 마커리스 핑거 트래킹 시스템입니다.이미지 처리 없이 실시간으로 3차원 좌표를 획득할 수 있습니다(본질적으로 전체 시야에서 연속적으로 스캔하는 것이 아니라 스캔 영역을 목표물의 정확한 크기만큼 매우 좁은 창으로 제한하는 레인지 파인더 스캐너입니다.제스처 인식은 이 시스템에서 시연되었습니다.샘플링 속도는 매우 높을 수 있으므로(500Hz), 필터링(Kalman 등) 없이 부드러운 궤적을 획득할 수 있습니다.

어플

확실히, 손가락 추적 시스템은 가상 현실을 표현하기 위해 사용된다.그러나 이 사례에서는 전문가 수준의 3D 모델링, 회사 및 프로젝트에 직접 적용되었습니다.따라서 이러한 시스템은 높은 가격과 복잡성 때문에 소비자 애플리케이션에 거의 사용되지 않았습니다.어느 경우든, 주된 목적은 자연어 또는 상호 작용 제스처를 통해 컴퓨터에 명령을 실행하는 작업을 용이하게 하는 것입니다.

목표는 자연어 또는 제스처 상호작용을 통해 작동할 수 있는 가능성이 있는 경우 사용 측면에서 컴퓨터가 더 쉬워야 한다는 다음과 같은 아이디어에 초점을 맞추고 있습니다.이 기술의 주요 적용 분야는 Maya 및 3D StudioMax와 같은 소프트웨어가 이러한 종류의 도구를 사용하는 3D 디자인과 애니메이션을 강조하는 것입니다.그 이유는 실행하는 명령어를 보다 정확하고 간단하게 제어할 수 있도록 하기 위해서입니다.이 기술은 많은 가능성을 제공하며, 컴퓨터를 통해 실시간으로 조각, 건축, 모델링이 가장 중요합니다.

「 」를 참조해 주세요.

레퍼런스

  1. ^ Goebl, W.; Palmer, C. (2013). Balasubramaniam, Ramesh (ed.). "Temporal Control and Hand Movement Efficiency in Skilled Music Performance". PLOS ONE. 8 (1): e50901. Bibcode:2013PLoSO...850901G. doi:10.1371/journal.pone.0050901. PMC 3536780. PMID 23300946.
  2. ^ "The world's leading motion capture glove". StretchSense. Retrieved 2020-11-24.


외부 링크