3D 사용자 상호 작용

3D user interaction

컴퓨팅에서 3D 상호작용사용자들3D 공간에서 움직이고 상호작용을 수행할 수 있는 인간과 기계의 상호작용의 한 형태다.3D 공간에서 요소의 물리적 위치가 관련된 인적 및 기계 프로세스 정보 모두.

상호작용에 사용되는 3D 공간은 실제 물리적 공간, 컴퓨터에서 시뮬레이션된 가상 공간 표현 또는 두 가지 모두의 조합이 될 수 있다.실제 물리적 공간이 데이터 입력에 사용될 때, 인간은 무엇보다도 인간 상호작용의 3D 위치를 감지하는 입력 장치를 사용하여 작업을 수행하는 기계와 상호작용한다.데이터 출력에 사용되면 시뮬레이션된 3D 가상 장면이 하나의 출력 장치를 통해 실제 환경에 투영된다.

3D 상호작용의 원칙은 관광, 예술, 게임, 시뮬레이션, 교육, 정보 시각화 또는 과학적 시각화 등 다양한 영역에서 적용된다.[1]

역사

3D 인터랙션과 3D 디스플레이에 대한 연구는 이반 서덜랜드, 프레드 브룩스, 밥 스프롤, 앤드류 오토니, 리처드 펠드먼과 같은 연구자들에 의해 1960년대에 시작되었다.그러나 1962년에야 모턴 헤이릭이 센소라마 시뮬레이터를 발명했다.[2]3D 영상 피드백은 물론 모션, 오디오, 피드백을 제공해 가상 환경을 만들었다.다음 발전 단계는 닥터였다.1968년 이반 서덜랜드의 선구적 작품인 다모클레스의 검이 완성되었다.[3]그는 그 환경의 좌·우 정지 이미지를 제시해 3D 가상 환경을 연출하는 헤드마운트 디스플레이를 만들었다.

기술의 가용성과 비실용적 비용은 1980년대까지 가상 환경의 개발과 적용을 지연시켰다.신청은 미국의 군사 사업에 한정되었다.그 이후로, 추가적인 연구와 기술 발전은 교육, 오락, 제조업과 같은 다양한 다른 분야에서 응용할 수 있는 새로운 문을 열 수 있게 했다.

배경

3D 인터랙션에서 사용자는 자신의 업무를 수행하고 3D 공간에서 컴퓨터 시스템과 정보를 교환하여 기능을 수행한다.인간이 현실 세계에서 3차원으로 상호작용하기 때문에 직관적인 형태의 상호작용이다.사용자가 수행하는 작업은 가상 공간, 탐색 및 시스템 제어에서 객체의 선택과 조작으로 분류되어 왔다.가상 공간에서는 상호 작용 기법과 상호 작용 기기를 활용하여 작업을 수행할 수 있으며, 3D 상호작용 기법은 지원하는 태스크 그룹에 따라 분류되었다.항법 작업을 지원하는 기법은 항법 기법으로 분류된다.객체 선택과 조작을 지원하는 기법에는 선택과 조작 기법이라는 라벨이 붙어 있다.마지막으로, 시스템 제어 기법은 애플리케이션 자체의 제어와 관련이 있는 작업을 지원한다.시스템이 사용 가능하고 효과적이려면 기법과 상호작용 장치 사이의 일관되고 효율적인 매핑이 이루어져야 한다.3D 상호작용과 관련된 인터페이스를 3D 인터페이스라고 한다.다른 유형의 사용자 인터페이스와 마찬가지로 사용자와 시스템 간의 양방향 통신을 포함하지만 사용자가 3D 공간에서 작업을 수행할 수 있도록 한다.입력 장치는 사용자가 시스템에 방향과 명령을 제공할 수 있도록 하고, 출력 장치는 기계가 그들에게 정보를 다시 제시할 수 있게 한다.

3D 인터페이스는 가상 환경과 증강혼합 현실을 특징으로 하는 애플리케이션에서 사용되어 왔다.가상 환경에서 사용자는 환경과 직접 상호작용하거나 특정한 기능을 가진 도구를 사용할 수 있다. 3D 상호작용은 물리적 도구를 3D 공간 컨텍스트에서 제어하여 해당 가상 도구를 제어할 때 발생한다.

사용자는 몰입적인 가상 세계에 종사할 때 존재감을 경험한다.사용자들이 3D로 이 세계와 상호작용을 할 수 있게 하면, 정보 교환이 실제 세계에서 물리적 물체와 어떻게 이루어지는지에 대한 자연적이고 본질적인 지식을 활용할 수 있게 된다.텍스처, 소리, 그리고 말투는 모두 3D 상호작용을 증가시키는데 사용될 수 있다.현재 사용자들은 여전히 3D 공간 비주얼을 해석하고 상호작용의 발생 방식을 이해하는 데 어려움을 겪고 있다.인간이 3차원 세계에서 움직이는 것은 자연스러운 방법이지만, 실제 환경에 존재하는 많은 단서들이 가상 환경에서 빠져 있기 때문에 난관이 존재한다.지각과 폐해는 인간이 사용하는 일차적 지각 단서다.또한 가상 공간의 씬(scene)이 3차원적으로 나타나더라도 여전히 2D 표면에 표시되기 때문에 깊이 인식의 일부 불일치는 여전히 존재할 것이다.

3D 사용자 인터페이스

IMT2000 3GPP - 3D 사용자 상호작용 계획 단계

사용자 인터페이스는 사용자와 시스템 간의 의사소통을 위한 수단이다. 3D 인터페이스는 시스템 상태를 3D로 표현하기 위한 미디어와 3D 사용자 입력 또는 조작을 위한 미디어를 포함한다.3D 표현을 사용하는 것만으로는 3D 상호작용을 만들 수 없다.사용자는 3D로 작업을 수행하는 방법도 가지고 있어야 한다.그러한 효과를 위해, 이러한 유형의 상호작용을 지원하기 위해 특수 입력 및 출력 장치가 개발되었다.3D 마우스와 같은 일부는 2D 상호작용을 위해 기존 장치를 기반으로 개발되었다.

3D 사용자 인터페이스는 3D 상호작용이 일어나는 사용자 인터페이스로, 이는 사용자의 작업이 3차원 공간 내에서 직접 발생한다는 것을 의미한다.사용자는 시스템에 대한 명령, 요청, 질문, 의도 및 목표와 통신해야 하며, 이는 피드백, 입력 요청, 상태에 대한 정보 등을 제공해야 한다.

사용자와 시스템 모두 동일한 유형의 언어를 가지고 있지 않기 때문에 통신 프로세스를 가능하게 하기 위해서는 인터페이스가 그들 사이의 매개자 또는 번역자 역할을 해야 한다.

사용자가 인식을 행동으로 변환하는 방식을 휴먼 트랜스퍼(Human transfer) 기능이라고 하며, 시스템이 신호를 디스플레이 정보로 변환하는 방식을 시스템 전송 기능이라고 한다. 3D 사용자 인터페이스는 실제로 사용자와 시스템을 최소 지연으로 통신하는 물리적 장치인데, 이 경우 3D User Int의 두 종류가 있다.Erface 출력 하드웨어 및 3D 사용자 인터페이스 입력 하드웨어.

3D 사용자 인터페이스 출력 하드웨어

디스플레이 장치라고도 불리는 출력 장치는 기계가 인간의 지각 시스템을 통해 한 명 이상의 사용자에게 정보나 피드백을 제공할 수 있게 한다.대부분 시각, 청각, 촉각을 자극하는 데 초점이 맞춰져 있다.그러나, 어떤 특이한 경우에는 사용자의 후각 시스템을 자극할 수도 있다.

3D 비주얼 디스플레이

이러한 유형의 장치는 가장 인기가 있으며, 시스템이 인간 시각 시스템을 통해 생산한 정보를 입체적으로 제시하는 것이 목표다.이러한 장치를 구별하는 주요 특징은 관심장소 및 시야, 공간 해상도, 화면 기하학, 광 전달 메커니즘, 재생률인체공학적이다.

이러한 기기를 특성화하는 또 다른 방법은 사용자가 3차원 정보를 이해할 수 있도록 하기 위해 사용되는 깊이 인식 신호의 다른 범주에 따른 것이다.3D UI에 사용되는 디스플레이의 주요 유형은 모니터, 서라운드 스크린 디스플레이, 작업대, 반구형 디스플레이, 머리 장착 디스플레이, 팔 장착 디스플레이 및 자동 보강 디스플레이 등이다.가상현실 헤드셋과 CAVE(Cave Automatic Virtual Environment)는 사용자가 실제 세계가 아닌 가상 세계만 볼 수 있는 완전히 몰입적인 시각 디스플레이의 예다.반모양 디스플레이는 사용자가 둘 다 볼 수 있게 한다.모니터와 워크벤치는 반모양 디스플레이의 예다.

3D 오디오 디스플레이

3D 오디오 디스플레이는 인간의 청각 시스템을 통해 정보를 표시하는 장치(이 경우 소리)로, 특히 사용자에게 위치 및 공간 정보를 제공할 때 유용하다.공간화된 3D 사운드를 생성·표시해 사용자가 자신의 정신음향 기술을 활용할 수 있도록 하고 사운드의 위치와 방향을 결정할 수 있도록 하는 것이 목표다.다른 지역화 단서들이 있다: 바이노럴 단서, 스펙트럼 및 동적 단서, 머리 관련 전달 기능, 반향, 음향 강도, 시각 및 환경 친화.디스플레이에 배경 오디오 구성요소를 추가하는 것도 현실감을 더한다.

3D 촉각 디스플레이

이 장치들은 사용자와 가상 개체 사이의 물리적 상호작용을 시뮬레이션하기 위해 촉각을 사용한다.3D 햅틱 디스플레이에는 세 가지 유형이 있다. 즉, 사용자에게 힘의 감각을 제공하는 디스플레이, 촉각을 시뮬레이션하는 디스플레이 및 두 가지 모두를 사용하는 디스플레이가 있다.이러한 기기를 구별하는 주요 기능은 촉각적 표현 능력, 해상도 및 인체공학적이다.인간의 촉각계에는 촉각과 운동신경의 두 가지 기본적인 단서가 있다.촉각 단서는 피부 표면 아래에 위치한 다양한 피부 수용체를 가진 인간 접촉 단서의 일종으로 질감, 온도, 압력, 손상 등에 대한 정보를 제공한다.운동신경은 근육, 관절, 힘줄에 많은 수용체를 가지고 있는 인간 접촉 단서의 일종으로 관절의 각도와 스트레스, 근육 길이에 대한 정보를 제공한다.

3D 사용자 인터페이스 입력 하드웨어

이러한 하드웨어 장치를 입력 장치라고 하며 그 목적은 사용자가 수행하는 조치를 포착하고 해석하는 것이다.자유도(DOF)는 이러한 시스템의 주요 특징 중 하나이다.고전적인 인터페이스 구성요소(마우스와 키보드 및 거의 틀림없이 터치스크린 등)는 종종 2D 상호작용 필요성에 적합하지 않다.[1]이러한 시스템은 또한 기기를 사용하기 위해 얼마나 많은 물리적 상호작용이 필요한지에 따라 구별되며, 순수하게 능동적으로 정보를 생산하기 위해 조작되어야 하며, 순수하게 수동적으로 조작할 필요는 없다.이들 기기의 주요 범주는 표준(데스크탑) 입력장치, 추적장치, 제어장치, 내비게이션 장비, 제스처 인터페이스, 3D 마우스, 뇌-컴퓨터 인터페이스 등이다.

데스크톱 입력 장치

이러한 유형의 장치는 데스크톱의 상호작용 3D를 위해 설계되었으며, 그들 중 많은 장치는 2차원의 전통적인 상호작용에서 초기 설계 사고를 가지고 있지만, 시스템과 장치 사이의 적절한 매핑을 통해 3차원적인 방법으로 완벽하게 작동할 수 있다.키보드, 2D 마우스와 트랙볼, 펜 기반의 태블릿과 스타일러스, 조이스틱 등 종류가 다양하다.그럼에도 불구하고, 많은 연구들은 3D 상호작용을 위한 데스크톱 인터페이스 구성요소의 적절성에 대해 의문을 제기해 왔다.[6][7]

추적 장치

3D 사용자 상호작용 시스템은 주로 모션 추적 기술을 기반으로 하며, 사용자의 움직임이나 제스처의 분석을 통해 사용자로부터 필요한 모든 정보를 얻기 위해 이러한 기술을 추적 기술이라고 한다.

추적기는 머리, 손 또는 몸의 움직임을 감지하거나 모니터링하여 그 정보를 컴퓨터로 보낸다.그러면 컴퓨터는 그것을 번역하고 위치와 방향이 가상 세계에 정확하게 반영되도록 한다.추적은 사용자에게 제시된 공간 및 소리 정보와 그들이 수행할 수 있는 작업 또는 기능을 조정하는 데 중요하다. 3D 추적기는 기계, 자기, 초음파, 광학 및 하이브리드 관성체로 식별되었다.트랙터의 예로는 모션 트랙터, 아이 트랙터, 데이터 장갑 등이 있다.간단한 2D 마우스는 사용자가 가상 3D 공간에서 다른 위치로 이동할 수 있는 경우 내비게이션 장치로 간주될 수 있다.러닝머신이나 자전거와 같은 항법 장치는 인간이 현실 세계에서 여행하는 자연적인 방법을 이용한다.트레드밀은 걷기나 달리기를 시뮬레이션하고 자전거 또는 유사한 유형의 장비는 차량 이동을 시뮬레이션한다.내비게이션 장치의 경우 기계에 전달되는 정보는 가상 공간에서 사용자의 위치와 이동이다.유선 장갑과 신체복은 제스처 상호작용을 가능하게 한다.이것들은 센서를 이용하여 손이나 몸의 위치와 움직임 정보를 컴퓨터로 보낸다.

3D 사용자 상호작용 시스템의 완전한 개발을 위해서는 몇 가지 기본 매개변수에 접근해야 하며, 이 모든 기술 기반 시스템은 사용자의 상대적 위치, 절대 위치, 각도 속도, 회전 데이터, 방향 또는 높이를 알아야 한다.이러한 데이터의 수집은 여러 형태의 공간 추적 시스템과 센서의 획득을 위한 다른 기법을 사용함으로써 달성된다.이러한 유형의 상호작용을 위한 이상적인 시스템은 위치 추적을 기반으로 하는 시스템으로, 자유도 6도(6-DOF)를 사용하며, 이러한 시스템은 사용자의 절대 3D 위치를 얻을 수 있는 능력으로 특징지어지며, 이렇게 하면 가능한 모든 3차원 필드 각도에 대한 정보를 얻을 수 있을 것이다.

이러한 시스템의 구현은 전자파장, 광학, 또는 초음파 추적과 같은 다양한 기술을 사용함으로써 달성될 수 있지만, 모두 주요 한계를 공유하며, 베이스, 카메라 배열, 또는 가시적 표시장치 세트 등 고정된 외부 참조를 가져야 하기 때문에, 이 단일 시스템을 준비하여 실시할 수 있다.영역. 관성 추적 시스템은 움직임에 기초한 것과 같은 외부 참조를 요구하지 않으며, 가속도계, 자이로스코프 또는 비디오 카메라를 사용한 데이터의 수집에 기초하며, 고정된 참조 의무 없이 대부분의 경우, 이 시스템의 주요 문제는 절대적 위치를 획득하지 않는 것에 기초한다.미리 설정된 외부 기준점을 항상 사용자의 상대적인 위치, 데이터 샘플링 과정에서 누적 오류를 일으키는 측면.3D 추적 시스템에서 달성하고자 하는 목표는 움직임과 방향의 절대 위치 및 정밀도를 얻을 수 있는 6-DOF 시스템을 확보하는 데 기초할 것이며, 정밀도와 매우 높은 공간을 가지고 있으며, 모든 모션 캡처 센서와 라티투의 GPS 추적 기능을 갖추고 있기 때문에 대략적인 상황의 좋은 예가 휴대폰일 것이다.de, 그러나 현재 이러한 시스템은 cm의 정밀도로 데이터를 캡처하기에 그리 정확하지 않기 때문에 무효가 될 수 있다.

그러나, 추구한 목표에 밀접하게 적응하는 몇 가지 시스템이 있는데, 그 시스템의 결정 요인은 시스템이 자동차 컨텐츠(즉, 일체형이고 고정된 사전 참조가 필요하지 않음)라는 것이다.

닌텐도 Wii 리모컨("Wiimote")
와이모테 장치

Wii Remote 장치는 다시 한번 6-DOF에 기반한 기술을 제공하지 않으며, 반대로 절대 위치를 제공할 수 없으며, 3D 환경에서 상호작용하는 훌륭한 도구로 2D 장치를 변환하는 다수의 센서를 장착하고 있다.

이 장치는 사용자의 회전, 가속도계 ADXL3000, 손의 속도와 움직임을 감지하기 위한 자이로스코프, 방향을 결정하기 위한 광학 센서 및 위치를 포착하기 위한 적외선 장치를 가지고 있다.

이러한 유형의 장치는 적외선 전구 또는 촛불의 외부 참조에 의해 영향을 받아 위치의 정확도에 오류를 일으킬 수 있다.

Google 탱고 장치
Google의 프로젝트 탱고 태블릿, 2014

탱고 플랫폼은 구글의 스컹크웍스 부문인 어드밴스트 테크놀로지 앤 프로젝트(ATAP)가 개발하고 만든 증강현실 컴퓨팅 플랫폼이다.컴퓨터 비전과 내부 센서(자이로스코프 등)를 활용해 스마트폰이나 태블릿 등 모바일 기기가 GPS나 외부 신호를 사용하지 않고도 주변 세계에 상대적인 위치를 감지할 수 있도록 했다.따라서 멀티 터치 스크린과 결합할 수 있는 6-DOF 입력을 제공하는 데 사용할 수 있다.[8]구글 탱고 기기는 3D 환경을 위해 공간적으로 추적된 기기와 터치 가능한 스크린을 결합한 초기 프로토타입보다 더 통합된 솔루션으로 볼 수 있다.[9][10][11]

마이크로소프트 키넥트
키넥트 센서

마이크로소프트 키넥트 장치는 추적을 위한 다른 모션 캡처 기술을 제공한다.

이는 센서에 기반한 조작이 아니라 바(bar)에 위치한 구조화된 조명 스캐너에 기반한 것으로, 이 중 3개의 자유도를 측정해 각 지점의 위치, 속도, 회전을 얻는다.

그 주된 장점은 사용의 용이성이며, 사용자가 부착한 외부 기기의 요구사항이 없으며, 그 주요 단점은 사용자의 방향을 검출할 수 없다는 데 있으며, 따라서 일정한 공간과 안내 기능을 제한한다.

도약 모션
Leap Motion 컨트롤러

Leap Motion은 작은 공간을 위해 설계된 새로운 손 추적 시스템으로 데스크톱 애플리케이션용 3D 환경에서 새로운 상호작용이 가능하므로 3차원 환경을 사실적으로 탐색할 때 큰 유동성을 제공한다.

USB를 통해 컴퓨터에 연결하는 소형 장치로 적외선 LED로 카메라 2대를 사용해 표면에서 1m 안팎의 반구영역을 분석할 수 있어 초당 300프레임에서 응답을 기록, 특정 소프트웨어 업체가 컴퓨터로 정보를 전송해 처리한다.

3D 상호작용 기법

3D 상호작용 기법은 사용자가 3D 가상 환경과 상호 작용하여 다양한 종류의 작업을 실행할 수 있는 여러 가지 방법이다.이러한 기법의 품질은 전체 3D 사용자 인터페이스의 품질에 지대한 영향을 미친다.그들은 세 개의 다른 그룹으로 분류될 수명은 다음과 같다.항법, 선택 및 조작, 시스템 제어

항법

컴퓨터는 사용자에게 위치와 이동에 관한 정보를 제공할 필요가 있다.내비게이션은 사용자가 큰 3D 환경에서 가장 많이 사용하는 것으로 공간인식 지원, 원거리 간 효율적인 이동, 내비게이션 구현 등 다양한 과제를 제시해 사용자가 보다 중요한 업무에 집중할 수 있도록 한다.이러한 기술인 항해 작업은 여행과 길찾기의 두 가지 요소로 나눌 수 있다.여행에는 현재 위치에서 원하는 지점으로 이동하는 것이 포함된다.웨이파인팅(Wayfinding)은 가상 환경 내에서 여행 목표를 달성하기 위한 경로를 찾아 설정하는 것을 말한다.

여행

여행은 한 장소에서 다른 장소로 관점을 이동시키는 개념적 기법이다.이 방향은 대개 머리 추적에 의해 몰입도 높은 가상 환경에서 처리된다.5가지 유형의 이동 상호작용 기법이 존재한다.

  • 물리적 이동: 사용자의 신체 운동을 사용하여 가상 환경을 이동한다.존재감에 대한 증강 인식이 필요할 때 또는 사용자의 육체적 노력이 필요할 때 적절한 기술이다.
  • 수동 관점 조작: 사용자의 손이 가상 환경의 변위를 결정한다.예를 들어 사용자가 가상 로프를 잡고 자신의 몸을 위로 당기는 것처럼 보이는 방식으로 손을 움직일 때일 수 있다.이 기술은 배우기 쉽고 효율적일 수 있지만 피로를 유발할 수 있다.
  • 조향:사용자는 항상하는지 표시해야 한다 이동해야 어디로.공통적이고 효율적인 기술이다.이것의 한 예는 헤드 방향이 이동 방향을 결정하는 시선 방향 조향이다.
  • 대상 기반 이동: 사용자가 목적지 지점을 지정하고 시스템이 변위를 유발한다.이 여행은 텔레포트로 실행될 수 있는데, 여기서 사용자는 즉시 목적지로 이동하거나 시스템이 운명에 대한 어떤 전환 이동을 실행할 수 있다.이러한 기법은 목적지만을 표시하면 되기 때문에 사용자의 입장에서는 매우 간단하다.
  • 경로 계획: 사용자가 환경을 통해 취해야 할 경로를 지정하고 시스템이 이동을 실행한다.사용자는 경로를 계획하기 위해 가상 환경 지도에 경로를 그릴 수 있다.이 기법은 사용자가 이동 중에 다른 작업을 할 수 있는 능력을 가지고 있는 동안 여행을 제어할 수 있게 해준다.

웨이파인딩

Wayfinding은 주변 환경의 경로를 정의하고, 환경의 인지 지도를 구축하기 위해 공간 지식을 사용하고 습득하는 인지 과정이다.가상 공간에서는 가상 환경이 지각적 단서와 이동 제약조건을 놓치는 경우가 많기 때문에 실제 세계보다 다르고 하기 어렵다.더 큰 시야의 이용, 모션 단서 제공 등 사용자 중심 기법이나 구조 조직, 길찾기 원리 등 환경 중심 기법을 활용해 지원할 수 있다.

좋은 길찾기를 위해서는 가상 환경 여행 중에 길찾기 지원을 받아야 가상 세계의 제약 때문에 이용자들이 길찾기를 쉽게 할 수 있다.

이러한 지원은 대규모 시야 지원이나 심지어 오디오, 환경 중심 지원, 인위적인 단서 및 구조 조직과 같은 사용자 중심 지원이나 사용자 중심 지원일 수 있다.가장 많이 사용되는 인공 신호는 지도, 나침반, 격자 또는 심지어 조명, 색, 질감 같은 건축적 신호들이다.

선택 및 조작

3D 환경을 위한 선택 및 조작 기법은 물체 선택, 물체 위치 설정 및 물체 회전이라는 세 가지 기본 작업 중 적어도 하나를 달성해야 한다.

사용자는 가상 객체를 조작할 수 있어야 한다.조작 작업에는 물체의 선택과 이동이 포함된다.때로는 물체의 회전도 관여한다.손으로 물리적인 물체를 조작하는 것은 인간에게 직관적이기 때문에 직접 손으로 조작하는 것은 가장 자연스러운 기술이다.그러나 이것이 항상 가능한 것은 아니다.가상 개체를 선택하고 다시 배치할 수 있는 가상 손도 작동한다.

3D 위젯을 사용하여 객체에 대한 제어를 할 수 있다. 이러한 위젯을 보통 3D Gizmos 또는 Manifulator라고 한다(블렌더에서 나온 것이 좋은 예임).사용자는 이러한 도구를 사용하여 물체를 재위치시키거나, 크기를 재조정하거나, 방향을 바꿀 수 있다(트랜스틸, 스케일, 회전).

다른 기법으로는 Go-Go 기법과 Ray Casting이 있는데, 이 기법은 가상 레이가 물체를 가리키고 선택하는 데 사용된다.

선택

3D 환경에서 개체나 3D 볼륨을 선택하는 작업은 우선 원하는 대상을 찾아 선택할 수 있어야 한다.대부분의 3D 데이터셋/환경은 폐색 문제로 인해 단절되므로,[12] 대상을 찾는 첫 단계는 관심 대상이나 볼륨을 적절히 식별하기 위해 관점 조작이나 3D 데이터 자체에 의존한다.이 초기 단계는 물론 3D의 조작과 밀접하게 결합된다.일단 표적이 육안으로 식별되면, 사용자는 표적을 선택하기 위한 다양한 기법에 접근할 수 있다.

일반적으로 이 시스템은 사용자에게 움직임을 추적기의 움직임에 해당하는 사람의 손으로 나타내는 3D 커서를 제공한다.이 가상 손 기술은 물체와의 실제 상호작용을 시뮬레이션하지만 도달 영역 내에서 도달할 수 있는 물체의 한계를 시뮬레이션하기 때문에 다소 직관적이다.

이러한 한계를 피하기 위해 바둑 기술처럼 제안된 기법이 많다.[14]이 기법은 사용자가 손을 고정된 임계값 거리 이상으로 뻗으면 매핑이 비선형이 되고 손이 커진다.

3D 가상 공간에서 객체를 선택하고 조작하는 또 다른 기법은 가상 손에서 방출되는 가상 레이를 사용하여 객체를 가리키는 것이다.[15]광선이 물체와 교차하면 조작할 수 있다.머리 위치로부터 추정된 사용자의 눈을 위해 어드레스된 원뿔 포인터를 사용하여 먼 물체를 선택하는 조리개식 기법처럼 이 기법의 몇 가지 변형이 이루어졌다.이 기법은 또한 손 센서를 사용하여 원뿔 포인터 크기를 조정한다.

다른 입력 전략에 의존하는 많은 다른 기술들도 개발되었다.[16][17]

조작

3D Manipulations occurs before a selection task (in order to visually identify a 3D selection target) and after a selection has occurred, to manipulate the selected object. 3D Manipulations require 3 DOF for rotations (1 DOF per axis, namely x, y, z) and 3 DOF for translations (1 DOF per axis) and at least 1 additional DOF for uniform zoom (or alte균일하지 않은 확대/축소 작업을 위해 기본적으로 3개의 추가 DOF).

내비게이션과 마찬가지로 3D 조작은 3D 데이터, 객체 또는 환경을 갖춘 필수적인 작업 중 하나이다.그것은 널리 사용되는 많은 3D 소프트웨어(블렌더, 오토데스크, VTK 등)의 기본이다.이러한 소프트웨어는 대부분 컴퓨터에서 사용할 수 있으며, 따라서 거의 항상 마우스와 키보드와 결합된다.충분한 DOF를 제공하기 위해(마우스는 2개만 제공) 이러한 소프트웨어는 3D 조작에 관련된 모든 DOF를 별도로 제어하기 위해 키로 변조하는 것에 의존한다.최근 멀티터치 지원 스마트폰과 태블릿의 보급으로, 이들 소프트웨어의 상호작용 매핑은 멀티터치(마우스와 키보드보다 더 동시적인 DOF 조작을 제공한다)에 적응되었다.한 조사에서 2017년 안드로이드에서 36과 학술적 상업적 모바일 앱에서 iOS 그러나 대부분의 응용 프로그램지만 그 어떤 중 가장 정기 계획 훈련(회전 스케일 번역)사상의 1손가락 회전을 위해 사용되는 3D버전:사용되지 않는 방법을 최소 6DOFs required,[7]을 통제하지 않을 경우 제안했다. x및 y, 두 손가락 상호작용은 z 주위를 회전하고 x, y, z를 따라 번역을 제어한다.

시스템 제어

시스템 제어 기법은 사용자가 애플리케이션에 명령을 전송하거나, 일부 기능을 활성화하거나, 상호작용(또는 시스템) 모드를 변경하거나, 파라미터를 수정할 수 있도록 한다.명령 발신인은 항상 집합에서 요소의 선택을 포함한다.시스템 제어 기법은 시스템 제어 작업을 3차원적으로 지원하는 기법으로서 다음 4가지 그룹으로 분류할 수 있다.

  • 그래픽 메뉴: 명령의 시각적 표현
  • 음성 명령: 음성을 통해 액세스되는 메뉴.
  • 제스처 인터랙션: 몸짓을 통해 액세스되는 명령.
  • 도구: 암시적 함수 또는 모드가 있는 가상 개체.

또한 일부 유형을 결합하는 다른 하이브리드 기법도 존재한다.

기호입력

이 작업을 통해 사용자는 텍스트와 같은 텍스트를 입력 및/또는 편집할 수 있어 3D 장면이나 3D 객체에 주석을 달 수 있다.

참고 항목

참조

  1. ^ a b c Bowman, Doug A. (2004). 3D User Interfaces: Theory and Practice. Redwood City, CA, USA: Addison Wesley Longman Publishing Co., Inc. ISBN 978-0201758672.
  2. ^ US 3050870A, 헤이릭, 모튼 L, "센소라마 시뮬레이터" 1962-08-28
  3. ^ 서덜랜드, I. E. (1968년)"헤드에 장착된 3차원 디스플레이 웨이백머신보관된 2016-03-04"AFIPS 68, 페이지 757-764의 절차
  4. ^ Chen, Michael; Mountford, S. Joy; Sellen, Abigail (1988). A study in interactive 3-D rotation using 2-D control devices (PDF). New York, New York, USA: ACM Press. doi:10.1145/54852.378497. ISBN 0-89791-275-6.
  5. ^ Yu, Lingyun; Svetachov, Pjotr; Isenberg, Petra; Everts, Maarten H.; Isenberg, Tobias (2010-10-28). "FI3D: Direct-Touch Interaction for the Exploration of 3D Scientific Visualization Spaces" (PDF). IEEE Transactions on Visualization and Computer Graphics. 16 (6): 1613–1622. doi:10.1109/TVCG.2010.157. ISSN 1077-2626. PMID 20975204.
  6. ^ Terrenghi, Lucia; Kirk, David; Sellen, Abigail; Izadi, Shahram (2007). Affordances for manipulation of physical versus digital media on interactive surfaces. New York, New York, USA: ACM Press. doi:10.1145/1240624.1240799. ISBN 978-1-59593-593-9.
  7. ^ a b Besançon, Lonni; Issartel, Paul; Ammi, Mehdi; Isenberg, Tobias (2017). Mouse, Tactile, and Tangible Input for 3D Manipulation. New York, New York, USA: ACM Press. arXiv:1603.08735. doi:10.1145/3025453.3025863. ISBN 978-1-4503-4655-9.
  8. ^ Besancon, Lonni; Issartel, Paul; Ammi, Mehdi; Isenberg, Tobias (2017). "Hybrid Tactile/Tangible Interaction for 3D Data Exploration". IEEE Transactions on Visualization and Computer Graphics. 23 (1): 881–890. doi:10.1109/tvcg.2016.2599217. ISSN 1077-2626. PMID 27875202.
  9. ^ Fitzmaurice, George W.; Buxton, William (1997). An empirical evaluation of graspable user interfaces. New York, New York, USA: ACM Press. doi:10.1145/258549.258578. ISBN 0-89791-802-9.
  10. ^ Angus, Ian G.; Sowizral, Henry A. (1995-03-30). Fisher, Scott S.; Merritt, John O.; Bolas, Mark T. (eds.). Embedding the 2D interaction metaphor in a real 3D virtual environment. SPIE. doi:10.1117/12.205875.
  11. ^ Poupyrev, I.; Tomokazu, N.; Weghorst, S. Virtual Notepad: handwriting in immersive VR (PDF). IEEE Comput. Soc. doi:10.1109/vrais.1998.658467. ISBN 0-8186-8362-7.
  12. ^ Shneiderman, B. The eyes have it: a task by data type taxonomy for information visualizations. IEEE Comput. Soc. Press. doi:10.1109/vl.1996.545307. hdl:1903/466. ISBN 0-8186-7508-X.
  13. ^ Poupyrev, I.; Ichikawa, T.; Weghorst, S.; Billinghurst, M. (1998). "Egocentric Object Manipulation in Virtual Environments: Empirical Evaluation of Interaction Techniques". Computer Graphics Forum. 17 (3): 41–52. CiteSeerX 10.1.1.95.4933. doi:10.1111/1467-8659.00252. ISSN 0167-7055.
  14. ^ Poupyrev, Ivan; Billinghurst, Mark; Weghorst, Suzanne; Ichikawa, Tadao (1996). "The go-go interaction technique" (PDF). The go-go interaction technique: non-linear mapping for direct manipulation in VR. ACM Digital Library. pp. 79–80. doi:10.1145/237091.237102. ISBN 978-0897917988. Retrieved 2018-05-18.
  15. ^ Mine, Mark R. (1995). Virtual Environment Interaction Techniques (PDF) (Technical report). Department of Computer Science University of North Carolina.
  16. ^ Argelaguet, Ferran; Andujar, Carlos (2013). "A survey of 3D object selection techniques for virtual environments" (PDF). Computers & Graphics. 37 (3): 121–136. doi:10.1016/j.cag.2012.12.003. ISSN 0097-8493. S2CID 8565854.
  17. ^ Besançon, Lonni; Sereno, Mickael; Yu, Lingyun; Ammi, Mehdi; Isenberg, Tobias (2019). "Hybrid Touch/Tangible Spatial 3D Data Selection" (PDF). Computer Graphics Forum. Wiley. 38 (3): 553–567. doi:10.1111/cgf.13710. ISSN 0167-7055.
읽기 목록
  1. 휴대용 컴퓨터와의 3D 상호 작용.2008년 3월 28일 방문
  2. Bowman, D, Kruijff, E, LaViola, J, Poupyrev, I.(2001년, 2월)3-D 사용자 인터페이스 설계 소개존재, 10(1), 96–108.
  3. Bowman, D, Kruijff, E, LaViola, J, Poupyrev, I. (2005)3D 사용자 인터페이스:이론과 실천.보스턴:애디슨-웨슬리
  4. Bowman, Doug 3D 사용자 인터페이스.상호 작용 설계 기초.2015년 10월 15일 회수
  5. Burdea, G. C., Coifet, P. (2003)가상현실기술(2차 개정)뉴저지: 존 와일리 & 선즈 주식회사.
  6. 캐롤, J. M. (2002)새로운 밀레니엄에서의 인간과 컴퓨터의 상호작용.뉴욕: ACM 프레스.
  7. 시싱코, M, 카우프만, H.(2007년, 3월)3D 사용자 상호작용 기법의 보편적 구현을 향해서[현실 사용자 인터페이스 혼합 워크숍, IEEE VR 규격화, 제작, 적응의 진행]샬롯, NC, 미국
  8. Fröhlich, B.; Plate, J. (2000). "The Cubic Mouse: A New Device for 3D Input". Proceedings of ACM CHI 2000. New York: ACM Press. pp. 526–531. doi:10.1145/332040.332491.
  9. 상호작용 기법.DLR - 시뮬레이션과 소프트웨어 기술.2015년 10월 18일 회수
  10. Keijser, J.; Carpendale, S.; Hancock, M.; Isenberg, T. (2007). "Exploring 3D Interaction in Alternate Control-Display Space Mappings". Proceedings of the 2nd IEEE Symposium on 3D User Interfaces. Los Alamitos, CA: IEEE Computer Society. pp. 526–531.
  11. L. C. 라리자니(1993).가상 현실 입문.미국: R. R. Donnelley and Sons Company.
  12. Rhijn, A. van (2006년).광학 추적을 통한 3D 상호작용을 위한 구성 가능한 입력 장치.아인트호벤:테크니쉬 유니버시아드 아인트호벤.
  13. Stuerzlinger, W, Dadgari, D, Oh, J-Y. (2006, 4월)3D를 위한 리얼리티 기반의 객체 이동 기법CHI 2006 워크샵: "차세대 인간-컴퓨터 상호작용이란 무엇인가?"작업장 프레젠테이션.
  14. CAVE(CAVE Automatic Virtual Environment)2007년 3월 28일 방문
  15. Sun Centre of Excellence for Visual Genomics의 Java 3-D Enabled CABE.2007년 3월 28일 방문
  16. 빈스, J. (1998년).필수 가상 현실의 빠른 속도.영국:스프링거-베를라그 런던 유한회사
  17. 가상현실2007년 3월 28일 방문
  18. 위안, C, (2005년, 12월)AR에서의 원활한 3D 상호작용 – 비전 기반 접근 방식.제1회 국제 심포지엄의 진행에서 ISVC (pp. 321–328)미국 NV주 타호 호수: 스프링거 베를린/하이델베르크

외부 링크