자연 사용자 인터페이스

Natural user interface
자연 언어 사용자 인터페이스와 혼동하지 마십시오.

컴퓨팅에서 자연 사용자 인터페이스 또는 NUI, 또는 자연 인터페이스는 사용자가 점점 복잡해지는 상호작용을 지속적으로 학습할 때 보이지 않는 상태로 유지되는 사용자 인터페이스다."자연"이라는 단어는 대부분의 컴퓨터 인터페이스가 작동법을 배워야 하는 인공 제어 장치를 사용하기 때문에 사용된다.예를 들어 알렉사와 시리 같은 음성 비서, 오늘날의 휴대전화와 태블릿의 터치와 멀티터치 상호 작용이 있지만, 직물 가구에 눈에 띄게 통합된 터치 인터페이스도 있다.[1]

NUI는 초보자에서 전문가로 빠르게 전환할 수 있는 사용자에게 의존한다.인터페이스는 학습을 필요로 하지만, 사용자가 즉각적이고 지속적으로 성공한다는 느낌을 주는 디자인을 통해 학습이 완화된다.따라서 "자연적"은 인터페이스 자체가 자연적이기 보다는 기술과 상호작용하면서 상호작용이 자연스럽게 이루어진다는 사용자 경험의 목표를 가리킨다.이것은 이전의 학습 없이 사용할 수 있는 인터페이스를 언급하면서 직관적인 인터페이스의 개념과 대조된다.

이 목표를 달성한 여러 설계 전략이 다양한 성공 정도에 따라 제안되었다.한 가지 전략은 "현실 기반 인터페이스"(RBI) 방법으로도 알려진 "현실 사용자 인터페이스"("RUI")[2]를 사용하는 것이다.RUI 전략의 한 예는 웨어러블 컴퓨터를 사용하여 실제 물체를 "클릭 가능"하게 만들어 착용자가 하이퍼링크로 기능하도록 일상적인 물체를 클릭할 수 있도록 함으로써 사이버 공간과 실제 세계를 통합하는 것이다."자연"이라는 용어는 "자연계"를 연상시키기 때문에, 사실 RBI는 NUI를 달성하기 위한 하나의 수단일 때 종종 혼동된다.

RBI를 기반으로 하지 않는 NUI를 설계하는 전략의 한 예는 사용자가 기기 작동에서 배울 것이 거의 없도록 기능 및 사용자 정의의 엄격한 제한이다.기본 기능이 사용자의 목표와 일치한다면 인터페이스는 쉽게 사용할 수 있다.이는 애플 iOS에서 가장 중요한 디자인 전략이다.[citation needed]이 설계는 직접 터치 디스플레이와 일치하기 때문에 비설계자는 일반적으로 장치와 상호작용하는 용이성을 멀티터치 디스플레이에 잘못 적용하며, 실제로 존재하는 소프트웨어의 설계에는 해당하지 않는다.

역사

사용자 인터페이스의 진화

1990년대에 스티브 만은 명령줄 인터페이스(CLI) 또는 그래픽 사용자 인터페이스(GUI)의 대안으로 현실 세계와의 자연적 상호작용을 이용한 여러 사용자 인터페이스 전략을 개발했다.Mann은 이 작업을 "자연 사용자 인터페이스", "직접 사용자 인터페이스", "메타포르 없는 컴퓨팅"[3]이라고 지칭했다.Mann's EyeTap 기술은 일반적으로 자연스러운 사용자 인터페이스의 예를 구현한다.만이 사용하는 '자연'이란 단어는 자연 그 자체의 사용, 즉 물리학(자연철학)과 자연 환경은 물론, 인간 사용자에게 자연스럽게 다가오는 행동을 모두 가리킨다.이러한 두 가지 감각에서 NUI의 좋은 예는 특히 입력 장치로 사용될 때 자연 요소(물)를 만지는 것이 데이터를 입력하는 방법이 되는 유압폰이다.보다 일반적으로, 그리스어 "피시카", "피시코스" 그리고 "폰" (소리)에서 이름을 따온 "피시폰"이라는 악기가 "네이처 기반 사용자 인터페이스"[4]로 제안되었다.

2006년 크리스티안 무어는 NUI 기술과 관련된 논의와 개발을 확대한다는 목표로 개방형 연구 공동체를 설립하였다.[5]2008년 컨퍼런스 프리젠테이션 "과거 예측"에서 August de los Reyes 마이크로소프트의 표면 컴퓨팅의 주요 사용자 경험 이사는 NUI를 CLI에서 GUI로 전환한 후의 다음 진화 단계라고 설명했다.[6]물론, NUI는 시각적 요소, 즉 그래픽 사용자 인터페이스를 반드시 포함하기 때문에 이 역시 지나치게 단순화된다.이 개념에 대한 보다 정확한 설명은 그것을 WIMP에서 NUI로의 전환으로 설명하는 것이다.

CLI에서 사용자는 응답 범위가 제한된 인위적인 입력 수단, 키보드 및 일련의 코드화된 입력 방법을 배워야 했는데, 여기서 명령어의 구문은 엄격했다.

그리고 나서, 마우스가 GUI를 활성화하면, 사용자들은 마우스 움직임과 동작을 더 쉽게 배울 수 있었고, 인터페이스를 훨씬 더 많이 탐색할 수 있었다.GUI는 화면 콘텐츠나 사물과 상호작용하는 은유에 의존했다.예를 들어, '데스크톱'과 '드래그'는 시각적 인터페이스에 대한 은유로서, 궁극적으로 컴퓨터의 엄격한 암호화된 언어로 번역되었다.

NUI라는 용어에 대한 오해의 한 예가 2010년 가전전시회에서 시연되었다."이제 전자 기기를 제어하는 이러한 방법들이 불리기 때문에, 새로운 제품 물결이 자연 사용자 인터페이스를 훨씬 더 많은 청중들에게 가져다 줄 것이다."[7]

2010년, 마이크로소프트의 빌 벅스턴은 NUI를 만드는데 사용될 수 있는 기술과 그것의 미래 잠재력을 토론하는 비디오로 마이크로소프트 Corporation 내의 NUI의 중요성을 재차 강조했다.[8]

2010년에 다니엘 위그도르와 데니스 위슨은 그들의 책에서 자연 사용자 인터페이스를 구축하는 운영화를 제공했다.[9]그 안에서, 그들은 자연적인 사용자 인터페이스, 그것을 달성하기 위해 사용되는 기술, 그리고 현실 기반의 UI를 조심스럽게 구별한다.

초기 예

멀티 터치

빌 벅스턴은 아이폰의 인터페이스에 대한 질문을 받자 "멀티 터치 기술은 오랜 역사를 가지고 있다.원론적으로 말하면, 우리 팀이 맡은 원래 작업은 첫 매킨토시 컴퓨터가 나온 바로 그 해인 1984년에 이루어졌는데, 우리가 처음은 아니었다고 말했다.[10]멀티터치는 시간에 따라 전체적인 모양을 정의해 군중들의 컴퓨터 애니메이션을 생성하는 등 복수의 제어 신호를 동시에 적용해야 하는 보다 효과적인 어플리케이션을 가능하게 했다.[11][12]기계 학습 알고리즘을 적용하여 멀티 터치 장치로부터 획득한 제스처를 식별함으로써 상호 작용의 개선을 도모할 수 있다.[13]

멀티터치는 자연스러운 사용자 인터페이스를 가능하게 하는 기술이다.그러나 그러한 기술로 실행된 인터페이스를 구성하는 데 사용되는 대부분의 UI 툴킷은 전통적인 GUI이다.

일반적으로 NUI라고 하는 인터페이스의 예

지각 픽셀

제퍼슨 한이 멀티 터치 인터페이스에서 수행한 작업을 예로 들 수 있다.2006년 TED의 시연에서 그는 직접적인 조작과 제스처를 모두 사용하여 화면 콘텐츠와 상호작용하는 다양한 방법을 보여주었다.예를 들어, 화면상의 찹쌀 덩어리를 형성하기 위해 제프는 글자 그대로 '핀치'하고 손가락으로 찌르고 찌른다.예를 들어, 설계 애플리케이션의 GUI 인터페이스에서 사용자는 이를 위해 '도구'라는 은유를 사용할 것이다. 예를 들어, pod 도구를 선택하거나, '핀치' 동작을 적용하고자 하는 질량의 두 부분을 선택한다.한 교수는 우리가 익숙한 상호작용 장치를 없애고 훨씬 광범위한 인간의 행동과 동작을 감지할 수 있는 화면으로 대체함으로써 사용자 상호작용이 훨씬 더 직관적일 수 있다는 것을 보여주었다.물론, 이는 물리적 조작(RBI)에 깔끔하게 매핑되는 매우 제한된 상호작용 집합에 대해서만 허용된다.물리적 조치를 넘어 소프트웨어의 기능을 확장하려면 훨씬 더 많은 설계 작업이 필요하다.

마이크로소프트 픽셀센스

Microsoft PixelSense는 사용자가 컨텐츠와 상호작용하는 방법에 대해 유사한 아이디어를 취하지만, 그 위에 놓인 개체를 기기가 광학적으로 인식할 수 있는 기능을 추가한다.이런 식으로 사용자들은 제프 한의 터치스크린이 허용한 것과 같은 몸짓과 동작을 통해 컴퓨터에서 동작을 촉발할 수 있지만, 사물도 제어 메커니즘의 일부가 된다.예를 들어, 와인잔을 테이블 위에 올려놓으면 컴퓨터가 와인잔을 그렇게 인식하여 그 와인잔과 관련된 내용을 표시하게 된다.와인잔을 테이블 위에 놓는 것은 와인잔과 다른 테이블로 취한 행동들에 잘 매핑되며, 따라서 현실 기반의 인터페이스에 잘 매핑된다.따라서, 그것은 NUI 경험의 진입자로 보일 수 있었다.

3D 임메시브 터치

주요 기사:에두심

"3D 임퍼시브 터치"는 다중 사용자 3D 가상 환경에서 단일 또는 다중 터치 표면 하드웨어를 사용하여 3D 가상 환경 개체를 직접 조작하는 것으로 정의된다.Edusim과 관련된 3D 자연 사용자 인터페이스 학습 원리를 설명하고 정의하기 위해 2007년에 처음 만들어졌다.임메서브 터치 자연 사용자 인터페이스는 이제 아이폰, 아이팟 터치, 아이패드와 같은 표면 및 터치 구동 하드웨어의 광범위한 적용과 다른 하드웨어의 증가하는 목록으로 더 넓은 포커스와 의미를 갖는 것으로 보인다.애플도 지난 몇 년간 '불멸의 터치' 3D 자연 사용자 인터페이스에 큰 관심을 갖고 있는 것으로 보인다.이 연구는 가상현실 환경에서 3D 조작을 연구해온 광범위한 학문적 기반 위에 구축된다.

손 제스처리기

직관적인 상호작용 방식 때문에 3D 인간 제스처가 자연 사용자 인터페이스의 핵심 포트를 형성한다.초기 시스템은 가속도계와 같은 특정 센서의 사용자가 제스처 정보를 수집하도록 요구한다.[14]최근 머신러닝의 발전으로 컬러나 깊이 비디오에서 3D 손동작을 직접 추정할 수 있게 되었다.[15]많은 애플리케이션에서 손은 어떤 물체와 상호작용할 것으로 예상되기 때문에, 한 가지 특별한 과제는 손동작을 정확하게 추정할 수 있도록 시각적 폐색을 해결하는 것이다.[16]시각 기반 손동작 신호는 대개 소음이 심하므로 그래프 콘볼루션을 이용한 딥러닝 접근방식은 소음을 줄일 수 있다.[17]그러한 알고리즘은 손 떨림으로 인해 고통 받을 수 있는 사용자를 위해 제스처 기반 시스템을 사용할 수 있게 한다.[18]

엑스박스 키넥트

키넥트는 마이크로소프트(MS)가 Xbox 360 비디오 게임기와 윈도 PC용 모션 센싱 입력 장치로 게임 컨트롤러 대신 공간 제스처를 사용해 상호작용을 한다.마이크로소프트의 페이지에 따르면, 키넥트는 "혁신적인 새로운 게임 방법, 즉 제어기가 필요하지 않다"[19]를 위해 고안되었다.다시 말하지만, Kinect는 물리적 세계를 감지할 수 있기 때문에, RBI 설계에 대한 잠재력을 보여주며, 따라서 잠재적으로 NUI에도 해당된다.그러한 용량은 몰입형 가상현실 애플리케이션을 위한 좋은 선택이 되었다.[20]키넥트는 바디 모션 메모리를 도입함으로써 새로운 교육 방식을 가능케 했다.[21]또한 작업 장소 환경에서 작업자의 인체공학적 건강 상태를 모니터링하는 데도 사용된다.[22]

참고 항목

메모들

  1. ^ Brauner, Philipp; van Heek, Julia; Ziefle, Martina; Hamdan, Nur Al-huda; Borchers, Jan (2017-10-17). "Interactive FUrniTURE: Evaluation of Smart Interactive Textile Interfaces for Home Environments". Proceedings of the 2017 ACM International Conference on Interactive Surfaces and Spaces. Brighton United Kingdom: ACM: 151–160. doi:10.1145/3132272.3134128. ISBN 978-1-4503-4691-7. S2CID 10774834.
  2. ^ Reality User Interface (RUI), in the paper of the Closing Keynote Address, entitled "Reconfigured Self as Basis for Humanistic Intelligence", Steve Mann, USENIX-98, New Orleans June 15–19, 1998, Published in: ATEC '98 Proceedings of the annual conference on USENIX Annual Technical Conference USENIX Association Berkeley, CA, USA ©1998
  3. ^ Intelligent Image Processing, John Wiley and Sons, 2001
  4. ^ 음악적 표현을 위한 자연적 인터페이스, 스티브 만, 니메 2007
  5. ^ Moore, Christian (2006-07-15). "New Community Open". NUI Group Community.
  6. ^ de los Reyes, August (2008-09-25). "Predicting the Past". Web Directions South 2008. Sydney Convention Centre: Web Directions.
  7. ^ Wingfield, Nick (2010-01-05). "Body in Motion: CES to Showcase Touch Gizmos". Wall Street Journal.
  8. ^ Buxton, Bill (2010-01-06). "CES 2010: NUI with Bill Buxton". Microsoft Research.
  9. ^ 용감한 NUI 월드
  10. ^ Buxton, Bill. "Multi-Touch Systems that I Have Known and Loved". Bill Buxton.
  11. ^ Henry, Joseph; Shum, Hubert P. H.; Komura, Taku (2014). "Interactive Formation Control in Complex Environments". IEEE Transactions on Visualization and Computer Graphics. IEEE. 20 (2): 211–222. doi:10.1109/TVCG.2013.116. ISSN 1077-2626. PMID 24356364. S2CID 18181673.
  12. ^ Henry, Joseph; Shum, Hubert P. H.; Komura, Taku (2012). Environment-aware Real-Time Crowd Control. Eurographics Association. pp. 193–200. ISBN 978-3-905674-37-8.
  13. ^ Shen, Yijun; Henry, Joseph; Wang, He; Ho, Edmond S. L.; Komura, Taku; Shum, Hubert P. H. (2018). "Data-Driven Crowd Motion Control with Multi-touch Gestures". Computer Graphics Forum. John Wiley and Sons Ltd. 37 (6): 382–394. doi:10.1111/cgf.13333. ISSN 1467-8659. S2CID 51684356.
  14. ^ Shum, Hubert P. H.; Komura, Taku; Takagi, Shu (2011). "Fast Accelerometer-Based Motion Recognition with a Dual Buffer Framework". The International Journal of Virtual Reality. IPI Press. 10 (3): 17–24. doi:10.20870/IJVR.2011.10.3.2831.
  15. ^ Feng, Qi; Shum, Hubert P. H.; Morishima, Shigeo (2018). Resolving Occlusion for 3D Object Manipulation with Hands in Mixed Reality. ACM. doi:10.1145/3281505.3283390. ISBN 9.78E+12. {{cite conference}}:수표 isbn=값: 잘못된 문자(도움말)
  16. ^ Feng, Qi; Shum, Hubert P. H.; Morishima, Shigeo (2020). "Resolving Hand-Object Occlusion for Mixed Reality with Joint Deep Learning and Model Optimization". Computer Animation and Virtual Worlds. John Wiley and Sons Ltd. 31 (4–5): e1956. doi:10.1002/cav.1956. S2CID 222278859.
  17. ^ Zhou, Kanglei; Chen, Jiaying; Shum, Hubert P. H.; Li, Frederick W. B.; Liang, Xiaohui (2021). STGAE: Spatial Temporal Graph Auto-encoder for Hand Motion Denoising. Proceedings. IEEE. pp. 41–49. doi:10.1109/ISMAR52148.2021.00018. ISSN 1554-7868.
  18. ^ Leng, Zhiying; Chen, Jiaying; Shum, Hubert P. H.; Li, Frederick W. B.; Liang, Xiaohui (2021). Stable Hand Pose Estimation under Tremor via Graph Neural Network. Proceedings. IEEE. pp. 226–234. doi:10.1109/VR50410.2021.00044. ISSN 2642-5254.
  19. ^ "Xbox.com Project Natal". Archived from the original on 2009-07-09. Retrieved 2009-08-02.
  20. ^ Shum, Hubert P. H.; Ho, Edmond S. L. (2012). Real-time Physical Modelling of Character Movements with Microsoft Kinect. ACM. pp. 17–24. doi:10.1145/2407336.2407340. ISBN 978-1-4503-1469-5.
  21. ^ Yang, Yang; Leung, Howard; Shum, Hubert P. H.; Li, Jiao; Zeng, Lanling; Aslam, Nauman; Pan, Zhigeng (2018). "CCESK: A Chinese Character Educational System Based on Kinect". IEEE Transactions on Learning Technologies. IEEE. 11 (3): 342–347. doi:10.1109/TLT.2017.2723888. ISSN 1939-1382. S2CID 52899136.
  22. ^ Plantard, Pierre; Shum, Hubert P. H.; Pierres, Anne-Sophie Le; Multon, Franck (2017). "Validation of an Ergonomic Assessment Method using Kinect Data in Real Workplace Conditions". Applied Ergonomics. Elsevier. 65 (Supplement C): 562–569. doi:10.1016/j.apergo.2016.10.015. ISSN 0003-6870. PMID 27823772.

참조