나딘 소셜 로봇

Nadine Social Robot
나딘
Nadine Robot.jpg
생성년2013

나딘나디아 마그나트 탈만 교수를 모델로 한 기노이드 휴머노이드 소셜 로봇이다.[1] 이 로봇은 자연스러워 보이는 피부와 머리카락, 현실감 있는 손으로 인간과 흡사한 느낌이 강하다. 나딘은 인사말을 돌려주고, 눈을 맞추고, 대화를 나눈 모든 것을 기억할 수 있는 사회 지능 로봇이다. 그것은 사용자와의 상호작용의 내용에 따라, 자율적으로 몇 개의 언어로 질문에 답할 수 있고, 몸짓과 얼굴 둘 다로 감정을 시뮬레이션 할 수 있다.[2][3][4] Nadine은 이전에 본 사람을 알아볼 수 있고, 대화를 나눌 수 있다.[5][6][7] 나딘은 "인격성"을 프로그램화했는데, 그것은 나딘이 말하는 것에 따라 그 태도가 변할 수 있다는 것이다.[8] 나딘은 얼굴 표정과 상반신 움직임의 자유도가 총 27도나 된다. 이전에 마주친 사람과 함께, 그것은 각 사람과 관련된 사실과 사건들을 기억한다.[9][10] 그것은 이야기를 읽고, 이미지를 보여주고, 스카이프 세션을 하고, 이메일을 보내고, 가족 구성원들과 의사소통을 함으로써 특별한 필요가 있는 사람들을 도울 수 있다.[11][12][13][14] 사무실에서 접수원 역할을 하거나 개인 코치가 되기 위해 헌신할 수 있다.[15][16]

나딘은 2017년 5월부터 10월까지 열린 'HUMAN+: 우리 종의 미래' 전시회 기간 동안 싱가포르 아트사이언스 박물관에서 10만 명 이상의 관람객들과 교류했다.[17][18][19] 현재 나딘은 싱가포르의 AIA 보험사에서 고객 서비스 에이전트로 일하고 있다.[20][21][22] 휴머노이드 로봇이 고객 서비스 대행사로 쓰이는 것은 세계 최초다.

역사

나딘은 2008년 한슨로보틱스가 제조한 휴머노이드 로봇 헤드인 [23]에바의 뒤를 잇는 차세대 휴머노이드 로봇이다. 에바의 소프트웨어 플랫폼은 제네바 대학[24]MIRALAB에서 개발되었다. 에바의 머리는 매우 현실적인 분위기와 감정[25], 그리고 단기 기억력을 보여준다.[26][27] 에바는 취리히의 로텐 파브릭 극장에서 연극을 공연하기도 했다.[28]

나딘은 일본 고코로가 2013년 만든 것으로 나디아 마그네나트 탈만 교수의 뒤를 이어 모델링됐다. 나딘은 머리와 전신으로 자연스런 외모를 가지고 있다. 싱가포르 난양공대 미디어혁신연구소에서 개발한 나딘 소프트웨어 플랫폼은 대화 시간 동안 감정을 보여주고, 자연스럽게 말하고, 어떤 제스처를 이해하고, 사실을 기억하고 검색할 수 있다.[29][30] 나딘은 또한 팔의 움직임과 상호작용을 한다. 지속적인 연구는 두 개의 관절형 손과 자연적으로 움켜쥐는 것을 사회 로봇에게 제공한다.[31][32][33][34] Nadine은 또한 개인 데이터 세트, 위키백과, 날씨 채널, 그리고 많은 다른 것들과 같은 모든 종류의 데이터베이스와 연결되어 있다.

플랫폼

Nadine(소셜 로봇)은 고전적인 인식-처리/결정-상호작용 계층 프레임워크로 구축된다. 복잡한 상황에서도 인간다운 자연스러운 행동을 유지하는 것을 목표로 하는 Nadine 플랫폼의 설계는 어떠한 종류의 데이터와 운영 장소, 다국어 지원 등을 처리하기 위한 것이 일반적이다.

나딘의 기능성은 그녀가 환경에 대한 이해와 그녀 앞에 있는 사용자/사람에 대한 인식에 바탕을 두고 있다. 나딘의 인식층은 이 과제에 집중되어 있다. Nadine은 3D 깊이 카메라, 웹캠, 마이크를 사용하여 환경과 사용자로부터 시각과 오디오 입력을 수집한다. 인식층은 얼굴,[35] 감정,[13] 몸짓,[36][37] 사용자 위치, 의도, 행동 등을 인식하기 위해 상기 장치의 서로 다른 입력 스트림에서 동작하는 독립된 하위 모듈들과 물체 인식,[38][39] 위치 등과 같은 다른 환경 속성으로 구성된다.

처리층은 지각 출력을 이용해 상황을 측정하고 그에 따라 어떻게 행동할지를 결정하는 나딘의 두뇌 역할을 한다. 이 계층의 주요 구성요소는 행동 트리 플래너로, Nadine의 중앙 처리 장치는 인식된 모든 입력을 처리할 수 있다. 행동 트리 플래너는 인식 계층으로부터 수신된 입력에 기초하여 사용자와 나딘 간의 처리 대화, 감정 시스템, 상호작용의 기억 등을 포함하는 처리 계층의 다른 하위 모델을 업데이트한다. 대화 상자를 처리하기 위해, 일반적인 챗봇은[40][41] 다른 상황과 질문을 처리할 수 있도록 만들어졌다. 구글 어시스턴트를 기반으로 한 온라인 검색도 통합돼 훈련된 말뭉치 외부의 질문에 답한다. 사용자의 언어, 감정, 나딘의 현재 감정을 바탕으로 나딘은 사용자에게 다양한 인간 동작을 보여줄 수 있다.[13] 나딘의 기억 모델은[42] 또한 그녀가 적절한 응답을 제공하기 위해 사용자에 대한 구체적인 사실들과 현재 대화의 맥락을 기억할 수 있게 해준다. 사용자 상호작용과 환경의 맥락을 이해하는 즉시 적절한 언어적 또는 비언어적 대응이 결정된다. 이를 위해 나딘의 처리 계층은 각 인식 계층 자극을 활성화 및 임계값에 매핑한다. 각 서브모듈에 의한 각 자극의 처리를 바탕으로 활성화 수준이 다양하다. 임계값에 도달하면 각 승리작용을 상호작용 계층으로 전달하여 나딘의 다양한 반응을 보여준다.

상호 작용 계층 또는 Nadine 컨트롤러는 처리 계층에서 수신한 각 응답을 실행하여 Nadine의 얼굴이나 동작에 표시할 책임이 있다. 예를 들어, 사용자 위치에 기초하여 Nadine의 머리를 수정하여 사용자와 함께 시력을 유지한다. 이 외에도, 상호작용 층은 다른 몸짓과 표정을 보여주기 위해 그녀의 모터를 조절하는 역할도 한다. 구두반응을 위해 스피치 신디사이저와 립싱크 모듈을 포함한다. 언어적 반응을 바탕으로 해당 음소 및 시각체가 생성된다. 스피치 신디사이저도 스피치를 생성하면서 (다양한 감정을 보여주기 위해) 대화 톤을 고려한다. 립싱크는 나딘의 말에 따라 입술을 움직이게 하기 위해 비주얼을 해당 안면 운동 위치로 변환한다. 현재 나딘은 영어, 독일어, 프랑스어, 중국어, 힌디, 일본어 등 6개 언어를 지원할 수 있다.

이벤트

나딘은 무대에서 라이브 데모에 참여했고 각계각층의 사람들과 활동했다. 세계에서 가장 사실적인 휴머노이드 로봇 중 하나로 [43]선언된 나딘은 '휴먼+: 싱가포르 예술과학박물관에서 열린 '우리 종의 미래' 전시회.[44]

그녀는 덴츠 이지스 네트워크(DAN), 크레디트[45] 스위세, 도이체방크 등 다양한 업종의 기업체 인사들과 교류해왔다.[46]

나딘은 또한 2018년 6월 1일 NTU 싱가포르를 방문했을 때 나렌드라 모디 인도 총리와도 교류했는데, 이는 그가 특별히 관심을 가졌던 혁신 중 하나였다.[47][48]

현재 나딘은 AIA 싱가포르에서 고객 서비스 에이전트로 일하고 있다.[20][21][22] 그녀는 AIA 고객 서비스 요원들에게 주로 묻는 질문을 다루는 훈련을 받았다. 그녀는 또한 AIA 고객들이 AIA 전자진료 등록 포털에 등록하도록 장려한다. 고객 서비스 상호작용은 기계 학습 기반의 대화형 대화 엔진을 훈련하기 위해 사용되었다. 또한 빠르고 안전한 통신이 가능하도록 우리의 플랫폼과 AIA 포털 사이에 클라이언트-서버 아키텍처가 설치되었다.[49]

참조

  1. ^ Gieriet, Marc (2016-10-09). "Nadia und Nadine". SRF Schweizer Radio und Fernsehen. Retrieved 2016-10-10.
  2. ^ 나딘 전시회에 대한 언론 보도
  3. ^ Mulligan, Gabriella (2017-03-17). "Is robotics a solution to the growing needs of the elderly?". BBC. Retrieved 2017-03-17.
  4. ^ Lim, Paige (2016-03-07). "Now you're talking: human-like robot may one day care for dementia patients". Reuters. Retrieved 2016-03-09.
  5. ^ Lee, Jocelyn (2017-05-27). "Chat With A Female Robot (Who's Made To Look Just Like Her Creator)". 8 Days. Retrieved 2017-06-08.
  6. ^ J Ren, X Jiang 및 JWan, 얼굴 인식을 위한 퍼지 LBP 수량화, 2015년 제 40회 ICASSP(국제 음향, 음성 및 신호 처리) 2015, 호주 브리즈번, 2015
  7. ^ "NTU scientists unveil social and telepresence robots". Nanyang Technological University. 2015-12-29. Retrieved 2016-01-14.
  8. ^ Kochanowicz J, A. H. Tan, D. 탈만, 사회요원을 위한 인간다운 비합리성 모델링, ACM 29회 컴퓨터 애니메이션 및 사회요원에 관한 국제회의(CASA 2016), 11-20페이지, 스위스 제네바, 2016년 5월 23~25일
  9. ^ J. Jang J, N. Magnenat Thalmann 및 J. Jung, 기억과 감정을 사회적 동반자에 관한 대화와 결합: A Review, Processions on the Social Companion: ACM 29th International Conference on Computer Animation and Social Agent (CASA 2016), pp. 1-9, 2016년 5월 23–25일
  10. ^ Berger, Sarah (2015-12-31). "Humanlike, Social Robot 'Nadine' Can Feel Emotions And Has A Good Memory, Scientists Claim". International Business Times. Retrieved 2016-01-12.
  11. ^ A. 벡, Z. Jang과 N. Magnenat Thalmann, 사회적 행동에 대한 동작 제어, 컨텍스트 인식 인간-로봇 및 인간-에이전트 상호작용, 스프링거 인터내셔널 출판, 237-256, 2015
  12. ^ Z.P. Bian, J. Hou, L.P. Chau 및 N. Magnenat Thalmann, Depth 카메라를 사용한 신체 부위 추적에 기반한 낙상 감지, IEEE 저널의 생물 의학 및 건강 정보, 제19권, 제2권, 페이지 430-439, 2015
  13. ^ a b c J. 장, J. 정, N. 마그네나트 탈만, PCMD: 개인화된 가상 캐릭터에 대한 성격 특성화된 무드 다이내믹 모델, 컴퓨터 애니메이션 및 가상 세계, 26권, 이슈 3-4, 페이지 237-245, 2015
  14. ^ J. 장, J. 정, N. 마그네나트 탈만, 모델 성격, 기분 감정, 컨텍스트 인식 인간-로봇 및 인간-에이전트 상호작용, 스프링거 인터내셔널 출판, 2015년
  15. ^ Y. 샤오, Z. 장, A. 벡, J.위안, D. 탈만, 상반신 제스처를 이해함으로써 인간과 로봇의 상호작용, MIT 프레스 저널 - 존재: 텔레 오퍼레이터 및 가상 환경, 제23권, 제2권, 페이지 133-154, 2014
  16. ^ Z. Yumak, J. Ren, N. Magnenat Thalmann 및 J. Yuan, 가상 캐릭터, 로봇 및 인간 간의 다당 상호작용 모델링, MIT 언론 저널 - 존재: 텔레 오퍼레이터 및 가상 환경, 제23권, 제2권, 페이지 172-190, 2014
  17. ^ Martin, Mayo (2017-05-19). "Singapore's receptionist robot makes her public debut at ArtScience Museum's futuristic show". Channel NewsAsia. Retrieved 2017-05-19.
  18. ^ Wong, Cara (2017-05-19). "Conversation with a humanoid robot". The Straits Times. Retrieved 2016-03-09.
  19. ^ 여성 로봇과 채팅(누가 그녀의 창조주처럼 보이도록 만들었는가)
  20. ^ a b "AIA To Pioneer Adoption Of Artificial Intelligence In Singapore's Life Insurance Sector". AIA Singapore. 2018-10-12. Retrieved 2018-10-26.
  21. ^ a b Benjamin, Ang (2018-10-22). "Singapore: AIA transforms customer service with insurance industry's first humanoids". Asia Insurance Review. Archived from the original on 2019-02-02. Retrieved 2018-10-26.
  22. ^ a b Gabriel, Olano (2018-10-19). "AIA Singapore welcomes two new robotic hires". Insurance Business Asia. Retrieved 2018-10-20.
  23. ^ 소셜 로보틱스
  24. ^ 미랄랍
  25. ^ 씨시, 지 카삽, A. 에지와 N. 마그네나트 탈만, 아루살과 지배 요인에 기초한 현실적인 감정적 시선머리 행동 생성, 2010년 제3회 국제 게임 운동 컨퍼런스, 스프링거, 2010년
  26. ^ Z. Kasap과 N. Magnenat Thalmann, 가상로봇 캐릭터와의 장기적 관계 구축: 기억의 역할, 비주얼 컴퓨터(IF: 1.073) 28권, 1권 87-97권, 2012년 1월
  27. ^ Z. Kasap, M. Ben Moussa, P. Chaudhuri 및 N. Magnenat Thalmann, 그들을 기억하게 만드는—메모리, IEEE 컴퓨터 그래픽 및 응용 프로그램이 있는 감정 가상 문자(IF: 1.116), 제29권, 제2권, 페이지 20-29, 2009년 3월
  28. ^ 취리히의 로텐 파브릭 극장에서 놀고 있는 로봇 EVA
  29. ^ 가장 현실적인 로봇 콜드퓨전!(2018년)
  30. ^ J. Jang J, N. Magnenat Thalmann 및 J. Jung, 기억과 감정을 사회적 동반자에 관한 대화와 결합: A Review, Processions on the Social Companion: ACM 29th International Conference on Computer Animation and Social Agent (CASA 2016), pp. 1-9, 2016년 5월 23–25일
  31. ^ L. Tian, N. Magnenat Thalmann, D. Thalmann, J. Jung, 맞춤식 인간 로봇 현실주의 핸드 모델링시뮬레이션 방법론, 제35회 CGI(Computer Graphics International, CGI 2018), ACM, 빈탄, 인도네시아, 2018년 6월 11~14일
  32. ^ L. Tian, N. Magnenat Thalmann, D. Thalmann, J. Jung, 3D 프린팅 제작, 케이블 구동, 단일 모델, 경량 휴머노이드 로봇 핸드, 로봇 및 AI의 프런티어, DOI: 10.3389/frobot. 2017.00065, 페이지 65, 2017년 12월 4일
  33. ^ N. Magnenat Thalmann, L. Tian, F. 야오, 나딘: 전자기술의 프런티어, 스프링거, 2017페이지 1-23, 인간적인 방법으로 사물을 위치시키고 잡을있는 소셜 로봇
  34. ^ H. 량, J. 위안, D. Thalmann and N. Magnenat Thalmann, AR in Hand: 증강현실 애플리케이션을 위한 Egocentic Palm Pose 추적 제스처 인식, ACM 멀티미디어 컨퍼런스 2015(ACMM 2015), 오스트레일리아 브리즈번, 2015
  35. ^ J. 렌, X. 장, J. 위안, 얼굴 및 얼굴 표정 인식 분석, 상황 인식 인간-로봇 및 인간-에이전트 상호작용, 스프링거 인터내셔널 출판, 2015년 3-29
  36. ^ L. 게, H. 량, J. 위안, D. Thalmann, 단일 깊이 이미지에서 강력한 3D 핸드 포즈 추정: 싱글CNN에서 멀티CNN, 컴퓨터 비전 및 패턴 인식에 관한 IEEE 컨퍼런스(CVP), 미국 네바다 주 라스베가스, 2016년 6월 24일
  37. ^ Q. Ke, M. Bennamun, S. An, F. 소엘과 F. Bousside, 3D 액션 인식을 위한 스켈레톤 시퀀스의 새로운 표현, CVPR 2017
  38. ^ Z. Fang, J. Yuan 및 N. Magnenat Thalmann, 인간 로봇 상호작용을 위한 RGB-D 비디오에서의 인간-객체 상호작용 이해, 제35회 컴퓨터 그래픽스 인터내셔널(CGI 2018), 인도네시아 ACM, 2018년 6월 11-14일
  39. ^ J. 레드몬과 A. Farhadi, YOLO9000: Better, Fast, Strong, ArXiv 사전 인쇄, 2017
  40. ^ R.S 월리스, A.L.I.C.E.의 해부학, Turing Test 파싱 (pp. 181-210) 스프링거, 도드레흐트, 2009년
  41. ^ 채터봇
  42. ^ J. Zhang, J. Zheng and N. Magnenat Thalmann, MCAEM: Mixed-Correlation-Analysis based Episodic Memory for Companion-User Interactions, The Visual Computer, DOI: 10.1007/s00371-018-1537-3, Vol 34, Issue 6-8, pp. 1129-1141, May 10, 2018
  43. ^ Aloysius, Low (2017-05-19). "'Human+' exhibit explores the future of humanity". CNET. Retrieved 2017-06-08.
  44. ^ 휴먼+: 우리 종의 미래
  45. ^ 크레디트스위스 글로벌 메가트렌즈 컨퍼런스 2018
  46. ^ 제9회 아시아 디액세스 2018 컨퍼런스 하이라이트
  47. ^ NTU는 인도 총리의 역사적인 방문이다.
  48. ^ 싱가포르 난양공대 로봇과 교류하는 PM모디
  49. ^ NTU 싱가포르의 소셜 로봇 나딘은 접수원으로 일하기 시작한다.