수화의 기계 번역

Machine translation of sign languages

수화의 기계번역은 비록 한정된 방식이지만 1977년부터 가능했다. 한 연구 프로젝트가 성공적으로 키보드에서 나오는 영문자를 로봇 손으로 시뮬레이션한 ASL 수동 알파벳 문자와 일치시켰다. 이러한 기술들은 수화 언어를 인간 통역사의 사용 없이, 수화 또는 구어로 번역한다. 수화는 구어와는 다른 음운학적 특징을 가지고 있어 개발자들에게 장애물을 만들어 주었다. 개발자들은 컴퓨터 비전과 머신러닝을 이용해 수화 특유의 특정 음운학적 파라미터와 경구[1] 등을 인식하며 음성 인식과 자연어 처리는 청각장애인과 청각장애인의 쌍방향 커뮤니케이션을 가능하게 한다.

제한 사항

수화 번역 기술은 구어 번역과 같은 방식으로 제한된다. 어느 누구도 100% 정확하게 번역할 수 없다. 사실 수어 번역 기술은 구어보다 훨씬 뒤떨어져 있다. 이것은, 수화 언어들이 여러 개의 조리법을 가지고 있기 때문에, 결코 사소한 것이 아니다. 구어가 발성을 통해 표현되는 곳에서는 수화들이 손, 팔, 머리, 어깨, 몸통, 얼굴의 일부를 통해 표현된다. 이 다채널 발음은 수화를 매우 어렵게 만든다. 수화 MT에 대한 또 다른 도전은 수화를 위한 공식적인 서면 형식이 없다는 사실이다. 국제 청각장애인 커뮤니티에 의해, 주어진 수화의 '서면 양식'으로 간주될 만큼, 표기 체계는 있지만, 충분히 광범위하게 채택된 것은 아니다. 그런 다음 수화 언어는 다양한 비디오 형식으로 기록된다. 예를 들어 시만텍에 충분히 큰 금본위 병렬 말뭉치는 없다.

역사

자동 수어 번역의 역사는 손가락을 사용하는 로봇 손과 같은 하드웨어가 발달하면서 시작되었다. 1977년 손가락 발음을 하는 손 프로젝트인 RALF(Robotic Alpharms)는 알파벳을 손가락 발음으로 번역할 수 있는 로봇 손을 만들었다.[2] 이후 모션 센서가 부착된 장갑 사용이 주류를 이루었고, 사이버글로브, VPL 데이터 글러브 등의 프로젝트가 탄생했다.[3] 웨어러블 하드웨어는 컴퓨터 소프트웨어의 도움으로 서명자들의 손 모양과 움직임을 포착할 수 있게 했다. 하지만 컴퓨터 비전이 발달하면서 착용 가능한 기기는 효율성과 수화기 물리적인 제약이 적어 카메라로 대체됐다.[3] 연구진은 이 장치를 통해 수집된 데이터를 처리하기 위해 사이버글로브와 같은 프로젝트에서 패턴인식을 위한 슈투트가르트 신경망[4] 시뮬레이터와 같은 신경망을 구현했다. 연구자들은 또한 수화 인식을 위해 많은 다른 접근법을 사용한다. 예를 들어 히든 마르코프 모델은 데이터를 통계적으로 분석하는 데 사용되며,[3] HIGHT 등 기계학습 프로그램은 훈련 세트를 사용하여 수화 인식의 정확도를 향상시킨다.[5] 카메라와 Leap Motion 컨트롤러와 같은 착용 불가 기술의 융합은 자동 수화 인식과 번역 소프트웨어의 능력을 향상시키는 것으로 나타났다.[6]

기술

비시캐스트

http://www.visicast.cmp.uea.ac.uk/Visicast_index.html

eSIGN 프로젝트

http://www.visicast.cmp.uea.ac.uk/eSIGN/index.html

DePaul 대학의 미국 수화 아바타 프로젝트

http://asl.cs.depaul.edu/

LSE로 스페인어

  • López-Ludeña, Verónica; San-Segundo, Rubén; González, Carlos; López, Juan Carlos; Pardo, José M. (2012). "Methodology for developing a Speech into Sign Language Translation System in a New Semantic Domain" (PDF). CiteSeerX 10.1.1.1065.5265. S2CID 2724186. {{cite journal}}: Cite 저널은 필요로 한다. journal= (도움말)

시그널라우드

시그널라우드는 워싱턴대 학생 그룹이 만든 장갑 한 켤레를 미국 수화를 영어로 번역하는[7] 기술이다.[8] 2015년 2월 미국 워싱턴대 청각학과 학생인 토마스 프라이어는 미국 애리조나대 해커톤인 해크애리조나에서 이 장치의 첫 시제품을 만들었다. 프라이어는 이 발명품을 계속 개발했고 2015년 10월, 프라이어는 마케팅과 홍보 지원을 위해 나비드 아조디를 시그널라우드 프로젝트에 참여시켰다. 아조디는 풍부한 배경과 경영에 관여하고 있는 반면 프라이어는 공학 분야에서 풍부한 경험을 가지고 있다.[9] 2016년 5월, 이 듀오는 NPR에게, 그들이 청중들을 더 잘 이해하고 그들의 제품을 가정된 필요보다 이 사람들의 필요에 맞게 조정할 수 있도록 ASL을 사용하는 사람들과 더 긴밀히 협력하고 있다고 말했다.[10] 그러나 이후 추가 버전은 나오지 않고 있다. 이 발명품은 젊은 발명가들에게 상을 주고 박수를 보내려는 르멜슨-MIT 학생상을 수상한 7명 중 하나였다. 그들의 발명품은 기존 제품에 대한 기술적 진보를 포함하는 "Use it!" 부문의 상으로 분류되었다. 그들은 1만 달러를 받았다.[11][12]

장갑에는 사용자의 손동작을 추적한 다음 블루투스를 통해 컴퓨터 시스템에 데이터를 전송하는 센서가 있다. 컴퓨터 시스템은 데이터를 분석하여 영어 단어와 일치시키고, 이 단어들은 디지털 음성으로 큰 소리로 말해진다.[10] 글러브는 영어 입력의 글러브 동작 출력이나 언어 청취 능력, 청각장애인에게 서명할 능력이 없으며 이는 상호 통신을 제공하지 않는다는 것을 의미한다. 이 장치는 또한 얼굴 표정과 다른 수화 비수동 표지를 포함하지 않아 ASL로부터 실제 해석을 변경할 수 있다.[13]

프로데이프

ProDeaf(WebLibras)[14]는 청각장애인과 청각장애인의 의사소통 개선을 목표로 텍스트와 음성을 모두 포르투갈어 Libras(포르투갈어 수화)로 번역할 수 있는 컴퓨터 소프트웨어다.[15] 현재 미국 수화를 위한 베타판도 제작 중에 있다. 원팀은 2010년 청각장애인과 청각장애인을 모두 대상으로 언어학자, 디자이너, 프로그래머, 번역가 등 전문가들을 모아 프로젝트를 시작했다. 이 팀은 컴퓨터 과학 프로젝트에 참여한 한 그룹의 학생들로부터 페르남부코 연방 대학교에서 시작되었다. 이 그룹에는 청각장애 팀원이 있었는데 나머지 팀원들과 의사소통이 어려웠다. 프로젝트를 완성하고 팀 동료가 소통할 수 있도록 돕기 위해 이 그룹은 프로아티바 솔루세스를 만들어 그 이후 계속 전진해 왔다.[16] 현재 미국 수화의 베타 버전은 매우 제한적이다. 예를 들어 사전 섹션이 있고 문자 'j' 아래의 단어는 'jump'뿐이다. 만약 장치가 단어로 프로그램되지 않았다면, 디지털 아바타는 단어의 손가락을 잘라야 한다. 이 앱의 마지막 업데이트는 2016년 6월이었지만, ProDeaf는 전국에서 가장 인기 있는 언론 매체 400여 층에 실렸다.[17]

애플리케이션은 수화를 읽고 단어나 문자로 바꿀 수 없어 일방통행식 의사소통 기능만 할 뿐이다. 게다가, 사용자는 앱에 서명할 수 없고 어떤 형태로든 영어 번역을 받을 수 없다. 왜냐하면 영어는 아직 베타 에디션에 있기 때문이다.

키넥트 수화 번역기

2012년부터 중국과학원 연구진과 중국 베이징유니온대 청각교육전문가들이 마이크로소프트 리서치아시아팀과 협력해 키넥트 수화통역기를 만들고 있다.[18] 번역기는 번역기 모드와 통신 모드 두 가지 모드로 구성된다. 번역기 모드는 하나의 단어를 수화에서 글로 번역할 수 있고 그 반대의 경우도 가능하다. 통신모드는 전체 문장을 번역할 수 있고 대화는 3D 아바타를 사용하여 자동으로 번역될 수 있다. 번역기 모드도 기계학습, 패턴인식, 컴퓨터 시력 등의 기술을 이용한 이동 궤적뿐만 아니라 수화기의 자세와 손 모양도 감지할 수 있다. 이 장치는 음성인식 기술로 구어가 수화로 번역될 수 있고 3D 모델링 아바타가 청각장애인들에게 다시 서명할 수 있기 때문에 상호 의사소통이 가능하다.[19]

원래 프로젝트는 중국에서 중국어 수화를 기반으로 시작되었다. 2013년에는 마이크로소프트 리서치 교수진 서밋과 마이크로소프트 사 회의에서 이 프로젝트가 발표되었다.[20] 현재, 이 프로젝트는 미국의 연구자들에 의해서도 미국 수어 번역을 시행하기 위해 연구되고 있다.[21] 현재로서 이 장치는 여전히 원형이며, 통신모드에서 번역의 정확성은 여전히 완벽하지 않다.

시그널

시그널은[22] 헝가리의 돌피오[23] 테크놀로지가 제공하는 자동 수화 번역 시스템이다. 연구팀은 "구어영어를 사용하는 청각장애인과 ASL을 사용하는 청각장애인이 일상적으로 의사소통을 할 수 있도록 컴퓨터 비전과 자연어 처리(NLP)를 기반으로 한 최초의 자동 수화 번역 솔루션을 개척하고 있다"고 밝혔다. 깊이 센서가 컴퓨터에 연결되어 있는 카메라 컴퓨터 비전 기술은 수화자의 손모양과 움직임을 인식할 수 있으며, 자연어 처리 시스템은 컴퓨터 비전으로부터 수집된 데이터를 간단한 영어 문구로 변환한다. 이 장치의 개발자는 청각장애인이며 나머지 프로젝트 팀은 청각장애인과 청각장애인의 많은 기술자와 언어학 전문가로 구성되어 있다. 이 기술은 ASL의 5개 파라미터를 모두 통합할 수 있는 기능을 갖추고 있어 기기가 수화기를 정확하게 해석할 수 있도록 돕는다. 시그널은 딜로이트, LT-혁신 등 많은 기업으로부터 승인을 받았으며 마이크로소프트 비즈스파크, 헝가리의 리뉴얼 등과 파트너십을 맺었다.[24]

모션세이비

MotionSavvy는[25] 음성 시스템에 대한 최초의 수화였다. 이 장치는 2012년 로체스터 공과대학교 / 국립 청각장애인 기술원 소속 그룹이 만든 것으로 "리프 모션 가속기 AXLR8R에서 나왔다"[26]고 한다. 연구팀은 Leap Motion 컨트롤러의 힘을 활용한 태블릿 케이스를 사용했다. 6인팀 전체가 학교 농아교육부의 청각장애 학생들에 의해 만들어졌다.[27] 이 장치는 현재 미국 수화 전용의 두 개의 상호 통신 장치 중 하나이다. 그것은 청각장애인들이 장치에 서명할 수 있게 하고, 그 후 해석되거나 반대로 해석되며, 구어 영어를 미국 수화로 해석할 수 있게 해준다. 그 장치는 $198에 선적되고 있다. 다른 기능으로는 상호작용, 실시간 피드백, 수화 작성기, 크라우드라인 등이 있다.

그 장치는 기술 잡지에서 타임에 이르기까지 모든 사람들에 의해 검토되었다. 와이어드는 "[UNI]와 같은 기술이 얼마나 혁신적일 수 있는지 보는 것은 어렵지 않았다"면서 "[UNI]는 일종의 마법과도 같은 인상을 주었다"고 말했다.타임지의 케이티 스타인메츠는 "이 기술은 청각장애인의 생활방식을 바꿀 수 있다"고 말했다. Engadget의 Sean Buckley는 "UNI가 놀라운 의사소통 도구가 될 수 있을 것"이라고 언급했다.

참조

  1. ^ Mocialov, Boris; Turner, Graham; Lohan, Katrin; Hastie, Helen (2017). "Towards Continuous Sign Language Recognition with Deep Learning" (PDF). Creating Meaning with Robot Assistants: The Gap Left by Smart Devices (IEEE-RAS International Conference on Humanoid Robots). S2CID 5525834.
  2. ^ Jaffe, DL (August 1994). "Evolution of mechanical fingerspelling hands for people who are deaf-blind". Journal of Rehabilitation Research and Development. 31 (3): 236–244. PMID 7965881.
  3. ^ a b c Parton, B. S. (12 October 2005). "Sign Language Recognition and Translation: A Multidisciplined Approach From the Field of Artificial Intelligence". Journal of Deaf Studies and Deaf Education. 11 (1): 94–101. doi:10.1093/deafed/enj003. PMID 16192405.
  4. ^ Weissmann, J.; Salomon, R. (1999). "Gesture recognition for virtual reality applications using data gloves and neural networks". IJCNN'99. International Joint Conference on Neural Networks. Proceedings (Cat. No.99CH36339). Vol. 3. pp. 2043–2046. doi:10.1109/IJCNN.1999.832699. ISBN 978-0-7803-5529-3. S2CID 18434944.
  5. ^ Bowden, Richard; Zisserman, Andrew; Windridge, Dave; Kadir, Timor; Brady, Mike (2003). "Vision based Interpretation of Natural Sign Languages" (PDF). S2CID 67094263. {{cite journal}}: Cite 저널은 필요로 한다. journal= (도움말)
  6. ^ Bird, Jordan J.; Ekárt, Anikó; Faria, Diego R. (9 September 2020). "British Sign Language Recognition via Late Fusion of Computer Vision and Leap Motion with Transfer Learning to American Sign Language". Sensors. 20 (18): 5151. Bibcode:2020Senso..20.5151B. doi:10.3390/s20185151. PMC 7571093. PMID 32917024.
  7. ^ "What is the difference between translation and transliteration". english.stackexchange.com. Retrieved 2017-04-06.
  8. ^ "SignAloud".
  9. ^ "Thomas Pryor and Navid Azodi Lemelson-MIT Program". lemelson.mit.edu. Retrieved 2019-07-04.
  10. ^ a b "These Gloves Offer A Modern Twist On Sign Language". All Tech Considered. NPR. 17 May 2016.
  11. ^ "Collegiate Inventors Awarded Lemelson-MIT Student Prize". Lemelson-MIT Program. Retrieved 2017-03-09.
  12. ^ "UW undergraduate team wins $10,000 Lemelson-MIT Student Prize for gloves that translate sign language". University of Washington. 2016-04-12. Retrieved 2017-04-09.
  13. ^ "Nonmanual markers in American Sign Language (ASL)". www.lifeprint.com. Retrieved 2017-04-06.
  14. ^ "ProDeaf". prodeaf.net. Retrieved 2017-04-09.
  15. ^ "ProDeaf". www.prodeaf.net. Retrieved 2017-03-09.
  16. ^ "ProDeaf". www.prodeaf.net. Retrieved 2017-03-16.
  17. ^ "ProDeaf Tradutor para Libras on the App Store". App Store. Retrieved 2017-03-09.
  18. ^ Chen, Xilin; Li, Hanjing; Pan, Tim; Tansley, Stewart; Zhou, Ming. "Kinect Sign Language Translator expands communication possibilities" (PDF). Microsoft Research Connections. Archived from the original (PDF) on 29 March 2014. {{cite journal}}: Cite 저널은 필요로 한다. journal= (도움말)
  19. ^ Chai, Xiujuan; Li, Guang; Lin, Yushun; Xu, Zhihao; Tang, Y. B.; Chen, Xilin (2013). "Sign Language Recognition and Translation with Kinect" (PDF). CiteSeerX 10.1.1.711.4714. S2CID 17957882. {{cite journal}}: Cite 저널은 필요로 한다. journal= (도움말)
  20. ^ "Kinect Sign Language Translator". 29 October 2013.
  21. ^ Zafrulla, Zahoor; Brashear, Helene; Starner, Thad; Hamilton, Harley; Presti, Peter (2011). "American sign language recognition with the kinect". Proceedings of the 13th international conference on multimodal interfaces - ICMI '11. p. 279. doi:10.1145/2070481.2070532. ISBN 978-1-4503-0641-6. S2CID 5488882.
  22. ^ "SignAll. We translate sign language. Automatically". www.signall.us. Retrieved 2017-04-09.
  23. ^ "Dolphio Unique IT Technologies". www.dolphio.hu. Retrieved 2017-04-06.
  24. ^ "SignAll. We translate sign language. Automatically". www.signall.us. Retrieved 2017-03-09.
  25. ^ "MotionSavvy UNI: 1st sign language to voice system". Indiegogo. Retrieved 2017-03-09.
  26. ^ "Rochester Institute of Technology (RIT)". Rochester Institute of Technology (RIT). Retrieved 2017-04-06.
  27. ^ Tsotsis, Alexia. "MotionSavvy Is A Tablet App That Understands Sign Language". TechCrunch. Retrieved 2017-04-09.