입술 판독

Lip reading

스피치 리딩으로도 알려진 립 리딩은 정상적인 소리가 나지 않을 때 입술, 얼굴, 혀의 움직임을 시각적으로 해석함으로써 말을 이해하는 기술이다.또한 문맥, 언어 지식 및 나머지 청각에 의해 제공되는 정보에 의존합니다.비록 입술 읽기가 청각장애인과 난청자들에 의해 가장 광범위하게 사용되지만, 정상적인 청력을 가진 대부분의 사람들은 움직이는 [1]입에서 일부 언어 정보를 처리한다.

과정

비록 음성 지각이 청각적 기술로 간주되지만, 그것은 본질적으로 멀티모달이다. 왜냐하면 음성 생성을 위해서는 말하는 사람이 직접 대면 커뮤니케이션에서 종종 볼 수 있는 입술, 치아, 혀를 움직여야 하기 때문이다.입술과 얼굴의 정보는 청각 이해를[2] 지원하며, 언어의 유창한 청취자는 대부분 보이는 말 행동에 민감합니다(맥거크 효과 참조).사람들이 본 언어 행동을 사용하는 정도는 언어 행동의 가시성과 지각자의 지식과 기술에 따라 달라진다.

음소 및 음소

음소는 단어와 단어를 구별하는 데 사용되는 언어에서 검출 가능한 소리의 최소 단위입니다. /pit/와 /pik/는 한 음소씩 다르며 다른 개념을 나타냅니다.구어 영어에는 약 44개의 음소가 있다.입술 판독의 경우 시각적으로 구별되는 단위인 내장(visemes)의 수가 훨씬 적기 때문에 여러 개의 음소가 몇 개의 내장(visemes)에 매핑됩니다.이는 많은 음소가 입과 목구멍에서 생성되어 보이지 않기 때문이다.이것들은 성문 자음과 대부분의 혀 제스처를 포함한다.[p]와 [b], [k]와 [g], [t]와 [d], [f]와 [v], [s]와 [z]와 같이 음성과 무음성 쌍은 동일하게 비음화(예: [m] 대 [b])에 대해 동일하게 보인다.호모페인은 립을 읽을 때 비슷해 보이지만 다른 음소를 포함하고 있는 단어이다.영어의 음소는 음소의 약 3배이기 때문에, 입술을 읽을 수 있는 음소는 30%에 불과하다고 종종 주장되고 있다.호모페인은 오입술의 중요한 원천이다.

이 퍼즐의 전설은 다음과 같습니다. "여기 십여 명의 소년들이 각자 자신의 이름을 발음하기 시작할 때, 그들의 이름을 부르기 위해 불려가는 순간적인 과정에 의해 사진이 찍혔습니다.12명의 이름은 옴, 올든, 이스트먼, 알프레드, 아서, 루크, 플레처, 매튜, 테오도르, 리처드, 셔머, 히스왈드였다.지금은 12명의 소년에게 정확한 이름을 붙이는 것은 불가능할 것 같지만, [3]각 소년에게 목록을 다시 작성하면 모든 소년에게 적절한 이름을 붙이는 것은 어렵지 않습니다.

코아티케이션

시각은 정지화면으로 캡처할 수 있지만, 말은 시간에 맞춰 전개됩니다.순차적으로 발음하는 부드러운 발음은 입 패턴이 인접한 음소에 의해 '모양'이 될 수 있다는 것을 의미할 수 있다: '치아'와 '치아'의 'th' 소리는 발성적 맥락 때문에 매우 다르게 나타난다.동적 음성 판독의 이러한 기능은 '내장을 넘어선'[4] 입술 판독에 영향을 미칩니다.

이렇게 적은 외관으로 어떻게 '작동'할 수 있을까요?

언어의 어휘 내에서 음소의 통계적 분포는 고르지 않다.음소적으로 비슷한 단어군(예: sip/sit/stick 등)이 있는 반면, 다른 단어들은 다른 모든 단어와 다르다: 그것들은 음소의 분포에 있어서 '독특하다' (예: 우산이 될 수 있다).언어를 능숙하게 사용하는 유저는, 음성을 해석할 때에 이 지식을 몸에 익히기 때문에, 일반적으로, 이웃이 적은 유저보다, 이웃이 많은 유저로부터 듣는 단어를 식별하는 것이 어렵다.이 통찰력을 본 연설에 적용하면, 언어의 일부 단어들은 겉모습이 거의 없을 때에도 모호하지 않게 입술로 읽을 수 있다 - 단순히 다른 단어들이 '적합'[5]할 수 없기 때문이다.

가독성과 스킬의 차이

조명, 헤드/카메라의 움직임, 동영상 프레임 레이트, 뷰어와의 거리 등 많은 요인이 말하는 얼굴의 가시성에 영향을 미칩니다(예:[6] 참조).정상적인 말투를 수반하는 머리 움직임 또한 구강 [7]동작과는 별개로 입술을 읽는 능력을 향상시킬 수 있다.그러나 립리딩 커넥티드 스피치에서는 화자의 가시성 못지않게 화자에 대한 시청자의 구어 지식, 화자에 대한 친숙함과 화법, 립리딩[8] 소재의 맥락이 중요하다.대부분의 듣는 사람들은 보는 말에 민감하지만, 개인 스피치 읽기 능력에는 큰 차이가 있다.좋은 립리더는 종종 시각적인 말에서 음소를 식별하는데 서투른 립리더보다 더 정확하다.

'입술 판독성'의 단순한 비소적 척도에 대해 일부 연구자들이 의문을 제기해 왔다.'포네메 등가 등급' 척도는 어휘의[9] 통계 구조를 고려하며, 또한 독순 [10][11]능력의 개인 차이를 수용할 수 있다.이와 함께, 뛰어난 립리딩은 종종 일반적인 언어 능력, 실행 기능, 그리고 [12][13]작업 기억력을 포함한 보다 광범위한 인지 능력과 관련이 있다.

영유아 청력 독해 및 언어 학습

처음 몇 달 동안

입을 보는 것은 매우 어린 유아의 초기 언어 감응에 영향을 미쳐 1~2세 때 화자가 되기 위한 준비를 합니다.흉내를 내기 위해 아기는 그들이 듣는 소리에 따라 입술 모양을 만드는 법을 배워야 한다; 말하는 사람을 보는 것은 그들이 이것을 [14]하는 데 도움을 줄 수 있다.신생아는 혀를 내밀거나 입을 벌리는 것과 같은 성인의 입 움직임을 흉내내는데, 이것은 더 많은 모방과 나중에 언어 [15]학습의 전조가 될 수 있다.유아는 익숙한 화자의 시청각적 음성이 비동기화되면 방해를 받고, (녹음된) [17]목소리에 맞춰질 때 낯선 얼굴과 다르게 보이는 패턴을 보이는 경향이 있다.유아들은 말을 [18][19]배우기 몇 달 전에 맥거크 환상에 민감하다.이러한 연구와 더 많은 연구들은 인생의 전반기에 (청취자) 말에 대한 민감성을 발달시키는 데 있어서 시력의 역할을 지적한다.

향후 6개월, 모국어를 배우는 역할

생후 약 6개월까지, 대부분의 청각 유아는 입에서 볼 수 있는 제스처를 포함한 광범위한 언어 제스처에 민감하게 반응하는데, 이는 나중에 모국어의 음운론의 일부가 될 수도 있고 아닐 수도 있다.그러나 생후 6개월 동안, 청각 유아는 그들 자신의 언어의 발음 구조에 대해 지각적으로 좁아지는 것을 보여주며, 유용하지 않은 입 패턴에 대한 초기 민감성을 잃을 수도 있다.그 연설과 visemically 영어에 먹지만 카스티야 스페인어로 정확하게 6개월의 나이로 유지하고English-exposedSpanish-exposed 아기들의 구별된다 독특한 문서:/b/에/v/게 들린다.반면English-exposed 유아들을 위해 유지되 하지만, 언니Spanish-exposed 유아 능력은 ' 이러한 구별 보고게이머를 잃는다.[20]이러한 조사보다는 청각과 비전 유아기에 독자적 방식에서 개발하기보다 유아 뇌의(언어)개발에, 복합 처리는 규칙, 예외는 아닐 수 있다.[21]

초기 언어 제작: 1~2년

언어 전 유아의 언어 발달에 대한 시력의 역할을 나타내는 많은 연구를 고려할 때, 선천적인 시각장애가 언어 발달에 미치는 영향은 놀라울 정도로 작다. 18개월 된 유아는 새로운 단어를 들을 때 더 쉽게 배우고,[22] 듣지 못할 때 언어 동작을 보일 때는 배우지 않는다.그러나 태어날 때부터 시각장애인이었던 아이들은 영어단어의 초기 생산에서 /m/와 /n/을 혼동할 수 있다. -m/와 /n/은 눈에 띄게 구별되지만 감사상 혼동될 [23]수 있기 때문에 시각장애 아동에게는 거의 보이지 않는 혼란이다.1-2세 어린이의 시력 역할은 모국어 생산에 덜 중요할 수 있다. 왜냐하면 그 나이가 되면 언어 소리를 식별하고 모방하는 데 필요한 기술을 습득했기 때문이다.그러나 모국어가 아닌 언어를 듣는 것은 말을 처리하고 이해하고 [24]생산하기 위해 립리딩과 듣기를 통해 아이의 관심을 시각과 청각의 참여로 옮길 수 있다.

어린 시절

언어 이전의 유아와 아동을 대상으로 한 연구는 간접적이고 비언어적인 척도를 사용하여 보는 말에 대한 민감성을 나타낸다.노골적인 입술 읽기는 미취학 아동들에게 '내가 말하는 것을 조용히 [25]말하라'고 요청함으로써 신뢰성 있게 시험될 수 있다.취학 연령의 아이들에게 숫자 단어와 같은 친숙한 폐쇄적인 단어들의 립리딩은 쉽게 [26]유도될 수 있다.아이에게 '입술 읽는 단어를 말하라'고 요구하거나 입술 읽는 말을 그림과 [27]매치함으로써 테스트된 입술 읽는 기술의 개인차는 입술 읽는 기술과 [28][29]나이 사이의 관계를 보여준다.

성인 대상: 수명 고려 사항

입술을 핥는 사일런트 스피치는 대부분의 청각장애인들에게 어려움을 주지만, 듣는 스피치에 화자의 시야를 추가하는 것은 많은 상황에서 스피치 처리를 향상시킨다.이것의 메커니즘과 입술 읽기가 도움이 되는 정확한 방법은 현재 [30]연구의 주제이다.화자를 보는 것은 음성 특징의 구별에서 실용적인 [31]발언의 해석에 이르기까지 모든 수준의 음성 처리에 도움이 됩니다.청각에 시각을 더하는 것의 긍정적인 효과는 조용한 [32]환경보다 소음 환경에서 더 크다. 즉, 음성 인식을 더 쉽게 함으로써 말하는 사람을 보는 것은 인지 자원을 해방시키고, 음성 내용을 더 깊이 있게 처리할 수 있다.

노년기에 접어들면서 청력 신뢰도가 떨어짐에 따라, 사람들은 립리딩에 더 의존하는 경향이 있고, 그렇게 하도록 장려될 수 있다.하지만, 립 리딩에 더 많이 의존하는 것이 나이와 관련된 청력 손실의 효과를 항상 좋게 만드는 것은 아니다.노화의 인지적 감소는 측정 가능한 청력 [33][34]상실에 선행되거나 관련될 수 있다.따라서 립리딩이 청력과 인지 연령 관련 감소를 항상 완벽하게 보상할 수 있는 것은 아니다.

특정(청취) 모집단

많은 연구들이 뚜렷한 발달장애가 있는 집단에서 립리딩의 이상을 보고한다.자폐증:자폐증이 있는 사람들은 립리딩 능력이 떨어지고 시청각적 음성 [35][36]인식에서 시력에 대한 의존도가 낮아지는 것을 보일 수 있다.이것은 이러한 [37]사람들의 얼굴 시선에 대한 이상과 관련이 있을 수 있다.윌리엄스 증후군:윌리엄스 증후군이 있는 사람들은 시각 공간적 [38]어려움과는 무관할 수 있는 스피치 판독에 약간의 결함을 보인다.특정 언어 장애:SLI를 가진 아이들은 난독증이 [40]있는 사람들처럼 입술 읽기에 대한 [39]민감도가 떨어지는 것으로 보고되었다.

난청

청각장애인들의 교육에서 다른 의사소통 방법들과 비교했을 때 입술을 읽는 것('도덕주의')의 역할에 대한 논쟁은 수백 년 동안 맹위를 떨쳐왔다.하나 또는 다른 접근법이 유익한 정도는 청각장애인의 청력 손실 수준, 청력 상실 연령, 부모의 관여 및 부모의 언어를 포함한 다양한 요인에 따라 달라진다.그리고 청각장애인과 그들의 지역사회와 보호자의 목적에 관한 질문이 있다.교육의 목적은 일반적으로 의사소통을 강화하는 것인가, 제1외국어로서의 수화를 발전시키는 것인가, 아니면 청각계의 구어 기술을 발전시키는 것인가?연구자들은 이제 아이와 가족의 청각 상태, 그리고 그들의 교육 [41]계획을 고려할 때 어떤 수단과 상황에서 언어와 의사소통의 어떤 측면이 가장 잘 전달될 수 있는지에 초점을 맞추고 있다.바이모달 이중언어(음성과 수화 모두 전문성)는 청각장애 [42]어린이를 위한 언어 교육에서 현재 지배적인 접근법 중 하나이다.

청각장애인들은 보통 [43]청력을 가진 사람들보다 입술을 더 잘 읽는다.몇몇 청각장애인들은 법의학 립리딩과 같은 전문적인 립리딩 전문가로 일한다.달팽이관을 이식받은 청각장애인의 경우, 이식 전 입술 판독 기술은 이식 후([44]청각 또는 시청각) 음성 처리를 예측할 수 있습니다.많은 청각장애인들에게는, 음성 메시지가 훈련된 전문 [45][46]립스피커를 통해 전달될 때 음성 의사소통에 대한 접근이 도움을 받을 수 있다.

립리딩과 리터러시 발달과 관련하여, 청각장애로 태어난 아이들은 일반적으로 구어 [48]습득의 어려움을 반영할 수 있는 리터러시[47] 기술의 발달이 지연되는 것을 보여준다.특히, 신뢰할 수 있는 음소-그래펨 매핑은 읽고 쓰는 능력 습득에 필요한 이 단계를 숙달하기 위해 숙련된 음성 판독기가 필요한 청각 장애 아동에게 더 어려울 수 있다.립리딩 기술은 청각장애 성인과[49][50] 어린이들의 리터러시 능력과 관련이 있으며 립리딩 훈련은 리터러시 [51]기술을 발달시키는데 도움을 줄 수 있다.

Cueed Speech는 눈에 보이는 (조화적인) 입술 모양을 명확히 하는 손 모양과 함께 립 리딩을 사용합니다.큐드 스피치는 부모들이 수화보다 더 쉽게 배울 수 있다고 알려져 있고, 주로 벨기에에서 연구된 바에 따르면 큐드 스피치에 노출된 청각장애 어린이가 [52]입술을 읽는 것보다 구어를 배우는 데 더 효율적으로 발전할 수 있다고 한다.청각장애를 위한 달팽이관 이식술에서 큐드 스피치의 사용은 [53]긍정적일 수 있다.목격된 연설에 수반되는 손 모양을 사용하는 것과 관련된 유사한 접근법은 일부 교육자들에 의해 쓰이고 구어의 학습을 지원하기 위해 사용되는 비주얼 파닉스이다.

교육 및 훈련

립리딩의 교육 및 훈련의 목적은 립리딩의 본질에 대한 인식을 함양하고, '눈으로'[54] 말하는 능력을 향상시키는 방법을 연습하는 것이다.흔히 립리딩과 난청 관리 수업이라고 불리는 립리딩 수업은 주로 난청이 있는 성인들을 대상으로 한다.난청이 있는 성인의 가장 높은 비율은 노화 또는 소음 관련 손실을 가지고 있다. 이러한 두 가지 형태의 난청에서는 고주파 소리가 먼저 손실된다.언어에서 많은 자음이 고주파 소리이기 때문에, 말이 왜곡된다.보청기는 도움이 되지만 치료하지는 못할 수도 있다.립리딩 수업은 청력 손실 자선[55] 단체(2012년)가 의뢰한 영국 연구에서 도움이 되는 것으로 나타났다.

트레이너들은 립리딩이 부정확한 예술이라는 것을 인식한다.학생들은 입술, 혀, 턱의 움직임을 관찰하고, 언어의 스트레스와 리듬을 따르며, 보청기가 있든 없든 남아 있는 청력을 사용하고, 표정과 몸짓을 관찰하고, 추론하는 능력을 사용하도록 교육받는다.그들은 p, b, m, 또는 f, v와 같이 입술에서 비슷하게 보이는 소리 그룹인 립리더의 알파벳을 가르친다.그 목적은 대화에 참여할 자신감을 갖고 종종 청력 상실을 수반하는 해로운 사회적 고립을 피하기 위해 요점을 파악하는 것이다.립리딩 교실은 소음으로 듣기가 힘들고 청력 감퇴에 적응하는데 도움을 주는 사람들에게 추천된다.ATLA(Association for Teaching Lipreading to Adults)는 영국의 공인 립리딩 튜터를 위한 전문 협회이다.

테스트

대부분의 립리딩 테스트는 특정 음성 처리 작업을 수행하는 데 있어 개인 차이를 측정하고 훈련 후 수행의 변화를 감지하기 위해 고안되었습니다.립리딩 테스트는 실험 환경에서 비교적 작은 그룹과 함께 사용되거나 개별 환자 및 고객과 함께 임상 지표로 사용되어 왔습니다.즉, 지금까지의 립리딩 테스트는 일반인에게 립리딩 기술의 지표로서 유효성이 제한적이다.

기계로 립리딩과 립스피킹

자동 립리딩은 공상과학 영화뿐만 아니라 컴퓨터 공학에서도 관심의 주제가 되어 왔다.컴퓨터 엔지니어 Steve Omohundro는 그 개발을 선도했습니다.얼굴 애니메이션에서 목표는 사람의 말 동작을 시뮬레이션하는 사실적인 얼굴 동작, 특히 입의 움직임을 만드는 것이다.얼굴 이미지를 변형하거나 조작하는 컴퓨터 알고리즘은 청각 또는 문자의 언어로 구동될 수 있습니다.시스템은 얼굴 움직임(모션 캡처), 턱, 입 및 혀의 작용에 대한 해부학적 모델링 또는 알려진 내장 음소 [56][57]특성 매핑을 기반으로 할 수 있다.얼굴 애니메이션은 음성 판독 훈련에 사용되었습니다('외모'[58] 소리가 얼마나 다른지 입증).이러한 시스템은 신뢰할 수 있는 '텍스트 대 (보기) 음성' 출력을 제공하는 것을 목표로 하는 음성 합성 모델링의 하위 집합이다.보완적 목적(말할 때 얼굴을 움직이게 하는 것의 반대)은 동작하는 얼굴의 자연스러운 비디오 데이터로부터 실제적인 음성 해석(즉, 서면 대본 또는 오디오 기록)을 전달할 수 있는 컴퓨터 알고리즘을 개발하는 것이다. 이것이 얼굴 음성 인식이다.이러한 모델도 다양한 [59]데이터로부터 조달할 수 있습니다.비디오에서 자동 시각 음성 인식은 (구어 언어 데이터의 [60]말뭉치에서) 다른 언어를 구별하는 데 꽤 성공적이었다.기계 학습 알고리즘을 사용하는 시연 모델은 비디오에서 특정[61] 단어와 같은 음성 요소를 립리딩하고 시각적으로 유사한 입 [62]동작에서 립리딩하기 어려운 음소를 식별하는 데 어느 정도 성공했다.기계 기반 음성 판독은 (청각 자동 음성 [63]인식을 위한 성공적인 모델을 따라) 스피커와 음성 자료의 대용량 데이터베이스를 사용하는 뉴럴넷 기반 알고리즘을 성공적으로 사용하고 있다.

기계 립리딩에는 비디오 전용 레코드의 자동 립리딩, 성대가 손상된 스피커의 자동 립리딩, 대면 비디오에서의 음성 처리(예: 화상 전화 데이터)가 포함될 수 있다.자동 립리딩은 시끄럽거나 익숙하지 않은 [64]말을 처리하는 데 도움이 될 수 있습니다.자동 립리딩은 비밀번호 기반 [65][66]식별을 대체하는 생체 인식에 기여할 수 있습니다.

뇌

발견 Heschl의 방추상 회의 앞부분을 포함한 청각 뇌 영역은 아직 speech,[67]에 의해 시화의 신경 회로가 활성화를 따랐다 지역 포함supra-modal 처리 지역, 특히 우수한 측두 고랑(모든 부분)뿐만 아니라 후 열악한occipital-temporal 지역은 우편료 특성화된 포함하는 것으로 나타났다roce얼굴의 씽과 생물학적 [68]움직임.모든 연구는 아니지만 일부 연구에서는 음성 [69][70]판독을 위해 Broca 영역의 활성화가 보고되며, 이는 [71]음성 판독에서 조음 메커니즘이 활성화될 수 있음을 시사한다.시청각 음성 처리의 시간 과정에 대한 연구는 음성 시각이 음향 [72][73]신호보다 먼저 청각 처리 영역을 프라이밍할 수 있다는 것을 보여주었다.더 나은 립리딩 기술은 청력에서 [74][75](왼쪽) 상측두구 및 인접한 하측두구(시각적) 영역에서 더 큰 활성화와 관련이 있다.청각장애인의 경우, 음성판독에 전념하는 회로는 청각장애인과 매우 유사하며, (왼쪽) 뛰어난 시간적 활성화와 입술판독 [76]기술의 유사한 연관성을 가지고 있는 것으로 보인다.

레퍼런스

  1. ^ Woodhouse, L; Hickson, L; Dodd, B (2009). "Review of visual speech perception by hearing and hearing-impaired people: clinical implications". International Journal of Language and Communication Disorders. 44 (3): 253–70. doi:10.1080/13682820802090281. PMID 18821117.
  2. ^ Erber, NP (1969). "Interaction of audition and vision in the recognition of oral speech stimuli". J Speech Hear Res. 12 (2): 423–5. doi:10.1044/jshr.1202.423. PMID 5808871.
  3. ^ 샘 로이드의 퍼즐 사이클로피디아, 1914년
  4. ^ Benguerel, AP; Pichora-Fuller, MK (1982). "Coarticulation effects in lipreading". J Speech Hear Res. 25 (4): 600–7. doi:10.1044/jshr.2504.600. PMID 7162162.
  5. ^ Auer, ET (2010). "Investigating speechreading and deafness". Journal of the American Academy of Audiology. 21 (3): 163–8. doi:10.3766/jaaa.21.3.4. PMC 3715375. PMID 20211120.
  6. ^ Jordan, TR; Thomas, SM (2011). "When half a face is as good as a whole: effects of simple substantial occlusion on visual and audiovisual speech perception". Atten Percept Psychophys. 73 (7): 2270–85. doi:10.3758/s13414-011-0152-4. PMID 21842332.
  7. ^ Thomas, SM; Jordan, TR (2004). "Contributions of oral and extraoral facial movement to visual and audiovisual speech perception". J Exp Psychol Hum Percept Perform. 30 (5): 873–88. doi:10.1037/0096-1523.30.5.873. PMID 15462626.
  8. ^ Spehar, B; Goebel, S; Tye-Murray, N (2015). "Effects of Context Type on Lipreading and Listening Performance and Implications for Sentence Processing". J Speech Lang Hear Res. 58 (3): 1093–102. doi:10.1044/2015_JSLHR-H-14-0360. PMC 4610295. PMID 25863923.
  9. ^ Files, BT; Tjan, BS; Jiang, J; Bernstein, LE (2015). "Visual speech discrimination and identification of natural and synthetic consonant stimuli". Front Psychol. 6: 878. doi:10.3389/fpsyg.2015.00878. PMC 4499841. PMID 26217249.
  10. ^ Auer, ET; Bernstein, LE (1997). "Speechreading and the structure of the lexicon: computationally modeling the effects of reduced phonetic distinctiveness on lexical uniqueness". J Acoust Soc Am. 102 (6): 3704–10. Bibcode:1997ASAJ..102.3704A. doi:10.1121/1.420402. PMID 9407662.
  11. ^ Feld J1, Sommers M 2011 There Goes the Neighborhood: 립리딩과 정신 사전의 구조.음성 통신53년 2월 (2)일: 220-228일
  12. ^ Tye-Murray, N; Hale, S; Spehar, B; Myerson, J; Sommers, MS (2014). "Lipreading in school-age children: the roles of age, hearing status, and cognitive ability". J Speech Lang Hear Res. 57 (2): 556–65. doi:10.1044/2013_JSLHR-H-12-0273. PMC 5736322. PMID 24129010.
  13. ^ Feld, JE; Sommers, MS (2009). "Lipreading, processing speed, and working memory in younger and older adults". J Speech Lang Hear Res. 52 (6): 1555–65. doi:10.1044/1092-4388(2009/08-0137). PMC 3119632. PMID 19717657.
  14. ^ "HuffPost - Breaking News, U.S. and World News". HuffPost. Retrieved 2020-10-11.
  15. ^ Meltzoff, AN; Moore, MK (1977). "Imitation of facial and manual gestures by human neonates". Science. 198 (4312): 74–8. doi:10.1126/science.897687. PMID 897687.
  16. ^ Dodd B.1976 유아의 입술 판독: 동기 내 및 비동기 외 언어 관련 주의.인지심리학 10월 11일 : 478-84일
  17. ^ Spelke, E (1976). "Infants intermodal perception of events". Cognitive Psychology. 8 (4): 553–560. doi:10.1016/0010-0285(76)90018-9. S2CID 1226796.
  18. ^ Burnham, D; Dodd, B (2004). "Auditory-visual speech integration by prelinguistic infants: perception of an emergent consonant in the McGurk effect". Developmental Psychobiology. 45 (4): 204–20. doi:10.1002/dev.20032. PMID 15549685.
  19. ^ Rosenblum, LD; Schmuckler, MA; Johnson, JA (1997). "The McGurk effect in infants". Percept Psychophys. 59 (3): 347–57. doi:10.3758/BF03211902. PMID 9136265.
  20. ^ Pons, F; et al. (2009). "Narrowing of intersensory speech perception in infancy". Proceedings of the National Academy of Sciences. 106 (26): 10598–602. Bibcode:2009PNAS..10610598P. doi:10.1073/pnas.0904134106. PMC 2705579. PMID 19541648.
  21. ^ Lewkowicz, DJ; Ghazanfar, AA (2009). "The emergence of multisensory systems through perceptual narrowing". Trends in Cognitive Sciences. 13 (11): 470–8. CiteSeerX 10.1.1.554.4323. doi:10.1016/j.tics.2009.08.004. PMID 19748305. S2CID 14289579.
  22. ^ Havy, M., Foroud, A., Fais, L. 및 Werker, J.F. (2017년 1월 26일 온라인 보도)18개월과 성인기에 단어 학습에서 청각 및 시각적 언어의 역할.아동 발달. (프린트 전 버전)
  23. ^ 밀스, A.E. 1987 시각장애아 음운론의 발달B.Dodd & R.에서.캠벨(Eds) 눈으로 듣기: 입술 읽기의 심리학, Hove UK, Lawrence Erlbaum Associates
  24. ^ Lewkowicz, DJ; Hansen-Tift, AM (Jan 2012). "Infants deploy selective attention to the mouth of a talking face when learning speech". Proceedings of the National Academy of Sciences. 109 (5): 1431–6. Bibcode:2012PNAS..109.1431L. doi:10.1073/pnas.1114783109. PMC 3277111. PMID 22307596.
  25. ^ Davies R1, Kidd E; Lander, K (2009). "Investigating the psycholinguistic correlates of speechreading in preschool age children". International Journal of Language and Communication Disorders. 44 (2): 164–74. doi:10.1080/13682820801997189. hdl:11858/00-001M-0000-002E-2344-8. PMID 18608607.
  26. ^ Dodd B. 1987 정상적으로 듣는 아동에 의한 입술 판독 능력 습득.B.Dodd & R.에서.Campbell (Eds) Hearning by Eye, Erlbaum NJ pp163-176
  27. ^ Jerger, S; et al. (2009). "Developmental shifts in children's sensitivity to visual speech: a new multimodal picture-word task". J Exp Child Psychol. 102 (1): 40–59. doi:10.1016/j.jecp.2008.08.002. PMC 2612128. PMID 18829049.
  28. ^ Kyle, FE; Campbell, R; Mohammed, T; Coleman, M; MacSweeney, M (2013). "Speechreading development in deaf and hearing children: introducing the test of child speechreading". Journal of Speech, Language, and Hearing Research. 56 (2): 416–26. doi:10.1044/1092-4388(2012/12-0039). PMC 4920223. PMID 23275416.
  29. ^ Tye-Murray, N; Hale, S; Spehar, B; Myerson, J; Sommers, MS (2014). "Lipreading in school-age children: the roles of age, hearing status, and cognitive ability". J Speech Lang Hear Res. 57 (2): 556–65. doi:10.1044/2013_JSLHR-H-12-0273. PMC 5736322. PMID 24129010.
  30. ^ Peelle, JE; Sommers, MS (2015). "Prediction and constraint in audiovisual speech perception". Cortex. 68: 169–81. doi:10.1016/j.cortex.2015.03.006. PMC 4475441. PMID 25890390.
  31. ^ Campbell, R (2008). "The processing of audio-visual speech: empirical and neural bases". Philosophical Transactions of the Royal Society B. 363 (1493): 1001–1010. doi:10.1098/rstb.2007.2155. PMC 2606792. PMID 17827105.
  32. ^ Sumby, WH; Pollack, I (1954). "Visual contribution to speech intelligibility in noise". Journal of the Acoustical Society of America. 26 (2): 212–215. Bibcode:1954ASAJ...26..212S. doi:10.1121/1.1907309.
  33. ^ Taljaard, Schmulian; et al. (2015). "The relationship between hearing impairment and cognitive function: A meta-analysis in adults" (PDF). Clin Otolaryngol. 41 (6): 718–729. doi:10.1111/coa.12607. hdl:2263/60768. PMID 26670203. S2CID 5327755.
  34. ^ Hung, SC; et al. (2015). "Hearing Loss is Associated With Risk of Alzheimer's Disease: A Case-Control Study in Older People". J Epidemiol. 25 (8): 517–21. doi:10.2188/jea.JE20140147. PMC 4517989. PMID 25986155.
  35. ^ Smith, EG; Bennetto, L.J (2007). "Audiovisual speech integration and lipreading in autism". Journal of Child Psychology and Psychiatry. 48 (8): 813–21. doi:10.1111/j.1469-7610.2007.01766.x. PMID 17683453.
  36. ^ Irwin, JR; Tornatore, LA; Brancazio, L; Whalen, DH (2011). "Can children with autism spectrum disorders "hear" a speaking face?". Child Dev. 82 (5): 1397–403. doi:10.1111/j.1467-8624.2011.01619.x. PMC 3169706. PMID 21790542.
  37. ^ Irwin, JR; Brancazio, L (2014). "Seeing to hear? Patterns of gaze to speaking faces in children with autism spectrum disorders". Front Psychol. 5: 397. doi:10.3389/fpsyg.2014.00397. PMC 4021198. PMID 24847297.
  38. ^ Böhning, M; Campbell, R; Karmiloff-Smith, A (2002). "Audiovisual speech perception in Williams syndrome". Neuropsychologia. 40 (8): 1396–406. doi:10.1016/s0028-3932(01)00208-1. PMID 11931944. S2CID 9125298.
  39. ^ Leybaert, J; Macchi, L; Huyse, A; Champoux, F; Bayard, C; Colin, C; Berthommier, F (2014). "Atypical audio-visual speech perception and McGurk effects in children with specific language impairment". Front Psychol. 5: 422. doi:10.3389/fpsyg.2014.00422. PMC 4033223. PMID 24904454.
  40. ^ Mohammed T1, Campbell R; Macsweeney, M; Barry, F; Coleman, M (2006). "Speechreading and its association with reading among deaf, hearing and dyslexic individuals". Clinical Linguistics and Phonetics. 20 (7–8): 621–30. doi:10.1080/02699200500266745. PMID 17056494. S2CID 34877573.
  41. ^ "Hands & Voices :: Articles".
  42. ^ Swanwick, R (2016). "Deaf Children's bimodal bilingualism and education" (PDF). Language Teaching. 49 (1): 1–34. doi:10.1017/S0261444815000348. S2CID 146626144.
  43. ^ Bernstein, LE; Demorest, ME; Tucker, PE (2000). "Speech perception without hearing". Perception & Psychophysics. 62 (2): 233–52. doi:10.3758/bf03205546. PMID 10723205.
  44. ^ Bergeson TR1, Pisoni DB; Davis, RA (2005). "Development of audiovisual comprehension skills in prelingually deaf children with cochlear implants". Ear & Hearing. 26 (2): 149–64. doi:10.1097/00003446-200504000-00004. PMC 3432935. PMID 15809542.
  45. ^ "Communication support for deaf people". 2015-11-24.
  46. ^ "Lipspeaker UK - Communication services for deaf & hard of hearing people".
  47. ^ "Reading and dyslexia in deaf children Nuffield Foundation".
  48. ^ Mayer, C. (2007). "What really matters in the early literacy development of deaf children". J Deaf Stud Deaf Educ. 12 (4): 411–31. doi:10.1093/deafed/enm020. PMID 17566067.
  49. ^ Mohammed, Tara; Campbell, Ruth; MacSweeney, Mairéad; Barry, Fiona; Coleman, Michael (2006). "Speechreading and its association with reading among deaf, hearing and dyslexic individuals". Clinical Linguistics & Phonetics. 20 (7–8): 621–630. doi:10.1080/02699200500266745. PMID 17056494. S2CID 34877573.
  50. ^ Kyle, F. E.; Harris, M. (2010). "Predictors of reading development in deaf children: a 3-year longitudinal study" (PDF). J Exp Child Psychol. 107 (3): 229–243. doi:10.1016/j.jecp.2010.04.011. PMID 20570282.
  51. ^ Kyle, Fiona E.; Campbell, Ruth; Mohammed, Tara; Coleman, Mike; MacSweeney, Mairéad (2013). "Speechreading Development in Deaf and Hearing Children: Introducing the Test of Child Speechreading". Journal of Speech, Language, and Hearing Research. 56 (2): 416–426. doi:10.1044/1092-4388(2012/12-0039). PMC 4920223. PMID 23275416.
  52. ^ Nicholls, GH; Ling, D (1982). "Cued Speech and the reception of spoken language". J Speech Hear Res. 25 (2): 262–9. doi:10.1044/jshr.2502.262. PMID 7120965.
  53. ^ Leybaert, J; LaSasso, CJ (2010). "Cued speech for enhancing speech perception and first language development of children with cochlear implants". Trends in Amplification. 14 (2): 96–112. doi:10.1177/1084713810375567. PMC 4111351. PMID 20724357.
  54. ^ "Lipreading Alphabet: Round Vowels". Archived from the original on 2014-06-23. Retrieved 2014-06-23.
  55. ^ "Campaigns and influencing".
  56. ^ "Home > Rachel-Walker > USC Dana and David Dornsife College of Letters, Arts and Sciences" (PDF).
  57. ^ "Rule-Based Visual Speech Synthesis". 1995. pp. 299–302.
  58. ^ Bosseler, Alexis; Massaro, Dominic W. (2003). "Development and Evaluation of a Computer-Animated Tutor for Vocabulary and Language Learning in Children with Autism". Journal of Autism and Developmental Disorders. 33 (6): 653–672. doi:10.1023/B:JADD.0000006002.82367.4f. PMID 14714934. S2CID 17406145.
  59. ^ "Visual Speech Synthesis - UEA".
  60. ^ "Lip-reading computer can distinguish languages".
  61. ^ Ghostarchive 및 Wayback Machine에서 아카이브:
  62. ^ Hickey, Shane (2016-04-24). "The innovators: Can computers be taught to lip-read?". The Guardian.
  63. ^ "Google's DeepMind AI can lip-read TV shows better than a pro".
  64. ^ Petajan, E.; Bischoff, B.; Bodoff, D.; Brooke, N. M. (1988). "An improved automatic lipreading system to enhance speech recognition". Proceedings of the SIGCHI conference on Human factors in computing systems - CHI '88. pp. 19–25. doi:10.1145/57167.57170. ISBN 978-0201142372. S2CID 15211759.
  65. ^ http://www.asel.udel.edu/icslp/cdrom/vol1/954/a954.pdf[베어 URL PDF]
  66. ^ http://www.planetbiometrics.com - article - article - i - 2250[영구 데드링크]
  67. ^ Calvert, GA; Bullmore, ET; Brammer, MJ; et al. (1997). "Activation of auditory cortex during silent lipreading". Science. 276 (5312): 593–6. doi:10.1126/science.276.5312.593. PMID 9110978.
  68. ^ Bernstein, LE; Liebenthal, E (2014). "Neural pathways for visual speech perception". Front Neurosci. 8: 386. doi:10.3389/fnins.2014.00386. PMC 4248808. PMID 25520611.
  69. ^ Skipper, JI; van Wassenhove, V; Nusbaum, HC; Small, SL (2007). "Hearing Lips and Seeing Voices: How Cortical Areas Supporting Speech Production Mediate Audiovisual Speech Perception". Cerebral Cortex. 17 (10): 2387–2399. doi:10.1093/cercor/bhl147. PMC 2896890. PMID 17218482.
  70. ^ Campbell, R; MacSweeney, M; Surguladze, S; Calvert, G; McGuire, P; Suckling, J; Brammer, MJ; David, AS (2001). "Cortical substrates for the perception of face actions: an fMRI study of the specificity of activation for seen speech and for meaningless lower-face acts (gurning)". Brain Res Cogn Brain Res. 12 (2): 233–43. doi:10.1016/s0926-6410(01)00054-4. PMID 11587893.
  71. ^ Swaminathan, S.; MacSweeney, M.; Boyles, R.; Waters, D.; Watkins, K. E.; Möttönen, R. (2013). "Motor excitability during visual perception of known and unknown spoken languages". Brain and Language. 126 (1): 1–7. doi:10.1016/j.bandl.2013.03.002. PMC 3682190. PMID 23644583.
  72. ^ Sams, M; et al. (1991). "Aulenko et al. 1991 Seeing Speech: visual information from lip movements modifies activity in the human auditory cortex". Neuroscience Letters. 127 (1): 141–145. doi:10.1016/0304-3940(91)90914-f. PMID 1881611. S2CID 9035639.
  73. ^ Van Wassenhove, V; Grant, KW; Poeppel, D (Jan 2005). "Visual speech speeds up the neural processing of auditory speech". Proceedings of the National Academy of Sciences. 102 (4): 1181–6. Bibcode:2005PNAS..102.1181V. doi:10.1073/pnas.0408949102. PMC 545853. PMID 15647358.
  74. ^ Hall DA1, Fussell C, Summerfield AQ. 2005 말하는 얼굴에서 유창한 말투 읽기: 전형적인 뇌 네트워크와 개인 차이.J. Cogn Neurosci. 17(6): 939-53.
  75. ^ Bernstein, LE; Jiang, J; Pantazis, D; Lu, ZL; Joshi, A (2011). "Visual phonetic processing localized using speech and nonspeech face gestures in video and point-light displays". Hum Brain Mapp. 32 (10): 1660–76. doi:10.1002/hbm.21139. PMC 3120928. PMID 20853377.
  76. ^ Capek, CM; Macsweeney, M; Woll, B; Waters, D; McGuire, PK; David, AS; Brammer, MJ; Campbell, R (2008). "Cortical circuits for silent speechreading in deaf and hearing people". Neuropsychologia. 46 (5): 1233–41. doi:10.1016/j.neuropsychologia.2007.11.026. PMC 2394569. PMID 18249420.

참고 문헌

  • D. Stork와Henneke (Eds) (1996) 인간과 기계에 의한 스피치 리딩:시스템 및 응용 프로그램을 모델링합니다.나토 ASI 시리즈 F 컴퓨터 및 시스템 과학 제150권독일 베를린, 스프링거
  • E.Bailly, P.페리어와 E.Batikiotis-Bateson (Eds) (2012) 시청각 스피치 처리, 캠브리지 대학 출판부, 영국 캠브리지
  • 눈으로 듣는 것(1987년), B.도드와 R.Campbell (Eds), Erlbaum Asstes, Hillsdale NJ; Hearing by Eye II, (1997년) R.캠벨, B도드와 D.Hove UK, 심리학 프레스, Burnham (Eds)
  • D. W. Massaro(1987년, 2014년 전재) 귀로 및 눈으로 음성 인식, Hillsdale NJ, Lawrence Erlbaum Associates

추가 정보

외부 링크