청각 피드백

청각 피드백(AF)은 개인이 현재 음성이나 노래의 생산이 자신의 음향적 의도에 부합하는지 검증할 수 있도록 도와 음성 생산과 노래를 통제하는 데 인간이 사용하는 보조 수단이다. 이 과정은 청각 피드백 루프라고 알려진 것을 통해 가능하다. 3부 사이클은 개인이 먼저 말하고, 그들이 말한 것을 듣고, 마지막으로 필요할 때 수정하는 것이다. 운동과학과 신경과학의 관점에서 볼 때 음향청각 음성신호는 언어동작기(아래턱, 입술, 혀 등)의 움직임(숙련된 동작)의 결과로 해석할 수 있다. 따라서 청각 피드백은 시각적 피드백이 사지 움직임을 제어하는 것과 같은 방식으로 숙련된 동작을 제어하는 피드백 메커니즘으로 유추될 수 있다.

스피치

청각적 피드백은 말을 감시하고, 그들이 하나를 식별했을 때 생산 오류를 신속하게 시정할 수 있게 해주기 때문에, 그것은 유창한 언어 생산의 중요한 요소가 된다.^[1] 음성 모터 제어에 대한 청각 피드백의 역할은 종종 참가자를 주파수 변경 피드백에 노출시켜 조사한다. 이들의 청각 피드백 빈도의 짧고 예측할 수 없는 변화를 유도하는 것이 일관되게 "피치 이동 반사"를 유도하는 것으로 나타났는데, 이는 이러한 반사 작용이 원하는 대상 주변의 음성 주파수를 안정화하는 데 도움이 된다는 것을 시사한다.^[2][3]

그러나 청각 피드백은 생산 수준에서 보정이 발생하기 전에 100밀리초 이상이 필요하기 때문에 음성 소리(보울 또는 자음)의 지속시간(또는 생산시간)에 비해 느린 보정 메커니즘이다.^[4] 따라서 청각 피드백은 실시간으로 음성 소리의 생산을 교정하기에는 너무 느리다. 그럼에도 불구하고 청각 피드백은 일련의 시험(즉, 재학습에 의한 적응; DIVA 모델을 사용한 섭동 실험: 신경 컴퓨터 음성 처리 참조)에 걸쳐 음성 소리 생산을 변경할 수 있다는 것이 입증되었다. 일반적으로 거의 완전한 적응에 10분이면 충분하다. 또한 연구 결과에 따르면 외부 언어 템플릿을 화자가 사용할 수 있을 때 의도한 언어에 대한 허용 편차가 감소하는 것을 반영하여 청각 언어 자극은 비언어적 프롬프트보다 음향 동요에 더 큰 수정을 초래했다.^[5]

음성 획득 및 개발

청각 피드백은 아동의 음성 획득 중 중요한 보조 수단으로서, 아이가 음성 모터 계획 과정을 픽업하고 결국 혼잣말 모터 계획 과정에 사용되는 음성 결과에 대한 정보를 제공한다. 청각적 입력은 일반적으로 의사소통 파트너(예: 관리인)에 의해 생산되고, 유아에게 들리며, 그 후에 이를 모방하려고 한다.^[6][7] 4살 정도의 어린 아이들은 음성 모터 패턴을 모음 청각 피드백의 인식 변화에 적응시킬 수 있는 능력을 보여주었고, 이것은 그들이 음성 출력의 정확성을 유지할 수 있게 해준다.^[8] 그러나 어린이의 음성 모터 어댑테이션 능력은 청각 지각 능력이 제한되어 완전히 최적화되지 않는다. 따라서 관련 음향 특성을 인지하는 어린이의 능력의 향상은 보통 음성 적응 성능의 향상이 뒤따를 것이다.^[9]

청각장애인으로 태어난 사람들은 종종 유창한 언어를 습득하지 못하며, 청각 피드백이 어떻게 언어 습득과 발달에 중요한 역할을 하는지를 더욱 강화한다.^[10]

청각 피드백 실험 지연은 청각 피드백이 음성 생산 중, 심지어 성인에게도 중요하다는 것을 나타낸다. 음성 피드백의 타이밍이 정상 스피커의 경우 지연될 때 심각한 언어 불협화음이 발생하는 것으로 나타났다.^[11][12] 언어 후 청각장애인이 되어 더 이상 성대하게 피드백을 받을 수 없는 개인들도 일반적으로 언어의 질 저하를 경험하며,^[13][14] 평생 동안 언어 형성에서 청각 피드백의 중요성을 강조한다.

언어장애에 미치는 영향

말더듬이

Stuttering is said to be due to ineffective monitoring of auditory feedback, mainly caused by a deficit in the cortical auditory system modulation during speech planning^[15] When fluent speakers detect a sudden irregularity in a specific acoustic parameter of their auditory feedback, they are able to instantly correct the error in their speech producti반면 말을 더듬는 개인은 그런 오류를 시정하는 능력이 보통보다 약한 것으로 밝혀졌다.^[16] 따라서 말을 더듬는 개인은 유창한 화자에 비해 원하는 음성 동작의 효과적인 청각 비교를 보여준다.^[17]

지연된 청각 피드백은 언어와 청각 인식 사이의 시간을 연장하면 오류를 처리하고 수정하는데 더 많은 시간을 허용하기 때문에 말을 더듬는 일부 개인에게 효과적인 치료법인 것으로 밝혀졌다.^[18]

언어의 압락시아

언어장애로 고통 받는 사람들은 사료의 전달 프로그램이 약해서, 그들의 언어의 불규칙성을 초래한다고 가정된다.^[19] 따라서 이러한 개인은 삶의 후반 단계에서라도 언어 오류를^[20] 최소화하고 수리하기 위해 청각 피드백에 크게 의존하게 되며, 유창한 스피커는 피드백 의존에서 피드포워드-도민제로 쉽게 전환된다.^[21] 이것은 대부분 청각 피드백에 크게 의존하는 것이 빠르고 정확한 언어의 생산에 비효율적이라고 하기 때문에 이상적인 것은 아니다.^[22]

청각적 마스킹은 언어장애로 고통 받는 일부 개인들의 음절 뿐만 아니라 불규칙적인 지속시간을 감소시키고 음절율을 증가시키는 것으로 밝혀졌다.^[23] 언어 장애는 피드포워드 프로그램이 약하고 청각 피드백에 대한 높은 의존성 때문이라고 하기 때문에, 청각 마스킹은 감사하게 음성 오류에 출석하는 화자의 빈도를 줄임으로써 유창성을 증가시키고, 따라서 불협화음을 발생시키는 교정 가능성을 감소시킴으로써 유창성을 증가시킬 수 있다.

시각장애인에게 미치는 영향

향상된 청각 처리 능력은 시각 장애가 있는 개인에게 관찰될 수 있으며, 시각 장애인은 시력의 부족을 부분적으로 보완하며 다른 감각에서는 더 민감하게 볼 수 있다.^[24] 청각 피드백에 대한 민감도가 높아짐에 따라 시력이 부족함에도 불구하고 인상적인 공간 인식을 보여줄 수 있게 되었다.^[25][26][27]

데스크톱 지원

연구에 따르면, 더 이상 비전이 정보를 얻는 주요 소스가 아닐 때, 데스크톱 환경에서 초점이 시력에서 청력으로 바뀐다.^[28] 현재 화면 판독기와 같은 보조 기술이 있어 시각 장애인이 청각 피드백(예: 죠스^[29])을 통해 데스크톱 화면에 정보를 얻을 수 있도록 돕는다. 보조는 음성 기반 청각 피드백 또는 비음성 기반 청각 피드백의 형태로 제공될 수 있다. 음성 기반 인터페이스는 사람의 말을 기반으로 하고, 비음성 기반 인터페이스는 음악이나 인공 음향 효과와 같은 환경적 소리를 기반으로 한다.

시각 장애인의 경우, 음성 기반 청각 피드백에만 의존하면 더 무거운 인지 부하가 부과되며 이는 사용자에게 자극적이다.^[30] 이와는 대조적으로, 비언어 청각 피드백은 유쾌하고 정보를 더 빨리 전달하지만, 단서들을 이해하기 위해서는 전달에 상세한 정보가 부족하고 훈련이 필요하다. 따라서 현재 가장 이상적인 인터페이스는 사용자 상태에 따라 음성 및 비음성 신호 간에 자동으로 전환되는 적응형 청각 피드백이다. 그러한 인터페이스는 시각 장애인 사용자들 사이에서 더 편안하고 더 높은 만족도를 생성하는 것으로 밝혀졌다.^[31]

기타 장애에 미치는 영향

글쓰기 장애에서의 그래프모터 학습

청각 피드백이 글쓰기 학습에 영향을 미치는지 알아보기 위한 재판이 진행되었다. 성인의 경우 청각적 피드백은 글쓴이의 글쓰기 동작을 더 잘 구별할 수 있는 것으로 나타났다. 이것은 소리를 사용하여 새로운 등장인물의 글쓰기를 배울 때 글쓰기의 흐름과 신속성을 증가시키는 결과를 낳았다.^[32] 그 후 후속 연구들은 난독증 어린이를 위한 보조 도구로서 청각 피드백의 사용을 시험해 보았다. 글쓰기를 하면서 청각 피드백을 사용하는 여러 번의 시트를 거쳐 어린이들이 보다 부드럽고 빠르고 명확하게 글을 쓸 수 있는 것으로 나타났다.^[33]

청각 피드백 원리에 기초한 제품은 그러한 글쓰기 장애를 가진 사람들을 돕기 위해 발명되었다. 언어장애가 있는 아동도 이런 제품에서 혜택을 볼 수 있다. 예를 들어, Forbrain이라고 불리는 헤드폰은 뼈 도체와 일련의 동적 필터를 사용하여 자신의 목소리에 대한 인식을 교정한다. 이것은 집중력, 주의력, 언어, 조정력, 그리고 다른 감각 기능을 향상시킨다. 2015년 'ICT 특수 교육 니즈 솔루션' 부문에서 BETT 쇼가 수상하였다.

운동 장애에서의 모터 학습

뇌성마비로 고생하는 환자들은 신경계의 결함으로 인해 보행능력이 거의 없다.^[34] 정기적인 오디오 신호 형태의 청각 피드백은 환자의 걸음걸이가 상당히 개선된 것으로 확인되었으며, 몇 가지 설명이 제안되었다. 한 모델은 청각 피드백이 모터 시스템에 대한 추가 정보 채널로 작용하여 모터 결함의 시작을 줄이고 환자의 걸음걸이를 개선한다고 주장한다.^[35] 또 다른 모델은 오디오 신호가 힐 스트라이크 타이밍과 같은 동작 패턴을 지시함으로써 환자의 걸음걸이에 영향을 미친다고 주장한다. 뇌성마비 환자들은 걸음걸이의 질에 대한 즉각적인 청각적 피드백을 제공하는 장치를 착용함으로써 부정적인 게트가 감지되었을 때 발생하는 소리를 피할 수 있는 적절한 방법으로 발을 내려놓는 법을 배웠다.^[36]

행동 장애에 대한 사회적 상호작용 및 운동 조정 학습

청각 피드백 기반 치료의 사용은 자폐 스펙트럼 장애가 있는 어린이들의 사회적 상호작용, 모방 및 조정 능력을 향상시킨 것으로 밝혀졌다.^[37] 이것은 센서를 사용하여 아이들의 신체 움직임을 추적하는 소프트웨어를 통해 달성된다. 각각의 제스처는 문장들을 발음하는 음성 녹음을 활성화할 것이다.^[37] 그러면 아이들은 줄거리를 만들기 위해 이 문장들을 다시 정렬해야 한다. 이러한 청각 단서들을 통해 아동의 개선을 추적하기 위해 운동량, 속도 등 서로 다른 조정 지표도 기록되었다.^[37]

음악 성능에 미치는 영향

계측기 성능

청각적 피드백은 새로운 뮤지컬 작품을 고르는 데 중요하다. 초보 피아노 연주자를 불규칙한 청각 피드백에 노출시킴으로써 논리적이고 예상 가능한 청각 피드백을 받는 연주자에 비해 실수를 더 많이 저지른다.^[38] 청각 피드백이 있는 곳에서 배우면서 뮤지컬 작품에 대한 기억력도 향상되었다.^[39]

그러나 여러 연구에서 청각적 피드백이 없어도 노련한 음악가의 연주에 큰 지장이 없는 것으로 나타났다.^[40][41] 청각 피드백이 없거나 지연될 때, 음악가들은 연주를 지시하기 위해 청각적 이미지에 의지한다.^[41] 음악가들이 그들의 공연을 이끌기 위해 손을 보는 시각적 피드백과 같은 다른 형태의 피드백도 대신 보상에 사용될 수 있다.^[42] 주요한 장애는 페달을 밟는 부분에서만 볼 수 있었는데, 그 결과 피아니스트들은 청각 피드백이 없을 때 페달을 덜 밟는 경향이 있었다.^[41]

노래부르기

인간 노래의 경우 청각 피드백의 중요성은 하웰이 검토한다.^[43] 가창의 맥락에서 가수는 관현악 반주나 동료 가수들에 의해 익사당해도 음정의 정확성을 유지하는 것이 중요하다. 많은 연구가 외부 청각 피드백과 자기감각(내부 피드백이라고도 함)이 피치 제어에 미치는 영향을 조사했다. 외부 청각 피드백은 특히 음성 훈련이 없는 성인의 경우 피치 정확도를 유지하는 데 중요한 것으로 밝혀졌다.^[44][45] 이는 비전문가 가수들이 청각적 피드백을 적게 받았을 때 어떻게 낮은 음의 정확도를 보이는지를 밝혀낸 최근의 연구에 의해 더욱 뒷받침되고 있다. 그러나, 이 연구는 또한 전문 가수들이 수년 간의 훈련 후에 그들의 내부 피드백에 의존할 수 있기 때문에 청각 피드백에 거의 영향을 받지 않고 어떻게 전문 가수들의 음조가 유지되는지를 강조했다.^[46]

버드송

새소리의 학습과 생산에서 청각 피드백의 역할은 여러 연구 논문에서 연구되었다. 노래하는 새들은 자신이 내는 소리를 선천적인 가락이나 다른 사람들로부터 외우는 노래와 비교하기 위해 청각적 피드백에 의존하는 것으로 밝혀졌다.^[47] 수많은 연구 결과, 스스로 들을 수 있는 능력이 없으면 노래하는 새가 변칙적인 노래를 개발하거나 청력 상실을 경험한 후 부르는 노래의 퇴화를 보인다는 것을 알 수 있다.^[48][49] 청력 상실 이후의 새소리 악화를 설명하기 위해 여러 과학 모델이 제시되었다. (예: 전뇌에 있는 브레인마드와 두프의(2000) 오류 조정 채널 참조: 새소리 학습에서의 청각 피드백).^[48]

그러나, 새소리 품질의 하락은 인구 통계에 따라 크게 달라질 수 있다. 예를 들어, 다른 연구들은 나이든 새들의 노래들이 일관성을 유지하거나 귀머거리가 된 후 더 느린 퇴화율을 보인다는 것을 발견했다.^[50] 일부 연구자들은 노래의 질을 유지하기 위해 감각 정보와 같은 다른 형태의 비청각적 피드백을 사용하는 방법을 배우는 송어새의 탓으로 돌렸다.^[49] 이 과정을 감각-운동 결합이라고 한다. 다른 사람들은 나이든 새들이 그들의 노래를 배우기 위해 청각적 피드백에 더 오랜 시간 접근할 수 있고, 이것은 더 많은 연습을 하게 되고, 따라서 귀가 먹먹한 후에도 더 안정적인 노래 제작을 하게 된다고 주장한다.^[50]

참고 항목

• 지연된 청각 피드백
• 청각 처리 장애
• 언어 생산
• 시각적 피드백
• 신경 컴퓨팅 음성 처리(DIVA 모델)

참조