3D 사운드 합성

3D sound synthesis

3D 사운드는 가장 일반적으로 인간의 소리 경험으로 정의된다.소리는 모든 방향과 다양한 거리에서 귀에 도달하는데, 이것은 인간이 듣는 3차원 청각적 이미지에 기여한다.3D 사운드로 일하는 과학자들과 엔지니어들은 실제 사운드의 복잡성을 정확하게 합성하기 위해 일한다.

목적

일상생활에서 3D 사운드의 존재와 3D 사운드의 현지화 활용이 확산되면서 게임, 홈씨어터, 휴먼 에이드 시스템 등의 분야에서 3D 사운드의 응용이 인기를 끌었다.3D 소리 합성의 목적은 3D 소리로부터 수집된 정보를 스스로 이용하기 어려운 만큼, 3D 소리로부터 수집된 정보를 해석하기 위한 것으로 여겨진다.

적용들

3D 사운드 합성 응용은 게임, 원격회의 시스템, 웸블리 시스템에서 보다 현실적인 환경과 감각을 만들어냄으로써 가상 환경에서 존재감을 느끼는 것이다. 또한 3D 사운드는 시각장애인과 같은 감각장애를 가진 사람들을 돕고 다른 감각사료의 대용물 역할을 하는 데 사용될 수 있다.뒤쪽에

3D 음원은 음원의 3차원 음향 복사 특성뿐만 아니라 3차원 공간에서의 선원의 위치를 포함할 수 있다.[1]

문제성명 및 기본사항

3D 사운드 합성의 세 가지 주요 문제점은 전면에서 후면 반전, 두개내에서 들리는 소리, 그리고 HRTF 측정이다.

앞뒤 반전(front-to-back reversion)은 피사체의 뒤에 위치할 때 피사체의 바로 앞에서 들리는 소리, 그 반대의 소리를 말한다.이 문제는 피험자의 머리 움직임과 핀나 반응을 정확하게 포함시킴으로써 줄일 수 있다.HRTF 계산 중에 이 두 개를 놓치면 역 문제가 발생한다.서로 다른 방향의 소리의 차이를 과장하고 핀나 효과를 강화해 전후반환율을 낮추는 조기 에코 대응도 해법이다.[2][3]

내향적으로 들리는 소리는 사람의 머리 속에서 들리는 듯한 외부적인 소리들이다.이것은 반향 신호를 추가함으로써 해결될 수 있다.

HRTF 측정은 발생하는 소음과 선형성 문제를 말한다.국소화에 숙련된 피험자와 함께 몇 가지 일차 청각 단서들을 사용함으로써 대부분의 경우에 효과적인 HRTF가 생성될 수 있다.

방법들

3D 사운드 합성에 사용되는 세 가지 주요 방법은 머리 관련 전달 기능, 사운드 렌더링, 스피커 위치와의 3D 사운드 합성이다.

헤드 관련 전송 기능

PCA와 BMT를 결합한 합성구조

머리 관련 전달함수(HRTF)는 음원 위치에 기초한 선형 함수로, 경락간 시간차, 머리 그림자, 핀나 반응, 어깨 에코, 머리 동작, 조기 반향, 시력 등 인간이 소리를 국소화하기 위해 사용하는 기타 정보를 고려한다.

이 시스템은 일련의 마이크를 사용하여 사람의 귀에 소리를 녹음함으로써 인간의 음향 시스템을 모델링하려고 시도하는데, 이것은 3D 소리를 보다 정확하게 합성할 수 있게 한다.HRTF는 이러한 녹음과 원래의 소리를 비교함으로써 얻어진다.그 후, HRTF는 특정 소리 위치의 유한 임펄스 반응 필터(FIR) 쌍을 개발하는데 사용되며, 각각의 소리는 왼쪽과 오른쪽을 위한 두 개의 필터를 가지고 있다.3D 공간의 일정한 위치에 소리를 배치하기 위해 그 위치에 해당하는 FIR 필터 세트를 들어오는 소리에 적용하여 공간적인 소리를 낸다.[4]공간의 특정 지점에서 발생하는 소리 신호를 복잡하게 만드는 데 관련된 계산은 일반적으로 크기 때문에 복잡성을 줄이기 위해 많은 작업이 필요하다.그러한 작업 중 하나는 PCA(주요 구성요소 분석)와 BMT(균형 모델 절단)를 함께 결합하는 것에 기초한다.PCA는 데이터 마이닝데이터 감소에 널리 사용되는 방법으로, 중복성을 줄이기 위해 BMT에 앞서 3D 사운드 합성 시 사용되었다.BMT는 계산 복잡성을 낮추기 위해 적용된다.

사운드 렌더링

사운드 렌더링 방식은 장면 내 각 사물에 특성 사운드를 부착해 3D 사운드로 합성해 사운드 월드를 만드는 방식이다.음원은 샘플링 또는 인공적인 방법으로 얻을 수 있다.그 방법에는 두 가지 뚜렷한 패스가 있다.첫 번째 패스는 각 물체에서 마이크까지의 전파 경로를 계산하고 그 결과는 음원의 기하학적 변환을 위해 수집된다.첫 번째 단계로부터의 변환은 지연과 감쇠에 의해 제어된다.두 번째 패스는 소리 물체의 최종 사운드 트랙을 만들고, 변조하고, 합성한 후에 만든다.[5]

HRTF 세대보다 간단한 방법인 렌더링 방식은 우주에서 소리가 모든 방향으로 전파되기 때문에 빛과 음파의 유사성을 이용한다.음파는 빛처럼 반사되고 굴절된다.마지막으로 들리는 소리는 다중 경로 전송 신호의 통합이다.

처리 절차에는 네 가지 단계가 있다.첫 번째 단계는 각 물체에 특징적인 소리를 내는 것이다.두 번째 단계는 소리가 생성되어 움직이는 물체에 부착될 때 입니다.세 번째 단계는 반향 효과와 관련된 경련을 계산하는 것이다.소리 렌더링은 물체와 유사한 소리의 파장을 사용하여 반사에서 확산되어 소리의 부드러운 효과를 제공함으로써 이를 근사하게 한다.마지막 단계는 2단계에서 계산된 경련을 음원에 적용하는 것이다.이러한 단계를 통해 큰 차이 없이 단순화된 사운드 추적 알고리즘을 사용할 수 있다.

3D 사운드를 스피커 위치와 합성

음장 재생성[6]

이 방법은 8개의 스피커를 전략적으로 배치하여 공간적 소리를 시뮬레이션하는 대신, 샘플링된 소리를 사물에 부착하는 것을 포함한다.[6]첫 번째 단계는 오리지널 사운드 분야에서 큐빅 마이크 배열을 사용하여 소리를 포착하는 것으로 구성된다.그런 다음 재생 사운드 필드에서 큐빅 확성기 배열을 사용하여 소리를 캡처한다.확성기 배열 안에 있는 청취자는 소리가 마이크 배열 위로 이동할 때 소리가 머리 위로 움직이는 것을 느낄 것이다.[6]

파장 합성Huygens-Fresnel 원리를 이용하여 파장 전선을 합성하는 공간 오디오 렌더링 기법이다.우선 마이크 배열로 원음을 녹음한 다음 확성기 배열을 사용하여 듣기 영역의 소리를 재현한다.그 배열들은 마이크와 확성기가 배치된 그들 자신의 영역의 경계를 따라 배치된다.이 기법은 여러 청취자가 청취 구역에서 이동할 수 있게 하고, 여전히 사방에서 같은 소리를 들을 수 있게 하는데, 바이노럴크로스스토크 취소 기법은 달성할 수 없다.일반적으로 파장 합성을 이용한 음향 재생 시스템은 확성기를 2D 공간에 줄이나 청취자 주위에 배치한다.

참조

  1. ^ Ziemer, Tim (2020). Psychoacoustic Music Sound Field Synthesis. Current Research in Systematic Musicology. Vol. 7. Cham: Springer. p. 287. doi:10.1007/978-3-030-23033-3. ISBN 978-3-030-23033-3.
  2. ^ Burgess; David A (1992). Techniques for Low Cost Spatial Audio. Proceedings of the 5th Annual ACM Symposium on User Interface Software and Technology. pp. 53–59. CiteSeerX 10.1.1.464.4403. doi:10.1145/142621.142628. ISBN 978-0897915496.
  3. ^ Zhang, Ming; Tan, Kah-Chye; M.H.Er (1998). A refined algorithm of 3-D sound synthesis. Fourth International Conference on Signal Processing , 1998. ICSP '98. 1998. Vol. 2. pp. 1408–1411 vol.2. doi:10.1109/ICOSP.1998.770884. ISBN 978-0-7803-4325-2.
  4. ^ Tonnesen, Cindy; Steinmetz, Joe. "3D Sound Synthesis".
  5. ^ Takala; Tapio; James, Hahn (1992). Sound Rendering. SIGGRAPH Comput. Graph. Vol. 26. pp. 211–220. doi:10.1145/133994.134063. ISBN 978-0897914796.
  6. ^ a b c M. Naoe; T. Kimura; Y. Yamakata; M. Katsumoto (2008). Performance Evaluation of 3D Sound Field Reproduction System Using a Few Loudspeakers and Wave Field Synthesis. Universal Communication. pp. 36–41. doi:10.1109/ISUC.2008.35. ISBN 978-0-7695-3433-6.