소닉화

Sonification
베이징의 대기오염 데이터가 음악으로 전달되는 영상

소닉은 정보를 전달하거나 데이터를 지각하기 위해 비음성 오디오를 사용하는 것이다.[1] 청각적 지각은 시각화 기법의 대안 또는 보완으로서 가능성을 여는 시간적, 공간적, 진폭 및 주파수 분해능에 장점을 가지고 있다.

예를 들어 가이거 카운터를 클릭하는 속도는 장치 바로 근처에 있는 방사선 수준을 전달한다.

국제청각디스플레이학회(ICAD)와 같은 포럼에서 데이터 소음을 이용한 실험이 많이 연구되었지만, 소음을 통해 데이터를 제시하고 분석하는 데 널리 이용해야 하는 많은 어려움에 직면해 있다. 예를 들어, 연구들은 데이터의 소닉을 해석하기 위한 적절한 맥락을 제공하는 것이 어렵지만 필수적이라는 것을 보여준다.[1][2] 많은 소음 시도는 소음 연구와 데이터 탐색을[3] 위한 유연한 도구가 부족하기 때문에 처음부터 코딩된다.

역사

1908년에 발명된 가이거 카운터는 가장 빠르고 성공적인 소음 응용 프로그램 중 하나이다. 가이거 카운터는 저압 기체의 튜브를 가지고 있다; 탐지된 각 입자는 가스를 이온화할 때 전류의 펄스를 생성하여 오디오 클릭을 생성한다. 원판은 알파 입자만 검출할 수 있었다. 1928년 가이거와 발터 뮐러(게이거 박사과정 학생)는 더 많은 종류의 전리방사선을 검출할 수 있도록 카운터를 개선했다.

1913년 버밍엄 대학의 에드먼드 포니에 달베 박사는 셀레늄 광센서를 사용하여 블랙 프린트를 감지하고 가청 출력으로 변환하는 옵토폰을 발명했다.[4] 맹인 독자는 책을 장치까지 들고 그녀가 읽고 싶은 영역까지 장치를 잡을 수 있었다. 옵토폰은 일련의 음을 연주했다: g c' d' e' g' b' c' c' e. 각각의 음은 광전화의 판독 구역에 있는 위치와 일치했고, 검은 잉크가 감지되면 음소거되었다. 따라서, 누락된 노트는 페이지에 검정 잉크가 있고 읽을 때 사용할 수 있는 위치를 가리켰다.

폴락과 픽스는 1954년 청각 디스플레이를 통한 정보 전달에 관한 최초의 지각 실험을 발표했다.[5] 타이밍, 주파수, 시음, 지속시간, 공간화 등 음향 차원을 조합해 실험한 결과 피실험자가 한 번에 다차원 변경사항을 등록하도록 할 수 있었다. 각 차원마다 가능한 값이 두 개밖에 없었기 때문에 이러한 실험들은 그것보다 훨씬 상세하게 다루어지지 않았다.

Bell 연구소의 John M. Chambers, Max Mathews, F.R. Moore는 1974년 "청각 데이터 검사" 기술 비망록에서 청각 그래프를 가장 일찍 작성했다.[6] 그들은 분류에 사용하기 위해 주파수, 스펙트럼 함량, 진폭 변조 치수에 따라 변화하는 소리를 이용하여 산점도를 증강했다. 그들은 이러한 실험의 효과에 대해 어떠한 공식적인 평가도 하지 않았다.[7]

1976년, 기술의 철학자 돈 이드는 "과학이 사실상 모든 현상에 대해 무한한 시각적 이미지 세트를 만들어내는 것처럼 - 은하에 이르는 것들은 커피 테이블 책에서부터 과학 잡지에 이르기까지 우리에게 친숙하다; 그래서 '뮤지컬' 역시 시각화를 만들어내는 동일한 데이터로부터 만들어질 수 있다"[8]고 썼다. 이것은 창조적 실천으로서 성대함을 가장 먼저 언급하는 것 중 하나로 보인다.

1980년대에 맥박 산소계는 널리 쓰이게 되었다. 맥박 산소계는 높은 농도의 높은 피치를 발산하여 혈액의 산소 농도를 소화할 수 있다. 그러나 실제로 의료 환경에서 너무 많은 청각 자극의 위험 때문에 의료전문가가 이러한 특정 펄스 소산계 기능을 널리 활용하지 못할 수 있다.[9]

1992년 국제 청각 디스플레이 협회(ICAD)는 그레고리 크레이머에 의해 데이터 소음을 포함하는 청각 디스플레이 연구를 위한 포럼으로 설립되었다. ICAD는 그 후, 소리 사용에 관심이 있는 여러 분야의 연구자들이 회의와 동료 검토 과정을 통해 정보를 전달하는 곳이 되었다.[10]

일부 기존 애플리케이션 및 프로젝트

소닉화 기법

많은 다른 요소들이 사용자의 소리에 대한 인식을 변화시키기 위해 변경될 수 있고, 또 다시, 묘사되고 있는 기본 정보에 대한 그들의 인식을 변화시킬 수 있다. 종종 이 정보에서 일정 수준의 증가는 피치, 진폭 또는 템포의 증가 또는 감소에 의해 표시되지만, 일반적으로 덜 사용되는 다른 구성요소의 변화에도 의해 표시될 수 있다. 예를 들어 주가가 오를수록 상승하는 투구, 하락할수록 하락하는 투구를 통해 증시가 그려질 수 있다. 사용자가 둘 이상의 스톡이 묘사되고 있다고 판단할 수 있도록 하기 위해, 다른 스톡에 다른 시간 또는 밝기를 사용할 수도 있고, 헤드폰의 다른 면을 통해 공간 상의 다른 지점에서 사용자에게 재생할 수도 있다.

제시될 다양한 유형의 정보에 대한 최선의 기법을 찾기 위해 많은 연구가 수행되어 왔으며, 아직 사용할 기법의 결정적인 집합은 공식화되지 않았다. 성음화 영역이 여전히 초기 단계에 있다고 간주되고 있기 때문에, 현재 연구는 상황에 따라 달라질 수 있는 최적의 소리 요소 세트를 결정하기 위해 노력하고 있다.

데이터의 청각적 렌더링을 위한 몇 가지 다른 기법은 다음과 같이 분류할 수 있다.

  • 음향소음화[41]
  • 오디오
  • 모델 기반 소닉
  • 매개 변수 매핑
  • 스트림 기반 소닉화[42][43]

전통적인 소음에 대한 대안적 접근방식은 "대체에 의한 소음"으로, 예를 들어 펄스 멜로디 영향 처리(PMAP)와 같다.[44][45][46] 데이터 스트림을 소닉화하는 것이 아니라 PMAP에서 계산 프로토콜은 음악 데이터 그 자체, 예를 들어 MIDI이다. 데이터 스트림은 비뮤지컬 상태: PMAP에서는 감성적인 상태를 나타낸다. 이후 음악적 자료에서 직접 계산을 할 수 있으며, 최소한의 번역만으로 결과를 들을 수 있다.

참고 항목

참조

  1. ^ a b Kramer, Gregory, ed. (1994). Auditory Display: Sonification, Audification, and Auditory Interfaces. Santa Fe Institute Studies in the Sciences of Complexity. Vol. Proceedings Volume XVIII. Reading, MA: Addison-Wesley. ISBN 978-0-201-62603-2.
  2. ^ Smith, Daniel R.; Walker, Bruce N. (2005). "Effects of Auditory Context Cues and Training on Performance of a Point Estimation Sonification Task". Journal of Applied Cognitive Psychology. 19 (8): 1065–1087. doi:10.1002/acp.1146.
  3. ^ Flowers, J. H. (2005), "Thirteen years of reflection on auditory graphing: Promises, pitfalls, and potential new directions" (PDF), in Brazil, Eoin (ed.), Proceedings of the 11th International Conference on Auditory Display, pp. 406–409
  4. ^ Fournier d'Albe, E. E. (May 1914), "On a Type-Reading Optophone", Proceedings of the Royal Society of London
  5. ^ Pollack, I. & Ficks, L. (1954), "Information of elementary multidimensional auditory displays", Journal of the Acoustical Society of America, 26 (1): 136, Bibcode:1954ASAJ...26Q.136P, doi:10.1121/1.1917759
  6. ^ Chambers, J. M. and Mathews, M. V. and Moore, F. R. (1974), "Auditory Data Inspection", Technical Memorandum, AT&T Bell Laboratories, 74-1214-20{{citation}}: CS1 maint : 복수이름 : 작성자 목록(링크)
  7. ^ Frysinger, S. P. (2005), "A brief history of auditory data representation to the 1980s" (PDF), in Brazil, Eoin (ed.), Proceedings of the 11th International Conference on Auditory Display, pp. 410–413
  8. ^ Ihde, Don (2007-10-04). Listening and Voice: Phenomenologies of Sound, Second Edition. p. xvi. ISBN 978-0791472569.
  9. ^ Craven, R M; McIndoe, A K (1999), "Continuous auditory monitoring—how much information do we register?" (PDF), British Journal of Anaesthesia, 83 (5): 747–749, doi:10.1093/bja/83.5.747, PMID 10690137[데드링크]
  10. ^ Kramer, G.; Walker, B.N. (2005), "Sound science: Marking ten international conferences on auditory display", ACM Transactions on Applied Perception, 2 (4): 383–388, CiteSeerX 10.1.1.88.7945, doi:10.1145/1101530.1101531, S2CID 1187647
  11. ^ Montgomery, E.T; Schmitt, R.W (1997), "Acoustic altimeter control of a free vehicle for near-bottom turbulence measurements", Deep Sea Research Part I: Oceanographic Research Papers, 44 (6): 1077, Bibcode:1997DSRI...44.1077M, doi:10.1016/S0967-0637(97)87243-3
  12. ^ Quincke, G. (1897). "Ein akustisches Thermometer für hohe und niedrige Temperaturen". Annalen der Physik. 299 (13): 66–71. Bibcode:1897AnP...299...66Q. doi:10.1002/andp.18972991311. ISSN 0003-3804.
  13. ^ Ismailogullari, Abdullah; Ziemer, Tim (2019). "Soundscape clock: Soundscape compositions that display the time of day". International Conference on Auditory Display. Vol. 25. pp. 91–95. doi:10.21785/icad2019.034. hdl:1853/61510. ISBN 978-0-9670904-6-7.
  14. ^ LIGO Gravitational Wave Chirp, archived from the original on 2021-12-22, retrieved 2021-09-15
  15. ^ Hunt, A.; Hermann, T.; Pauletto, S. (2004). "Interacting with sonification systems: closing the loop". Proceedings. Eighth International Conference on Information Visualisation, 2004. IV 2004. pp. 879–884. doi:10.1109/IV.2004.1320244. ISBN 0-7695-2177-0. S2CID 9492137.
  16. ^ 토마스 헤르만, 앤디 헌트. 소닉화에서 상호작용의 중요성. 2004년 7월 6일–9일 호주 시드니에서 열린 국제 청각 디스플레이 회의 ICAD 10차 회의의 진행. 사용 가능: 온라인
  17. ^ 산드라 폴레토와 앤디 헌트. 대화형 소닉화를 위한 툴킷. 2004년 7월 6일–9일 호주 시드니에서 열린 국제 청각 디스플레이 회의 ICAD 10차 회의의 진행. 사용 가능: 온라인.
  18. ^ Kather, Jakob Nikolas; Hermann, Thomas; Bukschat, Yannick; Kramer, Tilmann; Schad, Lothar R.; Zöllner, Frank Gerrit (2017). "Polyphonic sonification of electrocardiography signals for diagnosis of cardiac pathologies". Scientific Reports. 7: Article-number 44549. Bibcode:2017NatSR...744549K. doi:10.1038/srep44549. PMC 5357951. PMID 28317848.
  19. ^ Edworthy, Judy (2013). "Medical audible alarms: a review". J Am Med Inform Assoc. 20 (3): 584–589. doi:10.1136/amiajnl-2012-001061. PMC 3628049. PMID 23100127.
  20. ^ Woerdeman, Peter A.; Willems, Peter W.A.; Noordsmans, Herke Jan; Berkelbach van der Sprenken, Jan Willem (2009). "Auditory feedback during frameless image-guided surgery in a phantom model and initial clinical experience". J Neurosurg. 110 (2): 257–262. doi:10.3171/2008.3.17431. PMID 18928352.
  21. ^ Ziemer, Tim; Black, David (2017). "Psychoacoustically motivated sonification for surgeons". International Journal of Computer Assisted Radiology and Surgery. 12 ((Suppl 1):1): 265–266. arXiv:1611.04138. doi:10.1007/s11548-017-1588-3. PMID 28527024. S2CID 51971992.
  22. ^ Ziemer, Tim; Black, David; Schultheis, Holger (2017). Psychoacoustic sonification design for navigation in surgical interventions. Proceedings of Meetings on Acoustics. Vol. 30. p. 050005. doi:10.1121/2.0000557.
  23. ^ Ziemer, Tim; Black, David (2017). "Psychoacoustic sonification for tracked medical instrument guidance". The Journal of the Acoustical Society of America. 141 (5): 3694. Bibcode:2017ASAJ..141.3694Z. doi:10.1121/1.4988051.
  24. ^ Nagel, F; Stter, F R; Degara, N; Balke, S; Worrall, D (2014). "Fast and accurate guidance - response times to navigational sounds". International Conference on Auditory Display. hdl:1853/52058.
  25. ^ Florez, L (1936). "True blind flight". J Aeronaut Sci. 3 (5): 168–170. doi:10.2514/8.176.
  26. ^ a b c Ziemer, Tim; Schultheis, Holger; Black, David; Kikinis, Ron (2018). "Psychoacoustical Interactive Sonification for Short-Range Navigation". Acta Acustica United with Acustica. 104 (6): 1075–1093. doi:10.3813/AAA.919273. S2CID 125466508.
  27. ^ a b c Ziemer, Tim; Schultheis, Holger (2018). "Psychoacoustic auditory display for navigation: an auditory assistance system for spatial orientation tasks". Journal on Multi-Modal User Interfaces. 2018 (Special Issue: Interactive Sonification): 205–218. doi:10.1007/s12193-018-0282-2. S2CID 53721138. Retrieved 24 January 2019.
  28. ^ Mannone, Maria (2018). "Knots, Music and DNA". Journal of Creative Music Systems. 2 (2). arXiv:2003.10884. doi:10.5920/jcms.2018.02. S2CID 64956325.
  29. ^ "SPDF - Sonification". https://www.jcms.org.uk/. 2005-11-13. Archived from the original on 2005-11-13. Retrieved 2021-09-15. {{cite web}}: 외부 링크 위치 website= (도움말)
  30. ^ Hinckfuss, Kelly; Sanderson, Penelope; Loeb, Robert G.; Liley, Helen G.; Liu, David (2016). "Novel Pulse Oximetry Sonifications for Neonatal Oxygen Saturation Monitoring". Human Factors. 58 (2): 344–359. doi:10.1177/0018720815617406. PMID 26715687. S2CID 23156157.
  31. ^ Sanderson, Penelope M.; Watson, Marcus O.; Russell, John (2005). "Advanced Patient Monitoring Displays: Tools for Continuous Informing". Anesthesia & Analgesia. 101 (1): 161–168. doi:10.1213/01.ANE.0000154080.67496.AE. PMID 15976225.
  32. ^ Schwarz, Sebastian; Ziemer, Tim (2019). "A psychoacoustic sound design for pulse oximetry". International Conference on Auditory Display. Vol. 25. pp. 214–221. doi:10.21785/icad2019.024. hdl:1853/61504. ISBN 978-0-9670904-6-7.
  33. ^ Schuett, Jonathan H.; Winton, Riley J.; Batterman, Jared M.; Walker, Bruce N. (2014). Auditory Weather Reports: Demonstrating Listener Comprehension of Five Concurrent Variables. Proceedings of the 9th Audio Mostly: A Conference on Interaction with Sound. AM '14. New York, NY, USA: ACM. pp. 17:1–17:7. doi:10.1145/2636879.2636898. ISBN 9781450330329. S2CID 5765787.
  34. ^ Polli, Andrea (July 6–9, 2004). ATMOSPHERICS/WEATHER WORKS: A MULTI-CHANNEL STORM SONIFICATION PROJECT (PDF). ICAD 04-Tenth Meeting of the International Conference on Auditory Display. Archived from the original (PDF) on 2021-07-11.{{cite conference}}: CS1 maint: 날짜 형식(링크)
  35. ^ Yang, Jiajun; Hermann, Thomas (June 20–23, 2017). PARALLEL COMPUTING OF PARTICLE TRAJECTORY SONIFICATION TO ENABLE REAL-TIME INTERACTIVITY (PDF). The 23rd International Conference on Auditory Display.
  36. ^ "Justin Joque". justinjoque.com. Retrieved 2019-05-21.
  37. ^ Banf, Michael; Blanz, Volker (2013). "Sonification of images for the visually impaired using a multi-level approach". Proceedings of the 4th Augmented Human International Conference on - AH '13. New York, New York, USA: ACM Press: 162–169. doi:10.1145/2459236.2459264. ISBN 9781450319041. S2CID 7505236.
  38. ^ Banf, Michael; Mikalay, Ruben; Watzke, Baris; Blanz, Volker (June 2016). "PictureSensation – a mobile application to help the blind explore the visual world through touch and sound". Journal of Rehabilitation and Assistive Technologies Engineering. 3: 205566831667458. doi:10.1177/2055668316674582. ISSN 2055-6683. PMC 6453065. PMID 31186914.
  39. ^ CURAT. "Games and Training for Minimally Invasive Surgery". CURAT Project. University of Bremen. Retrieved 15 July 2020.
  40. ^ Winkler, Helena; Schade, Eve Emely Sophie; Kruesilp, Jatawan; Ahmadi, Fida. "Tiltification – The Spirit Level Using Sound". Tiltification. University of Bremen. Retrieved 21 April 2021.
  41. ^ Barass S. (2012) 음향 소닉 디지털 제작, 2012년 9월 오디오 엔지니어링 협회 저널 온라인의
  42. ^ Barrass, S. and Best, G.(2008). 스트림 기반 소닉 도표. 2008년 6월 24-27일 파리 IRCAM 국제 청각 디스플레이 회의의 진행 상황
  43. ^ Barrass S. (2009) 하천 기반 소닉화의 실천과 이론 개발. 스캔: Macquarie University의 미디어 아트 컬처 저널.
  44. ^ Kirke, Alexis; Miranda, Eduardo (2014-05-06). "Pulsed Melodic Affective Processing: Musical structures for increasing transparency in emotional computation". Simulation. 90 (5): 606. doi:10.1177/0037549714531060. hdl:10026.1/6621. S2CID 15555997.
  45. ^ "Towards Harmonic Extensions of Pulsed Melodic Affective Processing – Further Musical Structures for Increasing Transparency in Emotional Computation" (PDF). 2014-11-11. Retrieved 2017-06-05.
  46. ^ "A Hybrid Computer Case Study for Unconventional Virtual Computing". 2015-06-01. Retrieved 2017-06-05.

외부 링크