환각 (인공지능)

Hallucination (artificial intelligence)
존재하지 않는 New York Times 기사 ChatGPT ChatGPT ChatGPT 요약

인공지능(AI)에서 환각 또는 인공 환각(때로는 교화 또는[2] 망상이라고도[1] 함)은 훈련 [3]데이터에 의해 정당화되지 않은 것처럼 보이는 인공지능에 의한 자신감 있는 반응입니다.예를 들어, Tesla의 수익과 관련된 교육 데이터가 없는 환각 챗봇은 내부적으로 알고리즘이 높은 신뢰도로 순위를 매기는 난수(예: "136억 달러")를 생성한 다음 Tesla의 수익이 136억 달러라고 거짓으로 반복적으로 나타낼 수 있습니다.수치가 생성 [4]알고리즘의 약점의 산물이라는 제공된 맥락 없이.

이러한 현상은 인간 심리학에서 환각 현상과 유사하게 "환각"이라고 불립니다.인간의 환각은 인간이 현재 감각 기관으로 직접 관찰하고 있는 외부 세계의 부분과 감각적으로 연관될 수 없는 인간에 의한 지각이지만, AI 환각은 대신 AI에 의한 자신감 있는 반응으로, [3]훈련 데이터에 근거할 수 없습니다.일부 연구자들은 이 용어가 인간의 개념과 상당히 다른 인공지능 개념을 혼동하기 때문에 반대합니다.

AI 환각은 ChatGPT와 [5]같은 특정 대형 언어 모델(LLM)의 출시와 함께 2022년경에 유명해졌습니다. ChatGPT ChatGPT ChatGPT사용자들은 이러한 봇이 종종 "사회병리학적"으로 보이며 생성된 [6]콘텐츠 내에 의미 없이 그럴듯한 무작위 거짓을 포함한다고 불평했습니다.

2023년까지 분석가들은 잦은 환각이 LLM [7]기술의 주요 문제라고 생각했습니다.

분석.

와이어드가 인용한 다양한 연구자들은 적대적 환각을 고차원적인 통계 현상으로 분류하거나, 환각을 불충분한 훈련 데이터 탓으로 돌렸습니다.일부 연구자들은 물체 감지의 경우 인간에 의해 "환각"으로 분류된 일부 "잘못된" AI 반응이 실제로 훈련 데이터에 의해 정당화될 수도 있고, 심지어 AI가 인간 검토자들이 보지 못하는 "정확한" 답변을 제공하고 있을 수도 있다고 믿습니다.예를 들어, 개의 일반적인 이미지처럼 사람에게 보이는 적대적 이미지는 실제로 AI에 의해 고양이를 볼 때만 나타나는 작은 패턴을 포함할 수 있습니다.인공지능은 인간이 [8]무감각한 현실 세계의 시각적 패턴을 감지하고 있습니다.

하지만, 이러한 발견들은 다른 [9]연구원들에 의해 도전을 받았습니다.예를 들어, 모델이 표면적인 통계에 치우칠 수 있어 적대적 훈련이 실제 [9]시나리오에서 강력하지 않다는 것이 반대되었습니다.

자연어 처리에서

자연어 처리에서 환각은 종종 "제공된 소스 콘텐츠에 대해 터무니없거나 불성실한 생성 콘텐츠"로 정의됩니다.출력이 프롬프트와 모순되는지 여부에 따라 각각 [10]폐쇄 도메인과 개방 도메인으로 나눌 수 있습니다.

텍스트와 표현 사이의 인코딩 및 디코딩 오류는 환각을 일으킬 수 있습니다.다양한 반응을 내기 위한 AI 훈련도 환각으로 이어질 수 있습니다.실제로 정확함에도 불구하고 라벨링된 요약이 "요약화"된 것으로 알려진 라벨링된 데이터에 직접 기반하지 않는 데이터 세트에서 AI가 훈련될 때 환각이 발생할 수도 있습니다.데이터 세트가 클수록 매개 변수 지식(학습된 시스템 매개 변수에 유선 연결된 지식)의 문제가 발생하여 시스템이 유선 연결된 지식을 지나치게 신뢰할 경우 환각을 일으킬 수 있습니다.GPT-3와 같은 시스템에서 AI는 이전 단어의 시퀀스(현재 응답에서 이전에 생성한 단어 포함)를 기반으로 각 다음 단어를 생성하여 응답이 [3]길어짐에 따라 환각이 발생할 수 있습니다.2022년까지 뉴욕 타임즈와 같은 신문은 대형 언어 모델을 기반으로 한 봇 채택이 계속 증가함에 따라 봇 출력에 대한 부당한 사용자 신뢰가 [11]문제로 이어질 수 있다고 우려했습니다.

2022년 8월, Meta는 BlenderBot 3를 출시하는 동안 시스템이 "환각"에 빠지기 쉽다고 경고했으며, Meta는 이를 "사실이 [12]아닌 자신 있는 진술"로 정의했습니다.2022년 11월 15일, 메타는 "과학적 지식에 대한 저장, 결합, 추론"을 위해 고안된 갤럭티카의 데모를 공개했습니다.갤럭티카에서 생성된 콘텐츠는 "출력이 신뢰할 수 없을 수 있습니다!언어 모델은 텍스트를 환각에 빠지기 쉽습니다."한 예로, 아바타 제작에 관한 논문 초안을 요청받았을 때, 갈락티카는 해당 지역에서 일하는 실제 저자의 가공의 논문을 인용했습니다.메타는 11월 17일 공격과 [13][14]부정확함을 이유로 갤럭티카를 철수시켰습니다.

자연어 모델이 [3]데이터를 환각화하는 데에는 많은 가능한 이유가 있다고 생각됩니다.예:

  • 데이터에서 환각 발생:소스 콘텐츠에는 차이가 있습니다(대규모 교육 데이터 세트에서 종종 발생함).
  • 훈련으로부터의 환각: 환각은 여전히 데이터 세트에 약간의 차이가 있을 때 발생합니다.이 경우 모델이 훈련되는 방식에서 파생됩니다.다음과 같은 많은 이유들이 이러한 유형의 환각에 기여할 수 있습니다.
    • 변압기의 잘못된 디코딩
    • 모형이 이전에 생성한 과거 시퀀스로부터의 편향
    • 모델이 매개변수에 지식을 인코딩하는 방식에서 생성되는 편향

ChatGPT

2022년 12월 일반에 베타 버전으로 출시된 OpenAI의 ChatGPT는 기초 모델 GPT-3.5(GPT-3의 개정판)를 기반으로 합니다. OpenAIOpenAIOpenAIChatGPTChatGPTChatGPT와튼의 Ethan Mollick 교수는 ChatGPT를 "가끔 당신에게 거짓말을 하는 전지적이고 기쁘게 해주고 싶은 인턴"이라고 불렀습니다. ChatGPT데이터 과학자 Teresa Kubacka는 의도적으로 "반발 전자석"이라는 문구를 만들고 ChatGPT에게 (일관성이 없는) 현상에 대해 질문함으로써 ChatGPT을 테스트했다고 설명했습니다.ChatGPT는 그럴듯하게 생긴 인용문이 뒷받침된 그럴듯한 대답을 발명했고, 이는 그녀가 실수로 실제 현상의 이름을 입력했는지 다시 확인하도록 강요했습니다.Oren Etzioni와 같은 다른 학자들은 이러한 소프트웨어가 종종 "아주 인상적으로 들리는 대답은 완전히 잘못된"[15] 것이라고 평가하기 위해 Kubacka에 합류했습니다.

CNBC가 ChatGPT에 "드와이트 프라이의 발라드"의 가사를 요청했을 때, ChatGPT는 실제 [16]가사가 아닌 발명된 가사를 제공했습니다.뉴브런즈윅에 대한 질문에 ChatGPT는 많은 정답을 맞았지만 사만다 비를 "뉴브런즈윅에서 [17]온 사람"으로 잘못 분류했습니다. ChatGPT천체물리학적 자기장에 대한 질문을 받은 ChatGPT은 "(블랙홀의) 강한 자기장은 주변의 극도로 강한 중력에 의해 생성된다"고 잘못 자원했습니다.(실제로, 머리카락이 없는 정리의 결과로 강착 원반이 없는 블랙홀은 자기장이 없는 것으로 여겨집니다.)[18]Fast Company는 ChatGPT에 Tesla의 지난 회계 분기에 대한 뉴스 기사를 생성하도록 요청했습니다. ChatGPT는 일관성 있는 기사를 만들었지만 그 [4]안에 포함된 재무 번호를 구성했습니다. ChatGPT ChatGPT

다른 예들은 ChatGPT가 전제 위에 장식되는지 보기 위해 잘못된 전제로 미끼를 던지는 것을 포함합니다."해롤드 코워드의 역동적인 캐노니시티에 대한 아이디어"에 대한 질문을 받았을 때, 채팅GPT는 코워드가 동적 캐노니시티: ChatGPT라는 제목의 책을 썼다고 조작했습니다. 종교적 원리가 실제로 끊임없이 변화하는 상태에 있다고 주장하는 성경적 신학적 해석 모델압박을 받았을 때, ChatGPT는 그 책이 [19][20]진짜라고 계속 주장했습니다.공룡이 문명을 건설했다는 증거를 요구한 ChatGPT는 공룡 도구의 화석이 있다고 주장했고 "일부 공룡 종들은 심지어 [21][22]돌에 새긴 것과 같은 원시적인 형태의 예술을 발전시켰습니다."라고 말했습니다."과학자들이 최근 츄러스, 맛있는 튀김 반죽을 발견했습니다.ChatGPT는 "가정 수술을 위한 이상적인 도구"라고 주장했고, "사이언스" 저널에 발표된 연구는 반죽이 손이 닿기 어려운 곳에 들어갈 수 있는 수술 도구로 형성될 정도로 유연하며, 그 맛이 [23][24]환자들에게 진정 효과가 있다는 것을 발견했습니다.OpenAI GPT 운동장에서 '르누이트 왕'[25]이라는 가짜 왕이 탄생한 것과 같은 AI 환각의 다른 증거들이 발견됐습니다.

2023년까지 분석가들은 잦은 환각을 LLM 기술의 주요 문제로 간주했으며, 구글의 한 임원은 환각 감소를 ChatGPT 경쟁사인 구글 [7][26]바드의 "추가적인" 과제로 파악했습니다.마이크로소프트의 GPT 기반 Bing AI를 위한 2023년 데모는 [7]발표자에게 잡히지 않은 여러 환각을 포함하는 것으로 보입니다.

용어에 대한 반대

Timnit Gebru, Niloufar Saleshi 및 Emily Bender와 같은 AI 연구원들은 알고리즘 출력과 인간의 심리적 처리를 결합하기 때문에 "광각"이라는 용어 사용에 반대한다고 표현했습니다.Galactica 툴에 대한 Meta의 거부에 대해 Bender는 다음과 같이 썼습니다.

그리고 그들이 그들의 거부권을 어떻게 표현했는지 잠시 생각해 봅시다.여기서 '할루시네이트'는 언어 모델이 *경험*과 *인식*을 가지고 있음을 시사하는 끔찍한 단어 선택입니다. (게다가, 심각한 정신 질환의 증상을 가볍게 하고 있습니다.)마찬가지로 'LLM은 종종 자신감이 있습니다'.그럴 일 없어.그것은 주관적인 [27]감정을 필요로 할 것입니다."

또 다른 제안된 용어는 "confabilization"[1]입니다.

다른 인공지능에서.

"환각"의 개념은 단순히 자연어 처리 이상으로 광범위하게 적용됩니다.훈련 데이터에 의해 정당화되지 않은 것처럼 보이는 AI의 자신감 있는 반응은 [3]환각으로 분류될 수 있습니다.와이어드는 2018년에 기록된 "야생" 공격(즉, 연구자에 의한 개념 증명 공격 이외의 공격)이 없음에도 불구하고 소비자 기기와 자동 운전과 같은 시스템이 AI가 환각을 일으킬 수 있는 적대적 공격에 취약하다는 "분쟁이 거의 없었다"고 언급했습니다.예를 들어, 컴퓨터 비전에 보이지 않게 된 정지 표시, 인간에게 무해하게 들리도록 설계된 오디오 클립, 그러나 "악의 닷컴"으로 번역된 소프트웨어, 그리고 구글 클라우드 비전이 "개"[28]일 가능성이 91%라고 확인한 스키를 탄 두 남자의 이미지가 포함되었습니다.

완화 방법

환각 현상은 아직 완전히 [3]이해되지 않았습니다.따라서,[29] 그 유령의 출현을 완화하기 위한 연구가 여전히 진행 중입니다.특히 언어 모델은 환각뿐만 아니라 환각을 증폭시키는 것으로 나타났습니다. 심지어 이 문제를 완화시키기 [30]위해 고안된 모델도 마찬가지입니다.

참고 항목

레퍼런스

  1. ^ a b Millidge, Beren. "LLMs confabulate not hallucinate". www.beren.io. Retrieved 16 April 2023.
  2. ^ "Shaking the foundations: delusions in sequence models for interaction and control". www.deepmind.com.
  3. ^ a b c d e f Ji, Ziwei; Lee, Nayeon; Frieske, Rita; Yu, Tiezheng; Su, Dan; Xu, Yan; Ishii, Etsuko; Bang, Yejin; Dai, Wenliang; Madotto, Andrea; Fung, Pascale (November 2022). "Survey of Hallucination in Natural Language Generation" (pdf). ACM Computing Surveys. Association for Computing Machinery. 55 (12): 1–38. arXiv:2202.03629. doi:10.1145/3571730. S2CID 246652372. Retrieved 15 January 2023.
  4. ^ a b Lin, Connie (5 December 2022). "How to easily trick OpenAI's genius new ChatGPT". Fast Company. Retrieved 6 January 2023.
  5. ^ Zhuo, Terry Yue; Huang, Yujin; Chen, Chunyang; Xing, Zhenchang (2023). "Exploring AI Ethics of ChatGPT: A Diagnostic Analysis". arXiv:2301.12867 [cs.CL].
  6. ^ Seife, Charles (13 December 2022). "The Alarming Deceptions at the Heart of an Astounding New Chatbot". Slate. Retrieved 16 February 2023.
  7. ^ a b c Leswing, Kif (14 February 2023). "Microsoft's Bing A.I. made several factual errors in last week's launch demo". CNBC. Retrieved 16 February 2023.
  8. ^ Matsakis, Louise (8 May 2019). "Artificial Intelligence May Not 'Hallucinate' After All". Wired. Retrieved 29 December 2022.
  9. ^ a b Gilmer, Justin; Hendrycks, Dan (6 August 2019). "A Discussion of 'Adversarial Examples Are Not Bugs, They Are Features': Adversarial Example Researchers Need to Expand What is Meant by 'Robustness'". Distill. 4 (8). doi:10.23915/distill.00019.1. S2CID 201142364. Retrieved 24 January 2023.
  10. ^ OpenAI (2023). "GPT-4 Technical Report". arXiv:2303.08774 [cs.CL].
  11. ^ Metz, Cade (10 December 2022). "The New Chatbots Could Change the World. Can You Trust Them?". The New York Times. Retrieved 30 December 2022.
  12. ^ Tung, Liam (8 August 2022). "Meta warns its new chatbot may forget that it's a bot". ZDNet. Red Ventures. Retrieved 30 December 2022.
  13. ^ Edwards, Benj (18 November 2022). "New Meta AI demo writes racist and inaccurate scientific literature, gets pulled". Ars Technica. Retrieved 30 December 2022.
  14. ^ Michael Black [@Michael_J_Black] (17 November 2022). "I asked #Galactica about some things I know about and I'm troubled. In all cases, it was wrong or biased but sounded right and authoritative" (Tweet). Retrieved 30 December 2022 – via Twitter.
  15. ^ Bowman, Emma (19 December 2022). "A new AI chatbot might do your homework for you. But it's still not an A+ student". NPR. Retrieved 29 December 2022.
  16. ^ Pitt, Sofia (15 December 2022). "Google vs. ChatGPT: Here's what happened when I swapped services for a day". CNBC. Retrieved 30 December 2022.
  17. ^ Huizinga, Raechel (30 December 2022). "We asked an AI questions about New Brunswick. Some of the answers may surprise you". CBC.ca. Retrieved 30 December 2022.
  18. ^ Zastrow, Mark (30 December 2022). "We Asked ChatGPT Your Questions About Astronomy. It Didn't Go so Well". Discover. Kalmbach Publishing Co. Retrieved 31 December 2022.
  19. ^ Edwards, Benj (1 December 2022). "OpenAI invites everyone to test ChatGPT, a new AI-powered chatbot—with amusing results". Ars Technica. Retrieved 29 December 2022.
  20. ^ Michael Nielsen [@michael_nielsen] (1 December 2022). "OpenAI's new chatbot is amazing. It hallucinates some very interesting things" (Tweet). Retrieved 29 December 2022 – via Twitter.
  21. ^ Mollick, Ethan (14 December 2022). "ChatGPT Is a Tipping Point for AI". Harvard Business Review. Retrieved 29 December 2022.
  22. ^ Ethan Mollick [@emollick] (2 December 2022). "One of the big subtle problems in the new "creative AIs" is that they can seem completely certain, and getting them to switch from sane to hallucinatory is a difference of a couple words" (Tweet). Retrieved 29 December 2022 – via Twitter.
  23. ^ Kantrowitz, Alex (2 December 2022). "Finally, an A.I. Chatbot That Reliably Passes "the Nazi Test"". Slate. Retrieved 29 December 2022.
  24. ^ Marcus, Gary (2 December 2022). "How come GPT can seem so brilliant one minute and so breathtakingly dumb the next?". The Road to AI We Can Trust. Substack. Retrieved 29 December 2022.
  25. ^ "What are AI hallucinations—and how do you prevent them? Zapier". zapier.com. Retrieved 29 April 2023.
  26. ^ "Google cautions against 'hallucinating' chatbots, report says". Reuters. 11 February 2023. Retrieved 16 February 2023.
  27. ^ "Emily M. Bender (she/her) (@emilymbender@dair-community.social)". Distributed AI Research Community. 16 November 2022. Retrieved 29 April 2023.
  28. ^ Simonite, Tom (9 March 2018). "AI Has a Hallucination Problem That's Proving Tough to Fix". Wired. Condé Nast. Retrieved 29 December 2022.
  29. ^ Nie, Feng; Yao, Jin-Ge; Wang, Jinpeng; Pan, Rong; Lin, Chin-Yew (July 2019). "A Simple Recipe towards Reducing Hallucination in Neural Surface Realisation" (PDF). Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics. Association for Computational Linguistics: 2673–2679. doi:10.18653/v1/P19-1256. S2CID 196183567. Retrieved 15 January 2023.
  30. ^ Dziri, Nouha; Milton, Sivan; Yu, Mo; Zaiane, Osmar; Reddy, Siva (July 2022). "On the Origin of Hallucinations in Conversational Models: Is it the Datasets or the Models?" (PDF). Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies. Association for Computational Linguistics. doi:10.18653/v1/2022.naacl-main.38. S2CID 250242329. Retrieved 15 January 2023.