뢰브너상

Loebner Prize

뢰브너상은 매년 열리는 인공지능 대회로 심사위원들이 가장 인간적이라고 생각하는 컴퓨터 프로그램에 상을 수여합니다. 이 상은 2020년 이후로 소멸된 것으로 보고되었습니다.[1] 대회의 형식은 표준 튜링 테스트의 형식이었습니다. 각 라운드에서 인간 심사위원은 컴퓨터 프로그램과 컴퓨터를 통해 인간과 동시에 텍스트 대화를 나눴습니다. 응답을 기반으로 판사는 어느 것이 어느 것인지 결정하려고 시도합니다.

이 대회는 1990년 휴 뢰브너(Hugh Loebner)가 미국 매사추세츠주 케임브리지 행동학 센터(Cambridge Center for Behavior Studies)와 함께 시작했습니다. 2014년부터[2] 블레츨리 파크에서 AISB에 의해 조직되었습니다.[3] 또한 플린더스 대학교, 다트머스 대학교, 런던의 과학 박물관, 레딩 대학교와 얼스터 대학교, 마지 캠퍼스, 데리, 영국 문화 도시와도 관련이 있습니다. 2004년과 2005년에, 그것은 뉴욕시에 있는 뢰브너의 아파트에서 열렸습니다. 인공지능 분야에서 뢰브너상은 다소 논란이 있는데, 가장 저명한 비평가인 마빈 민스키는 이것을 이 분야에 도움이 되지 않는 홍보용 스턴트라고 불렀습니다.[4]

2019년 대회 형식이 변경되었습니다. 심사위원단은 없었습니다. 대신, 챗봇은 대중의 판단을 받았고 인간 경쟁자는 존재하지 않았습니다.[5]

상

원래, 대회에서 가장 사람처럼 보이는 프로그램에 2,000달러가 수여되었습니다. 상금은 2005년에는 3,000달러, 2006년에는 2,250달러였습니다. 2008년에는 3,000달러가 수여되었습니다.

그 외에도 한 번도 상을 받은 적이 없는 1회 전용 상품이 2개 있습니다. 심사위원들이 실제 인간과 구별할 수 없고, 심사위원들이 인간이 컴퓨터 프로그램이라는 것을 확신시킬 수 있는 첫 번째 프로그램에는 25,000달러가 제공됩니다. 10만 달러는 텍스트, 시각, 청각 입력을 해독하고 이해하는 튜링 테스트에서 심사위원이 실제 사람과 구별할 수 없는 첫 번째 프로그램에 대한 보상입니다. 이를 달성하면 연례 대회가 종료됩니다.

경기 규칙 및 제한

규칙은 수년에 걸쳐 다양했고 초기 대회에서는 제한된 대화 튜링[6] 테스트가 특징이었지만 1995년 이후 논의는 제한되지 않았습니다.

2007년 Robert Medexza, Noah Duncan 및 Rollo Carpenter라는 세 가지 출품작에 대해 후원자는 기술의 상태를 평가하기 위해 몇 가지 기본적인 "심사 질문"[7]을 사용했습니다. 여기에는 시간, 대회 일정 등에 대한 간단한 질문, 일반적인 지식("망치란 무엇을 위한 것인가?"), 비교("기차와 비행기 중 어느 것이 더 빠른가?" 등이 포함되었습니다."); 그리고 동일한 대화의 이전 부분에 대한 기억력을 보여주는 질문. "모든 명사, 형용사, 동사는 12세 이하의 어린이나 청소년에게 적합한 사전에서 나올 것입니다." 항목들은 받아들여질 질문에 "지능적으로" 대답할 필요가 없었습니다.

2008년 처음으로 스폰서는 다양한 초대된 심문관들이 심사한 웹 기반 출품작에 대회의 예비 단계를 도입하는 것을 허락했습니다. 사용 가능한 규칙에는 질문자를 선택하거나 지시하는 방법이 나와 있지 않습니다. 질문자(시스템을 판단하는 사람)는 제한된 시간을 가지고 있습니다: 2003년 대회에서는 개체당 5분, 2004-2007년 대회에서는 쌍당 20분 이상, 2008-2009년에는 인간과 프로그램의 동시 대화를 수행하는 데 5분이 2010년 이후 25분의 동시 대화로 증가했습니다.

비평

이 상은 다양한 이유로 [8]이 분야의 전문가들로부터 오랫동안 경멸을 받아 왔습니다.

그것은 많은 사람들에게 홍보용 묘기로 여겨집니다.[9][10] 마빈 민스키(Marvin Minsky)는 경쟁을 막을 수 있는 모든 사람에게 "상"을 주기도 했습니다. 뢰브너는 민스키가 대회를 중단시키기 위해 상금을 제공한 것이 사실상 자신을 공동 후원자로 만든 것이라고 농담처럼 대답했습니다.[11]

대회 규칙은 자격이 부족한 심사위원들이 신속한 심사를 하도록 장려했습니다. 심사위원과 경쟁자 간의 상호작용은 원래 매우 짧았습니다. 예를 들어, 사실상 2.5분 동안의 질문으로 몇 가지 질문만 허용했습니다.[9] 질문은 처음에는 표준 챗봇 트릭에 맞는 도메인인 "[8]이상한 대화"로 제한되었습니다.[12]

경쟁 참가자들은 이해나 지능을 목표로 하지 않고 기본적인 엘리자 스타일의 속임수에 의존하며,[9][13] 성공한 참가자들은 속임수를 발견하고 가식은 보상을 받습니다.[14]

경연대회

2006

2006년, 이 대회는 팀 차일드(Televirtual의 CEO)와 후마 샤(Huma Shah)에 의해 조직되었습니다.[15][16] 8월 30일, 4명의 결승 진출자가 발표되었습니다.

  • 롤로 카펜터
  • 리처드 처칠과 마리-클레어 젠킨스
  • 노아 던컨
  • 로버트 메덱사

이 대회는 9월 17일 유니버시티 칼리지 런던의 VR 극장, Torrington Place 캠퍼스에서 열렸습니다. 심사위원에는 레딩 대학의 사이버네틱스 교수 케빈 워릭, 인공지능 교수 존 반든(버밍엄 대학의 은유 연구 전문가), 변호사 빅토리아 버틀러-콜, 언론인 그레이엄 던컨-로우가 포함되었습니다. 후자의 이벤트 경험은 기술 리뷰의 기사에서 확인할 수 있습니다.[17][18] 우승자는 롤로 카펜터가 만든 재버와키를 기반으로 한 '조안'이었습니다.

2007

2007년 대회는 10월 21일 뉴욕에서 열렸습니다. 심사위원은 컴퓨터 과학 교수 러스 애벗, 철학 교수 하트리 필드, 심리학 조교수 클레이튼 커티스, 영어 강사 스콧 허친스였습니다.[19]

어떤 봇도 튜링 테스트를 통과하지 못했지만, 심사위원들은 세 명의 참가자들의 순위를 다음과 같이 매겼습니다.

  • 첫째: 울트라 할의 창시자 로버트 메덱자
  • 두 번째: 노아 던컨, 클레투스의 창작자.
  • 3번째: 재버와키의 창작자인 아이코그노의 롤로 카펜터

우승자는 2,250달러와 연간 메달을 받았습니다. 2위는 각각 250달러를 받았습니다.

2008

2008년 대회는 Kevin Warwick 교수에 의해 조직되었고, Huma Shah에 의해 조정되었고, 10월 12일에 영국의 Reading 대학에서 열렸습니다.[20] 예비 단계에서 100명 이상의 심사위원들의 테스트를 거쳐 2008년 6월과 7월에 13개의 원래 진입 인공 대화 엔티티(ACE)에서 6개의 최종 후보가 선정되었습니다. 초대된 사람들 중 5명이 결승전에서 경쟁했습니다.

  • 제롬, 피터 콜, 벤지 아담스 형제
  • Elbot, Fred Roberts / 인공 솔루션
  • 유진 구스트만, 블라디미르 베셀로프, 유진 뎀첸코, 세르게이 울라센
  • 재버와키, 롤로 카펜터
  • 울트라 할, 로버트 메덱사

결승전에서, 심사위원들은 각각 5분씩 두 개의 숨겨진 실체와 동시에 분할 화면 대화를 진행했습니다. 인공 솔루션의[22] 엘봇[21](Elbot)은 (인간과 병렬 비교에서) 그것을 심문한 12명의 심사위원 중 3명을 속여서 인간이라고 믿게 함으로써 가장 인간과 유사한 인공 대화 실체로 2008년 뢰브너상(Loebner Prize) 동상을 수상했습니다. 이는 프로그램이 실제로 튜링 테스트를 통과했다고 간주하는 데 전통적으로 요구되는 30%에 매우 근접합니다. 유진 구스트만과[23] 울트라 할은[24] 각각 한 명의 심사위원을 인간이라고 속였습니다.

더 타임즈의 기자인 윌 파비아는 그의 경험에 대해 썼습니다; 뢰브너 결승전의 심사위원인 그는 엘봇과 유진에게 속았습니다.[25] Kevin Warwick과 Huma Shah는 평행쌍 튜링 테스트에 대해 보고했습니다.[26]

2009

2009년 뢰브너상 대회는 2009년 9월 6일 영국 브라이튼의 브라이튼 센터에서 인터스피치 2009 컨퍼런스와 함께 개최되었습니다. 2009년의 상금은 3,000달러였습니다.

참가자는 데이비드 레비, 롤로 카펜터, 모한 엠바 순으로 마무리했습니다.

작가 브라이언 크리스찬은 2009년 뢰브너상 대회에 인간 연합으로 참가했고, 그 대회에서의 경험을 그의 책 "가장 인간적인 인간"에서 묘사했습니다.

2010

2010 뢰브너상 대회가 10월 23일 로스앤젤레스 캘리포니아 주립대학에서 열렸습니다. 2010년 대회는 이 대회의 20번째 대회였습니다. 승자는 수잔과 함께 한 브루스 윌콕스였습니다.

2011

2011년 뢰브너상 대회가 10월 19일 영국 데본의 엑세터 대학에서 열렸습니다. 2011년의 상금은 4,000달러였습니다.

결선 진출자 4명과 그들의 채터봇은 브루스 윌콕스 (로제), 아데나 미그노그나 (조에), 모한 엠바 (칩 비번트), 론 리 (튜터) 순으로 마무리했습니다.

그 해에는 조지아-매 린드필드, 윌리엄 던, 샘 키릿, 키릴 제데브와 같은 주니어 심사위원단이 추가되었습니다. 주니어 경연의 결과는 채터봇 튜터와 조가 공동 1위, 칩 비반트와 로제가 각각 3위와 4위를 차지하는 등 본 경연과는 확연히 달랐습니다.

2012

2012 뢰브너상 대회가 앨런 튜링 100주년을 기념하기 위해 5월 15일 영국 버킹엄셔주 블레츨리의 블레츨리 공원에서 열렸습니다. 2012년의 상금은 5,000달러였습니다. 현지 편곡자는 1997년과 2009년에 뢰브너상을 수상한 데이비드 레비(David Levy)였습니다.

결선 진출자 4명과 그들의 채터봇은 순서대로 마무리한 모한 엠바(칩 비반트), 브루스 윌콕스(안젤라), 다니엘 버크(아담), M. 앨런(링구오)이었습니다.

그 해 엑세터 대학 컴퓨터 과학부(Ed Keeedwell, Max Dupenois, Kent McClimont) 팀이 사상 최초로 생방송 웹캐스트를 진행했습니다.[27]

2013

2013 뢰브너상 대회는 아일랜드 섬에서 유일하게 9월 14일 영국 북아일랜드 데리에 있는 마지 칼리지 얼스터 대학에서 열렸습니다.

네 명의 결승전 진출자들과 그들의 챗봇은 스티브 워즈윅 (미쓰쿠), 론 C 박사였습니다. 순서대로 마친 리(튜터), 브루스 윌콕스(로즈), 브라이언 릭스비(이자).

심사위원은 로저 섕크(사회예술) 교수, 노엘 샤키(셰필드대) 교수, 민화(유니스) 마(당시 글래스고대) 교수, 마이크 맥티어(울스터대) 교수였습니다.

2013년 주니어 뢰브너상 대회에서는 챗봇 미쓰쿠와 튜터가 각각 로즈, 이자르와 함께 3위와 4위로 공동 1위를 차지했습니다.

2014

2014 뢰브너상 대회는 2014년 11월 15일 토요일 영국 블레츨리 파크에서 열렸습니다. 이 행사는 스카이 뉴스에 의해 생중계로 촬영되었습니다. 초대 심사위원은 TV 진행자이자 방송인인 제임스 메이였습니다.

2시간의 심사 끝에 브루스 윌콕스의 '로즈'가 우승자로 선언되었습니다. 브루스는 4천 달러짜리 수표와 동메달을 받을 것입니다. 순위는 다음과 같습니다.

Rose - Rank 1 ($4000 & 동메달), Izar - Rank 2.25 ($1500), Uberbot - Rank 3.25 ($1000), Mitsuku - Rank 3.5 ($500).

심사위원은 캔터베리 크라이스트 처치 칼리지의 심리학 작가 겸 수석 강사인 이안 호킹 박사, 베드퍼드셔 대학교 컴퓨터 과학 기술 강사인 기타 쿠아드리 모스테파우이 박사, TV 진행자이자 방송인인 제임스 메이 씨, 그리고 베드퍼드셔 대학교 UCMK 학장인 폴 산트 박사였습니다.

2015

2015년 뢰브너상 대회는 브루스 윌콕스의 '로즈'가 다시 우승을 차지했습니다.[28]

심사위원은 뉴 사이언티스트의 물리학 기자 제이콥 아론, BBC의 기술 특파원 로리 셀런 존스, 영화감독이자 사진작가 브렛 마티, 작가 아리아드네 탐피온이었습니다.

2016

2016 뢰브너상은 2016년 9월 17일 블레츨리 공원에서 열렸습니다. 2시간의 심사 끝에 최종 결과가 발표되었습니다. 순위는 다음과 같습니다.

수상자

공식적인 수상자 명단.[30]

연도 승리자. 프로그램.
1991 조셉 와인트라우브 "이상한 대화"[31] (PC 치료사)[32]
1992 조셉 와인트라우브 PC 테라피스트
1993 조셉 와인트라우브 PC 테라피스트
1994 토머스 웨일런 팁들
1995 조셉 와인트라우브 PC 테라피스트
1996 제이슨 허친스 HeX
1997 데이비드 레비 컨버스
1998 로비 가너 앨버트 원
1999 로비 가너 앨버트 원
2000 리처드 월리스 인공언어 인터넷 컴퓨터 실체 (A.L.I.C.E.)
2001 리처드 월리스 인공언어 인터넷 컴퓨터 실체 (A.L.I.C.E.)
2002 케빈 코플 엘라
2003 위르겐 피르너 재버웍
2004 리처드 월리스 인공언어 인터넷 컴퓨터 실체 (A.L.I.C.E.)
2005 롤로 카펜터 조지(재버와키)
2006 롤로 카펜터 조안(재버와키)
2007 로버트 메덱사 울트라 할
2008 프레드 로버츠 엘봇
2009 데이비드 레비 실행 - 많이 - 더 보기
2010 브루스 윌콕스 스제트
2011 브루스 윌콕스 로제트[33]
2012 모한 엠바 칩 비반트[34]
2013 스티브 워즈윅 미츠쿠[29]
2014 브루스 윌콕스 로즈.
2015 브루스 윌콕스 로즈.
2016 스티브 워즈윅 미츠쿠[29]
2017 스티브 워즈윅 미츠쿠[29]
2018 스티브 워즈윅 미츠쿠[29]
2019 스티브 워즈윅 미츠쿠[29]

참고 항목

참고문헌

  1. ^ Wakefield, Jane (1 November 2020). "Robot Bores: AI-powered awkward first date". BBC News. Retrieved 22 September 2021.
  2. ^ https://blogs.exeter.ac.uk/exeterblog/blog/2014/12/08/the-loebner-prize-a-turing-test-competition-at-bletchley-park/ , The Loebner Prize, Bletchley Park의 튜링 테스트 대회 - The Exeter Blog, 2014년 12월 8일 검색
  3. ^ 뢰브너상, AISB 웹사이트, 2018년 1월 23일 검색
  4. ^ 인위적인 어리석음, Salon.com , 2003년 2월 16일
  5. ^ Wakefield, Jane (14 September 2019). "The hobbyists competing to make AI human". BBC News. Retrieved 23 July 2020.
  6. ^ ""Machines Who Think", on season 4 , episode 3". Scientific American Frontiers. Chedd-Angier Production Company. 1993–1994. PBS. Archived from the original on 2006-01-01.
  7. ^ 2007년 10월 21일 제17회 뢰브너 인공지능상 뉴욕시
  8. ^ a b Powers, David (1998). "The Total Turing Test and the Loebner Prize". Retrieved 29 May 2016.
  9. ^ a b c Floridi, Luciano; Taddeo, Mariarosaria; Turilli, Matteo (2009). "Turing's Imitation Game: Still an Impossible Challenge for All Machines and Some Judges––An Evaluation of the 2008 Loebner Contest". Minds and Machines. 19 (19): 145–150. CiteSeerX 10.1.1.672.7417. doi:10.1007/s11023-008-9130-6. S2CID 7888490.
  10. ^ Sundman, John (27 February 2003). "Artificial stupidity". Salon. Archived from the original on 2012-07-20. Retrieved 29 May 2016.
  11. ^ Minsky, Marvin. "Annual Minsky Loebner Prize Revocation Prize 1995 Announcement". Retrieved 29 May 2016.
  12. ^ Fisher, Richard (16 May 2012). "Chatbots fail to convince despite Loebner Prize win". New Scientist. Retrieved 29 May 2016.
  13. ^ Serck, ZLinda. "Could a computer think?". BBC. Retrieved 29 May 2016.
  14. ^ Stephens, Kenneth R. "What Has the Loebner Contest Told Us About Conversant Systems?" (PDF). www.behavior.org. Operant WebSites, Inc. Retrieved 29 May 2016.
  15. ^ 뢰브너상 2006 정보
  16. ^ 로브너 2006
  17. ^ How To Be Human, Technology Review, 2006년 9월 20일
  18. ^ 뢰브너 상, 뢰브너.그물
  19. ^ 제17회 인공지능 분야 뢰브너상, 뢰브너.그물
  20. ^ 2008년 10월 12일 제18회 인공지능 분야 뢰브너상 수상, 영국 레딩 대학교
  21. ^ "Elbot the Robot". www.elbot.com. Archived from the original on 2015-01-04. Retrieved 2023-02-12.
  22. ^ 인공 솔루션
  23. ^ "Eugene Goostman". Archived from the original on 2017-06-17. Retrieved 2008-10-21.
  24. ^ 울트라 할
  25. ^ 기계가 질량 튜링 테스트에서 사람을 차지합니다.
  26. ^ 평행쌍 튜링 검정
  27. ^ "2012 Loebner Prize Webcast". Archived from the original on 18 May 2012. Retrieved 15 May 2012.
  28. ^ "Chatbot Rose wins 2015's Loebner artificial intelligence prize". BBC News. Retrieved 29 May 2016.
  29. ^ a b c d e f "Mitsuku Chatbot".
  30. ^ 뢰브너상 수상자, AISB - 인공지능 연구 및 행동 시뮬레이션 학회
  31. ^ ""Machines Who Think", on season 2 , episode 5". Scientific American Frontiers. Chedd-Angier Production Company. 1991–1992. PBS. Archived from the original on 2006-01-01.
  32. ^ "Loebner". 5 April 2017.
  33. ^ "Read About the Loebner Award Winning Rosette - A Chatbot By Bruce Wilcox". Archived from the original on 15 May 2013. Retrieved 29 October 2011.
  34. ^ "Chip Vivant - by Mohan Embar".

외부 링크