인간 기반 계산

Human-based computation

인간 기반 계산([1]HBC), 인간 지원 계산, 유비쿼터스 인간 컴퓨팅 또는 분산 사고(분산 컴퓨팅과 유사함)는 기계가 일반적으로 마이크로워크로서 특정 단계를 인간에게 아웃소싱함으로써 기능을 수행하는 컴퓨터 과학 기술입니다.이 접근 방식은 인간과 컴퓨터 에이전트 간의 능력 차이와 대체 비용을 사용하여 인간과 컴퓨터 간의 공생 상호 작용을 달성합니다.이미지 인식과 같은 계산적으로 어려운 작업의 경우, 인간 기반 계산은 딥 러닝 기반 인공 지능 시스템을 훈련하는 데 중심적인 역할을 합니다.이 경우, 인간 기반 계산은 인간이 [2]지원하는 인공지능이라고 불립니다.

전통적인 계산에서, 인간은 문제를 해결하기 위해[3] 컴퓨터를 사용합니다; 인간은 공식화된 문제 설명과 알고리즘을 컴퓨터에 제공하고 [4]해석을 위한 해결책을 받습니다.인간 기반 계산은 종종 역할을 역전시킵니다.[5] 컴퓨터는 개인 또는 대규모 사람 그룹에게 문제를 해결하도록 요청한 다음 솔루션을 수집, 해석 및 통합합니다.이것은 인간과 컴퓨터의 하이브리드 네트워크를 "대규모 분산 컴퓨팅 네트워크"[6][7][8]로 바꿉니다.여기서 코드는 인간의 뇌와 실리콘 기반 프로세서에서 부분적으로 실행됩니다.

초기 작업

인간 기반 계산("컴퓨터"의 역사적 의미와는 별개로) 연구는 대화형 진화 계산(EC)[9]에 대한 초기 연구에서 기원을 두고 있습니다.대화형 진화 알고리즘 뒤에 있는 아이디어는 리처드 도킨스에 의한 것입니다.그의 책 "The Blind Watchmaker"(도킨스, 1986)[10]와 함께 제공되는 바이오모르프스 소프트웨어에서 인간 실험자의 선호는 라인 세그먼트의 2차원 세트의 진화를 안내하는 데 사용됩니다.본질적으로, 이 프로그램은 인간에게 진화 알고리즘의 적합성 기능이 되도록 요구합니다. 그래서 알고리즘은 인간의 시각적 인식과 미적 판단을 사용하여 정상적인 진화 알고리즘이 할 수 없는 것을 할 수 있습니다.하지만, 우리가 더 복잡한 모양을 진화시키려면 한 사람에게서 충분한 평가를 받기가 어렵습니다.Victor[11] Johnston과 Karl[12] Sims는 피트니스 평가를 위해 많은 사람들의 힘을 활용함으로써 이 개념을 확장했습니다(Caldwell and Johnston, 1991; Sims, 1991).결과적으로, 그들의 프로그램은 대중에게 호소력 있는 아름다운 얼굴과 예술 작품을 발전시킬 수 있었습니다.이 프로그램들은 컴퓨터와 인간 사이의 일반적인 상호 작용을 효과적으로 역전시켰습니다.이러한 프로그램에서 컴퓨터는 더 이상 사용자의 에이전트가 아니라 많은 인간 평가자의 노력을 집계하는 조정자입니다.이러한 연구와 다른 유사한 연구 노력은 미적 선택 또는 대화형 진화 계산 연구의 주제가 되었지만(Takagi, 2001), 이 연구의 범위는 아웃소싱 평가로 제한되었고 결과적으로 아웃소싱의 잠재력을 완전히 탐구하지 못했습니다.

Moni Naor(1996)[13]가 개척한 자동 튜링 테스트의 개념은 인간 기반 계산의 또 다른 선구자입니다.Naor의 테스트에서 기계는 자연어 처리(NLP) 또는 컴퓨터 비전(CV) 문제로 도전하여 서비스에 대한 인간과 컴퓨터의 액세스를 제어하여 그들 중에서 인간을 식별할 수 있습니다.일련의 문제는 현재 효과적이고 효율적인 알고리즘 솔루션이 없는 방식으로 선택됩니다.만약 그것이 존재한다면, 그러한 알고리즘은 컴퓨터에 의해 쉽게 수행될 수 있고, 따라서 시험을 물리칠 수 있습니다.사실, Moni Naor는 이것을 자동 튜링 테스트라고 부르며 겸손했습니다.앨런 튜링(1950)이 묘사한 모방 게임은 CV 문제를 사용하는 것을 제안하지 않았습니다.Naor 테스트는 자동화된 버전과 비자동화된 버전의 테스트 모두에서 동일한 목적으로 사용될 수 있는 NLP 영역의 대규모 문제를 식별하고 탐색하는 동안 특정 NLP 작업만 제안했습니다.

마지막으로, 인간 기반 유전 알고리즘(HBGA)[14]은 다양한 역할에 대한 인간의 참여를 장려합니다.인간은 평가자 또는 다른 미리 정의된 역할에 국한되지 않고 보다 다양한 작업을 수행하도록 선택할 수 있습니다.특히, 혁신적인 솔루션을 진화 프로세스에 기여하고, 기존 솔루션을 점진적으로 변경하며, 지능형 [15]재조합을 수행할 수 있습니다.간단히 말해서, HBGA는 인간이 일반적인 유전 알고리즘의 모든 작업에 참여할 수 있도록 합니다.결과적으로 HBGA는 사용 가능한 컴퓨팅 혁신 연산자가 없는 솔루션, 예를 들어 자연어를 처리할 수 있습니다.따라서 HBGA는 표준 및 대화형 [16]EC의 제한 요소인 고정된 표현 체계의 필요성을 제거했습니다.Alex Kosorukoff와 David [17]Goldberg에 따르면 이러한 알고리즘은 또한 컴퓨터에 의해 조정된 새로운 형태의 사회 조직으로 볼 수 있습니다.

인간 기반 계산 클래스

인간 기반 계산 방법은 컴퓨터와 인간을 서로 다른 역할로 결합합니다.Kosorukoff(2000)는 인간 기반 방법을 세 가지 클래스로 그룹화하는 계산에서 노동의 분할을 설명하는 방법을 제안했습니다.다음 표는 네 가지 종류의 계산을 설명하기 위해 진화 계산 모델을 사용하며, 그 중 세 가지는 어떤 역할에서 인간에게 의존합니다.각 클래스에 대해 대표적인 예가 표시됩니다.분류는 인간과 계산 프로세스에 의해 각각의 경우에 수행되는 역할(혁신 또는 선택)의 측면에서 이루어집니다.이 테이블은 3차원 테이블 조각입니다.세 번째 차원은 조직 기능이 사람에 의해 수행되는지 컴퓨터에 의해 수행되는지 여부를 정의합니다.여기서는 컴퓨터에 의해 수행되는 것으로 가정합니다.

연산에서의 분업
혁신 주체
컴퓨터. 인간
선택.
대리인		 컴퓨터. 유전 알고리즘 전산화된 테스트
인간 대화형 유전 알고리즘 인간 기반 유전 알고리즘

이 표의 인간 기반 계산 클래스는 HC, CH, HH라는 두 글자의 약어로 참조할 수 있습니다. 여기서 첫 번째 문자는 혁신을 수행하는 에이전트의 유형을 식별하고 두 번째 문자는 선택 에이전트의 유형을 지정합니다.일부 구현(위키가 가장 일반적인 예)에서는 사람 기반 선택 기능이 제한될 수 있으며 작은 h로 표시될 수 있습니다.

인간 기반 계산 방법

  • (HC) 다윈(비소츠키, 모리스, 매킬로이, 1961)과 코어 전쟁(존스, 드드니 1984)이것들은 사람들이 쓴 여러 프로그램들이 가장 적합한 프로그램들이 살아남는 토너먼트(계산 시뮬레이션)에서 경쟁하는 게임들입니다.프로그램 작성자는 성공적인 전략을 복사, 수정 및 재조합하여 승리 가능성을 높입니다.
  • (CH) Interactive EC (Dawkins, 1986; Caldwell and Johnston, 1991; Sims, 1991) IEC는 사용자가 좋아하는 이미지만 선택하여 추상적인 도면을 작성할 수 있도록 하므로 인간은 피트니스 계산만 수행하고 소프트웨어는 혁신적인 역할을 수행합니다.[Unemi 1998] 모의 번식 방식은 명시적인 적합성 없이 단지 선택만 도입하여 [18]인간에게 더 쉽습니다.
  • (HH2) Wiki(Cunningham, 1995)는 여러 사용자에 의한 웹 콘텐츠 편집을 가능하게 했습니다. 즉, 두 가지 유형의 인간 기반 혁신(새 페이지 및 증분 편집)을 지원했습니다.그러나 2002년까지 선택 메커니즘은 존재하지 않았습니다. 위키는 도움이 되지 않는 변경사항을 되돌리는 수정 내역으로 보강되었습니다.이는 동일한 페이지의 여러 버전 중에서 선택할 수 있는 수단을 제공했으며 위키를 협업 콘텐츠 진화를 지원하는 도구로 만들었습니다(EC 용어로 인간 기반 진화 전략으로 분류됨).
  • (HH3) 인간 기반 유전 알고리즘(Kosorukoff, 1998)은 인간 기반 선택과 세 가지 유형의 인간 기반 혁신(새로운 콘텐츠, 돌연변이 및 재조합 기여)을 모두 사용합니다.따라서 일반적인 유전 알고리즘의 모든 연산자는 인간에게 아웃소싱됩니다(따라서 인간 기반의 기원).이 아이디어는 2011년 [19]창의성을 연구하기 위해 크라우드와 유전 알고리즘을 통합하는 것으로 확장되었습니다.
  • (HH1) 소셜 검색 응용 프로그램은 사용자의 기여를 받아들이고 목록의 맨 위에 도달하는 가장 적합한 기여를 선택하기 위해 인간 평가를 사용하려고 시도합니다.이들은 한 가지 유형의 인간 기반 혁신을 사용합니다.초기 작업은 HBGA의 맥락에서 수행되었습니다.Digg와 Reddit은 최근에 인기 있는 예입니다.상호협력 필터링을 참조하십시오.
  • (HC) 컴퓨터화된 테스트.컴퓨터는 문제를 생성하고 사용자를 평가하기 위해 그것을 제시합니다.예를 들어, CAPTCHA는 인간에게는 쉽고 컴퓨터에게는 어려운 문제를 제시함으로써 컴퓨터 프로그램으로부터 인간 사용자에게 알려줍니다.CAPTCHA는 온라인 서비스의 자동 남용을 방지하기 위한 효과적인 보안 조치이지만, 그렇지 않으면 이를 해결하는 데 드는 인력의 노력이 낭비됩니다.reCAPTCHA 시스템은 광학 문자 인식이 [20]해독할 수 없는 스캔된 오래된 책에서 단어를 제시함으로써 책을 디지털화하는 데 이러한 인간 주기를 사용합니다.
  • (HC) 대화형 온라인 게임:이것들은 재미있는 방법으로 [21][22][23][24][25]사람들로부터 지식을 추출하는 프로그램들입니다.
  • (HC) "인간 군집" 또는 "사회 군집".인간 군집을 위한 UNU 플랫폼은 생물학적 군집 이후 형성된 네트워크 사용자 그룹을 중심으로 실시간 폐쇄 루프 시스템을 구축하여 인간 참여자들이 통합된 집단 [26][27][28][29][30][31][32]지능으로 행동할 수 있도록 합니다.
  • (NHC) 자연 인간 계산은 기존의 인간 행동을 활용하여 해당 [33]행동을 방해하지 않고 계산적으로 중요한 작업을 추출하는 것을 포함합니다.NHC는 인간에게 새로운 계산 작업을 수행하도록 요청하여 계산 작업을 인간 활동에 아웃소싱하는 것이 아니라 기존 행동에서 이전에 인식되지 않았던 계산 중요성을 활용하는 것을 포함한다는 점에서 다른 형태의 인간 기반 계산과 구별됩니다.

참여 인센티브

다양한 인간 기반 컴퓨팅 프로젝트에서 사람들은 다음 중 하나 이상에 의해 동기 부여를 받습니다.

  • 결과의 공정한 몫을 받는 것
  • 직접 금전적 보상(예: Amazon Mechanical Turk, 차차 검색 가이드, Mahalo.com 회원 응답)
  • 글로벌 정보[34] 경제에 참여할 수 있는 기회
  • 활동을 다양화하려는 욕구(예: "사람들은 일상 생활에서 [35]창의적이 되라는 요구를 받지 않습니다.")
  • 미적 만족
  • 호기심, 효과가 있는지 테스트하고 싶은 욕구
  • 자원봉사, 프로젝트의 목적을 지원하려는 욕구
  • 호혜, 교환, 상호 도움
  • 게임의 경쟁 또는 협력 정신으로 즐거움을 얻고자 하는 욕구
  • 소통하고 지식을 공유하려는 욕구
  • 사용자 혁신을 공유하여 다른 사용자가 혁신을 개선할 수 있는지 확인하고자 함
  • 시스템을 게임화하고 최종 결과에 영향을 미치려는 욕구
  • 재밌어요
  • 온라인 평판/인식 향상

많은 프로젝트가 이러한 인센티브의 다양한 조합을 탐구했습니다.Kosorukoff 및 [36]Von Hippel에서 [37]이러한 프로젝트에 참여한 참가자의 동기에 대한 자세한 내용을 확인하십시오.

사회 조직의 한 형태로서의 인간 기반 계산

사회 조직의 한 형태로 볼 때, 인간 기반 컴퓨팅은 놀랍게도 [38]전통적인 조직보다 더 강력하고 생산적인 것으로 밝혀집니다.후자는 다소 고정된 구조를 유지하고 기능적이고 안정적인 의무에 의존합니다.그들 각각은 인간을 부품으로 하여 신중하게 설계된 메커니즘과 유사합니다.하지만, 이것은 그들의 인간 직원들의 자유를 제한하고 그들에게 다양한 종류의 스트레스를 줍니다.대부분의 사람들은 기계 부품과 달리 조직에 가장 적합한 일부 고정된 역할에 적응하는 것이 어렵다고 생각합니다.진화적 인간 컴퓨팅 프로젝트는 이 문제에 대한 자연스러운 해결책을 제공합니다.그들은 조직 구조를 인간의 자발성에 적응시키고, 인간의 실수와 창의성을 수용하며, 건설적인 방식으로 둘 다를 활용합니다.이것은 참가자들이 전체의 기능을 위험에 빠뜨리지 않고 의무에서 자유로워지게 하여 사람들을 더 행복하게 만듭니다.우리가 이 아이디어의 잠재력을 완전히 실현하기 위해서는 아직 해결해야 할 어려운 연구 문제들이 있습니다.

인간 기반 계산에 사용되는 알고리즘 아웃소싱 기술은 기존 아웃소싱을 관리하는 데 사용되는 수동 또는 자동화 기술보다 훨씬 확장성이 뛰어납니다.이러한 확장성 덕분에 수천 명의 참가자들에게 작업을 쉽게 분배할 수 있습니다.최근에는 이러한 대량 아웃소싱이 기존의 [39]소규모 아웃소싱과는 완전히 다른 새로운 이름의 크라우드소싱을 받을 가치가 있다는 의견이 제기되었습니다.하지만, 다른 사람들은 크라우드소싱이 진정한 인간 기반 [40]계산과 구별되어야 한다고 주장했습니다.크라우드소싱은 실제로 많은 인간 에이전트에 걸쳐 계산 작업을 분배하는 것을 포함하지만, Michelucci는 이것이 인간의 계산으로 간주되기에는 충분하지 않다고 주장합니다.인간 계산은 작업을 서로 다른 에이전트에 분산시킬 뿐만 아니라 작업이 분산되는 에이전트 세트를 혼합해야 합니다. 그 중 일부는 사람이어야 하지만 다른 일부는 전통적인 컴퓨터여야 합니다.인간 기반 계산에 고유한 특성을 부여하는 것은 계산 시스템에서 서로 다른 유형의 에이전트가 혼합된 것입니다.크라우드소싱의 일부 사례는 실제로 이 기준을 충족하지만, 모든 사례가 충족하는 것은 아닙니다.

Human Computation은 작업 시장을 통해 작업자를 조직하고 API, 작업 가격 및 SaaS 프로토콜을 통해 작업자/요청자가 작업자가 생산한 데이터를 IT 시스템으로 직접 수신할 수 있도록 지원합니다.그 결과, 많은 고용주들이 사례별로 근로자에게 대응하거나 근로자의 우려 사항을 해결하기보다는 알고리즘을 통해 근로자를 자동으로 관리하려고 합니다.근로자에 대한 대응은 인간 컴퓨팅 마이크로워크 [41]플랫폼에 의해 가능한 고용 수준으로 확장하기 어렵습니다.예를 들어, Mechanical Turk 시스템의 근로자들은 인간 컴퓨팅 고용주들이 그들의 우려와[42] 필요에 반응하지 않을 수 있다고 보고했습니다.

적용들

인간의 도움은 모든 AI-완전 문제를 해결하는 데 도움이 될 수 있으며, 정의에 따르면 컴퓨터가 할 수는 없지만 인간에게는 실현 가능한 작업입니다.구체적인 실용적 응용 분야는 다음과 같습니다.

추가 정보:크라우드소싱 프로젝트 목록

비판

인간 기반 계산은 집단 [45][46]행동을 저해할 수 있는 잠재력을 가진 착취적이고 기만적이라는 비판을 받아 왔습니다.

사회 철학에서 인간 기반 계산은 온라인 [47]노동의 암묵적인 형태라고 주장되어 왔습니다.철학자 레이너 뮐호프는 "하이브리드 인간-컴퓨터 네트워크"에서 인간 마이크로워크의 다섯 가지 다른 유형의 "기계적 캡처"를 구분합니다: (1) 게임화, (2) "트랩 및 추적" (예: 구글 검색에서 캡차 또는 클릭 추적), (3) 사회적 이용 (예: 페이스북의 태그 부착).정보 마이닝 및 (5) 클릭 작업(예: Amazon Mechanical [48][49]Turk).뮐호프는 인간 기반 계산이 종종 딥 러닝 기반 인공 지능 시스템에 영향을 준다고 주장합니다. 이 현상은 그가 "인간 지원 인공 지능"이라고 분석하는 현상입니다.

참고 항목

레퍼런스

  1. ^ Shahaf, Dafna; and Eyal Amir (March 28, 2007). "Towards a Theory of AI Completeness" (PDF). Retrieved May 12, 2022.{{cite web}}CS1 유지보수: 다중 이름: 작성자 목록(링크)
  2. ^ Mühlhoff, Rainer (November 6, 2019). "Human-aided artificial intelligence: Or, how to run large computations in human brains? Toward a media sociology of machine learning". New Media & Society. 22 (10): 1868–1884. doi:10.1177/1461444819885334. ISSN 1461-4448. S2CID 209363848.
  3. ^ "컴퓨터"라는 용어는 현대적인 컴퓨터 사용법으로 사용된다, 인간의 컴퓨터가 아닌.
  4. ^ Turing, Alan M. (1950). "Computer Machinery and Intelligence" (PDF). Retrieved May 12, 2022.
  5. ^ Fogarty, Terence C. (August 20, 2003). "Automatic concept evolution". The Second IEEE International Conference on Cognitive Informatics, 2003. Proceedings. p. 89. doi:10.1109/COGINF.2003.1225961. ISBN 0-7695-1986-5. S2CID 30299981. Retrieved June 21, 2021.
  6. ^ 뮐호프 이후 인용, 라이너(von Ahn, Luis, Human Computation, vol. Google Tech Talk July 26, 2006, archived from the original on December 19, 2021, retrieved November 22, 20192019)."인간이 지원하는 인공지능: 아니면, 인간의 뇌에서 어떻게 큰 계산을 실행합니까? 기계 학습의 미디어 사회학으로."뉴미디어 & 소사이어티: 146144481988533. doi: 10.1177/146144819885334.ISSN 1461-4448.
  7. ^ Gentry, Craig; Zulfikar Ramzan, and Stuart Stubblebine. "Secure Distributed Human Computation" (PDF). Retrieved May 12, 2022.{{cite web}}CS1 유지보수: 다중 이름: 작성자 목록(링크)
  8. ^ Gentry, Craig; Ramzan, Zulfikar; Stubblebine, Stuart (2005). "Secure Distributed Human Computation". Secure Distributed Human Computation. Lecture Notes in Computer Science. Vol. 3570. pp. 328–332. doi:10.1007/11507840_28. ISBN 978-3-540-26656-3. Retrieved May 12, 2022.
  9. ^ Herdy, Michael (1996). Evolution strategies with subjective selection. Basic Concepts of Evolutionary Computation. Volumen 1141, pp. 22-31. pp. 22–31. doi:10.1007/3-540-61723-X_966. ISBN 9783540706687. Retrieved May 12, 2022.
  10. ^ Dawkins, Richard. "The Blind Watchmaker". Retrieved May 12, 2022.
  11. ^ Johnston, Victor. "Method and apparatus for generating composites of human faces". Retrieved May 12, 2022. 미국 특허 5,375,195
  12. ^ Sims, Karl P. "Computer system and method for generating and mutating objects by iterative evolution". Retrieved May 12, 2022. 미국 특허 6,088,510
  13. ^ Naor, Moni. "Verification of a human in the loop or Identification via the Turing Test". Retrieved May 12, 2021.
  14. ^ Kosorukoff, A. (2001). "Human based genetic algorithm". Human-based genetic algorithm. Vol. 5. pp. 3464–3469. doi:10.1109/ICSMC.2001.972056. ISBN 0-7803-7087-2. S2CID 13839604. Retrieved May 12, 2022.
  15. ^ Hammond, Michelle O.; and Terence C. Fogarty. "Co-operative OuLiPian (Ouvroir de littérature potentielle) Generative Literature Using Human-Based Evolutionary Computing" (PDF). Retrieved May 12, 2022.{{cite web}}CS1 유지보수: 다중 이름: 작성자 목록(링크)
  16. ^ Takagi, Hideyuki (September 2001). "Interactive evolutionary computation: fusion of the capabilities of EC optimization and human evaluation, pp. 1275-1296". Proceedings of the IEEE. 89 (9): 1275–1296. doi:10.1109/5.949485. hdl:2324/1670053. Retrieved May 12, 2022.
  17. ^ "Evolutionary Computation as a Form of Organization, pp. 965-972" (PDF). Archived from the original (PDF) on July 7, 2011. Retrieved May 12, 2022.
  18. ^ Unemi, Tastsuo (1998). "A Design of Multi-Field User Interface for Simulated Breeding, pp. 489-494". Proceedings of the Korean Institute of Intelligent Systems Conference: 489–494. Retrieved May 12, 2022.
  19. ^ Yu, Lixiu; and Jeffrey V. Nickerson (May 7, 2011). Cooks or cobblers?: Crowd creativity through combination. pp. 1393–1402. doi:10.1145/1978942.1979147. ISBN 9781450302289. S2CID 11287874. Retrieved May 12, 2022.{{cite book}}CS1 유지보수: 다중 이름: 작성자 목록(링크)
  20. ^ von Ahn, Luis; Benjamin Maurer, Colin McMillen, David Abraham, and Manuel Blum. "reCAPTCHA: Human-Based Character Recognition via Web Security Measures" (PDF). Retrieved May 12, 2022.{{cite web}}CS1 유지보수: 다중 이름: 작성자 목록(링크)
  21. ^ Burgener, Robin. "20Q . net. Twenty Questions. The neural-net on the Internet. Play Twenty Questions". Archived from the original on February 29, 2000. Retrieved May 12, 2022.
  22. ^ von Ahn, Luis, and Laura Dabbish. "Labeling Images with a Computer Game" (PDF). Retrieved May 12, 2022.{{cite web}}CS1 유지보수: 다중 이름: 작성자 목록(링크)
  23. ^ von Ahn, Luis; Mihir Kedia, and Manuel Blum. "Verbosity: A Game for Collecting Common-Sense Facts" (PDF). Retrieved May 12, 2022.{{cite web}}CS1 유지보수: 다중 이름: 작성자 목록(링크)
  24. ^ von Ahn, Luis; Shiri Ginosar, Mihir Kedia, Ruoran Liu, and Manuel Blum. "Improving Accessibility of the Web with a Computer Game" (PDF). Retrieved May 12, 2022.{{cite web}}CS1 유지보수: 다중 이름: 작성자 목록(링크)
  25. ^ von Ahn, Luis (July 19, 2011). "Method for labeling images through a computer game". Retrieved May 12, 2022.미국 특허 7,980,953
  26. ^ Rosenberg, Louis B. "Human Swarms: a real-time paradigm for Collective intelligence" (PDF). Retrieved May 12, 2021.
  27. ^ http://sites.lsa.umich.edu/collectiveintelligence/wp-content/uploads/sites/176/2015/05/Rosenberg-CI-2015-Abstract.pdf[베어 URL PDF]
  28. ^ "Swarms: a real-time paradigm for Collective intelligence". Archived from the original on October 27, 2015. Retrieved May 12, 2022.
  29. ^ Sunstein, Cass R. (August 16, 2006). "Infotopia: How Many Minds Produce Knowledge". SSRN 924249. Retrieved May 12, 2022.
  30. ^ Malone, Thomas W.; Robert Laubacher, and Chrysanthos Dellarocas (February 3, 2009). "Harnessing Crowds: Mapping the Genome of Collective Intelligence". doi:10.2139/ssrn.1381502. hdl:1721.1/66259. S2CID 110848079. SSRN 1381502. Retrieved May 12, 2022. {{cite journal}}:저널 요구 사항 인용 journal=(도움말)CS1 유지보수: 다중 이름: 작성자 목록(링크)
  31. ^ "Human Swarms, a real-time method for collective intelligence". Archived from the original on October 27, 2015. Retrieved October 12, 2015.
  32. ^ "Swarms of Humans Power A.I. Platform : Discovery News". Archived from the original on June 21, 2015. Retrieved June 21, 2015.
  33. ^ 에스트라다, 다니엘, 조나단 로헤드, 인간 계산의 스프링어 핸드북의 "관심 경제 게임", 피에트로 미켈루치(ed.), (Springer, 2014)
  34. ^ Schriner, Andrew; Oerther, Daniel (2014). "No Really, (Crowd) Work is the Silver Bullet". Procedia Engineering. 78 (2014): 224–228. doi:10.1016/j.proeng.2014.07.060.
  35. ^ (Q&A) 당신의 과제: 예술
  36. ^ Kosorukoff, Alexander. "Social classification structures. Optimal decision making in an organization" (PDF). Archived from the original (PDF) on July 7, 2011. Retrieved May 12, 2022.
  37. ^ Von Hippel, Eric. "Democratizing Innovation". Retrieved May 12, 2022.
  38. ^ Kosorukoff, Alexander, and David Goldberg (2002). "Evolutionary Computation as a Form of Organization" (PDF). Archived from the original (PDF) on July 7, 2011. Retrieved May 12, 2022.{{cite web}}CS1 유지보수: 다중 이름: 작성자 목록(링크)
  39. ^ Howe, Jeff (June 2006). "The Rise of Crowdsourcing". Wired. Retrieved May 12, 2022.
  40. ^ Michelucci, Pietro. Handbook of Human Computation. Retrieved May 12, 2022.
  41. ^ Irani, Lilly (2015). "The Cultural Work of Microwork". New Media & Society. 17 (5): 720–739. doi:10.1177/1461444813511926. S2CID 377594.
  42. ^ Irani, Lilly; Silberman, Six (2013). "Turkopticon:Interrupting Workers Invisibility on Amazon Mechanical Turk". Proceedings of SIGCHI 2013. Chi '13: 611–620. doi:10.1145/2470654.2470742. ISBN 9781450318990. S2CID 207203679.
  43. ^ US 7599911, Manber, Udi & Chang, Chi-Chao, "인간 입력 및 자동 순위를 이용한 검색 순위 지정 방법 및 장치", 2009-10-06 발행, Yahoo! 주식회사
  44. ^ "Method and apparatus for search ranking using human input and automated ranking". Retrieved May 12, 2022.
  45. ^ Zittrain, Jonathan (July 20, 2019). "Minds for Sale". Retrieved May 12, 2022.
  46. ^ Jafarinaimi, Nassim (February 7, 2012). Exploring the character of participation in social media: the case of Google Image Labeler. pp. 72–79. doi:10.1145/2132176.2132186. ISBN 9781450307826. S2CID 7094199. Retrieved May 12, 2022.
  47. ^ Mühlhoff, Rainer (2020). "Human-aided artificial intelligence: Or, how to run large computations in human brains? Toward a media sociology of machine learning". New Media & Society. 22 (10): 1868–1884. doi:10.1177/1461444819885334. S2CID 209363848.
  48. ^ Mühlhoff, Rainer (November 6, 2019). "Human-aided artificial intelligence: Or, how to run large computations in human brains? Toward a media sociology of machine learning". New Media & Society. 22 (10): 1868–1884. doi:10.1177/1461444819885334. ISSN 1461-4448. S2CID 209363848.
  49. ^ Mühlhoff, Rainer. "Human-aided artificial intelligence: Or, how to run large computations in human brains? Toward a media sociology of machine learning" (PDF). Retrieved May 12, 2022.