좋은 판단 프로젝트

The Good Judgment Project

좋은 판단 프로젝트(GJP)는 '세계 행사를 예측하기 위해 군중의 지혜를 해치는 것'을 전담하는 조직이다.필립 E가 공동 제작했다. 테틀록(Superforcasting and Expert Political Juditment)[1][2][3]과 의사결정 과학자 바바라 멜러스, 돈 무어 펜실베이니아대 교수 모두.

당초 이 프로젝트는 인텔리전스 고급 연구 프로젝트 활동(IARPA)의 종합적 조건부 추정(ACE) 프로그램에 참여했던 참여자세한 내용은 인텔리전스 고급 연구 프로젝트 활동(Intelligent Advanced Research Projects Activity, IARPA)이다.[4][5]그 후 이 프로젝트는 그들의 "인파" 접근법을 상업적 벤처기업으로 확장하여 예측자를 모집하고 그들 중 가장 역사적으로 정확한 예측을 종합하여 미래 사건을 예측했다.[6][7]예측은 Brier 점수를 사용하여 채점된다.[8]GJP의 최고 예보관들은 "실제 기밀 정보에 접근할 수 있는 정보 장교들보다 30% 더 나은 것으로 보고되고 있다."[9]

역사

좋은 판단 프로젝트는 2011년 7월에 IARPA(IARPA-ACE)의 총량적 조건 추정(ACE) 프로그램과 협력하여 시작되었다.[10]첫 번째 대회는 2011년 9월에 시작되었다.[11]GJP는 IARPA-ACE 토너먼트에서 많은 참가자들 중 하나였으며, 지정학적 사건에 대해 매년 약 100~150개의 질문을 던졌다.GJP 연구팀은 (지정학적 주제 전문가가 아닌) 재능 있는 아마추어들을 대거 모아 베스트 프랙티스 예측과 인지편향 극복에 관한 기본 자습서를 주고, 예측자들의 개별 예측을 결합하는 집계 알고리즘을 만들었다.[5][12]GJP는 이번 공모전에서 두 시즌 모두 우승했으며, 어느 연구팀보다 정확도가 35~72% 높았다.[13]2013년 여름부터 GJP는 IARPA-ACE의 유일한 연구팀이었고, GJP 참여자들은 통합 분쟁 조기 경고 시스템을 이용할 수 있었다.[8]

사람

GJP의 공동 리더로는 필립 테틀록, 바바라 멜러스, 돈 무어가 있다.[1]웹사이트에는 데이비드 버데스쿠, 라일 언가, 조나단 바론, 그리고 예측-시장 기업가 에밀레 세르반-슈라이버를 포함한 총 30명의 팀원들이 나열되어 있다.[14]자문 위원회에는 다니엘 카네만, 로버트 저비스, J. 스콧 암스트롱, 마이클 마우부신, 칼 스페츨러, 저스틴 울퍼스 등이 포함되었다.[15]그 연구는 수천 명의 사람들을 자원예보관으로 고용했다.[16]성격-트래프트 테스트를 사용하여, GJP의 연구자들은 보통 사람보다 인지 편향성이 덜한 예측 참가자를 선택할 수 있었다; 예측 대회가 계속됨에 따라 연구원들은 소위 초예측자 그룹으로 이러한 개인들을 더 아래로 선택할 수 있었다.GJP의 마지막 시즌에는 총 260명의 슈퍼예보관이 참가하였다.[citation needed]

리서치

관련자들의 '좋은 판단 프로젝트'를 바탕으로 상당한 양의 연구가 진행되었다.[17][18][19][20]그 결과는 통계, 심리학, 훈련 그리고 개별 예측자들 사이의 다양한 수준의 상호작용의 혼합을 이용함으로써, 몇 년 연속 최고의 예측을 지속적으로 만들어냈다는 것을 보여준다.[16]

Good Jude 오픈

2015년 7월부터 굿 판단 프로젝트의 상업적 스핀오프가 굿 판단 주식회사라는 이름으로 웹에서 운영되기 시작했다.㈜굿심판은 2015년 9월부터 굿심판 오픈 현장에서 공개예측대회를 운영하고 있다.굿심판 프로젝트처럼 굿심판 오픈은 미국의 정치, 연예, 스포츠에 대한 질문도 있지만 지정학적, 금융적 사건에 대한 질문이 있다.[21][22]

언론 보도

GJP는 이코노미스트에서 반복적으로 논의되어 왔다.[11][23][24]GJP는 뉴욕 타임즈,[3] 워싱턴 포스트,[5][25][26] 그리고 Co에서도 다루어졌다.존재하라 [27]NPR은 2014년 4월 2일 '좋은 판단 프로젝트'에 대한 코너를 '그래서 CIA요원보다 더 똑똑하다고 생각하는구나'라는 제목으로 방영했다.[9]파이낸셜 타임즈는 2014년 9월 5일 GJP에 관한 기사를 실었다.[28]워싱턴은 2015년 1월 8일 GJP를 언급한 기사를 실었다.[29]BBC와 워싱턴포스트는 2015년 1월 20일, 21일, 29일 각각 GJP에 관한 기사를 실었다.[30][31][32]

멘로파크의 연감은 2015년 1월 29일 GJP에 사연을 게재했다.[33]2015년 2월 4일 필라델피아 인콰이어러(Philly.com) 포털에 GJP 관련 기사가 등장했다.[34]더 현명한 책: 그룹을 더 똑똑하게 만들기 위해 그룹 사고를 넘어서는 것에는 IARPA가 운영하는 토너먼트에서 GJP의 참여에 대해 자세히 설명하는 섹션이 있다.[35]심리학 투데이는 Meleers 등이 GJP의 주요 연구 결과를 요약한 짧은 기사를 온라인에 게재했다.[36][37]

이 프로젝트는 테트록이 2015년 출간한 책과 Dan Gardner, 슈퍼 예측 - The Art and Science of Predicting이 공동 집필한 책으로 GJP의 데이터와 함께 수행한 연구의 주요 연구 결과를 폭로했다.[38] 공동 저자인 가드너는 이미 2010년에 GJP의 노력을 모았던 테트록의 이전 연구를 인용한 책을 출판했다.[39]2015년 9월 26일자 서평에서 이코노미스트 인쇄판은 주요 개념에 대해 논하고 있다.[40]월스트리트저널(WSJ)은 "대니얼 카너먼의 생각, 빠르고 느리다 이후 가장 중요한 의사결정에 관한 가장 중요한 책이다.[41]하버드 비즈니스 리뷰는 그것을 어떻게 틀리지 않을 것인가라는 책과 짝을 지었다. 조던 엘렌버그의 수학적인 사고의 힘.[42]2015년 9월 30일 NPR은 GJP와 슈퍼예측서를 중심으로 콜린 맥엔로 쇼의 에피소드를 방송했는데, 이 쇼의 게스트는 테틀록, 제이슨 매테니 IARPA 감독, 그리고 슈퍼예측자 일레인 리치였다.[43]

참고 항목

참조

  1. ^ a b "Welcome to the Good Judgment Project". The Good Judgment Project. Retrieved May 5, 2014.
  2. ^ "Who's who in the Good Judgment Project". The Good Judgment Project. July 27, 2011. Retrieved May 5, 2014.
  3. ^ a b Brooks, David (March 21, 2013). "Forecasting Fox". New York Times. Retrieved May 5, 2014.
  4. ^ "The Project". The Good Judgment Project. Archived from the original on May 6, 2014. Retrieved May 5, 2014.
  5. ^ a b c Horowitz, Michael (November 26, 2013). "Good judgment in forecasting international affairs (and an invitation for season 3)". Washington Post. Retrieved May 5, 2014.
  6. ^ "About Superforecasting Unprecedented Accurate & Precise Forecasting". Good Judgment. Retrieved 2022-02-17.
  7. ^ Matthews, Dylan (2022-02-16). "How can we prevent major conflicts like a Russia-Ukraine war?". Vox. Retrieved 2022-02-17.
  8. ^ a b Dickenson, Matt (November 12, 2013). "Prediction and Good Judgment: Can ICEWS Inform Forecasts?". Predictive Heuristics. Retrieved May 24, 2014.
  9. ^ a b Spiegel, Alix. "So You Think You're Smarter Than A CIA Agent". NPR.org. Retrieved 2014-08-18.
  10. ^ "The idea behind the Good Judgment Project". The Good Judgment Project. July 27, 2011. Archived from the original on May 6, 2014. Retrieved May 5, 2014.
  11. ^ a b "The perils of prediction: Adventures in punditry". The Economist. September 2, 2011. Retrieved May 6, 2014.
  12. ^ Mellers, Barbara; Ungar, Lyle; Baron, Jonathan; Ramos, Jaime; Gurcay, Burcu; Fincher, Katrina; Scott, Sydney E.; Moore, Don; Atanasov, Pavel; Swift, Samuel A.; Murray, Terry (2014-03-21). "Psychological Strategies for Winning a Geopolitical Forecasting Tournament". Psychological Science. 25 (5): 1106–1115. doi:10.1177/0956797614524255. ISSN 0956-7976.
  13. ^ "The first championship season". Good Judgment. Retrieved 2022-02-17.
  14. ^ "Team". The Good Judgment Project. Retrieved May 5, 2014.
  15. ^ "Freakonomics". Sign Up for a Prediction Tournament. 2011-08-04.
  16. ^ a b Mellers, Barbara; Ungar, Lyle; Baron, Jonathan; Ramos, Jaime; Gurcay, Burcu; Fincher, Katrina; Scott, Sydney E.; Moore, Don; Atanasov, Pavel; Swift, Samuel A.; Murray, Terry; Stone, Eric; Tetlock, Philip E. (2014-05-01). "Psychological strategies for winning a geopolitical forecasting tournament". Psychological Science. 25 (5): 1106–1115. doi:10.1177/0956797614524255. ISSN 1467-9280. PMID 24659192.
  17. ^ Atanasov, Pavel; Rescober, Phillip; Stone, Eric; Swift, Samuel A.; Servan-Schreiber, Emile; Tetlock, Philip; Ungar, Lyle; Mellers, Barbara (2016-04-22). "Distilling the Wisdom of Crowds: Prediction Markets vs. Prediction Polls". Management Science. 63 (3): 691–706. doi:10.1287/mnsc.2015.2374. ISSN 0025-1909.
  18. ^ Ungar, Lyle; Mellers, Barbara; Satopää, Ville; Baron, Jon; Tetlock, Philip E.; Ramos, Jaime; Swift, Sam. "The Good Judgment Project: A Large Scale Test of Different Methods of Combining Expert Predictions". Association for the Advancement of Artificial Intelligence.
  19. ^ Ulfelder, Jay (March 27, 2014). Using the 'Wisdom of (Expert) Crowds' to Forecast Mass Atrocities (Report). doi:10.2139/ssrn.2418980. SSRN 2418980.
  20. ^ Atanasov, P.; Witkowski, J.; Ungar, L.; Mellers, B.; Tetlock, P. (2020). "Small steps to accuracy: Incremental belief updaters are better forecasters". doi:10.1016/j.obhdp.2020.02.001. {{cite journal}}:Cite 저널은 필요로 한다. journal=(도움말)
  21. ^ "How Good Judgment Project Uses Superforecasting Built In". builtin.com. Retrieved 2022-02-17.
  22. ^ "Good Judgment® Open". www.gjopen.com. Retrieved 2022-02-17.
  23. ^ "Monetary policy: How likely is deflation?". The Economist. September 13, 2011. Retrieved May 6, 2014.
  24. ^ "International: Who's good at forecasts? How to sort the best from the rest". The Economist. November 18, 2013. Retrieved May 6, 2014.
  25. ^ Ignatius, David (November 1, 2013). "More chatter than needed". Washington Post. Retrieved May 6, 2014.
  26. ^ Bender, Jeremy (April 3, 2014). "Huge Experiment Finds Regular Folks Predict World Events Better Than CIA Agents". Business Insider. Retrieved May 6, 2014.
  27. ^ "The Surprising Accuracy Of Crowdsourced Predictions About The Future. Do you know whether Turkey will get a new constitution? It turns out you do: A group of well-informed citizens can predict future events more often than any foreign policy expert or CIA analyst". Co.exist. April 21, 2014. Retrieved May 6, 2014.
  28. ^ Harford, Tim (2014-09-05). "How to see into the future". Financial Times. ISSN 0307-1766. Retrieved 2014-09-05.
  29. ^ Hamilton, Keegan. "How US Agencies Are Using the Web to Pick Our Brains". Washingtonian. Retrieved 2015-01-24.
  30. ^ Burton, Tara (2015-01-20). "Could you be a 'super-forecaster'?". BBC Future. Retrieved 2015-01-21.
  31. ^ Jensen, Nathan (2015-01-21). "Experts see a Republican Senate and fast-track authority for Obama as keys to new trade agreements". The Washington Post. ISSN 0190-8286. Retrieved 2015-01-21.
  32. ^ Mellers, Barbara; Michael C. Horowitz (2015-01-29). "Does anyone make accurate geopolitical predictions?". The Washington Post. ISSN 0190-8286. Retrieved 2015-01-30.
  33. ^ "Feature story: Bob Sawyer of Woodside discovers his latent talent in forecasting". Retrieved 2015-03-17.
  34. ^ Dribben, Melissa; Inquirer Staff Writer (2015-02-04). "Fortune telling: Crowds surpass pundits". Philly.com. Retrieved 2015-02-06.
  35. ^ Sunstein, Cass R.; Hastie, Reid (2014-12-23). Wiser: Getting Beyond Groupthink to Make Groups Smarter. Harvard Business Review Press. ISBN 978-1-4221-2299-0.
  36. ^ "Who's Best at Predicting the Future? (and How to Get Better)". Psychology Today. Retrieved 2015-07-11.
  37. ^ Mellers, Barbara; Stone, Eric; Murray, Terry; Minster, Angela; Rohrbaugh, Nick; Bishop, Michael; Chen, Eva; Baker, Joshua; Hou, Yuan; Horowitz, Michael; Ungar, Lyle; Tetlock, Philip (2015-05-01). "Identifying and Cultivating Superforecasters as a Method of Improving Probabilistic Predictions". Perspectives on Psychological Science. 10 (3): 267–281. doi:10.1177/1745691615577794. ISSN 1745-6916. PMID 25987508.
  38. ^ Tetlock, Philip E.; Gardner, Dan (2015-09-29). Superforecasting - The Art and Science of Prediction. New York: Crown. ISBN 978-0-8041-3669-3.
  39. ^ Gardner, Dan (2010-10-12). Future Babble: Why Expert Predictions Fail - and Why We Believe Them Anyway. McClelland & Stewart.
  40. ^ "Unclouded vision". The Economist. 2015-09-26. ISSN 0013-0613. Retrieved 2015-09-24.
  41. ^ Zweig, Jason. "Can You See the Future? Probably Better Than Professional Forecasters". The Wall Street Journal. Retrieved September 25, 2015. I think Philip Tetlock’s “Superforecasting: The Art and Science of Prediction,” ..., is the most important book on decision making since Daniel Kahneman’s “Thinking, Fast and Slow.”
  42. ^ Frick, Walter. "Question Certainty". Harvard Business Review. Retrieved 2015-09-26.
  43. ^ McEnroe, Colin; Wolf, Chion. "The Colin McEnroe Show". WNPR. National Public Radio. Retrieved October 1, 2015.

외부 링크