상태 확인

Statcheck

Statcheck는 동료 검토 심리학[1] 기사의 통계 오류를 검출하기 위해 설계된 R 패키지로, 통계 결과를 검색하고, 각 논문에 설명된 계산을 다시 수행하고,[2] 두 값이 일치하는지 여부를 비교합니다.심리학 연구논문이 미국 심리학회(APA)[3]가 발표한 지침에 따라 결과를 보고하는 경향이 있다는 점을 악용한 것이다.따라서 APA [4]가이드라인에 따라 완전히 정확하게 보고된 결과만 검출할 수 있고 논문 [5]표에만 포함된 통계는 검출할 수 없다는 몇 가지 단점이 있습니다.또 다른 한 가지 한계는 Statcheck가 실제로 검정을 보다 [6]보수적으로 만드는 Greenhouse-Geisser 또는 Bonferroni 보정과 같은 통계 검정을 위한 통계적 보정을 처리할 수 없다는 것입니다.일부 저널은 안전 점검 과정의 일환으로 Statcheck를 시범적으로 시행하기 시작했습니다.Statcheck는 GNU GPL v3에서 [7]공개되는 자유 소프트웨어입니다.

유효성

2017년에 Statcheck의 개발자들은 프로그램이 [8]95% 이상의 통계 오류를 정확하게 식별했다는 결론을 내리는 인쇄 전 논문을 발표했습니다.이 유효성 연구는 1,000개 이상의 손으로 검사한 테스트로 구성되었으며, 이 중 5.00%가 일관성이 [9]없는 것으로 나타났습니다.연구 결과 Statcheck는 모든 통계 검정의 60%를 인식했습니다.이러한 데이터를 재분석한 결과 프로그램이 테스트에 일관성이 없다고 플래그를 지정한 경우 60.4%의 사례에서 정답인 것으로 나타났습니다.반대로, 검정이 정말로 일관성이 없는 경우 Statcheck는 약 51.8%의 사례에서 검정을 표시했습니다(이 추정치에는 검출되지 않은 검정을 포함했으며 검정이 검출된 검정과 동일한 비율의 불일치를 가지고 있다고 가정함).전반적으로 Statcheck의 정확도는 95.9%로, 모든 검정을 액면 그대로 사용할 때 기대한 확률 수준 95.4%보다 0.5퍼센트 더 높습니다.통계분석 검사는 플래그 지정 검정에 [10]대해 보수적으로 편향되었습니다(약 1 표준 편차).

보다 최근의 연구는 캐나다 심리학 저널에 발표된 논문에 Statcheck를 사용하여, 그러한 기사의 30년 표본을 바탕으로 원본 저자와 유사한 통계 보고 오류 비율을 찾아냈다.같은 연구에서는 비교적 오래된 논문의 온라인 버전에서도 많은 오타가 발견되었으며, 이를 수정하면 잘못 [11]보고된 테스트의 예상 비율이 감소하였다.

역사

Statcheck는 2015년 Tilburg University의 Michele Nuijten과 [12][8]Amsterdam University의 Sacha Epskamp에 의해 처음 개발되었습니다.그해 말, Nuijten과 그녀의 동료들은 30,000개가 넘는 심리학 논문에 Statcheck를 이용한 논문을 발표하였고, "모든 발표된 심리학 논문의 절반은 테스트와 일치하지 않는 적어도 하나의 p-값을 포함하고 있다"[13]고 보고했다.그 연구는 그 후 [14][15]네이처지에 좋은 평가를 받았다.2016년 Nuijten과 Epskamp는 모두 Statcheck를 [16]만든 공로로 Berkeley Initiative for the Transparency in the Social Science로부터 Leamer-Rosental Prize for Open Social Science를 수상했다.

2016년 틸버그 대학 연구원 크리스 하트제링크는 Statcheck를 사용하여 50,000개 이상의 심리학 논문을 스캔하여 PubPeer에 결과를 게시한 후,[14][17] 이 논문에서 추출한 데이터를 Data 저널에 기사로 게재했습니다.하트링크는 마더보드와의 인터뷰에서 "우리는 과학이 제시하는 실제 과학이 얼마나 신뢰할 수 있는지 확인하고 있다"[18]고 말했다.그는 또한 Statcheck를 사용하여 철자 검사 소프트웨어 [12]프로그램과 유사한 기능을 수행하려고 한다고 Vox에 말했다.Hartgerink의 행동은 또한 플래그가 부착된 논문을 작성하거나 공동 집필한 모든 연구원들에게 이메일 경고를 보냈다.이러한 플래깅과 공개 포럼에 게시된 글은 논란이 되었고, 독일 심리학회는 Statcheck [14]사용을 비난하는 성명을 발표했다.심리학자 도로시 브이엠 Statcheck에 의해 두 개의 자기 서류를 가지고 있던 Bishop은 [19]그 프로그램에서 통계적 오류를 발견하지 못했음에도 불구하고 공개적으로 많은 (그녀 자신의 것 중 하나를 포함) 논문들을 표시했다고 비난했다.다른 비평가들은 Statcheck가 실제로 그것을 포함하지 않은 논문의 오류의 존재를 보고했다고 주장했는데, 그 이유는 [20]도구가 특정 논문의 통계를 정확하게 읽지 못했기 때문이다.

동료 검토 과정의 일부로 Statcheck 사용을 시범적으로 시행하기 시작한 저널에는 [21]Psychological Science, Canadian Journal of Human [22]Sexuality, Journal of Experimental Social [23]Psychology가 포함됩니다.오픈 액세스 퍼블리셔 PsychOpen도 2017년부터 [24]저널에 게재되는 모든 논문에 사용하고 있습니다.

「 」를 참조해 주세요.

레퍼런스

  1. ^ Nuijten, Michèle B. (2017-02-28). "BayesMed and statcheck". Aps Observer. 30 (3). Retrieved 2018-10-18.
  2. ^ Baker, Monya (2016-11-25). "Stat-checking software stirs up psychology". Nature. 540 (7631): 151–152. Bibcode:2016Natur.540..151B. doi:10.1038/540151a. ISSN 0028-0836. PMID 27905454.
  3. ^ Wren, Jonathan D. (2018-06-15). "Algorithmically outsourcing the detection of statistical errors and other problems". The EMBO Journal. 37 (12): e99651. doi:10.15252/embj.201899651. ISSN 0261-4189. PMC 6003655. PMID 29794111.
  4. ^ Colombo, Matteo; Duev, Georgi; Nuijten, Michèle B.; Sprenger, Jan (2018-04-12). "Statistical reporting inconsistencies in experimental philosophy". PLOS ONE. 13 (4): e0194360. Bibcode:2018PLoSO..1394360C. doi:10.1371/journal.pone.0194360. ISSN 1932-6203. PMC 5896892. PMID 29649220.
  5. ^ van der Zee, Tim; Anaya, Jordan; Brown, Nicholas J. L. (2017-07-10). "Statistical heartburn: an attempt to digest four pizza publications from the Cornell Food and Brand Lab". BMC Nutrition. 3 (1): 54. doi:10.1186/s40795-017-0167-x. ISSN 2055-0928. PMC 7050813. PMID 32153834.
  6. ^ Schmidt, Thomas (2016). "Sources of false positives and false negatives in the Statcheck algorithm". arXiv:1610.01010 [q-bio.QM].
  7. ^ "Statcheck/DESCRIPTION at master · MicheleNuijten/Statcheck". GitHub.
  8. ^ a b Chawla, Dalmeet Singh (2017-11-28). "Controversial software is proving surprisingly accurate at spotting errors in psychology papers". Science. Retrieved 2018-10-18.
  9. ^ Nuijten, Michèle B. "The validity of the tool "Statcheck" in discovering statistical reporting inconsistencies". PsyArXiv.
  10. ^ Schmidt, Thomas. "Statcheck does not work: All the numbers". PsyArXiv.
  11. ^ Green, Christopher D.; Abbas, Sahir; Belliveau, Arlie; Beribisky, Nataly; Davidson, Ian J.; DiGiovanni, Julian; Heidari, Crystal; Martin, Shane M.; Oosenbrug, Eric (August 2018). "Statcheck in Canada: What proportion of CPA journal articles contain errors in the reporting of p-values?". Canadian Psychology. 59 (3): 203–210. doi:10.1037/cap0000139. ISSN 1878-7304. S2CID 149813772.
  12. ^ a b Resnick, Brian (2016-09-30). "A bot crawled thousands of studies looking for simple math errors. The results are concerning". Vox. Retrieved 2018-10-18.
  13. ^ Nuijten, Michèle B.; Hartgerink, Chris H. J.; van Assen, Marcel A. L. M.; Epskamp, Sacha; Wicherts, Jelte M. (2015-10-23). "The prevalence of statistical reporting errors in psychology (1985–2013)". Behavior Research Methods. 48 (4): 1205–1226. doi:10.3758/s13428-015-0664-2. ISSN 1554-3528. PMC 5101263. PMID 26497820.
  14. ^ a b c Buranyi, Stephen (2017-02-01). "The high-tech war on science fraud". The Guardian. Retrieved 2018-10-18.
  15. ^ Baker, Monya (2015-10-28). "Smart software spots statistical errors in psychology papers". Nature. doi:10.1038/nature.2015.18657. ISSN 1476-4687. S2CID 187878096. Retrieved 2018-10-19.
  16. ^ "Michèle Nuijten". Berkeley Initiative for Transparency in the Social Sciences. 2016-12-16. Retrieved 2018-10-19.
  17. ^ Hartgerink, Chris (2016-09-23). "688,112 Statistical Results: Content Mining Psychology Articles for Statistical Test Results". Data. 1 (3): 14. doi:10.3390/data1030014.
  18. ^ Buranyi, Stephen (2016-09-05). "Scientists Are Worried About 'Peer Review by Algorithm'". Motherboard. Retrieved 2018-10-18.
  19. ^ "Here's why more than 50,000 psychology studies are about to have PubPeer entries". Retraction Watch. 2016-09-02. Retrieved 2018-10-18.
  20. ^ Stokstad, Erik (2018-09-21). "The truth squad". Science. 361 (6408): 1189–1191. Bibcode:2018Sci...361.1189S. doi:10.1126/science.361.6408.1189. ISSN 0036-8075. PMID 30237339. S2CID 52309610.
  21. ^ Freedman, Leonard P.; Venugopalan, Gautham; Wisman, Rosann (2017-05-02). "Reproducibility2020: Progress and priorities". F1000Research. 6: 604. doi:10.12688/f1000research.11334.1. ISSN 2046-1402. PMC 5461896. PMID 28620458.
  22. ^ Sakaluk, John K.; Graham, Cynthia A. (2017-11-17). "Promoting Transparent Reporting of Conflicts of Interests and Statistical Analyses at The Journal of Sex Research". The Journal of Sex Research. 55 (1): 1–6. doi:10.1080/00224499.2017.1395387. ISSN 0022-4499. PMID 29148841.
  23. ^ JESP piloting the use of statcheck. Journal of Experimental Social Psychology. Retrieved 2018-10-19.
  24. ^ "PsychOpen uses Statcheck tool for quality check". PsychOpen. 2017-04-10. Retrieved 2018-10-23.

외부 링크