재현성

Reproducibility
이 기사는 과학 연구 결과의 재현성에 관한 것이다.유기체의 생식능력에 대해서는 다산과 다산을 참조한다.

재현성과 반복성으로도 알려진 재현성은 과학적 방법을 뒷받침하는 주요 원칙이다.연구 결과가 재현 가능하려면 실험 또는 관찰 연구 또는 데이터 세트의 통계 분석에서 얻은 결과가 연구가 복제될 때 높은 신뢰도로 다시 달성되어야 한다.레플리케이션에는[1] 다양한 종류가 있지만, 일반적으로 레플리케이션 연구에는 같은 방법을 사용하는 다른 연구원이 관여합니다.이러한 복제가 하나 또는 여러 번 성공한 후에야 결과를 과학적 지식으로 인식해야 합니다.

범위가 좁아지면서 재현성이 계산 과학에 도입되었습니다.모든 결과는 동일한 결과로 계산을 다시 실행할 수 있도록 모든 데이터와 코드를 사용 가능하게 하여 문서화해야 합니다.

최근 수십 년 동안 발표된 많은 과학적 결과가 재현성 테스트에 실패하여 재현성 또는 복제 위기를 야기한다는 우려가 제기되어 왔다.

역사

보일의 공기 펌프는 17세기에는 복잡하고 값비싼 과학 장비였기 때문에 결과 재현이 어려웠다.

과학에서 재현성의 중요성을 가장 먼저 강조한 사람은 17세기 영국의 아일랜드 화학자 로버트 보일이었다.보일의 공기 펌프는 진공 상태를 생성하고 연구하도록 설계되었으며, 이는 당시 매우 논란이 많았던 개념이었다.실제로 르네 데카르트와 토마스 홉스 같은 저명한 철학자들은 진공상태의 존재 가능성을 부정했다.과학사학자 스티븐 샤핀과 사이먼 샤퍼는 1985년 저서 '리바이어던과 에어펌프'에서 보일과 홉스 사이의 논쟁은 표면적으로는 진공의 본질에 대한 논쟁으로, 근본적으로 얼마나 유용한 지식을 얻어야 하는지에 대한 논쟁으로 묘사하고 있다.실험 방법의 선구자인 보일은 지식의 기초는 실험적으로 생산된 사실에 의해 구성되어야 하며, 그 재현성에 의해 과학계에 신뢰를 줄 수 있어야 한다고 주장했다.보일은 같은 실험을 계속해서 반복함으로써 사실의 확실성이 드러날 것이라고 주장했다.

공기 펌프는 17세기에는 복잡하고 비용이 많이 드는 기구였지만, 특정 과학 현상의 재현성에 대한 최초의 문서화된 논쟁으로 이어졌다.1660년대에 네덜란드의 과학자 크리스티안 호이겐스는 암스테르담에 자신의 공기 펌프를 만들었는데, 이는 당시 보일과 그의 조수였던 로버트 후크의 직영 외부에 있는 최초의 공기 펌프였다.호이겐스는 물이 공기 펌프 안의 유리병에 떠다니는 것처럼 보이는 "불규칙적인 현탁"이라는 효과를 보고했지만, 보일과 후크는 이 현상을 자신들의 펌프에서 재현할 수 없었다.샤핀과 샤퍼의 설명에 따르면, "두 펌프 중 하나를 사용할 수 있는 상태에서 영국에서 이러한 현상이 발생하지 않는 한, 영국의 누구도 호이겐스의 주장이나 펌프 작동 능력을 받아들이지 않을 것이라는 것이 분명해졌다.호이겐스는 마침내 1663년에 영국으로 초대되었고, 그의 개인적인 지도 아래, 후크는 비정상적인 물의 흐름을 재현할 수 있었다.그 후 Huygens는 왕립 협회의 외국인 회원으로 선출되었다.그러나 Shapin과 Schaffer는 또한 "복제의 성과는 우발적인 판단 행위에 달려 있었다.레플리케이션이 행해진 시기와 행해지지 않은 시점을 나타내는 수식은 기입할 수 없습니다.[2]

과학의 철학자인 칼 포퍼는 1934년 그의 유명한 저서 과학적 발견의 논리(The Logic of Scientical Discovery)에서 "복제할 수 없는 단일 사건은 [3]과학에 중요하지 않다"고 짧게 언급했다.통계학자 로널드 피셔는 가설 테스트와 통계적 중요성의 현대 과학적 실천의 기초를 세운 1935년 저서 "실험의 설계"에서 "우리는 어떤 현상이 통계적으로 우리에게 거의 주지 않을 실험을 수행하는 방법을 알 때 실험적으로 입증될 수 있다고 말할 수 있다"고 썼다.중요한 결과"[4]라고 말합니다.이러한 주장은 재현성이 과학적 사실을 확립하기 위해 필요한 조건이며, 실제로 모든 지식 분야에서 과학적 권위를 확립하기 위해 필요한 조건이라는 현대 과학에서의 공통된 신조를 표현한다.그러나 샤핀과 샤퍼에 의해 위에서 지적된 바와 같이, 이 교리는 예를 들어 통계적 유의성과 같이 양적으로 잘 공식화되지 않았기 때문에 재현 가능한 것으로 간주되기 위해 몇 번이나 사실을 반복해야 하는지는 명확하게 확립되지 않았다.

용어.

복제성과 반복성은 재현성과 폭넓게 또는 느슨하게 동의어이지만(예를 들어 일반 대중 사이에서) 다음과 같이 보다 정밀한 의미에서 유용하게 구별되는 경우가 많다.

실험 또는 관찰 연구의 재현성과 관련하여 두 가지 주요 단계가 자연스럽게 구별된다.이를 달성하기 위해 새 데이터를 얻을 때 종종 반복 가능성이라는 용어가 사용되며, 새 연구는 원래 데이터를 복제하거나 복제하는 것입니다.동일한 절차로 원본 연구의 데이터 세트를 다시 분석할 때 동일한 결과를 얻기 위해, 많은 저자들은 컴퓨터 연구에 사용된 것으로부터 나온 좁은 기술적 의미에서 재현성이라는 용어를 사용한다.반복성은 동일한 연구자가 동일한 연구 내에서 실험을 반복하는 것과 관련이 있습니다.원래의 넓은 의미의 재현성은 독립 연구팀이 수행한 복제가 성공한 경우에만 인정된다.

불행히도, 재현성과 복제성이라는 용어는 연구자들이 더 정확한 용법을 시행하지 못할 때 심지어 거꾸로 [5][6]된 의미를 지닌 과학 문헌에도 종종 나타난다.

재현성 및 반복성 측정

화학에서 재현성과 반복성이라는 용어는 특정한 양적 [7]의미와 함께 사용됩니다.실험실 간 실험에서 화학 물질의 농도 또는 다른 양은 측정의 가변성을 평가하기 위해 서로 다른 실험실에서 반복적으로 측정된다.그리고 같은 실험실에서 얻은 두 값의 차이에 대한 표준 편차를 반복성이라고 합니다.서로 다른 실험실의 두 측정값 간의 차이에 대한 표준 편차를 [8]재현성이라고 합니다.이러한 측정값은 도량형에서 분산 성분의 보다 일반적인 개념과 관련이 있습니다.

재현 가능한 연구

재현 가능한 연구 방법

재현 가능한 연구라는 용어는 과학적 결과가 완전히 투명한 방식으로 기록되어야 한다는 생각을 의미한다.여기에는 데이터를 가져오는[9][10] 데 사용되는 방법에 대한 자세한 설명이 필요하며, 결과를 쉽게 계산할 [11][12][13][14][15][16]수 있도록 전체 데이터 집합과 코드를 만들어야 합니다.이것은 열린 과학의 필수적인 부분이다.

연구 프로젝트를 계산적으로 재현할 수 있도록 하기 위해 모든 데이터와 파일을 명확하게 분리, 라벨 부착 및 문서화해야 합니다.모든 작업은 가능한 한 완전히 문서화 및 자동화되어야 하며, 가능한 한 수동 개입을 피해야 합니다.워크플로우는 한 단계의 중간 출력이 다음 단계의 입력으로 직접 공급되도록 조합된 일련의 작은 단계로 설계되어야 합니다.버전 관리는 프로젝트 이력을 쉽게 검토할 수 있도록 하고 변경 사항을 투명하게 문서화하고 추적할 수 있도록 하기 위해 사용해야 합니다.

재현 가능한 연구를 위한 기본 워크플로우에는 데이터 수집, 데이터 처리 및 데이터 분석이 포함됩니다.데이터 수집은 주로 조사, 현장 관찰, 실험 연구 또는 기존 소스로부터 데이터를 얻는 것으로 구성된다.데이터 처리에는 1단계에서 수집된 원시 데이터의 처리 및 검토가 포함되며 데이터 입력, 데이터 조작 및 필터링이 포함되며 소프트웨어를 사용하여 수행할 수 있습니다.데이터를 디지털화하고 데이터 분석을 위해 준비해야 합니다.데이터는 통계나 데이터를 해석하거나 시각화하는 소프트웨어를 사용하여 분석하여 수치와 표를 포함한 정량적 결과와 같은 원하는 연구 결과를 도출할 수 있다.소프트웨어 및 자동화의 사용은 연구 [17]방법의 재현성을 향상시킨다.

R Markdown[18] 언어나 Jupyter [19][20][21]노트북과 같이 이러한 문서를 쉽게 작성할 수 있는 시스템이 있습니다.Open Science Framework는 재현 가능한 연구를 지원하는 플랫폼과 유용한 도구를 제공합니다.

실제로 재현 가능한 연구

심리학에서는 재현할 수 없는 결과에 대한 내부적인 우려가 갱신되고 있다(복제 성공률에 대한 경험적 결과는 복제성 위기에 대한 진입 참조).연구자들은 2006년 연구에서 미국심리학회(APA) 경험적 기사의 141명의 저자 중 103명(73%)이 6개월 [22]동안 자신의 데이터로 응답하지 않았다는 것을 보여주었다.2015년에 발표된 추적 조사에서는 APA 저널의 논문 저자에게 연락한 394명 중 246명이 요청 시 데이터를 공유하지 않은 것으로 나타났다(62%).[23]2012년 한 논문에서 연구자들이 자신의 연구 결과와 함께 데이터를 공개해야 한다고 제안했고,[24] 데이터 집합이 시연용으로 함께 공개되었습니다.2017년 Scientific Data에 게재된 기사에서 이것이 충분하지 않을 수 있으며 전체 분석 맥락을 [25]공개해야 한다고 제안했다.

경제학에서는 발표된 연구의 신뢰성과 신뢰성과 관련하여 우려가 제기되어 왔다.다른 과학에서는 재현성이 기본이고 종종 발표되는 연구의 전제 조건이지만, 경제 과학에서는 재현성이 가장 중요한 우선순위로 간주되지 않는다.대부분의 안전 점검 경제 저널은 발표된 결과가 재현 가능한지 확인하기 위한 실질적인 조치를 취하지 않지만, 상위 경제 저널은 의무적인 데이터와 코드 [26]아카이브를 채택하려는 움직임을 보이고 있다.연구자들이 데이터를 공유하기 위한 인센티브는 낮거나 전혀 없으며, 데이터를 재사용 가능한 형태로 컴파일하는 비용은 작성자가 부담해야 한다.저널의 일부만이 데이터셋과 프로그램 코드에 대한 적절한 공개 정책을 가지고 있고, 그렇다 하더라도 저자가 이를 준수하지 않거나 출판사에 의해 강제되지 않는 경우가 많기 때문에 경제 연구는 재현할 수 없는 경우가 많다.37개의 동료 검토 저널에 게재된 599개의 기사를 조사한 결과, 일부 저널은 상당한 준수율을 달성했지만, 상당 부분은 부분적으로만 준수하거나 전혀 준수하지 않은 것으로 나타났다.기사 레벨에서는 평균 컴플라이언스 비율이 47.5%, 저널 레벨에서는 평균 컴플라이언스 비율이 38%로 13%에서 99%[27]까지 다양했습니다.

2018년 PLOS ONE 저널에 발표된 연구에 따르면 공중 보건 연구자 표본의 14.4%가 자신의 데이터나 코드를 공유하거나 둘 [28]다 공유한 것으로 나타났다.

현재 더 넓은 이니셔티브인 적도 네트워크의 일부인 컨소시엄 이니셔티브를 시작으로 수년 동안 의학 문헌의 보고 및 재현성을 개선하기 위한 이니셔티브가 있었다.이 그룹은 최근 더 [29]나은 보고가 연구, 특히 생물의학 연구의 낭비를 줄일 수 있는 방법에 관심을 돌렸다.

재현 가능한 연구는 약리학에서 새로운 발견의 핵심이다.1단계 발견에 이어 2단계 재현이 이루어지며 의약품은 상업적 생산을 향해 개발됩니다.최근 수십 년간 2단계 성공률은 28%에서 18%로 떨어졌습니다.2011년 연구에 따르면 재시험 시 의료 연구의 65%가 일관성이 없었고, 6%만이 완전히 재현 가능한 [30]것으로 나타났다.

주목할 만한 재현 불가능한 결과

노구치 히데요는 매독의 세균제를 정확하게 식별함으로써 유명해졌지만, 이 세균제를 자신의 실험실에서 배양할 수 있다고 주장하기도 했다.아무도 이 후자의 결과를 [31]낼 수 없었다.

1989년 3월, 유타 대학의 화학자 스탠리 폰스와 마틴 플라이슈만은 핵 프로세스("냉간 핵융합")로만 설명할 수 있는 과잉 열의 생성을 보고했다.장비의 단순성을 고려할 때 보고서는 놀라웠다. 그것은 본질적으로 중수를 포함한 전기 분해 셀과 전기 분해 중에 생성된 중수소를 빠르게 흡수하는 팔라듐 음극이었다.뉴스 매체는 그 실험에 대해 널리 보도했고, 그것은 전 세계 많은 신문들의 1면 기사였다(기자회견 과학 참조).그 후 몇 달 동안 다른 사람들은 그 실험을 재현하려고 시도했지만 [32]성공하지 못했다.

니콜라 테슬라는 이미 1899년에 25마일(40km) 이상 떨어진 곳에서 전선을 사용하지 않고 가스로 채워진 램프를 점등하기 위해 고주파 전류를 사용했다고 주장했다.1904년 그는 와이어를 연결하지 않고 전력을 송수신하는 방법을 보여주기 위해 롱아일랜드에 워든클리프 타워를 세웠다.이 시설은 결코 완전히 가동되지 않았고 경제적인 문제로 완공되지 않았기 때문에 그의 첫 번째 결과를 재현하려는 시도는 [33]전혀 이루어지지 않았다.

원청구를 반증하는 기타 사례:

  • 자극 유발 다능성 획득, 사기의 결과로 밝혀짐
  • GFAJ-1, 인 대신 비소를 DNA에 포함시킬 수 있는 박테리아
  • MMR 백신 논란 – MMR 백신이 자폐증을 일으킨다고 주장하는 The Lancet의 연구는 사기성이 있는 것으로 밝혀졌다.
  • 쇤 스캔들 – 반도체 '돌파'가 사기극으로 드러났다
  • 파워 포즈 – 매우 인기 있는 TED 강연의 주제가 된 후 입소문을 탔지만 수십 개의[34] 연구에서 재현할 수 없었던 사회심리학 현상

「 」를 참조해 주세요.

레퍼런스

  1. ^ Tsang, Eric W. K.; Kwan, Kai-man (1999). "Replication and Theory Development in Organizational Science: A Critical Realist Perspective". Academy of Management Review. 24 (4): 759–780. doi:10.5465/amr.1999.2553252. ISSN 0363-7425.
  2. ^ 스티븐 샤핀과 사이먼 샤퍼, 리바이어던과 에어펌프, 프린스턴 대학 출판부, 뉴저지 프린스턴(1985년).
  3. ^ 이 인용문은 1959년 영문 번역본 Karl Popper, The Logic of Scientificic Discovery, Routledge, London, 1992 페이지 66에서 인용한 것입니다.
  4. ^ Ronald Fisher, The Design of Experiments, (1971) [1935](9일판), Macmillan, 페이지 14.
  5. ^ Barba, Lorena A. (2018). "Terminologies for Reproducible Research". arXiv:1802.03311.
  6. ^ Liberman, Mark. "Replicability vs. reproducibility — or is it the other way round?". Retrieved 2020-10-15.
  7. ^ "IUPAC - reproducibility (R05305)". International Union of Pure and Applied Chemistry. doi:10.1351/goldbook.R05305. Retrieved 2022-03-04.
  8. ^ Subcommittee E11.20 on Test Method Evaluation and Quality Control (2014). "Standard Practice for Use of the Terms Precision and Bias in ASTM Test Methods". ASTM International. ASTM E177.(설명 필요)
  9. ^ King, Gary (1995). "Replication, Replication". PS: Political Science and Politics. 28 (3): 444–452. doi:10.2307/420301. ISSN 1049-0965. JSTOR 420301.
  10. ^ Kühne, Martin; Liehr, Andreas W. (2009). "Improving the Traditional Information Management in Natural Sciences". Data Science Journal. 8 (1): 18–27. doi:10.2481/dsj.8.18.
  11. ^ Fomel, Sergey; Claerbout, Jon (2009). "Guest Editors' Introduction: Reproducible Research". Computing in Science and Engineering. 11 (1): 5–7. Bibcode:2009CSE....11a...5F. doi:10.1109/MCSE.2009.14.
  12. ^ Buckheit, Jonathan B.; Donoho, David L. (May 1995). WaveLab and Reproducible Research (PDF) (Report). California, United States: Stanford University, Department of Statistics. Technical Report No. 474. Retrieved 5 January 2015.
  13. ^ "The Yale Law School Round Table on Data and Core Sharing: "Reproducible Research"". Computing in Science and Engineering. 12 (5): 8–12. 2010. doi:10.1109/MCSE.2010.113.
  14. ^ Marwick, Ben (2016). "Computational reproducibility in archaeological research: Basic principles and a case study of their implementation". Journal of Archaeological Method and Theory. 24 (2): 424–450. doi:10.1007/s10816-015-9272-9. S2CID 43958561.
  15. ^ Goodman, Steven N.; Fanelli, Daniele; Ioannidis, John P. A. (1 June 2016). "What does research reproducibility mean?". Science Translational Medicine. 8 (341): 341ps12. doi:10.1126/scitranslmed.aaf5027. PMID 27252173.
  16. ^ Harris J.K; Johnson K.J; Combs T.B; Carothers B.J; Luke D.A; Wang X (2019). "Three Changes Public Health Scientists Can Make to Help Build a Culture of Reproducible Research". Public Health Rep. Public Health Reports. 134 (2): 109–111. doi:10.1177/0033354918821076. ISSN 0033-3549. OCLC 7991854250. PMC 6410469. PMID 30657732.
  17. ^ Kitzes, Justin; Turek, Daniel; Deniz, Fatma (2018). The practice of reproducible research case studies and lessons from the data-intensive sciences. Oakland, California: University of California Press. pp. 19–30. ISBN 9780520294745. JSTOR 10.1525/j.ctv1wxsc7.
  18. ^ Marwick, Ben; Boettiger, Carl; Mullen, Lincoln (29 September 2017). "Packaging data analytical work reproducibly using R (and friends)". The American Statistician. 72: 80–88. doi:10.1080/00031305.2017.1375986. S2CID 125412832.
  19. ^ Kluyver, Thomas; Ragan-Kelley, Benjamin; Perez, Fernando; Granger, Brian; Bussonnier, Matthias; Frederic, Jonathan; Kelley, Kyle; Hamrick, Jessica; Grout, Jason; Corlay, Sylvain (2016). "Jupyter Notebooks–a publishing format for reproducible computational workflows" (PDF). In Loizides, F; Schmidt, B (eds.). Positioning and Power in Academic Publishing: Players, Agents and Agendas. 20th International Conference on Electronic Publishing. IOS Press. pp. 87–90. doi:10.3233/978-1-61499-649-1-87.
  20. ^ Beg, Marijan; Taka, Juliette; Kluyver, Thomas; Konovalov, Alexander; Ragan-Kelley, Min; Thiery, Nicolas M.; Fangohr, Hans (1 March 2021). "Using Jupyter for Reproducible Scientific Workflows". Computing in Science & Engineering. 23 (2): 36–46. arXiv:2102.09562. Bibcode:2021CSE....23b..36B. doi:10.1109/MCSE.2021.3052101. S2CID 231979203.
  21. ^ Granger, Brian E.; Perez, Fernando (1 March 2021). "Jupyter: Thinking and Storytelling With Code and Data". Computing in Science & Engineering. 23 (2): 7–14. Bibcode:2021CSE....23b...7G. doi:10.1109/MCSE.2021.3059263. S2CID 232413965.
  22. ^ Wicherts, J. M.; Borsboom, D.; Kats, J.; Molenaar, D. (2006). "The poor availability of psychological research data for reanalysis". American Psychologist. 61 (7): 726–728. doi:10.1037/0003-066X.61.7.726. PMID 17032082.
  23. ^ Vanpaemel, W.; Vermorgen, M.; Deriemaecker, L.; Storms, G. (2015). "Are we wasting a good crisis? The availability of psychological research data after the storm". Collabra. 1 (1): 1–5. doi:10.1525/collabra.13.
  24. ^ Wicherts, J. M.; Bakker, M. (2012). "Publish (your data) or (let the data) perish! Why not publish your data too?". Intelligence. 40 (2): 73–76. doi:10.1016/j.intell.2012.01.004.
  25. ^ Pasquier, Thomas; Lau, Matthew K.; Trisovic, Ana; Boose, Emery R.; Couturier, Ben; Crosas, Mercè; Ellison, Aaron M.; Gibson, Valerie; Jones, Chris R.; Seltzer, Margo (5 September 2017). "If these data could talk". Scientific Data. 4: 170114. Bibcode:2017NatSD...470114P. doi:10.1038/sdata.2017.114. PMC 5584398. PMID 28872630.
  26. ^ McCullough, Bruce (March 2009). "Open Access Economics Journals and the Market for Reproducible Economic Research". Economic Analysis and Policy. 39 (1): 117–126. doi:10.1016/S0313-5926(09)50047-1.
  27. ^ Vlaeminck, Sven; Podkrajac, Felix (2017-12-10). "Journals in Economic Sciences: Paying Lip Service to Reproducible Research?". IASSIST Quarterly. 41 (1–4): 16. doi:10.29173/iq6. hdl:11108/359.
  28. ^ Harris, Jenine K.; Johnson, Kimberly J.; Carothers, Bobbi J.; Combs, Todd B.; Luke, Douglas A.; Wang, Xiaoyan (2018). "Use of reproducible research practices in public health: A survey of public health analysts". PLOS ONE. 13 (9): e0202447. Bibcode:2018PLoSO..1302447H. doi:10.1371/journal.pone.0202447. ISSN 1932-6203. OCLC 7891624396. PMC 6135378. PMID 30208041.
  29. ^ "Research Waste/EQUATOR Conference Research Waste". researchwaste.net. Archived from the original on 29 October 2016.
  30. ^ Prinz, F.; Schlange, T.; Asadullah, K. (2011). "Believe it or not: How much can we rely on published data on potential drug targets?". Nature Reviews Drug Discovery. 10 (9): 712. doi:10.1038/nrd3439-c1. PMID 21892149.
  31. ^ Tan, SY; Furubayashi, J (2014). "Hideyo Noguchi (1876-1928): Distinguished bacteriologist". Singapore Medical Journal. 55 (10): 550–551. doi:10.11622/smedj.2014140. ISSN 0037-5675. PMC 4293967. PMID 25631898.
  32. ^ Browne, Malcolm (3 May 1989). "Physicists Debunk Claim Of a New Kind of Fusion". New York Times. Retrieved 3 February 2017.
  33. ^ Cheney, Margaret(1999), Tesla, Master of Lightning, New York: Barnes & Noble Books, ISBN 0-7607-1005-8, 페이지 107. "경제적 부담을 극복하지 못하고 1905년에 연구실을 폐쇄해야 했습니다."
  34. ^ Dominus, Susan (October 18, 2017). "When the Revolution Came for Amy Cuddy". New York Times Magazine.

추가 정보

외부 링크

무료 사전인 Wiktionary에서 재현성을 찾아보세요.