연구 투명성

Research transparency

연구 투명성은 과학 연구의 주요 측면입니다. 재현성, 데이터 및 코드 공유, 인용 표준 또는 검증 가능성 등 다양한 과학적 원리와 관행을 다룹니다.

연구 투명성의 정의와 규범은 연구 분야와 분야에 따라 크게 다릅니다. 일관된 용어가 없기 때문에 연구 투명성은 종종 의심스러운 연구 관행의 일부인 투명하지 않은 사용을 해결함으로써 부정적으로 정의되었습니다.

2010년 이후, 연구 방법론의 반복적인 이슈는 연구 과정의 모든 단계에서 깊은 변화를 수반하는 구조적 위기로 점점 더 인정받고 있습니다. 투명성은 초기 출판에 초점을 맞추던 것에서 다양한 연구 결과를 포괄하는 방향으로 발전한 오픈 사이언스 운동의 핵심 가치가 되었습니다. TOP 가이드라인과 같은 연구 투명성에 대한 새로운 공통 기준은 학문과 인식 문화 전반에 걸쳐 개방적인 연구 문화를 구축하고 강화하는 것을 목표로 합니다.

정의들

혼동된 용어

연구 투명성의 정의에 대해서는 광범위한 합의가 이루어지지 않고 있습니다.

학문적 문화와 인식적 문화 간의 차이는 다양한 수용에 크게 기여했습니다. 과거의 연구를 재현하는 것은 반대 의견의 주요 원인이 되어 왔습니다. 실험 환경에서 복제는 동일한 설정 및 장치에 의존하는 반면 복제는 동일한 방법론만 사용하면 됩니다. 반대로, 계산 분야는 복제성과 재현성이라는 용어에 대한 역의 정의를 사용합니다.[1] 대체 분류학은 재현성/복제성/반복성의 모호성과 전적으로 관련이 있다고 제안했습니다. Goodman, Fanelli 및 Ioannidis는 대신 방법 재현성(동일한 실험/계산 설정)과 결과 재현성(설정은 다르지만 전체적인 원칙은 동일)을 구별할 것을 권장했습니다.[2]

핵심 기관 행위자들은 핵심 개념의 의미와 사용법에 대해 계속해서 의견 차이를 보이고 있습니다. 2019년에 미국 국립 과학 아카데미는 복제와 복제에 대한 실험적 정의를 유지했으며, 이는 "다른 주요 조직에서 사용되는 보다 유연한 방식과 상충된다"는 것으로 남아 있습니다.[3] 컴퓨팅 기계 협회는 2016년에 계산 정의를 선택하고 반복성이라는 중간 개념을 추가했습니다. 여기서 다른 연구 팀은 정확히 동일한 측정 시스템과 절차를 사용합니다.[4]

연구 투명성에 대한 논쟁은 또한 다른 학문과 학계 사이에 새로운 융합을 만들었습니다. 과학의 문제(2021)에서 루퍼스 바커 바우셀(Rufus Barker Bauseell)은 사회과학을 포함한 모든 학문이 현재 의학 및 물리학과 유사한 문제에 직면해 있다고 주장합니다. "재현성 위기로 알려지게 된 문제는 한 두 개의 개별 학문이 아니라 거의 모든 과학에 영향을 미칩니다."[5]

부정적 정의

연구 투명성에 대한 일관된 용어가 없기 때문에, 과학자, 정책 입안자 및 기타 주요 이해 관계자들은 점점 더 부정적인 정의에 의존하고 있습니다. 즉, 연구 투명성의 공통적인 이상을 해하거나 방해하는 관행과 형태는 무엇인가 하는 것입니다.

과학적 위법 행위의 분류 체계는 1980년대부터 점차 확대되어 왔습니다. 의심스러운 연구 관행(또는 QRP)의 개념은 (연구 데이터 관리 과정의 불충분함과 같은) 잠재적인 비의도적인 연구 실패를 해결하기 위한 방법으로 1992년 과학, 공학 및 공공 정책 위원회의 보고서에서 처음으로 도입되었습니다.[6] 의심스러운 연구 관행은 연구 투명성의 결함과 관련된 종종 문제가 있는 관행의 광범위한 회색 영역을 밝혀냅니다. 2016년 한 연구에서는 프로젝트의 모든 단계(초기 가설, 연구 설계, 자료 수집, 분석 및 보고)에서 발생할 수 있는 34개의 의문스러운 연구 관행 또는 "자유도"를 확인했습니다.[7]

징계 관행에 대한 설문조사는 의문스러운 연구 관행의 수용성과 확산성에 큰 차이를 보였습니다. 데이터 조작 및 p값과 같은 통계 지표의 반올림은 대체로 거부되지만 부정적인 결과의 미발표나 보완 데이터의 추가는 주요 문제로 식별되지 않습니다.[8][9]

2009년, 18개 조사의 메타 분석에 따르면 2% 미만의 과학자가 "한 번 이상 데이터나 결과를 조작, 변조 또는 수정했다고 인정"했습니다. 실제 유병률은 "동료의 입원율이 14.[10]12%였다"는 자체 보고로 인해 과소 추정될 수 있습니다. 응답자의 3분의 1 이상이 한 번 해본 적이 있다고 인정하기 때문에 의심스러운 연구 관행은 더 널리 퍼져 있습니다.[10] 네덜란드에서 6,813명의 응답자를 대상으로 한 2021년 대규모 설문조사에서는 응답자의 4%가 데이터 조작에 참여하고 절반 이상이 의심스러운 연구 관행에 참여하는 등 상당히 높은 추정치를 발견했습니다.[11] 더 높은 비율은 윤리 규범의 악화 또는 "최근 몇 년 동안 연구 무결성에 대한 인식이 증가했기 때문"일 수 있습니다.[12]

새로운 차원의 오픈 사이언스?

투명성은 점점 더 개방적인 과학의 중요한 구성 요소로 인식되어 왔습니다. 2010년대까지 개방형 과학의 정의는 대부분 기술적 접근과 학계와 비학계의 참여 및 협업 강화에 초점이 맞춰져 있었습니다. 2016년 Liz Lyon은 "투명성의 개념과 관련 용어인 '재생산성'이 현재 학제 간 연구 환경에서 점점 더 중요해지고 있기 때문에 투명성을 오픈 사이언스의 "제3차원"으로 식별했습니다.[13] 케빈 엘리엇(Kevin Elliott)에 따르면, 열린 과학 운동은 "다소 다른 형태의 투명성을 목표로 하는 여러 가지 다른 계획을 포함합니다."[14]

2014년에 처음으로 초안이 작성된 TOP 지침은 오픈 사이언스 운동의 의제에 대한 투명성을 가져오는 데 상당한 기여를 했습니다.[15] 그들은 "열린 연구 문화"를 촉진하고 "더 투명해지기 위한 강력한 인센티브"를 실행하는 것을 목표로 합니다.[16] 이들은 준수 수준이 다른 8가지 표준에 의존합니다. 표준은 모듈식이지만 "하나의 표준에 대한 약속이 다른 표준의 채택을 용이하게 할 수 있다는 점에서 서로를 보완하기도 한다"고 일관된 과학의 방법을 명시하는 것을 목표로 합니다.[15]

이러한 투명성의 열린 과학 프레임워크는 연구 투명성이라는 주제에 대해 선도적인 기여자와 기관들에 의해 차례로 협력되었습니다. 2015년 이후, 과학 역사가들의 기고문은 과거의 실험과 연구 설계가 크게 더 잘 생각되지 않았고 거짓 또는 부분적으로 거짓인 비율이 지난 수십 년 동안 거의 일정하게 유지되었기 때문에 연구의 질이 크게 악화되지 않았다고 강조했습니다.[17][18] 결과적으로, 연구 투명성의 지지자들은 과학 투명성의 문화가 재정립의 근본적인 원칙이 아니라 성취해야 할 새로운 이상이 된다는 열린 과학의 담론을 보다 명확하게 받아들이게 되었습니다.

투명성의 개념은 오픈 데이터 또는 오픈 정부와 같은 다양한 영역에서 오픈 사이언스와 다른 오픈 운동 사이의 융합을 만드는 데 기여했습니다. 2015년 OECD는 투명성을 "개방형 과학 및 개방형 데이터에 대한 일반적인 합리성"이라고 설명합니다.[19]

역사

연구 투명성의 담론과 실천(1945년 이전)

투명성은 수세기 동안 실험 연구의 기본 기준이었습니다.[20] 성공적인 복제는 17세기 자연과학(당시 자연철학이라고 불림)의 제도적 담론에서 필수적인 부분이 되었습니다.[21] 피렌체의 초기 과학 학회인 아카데미아 델 시멘토는 1657년에 "실험 실험의 반복적인 (대중적인) 수행"[22]을 요구하는 모토로 프로반도 에리프로반도라는 모토를 채택했습니다. 자연주의자인 프란체스코 레디는 아카데미아의 주요 구성원으로 절차 실험의 형태와 이점에 대해 광범위하게 묘사했습니다. 반복 실험을[23] 통해 무작위 효과, 실험 설계의 건전성 또는 인과 관계를 확인할 수 있게 된 복제 및 공개된 과학 실험 문서화는 사회에서 과학 지식 확산의 핵심 요소가 되었습니다: 일단 그것들이 만족스러운 성공률에 도달하면, 실험은 법원, 시장 또는 학습된 살롱과 같은 다양한 사회적 공간에서 수행될 수 있습니다.[24]

투명성은 일찍이 과학의 핵심 요소로 인식되어 왔지만, 일관되게 정의되지는 않았습니다. 오늘날 연구 투명성과 관련된 대부분의 개념은 명확하고 광범위한 정의가 없는 기술 용어로 발생했습니다. 재현성의 개념은 1902년에 처음 발표된 "조명의 방법"에 관한 기사에 등장했습니다. 조사된 방법 중 하나는 "재현성과 일정성"[25]에 대해 제한적으로 간주되었습니다. 2019년 국립 아카데미는 재현의 구별을 강조했습니다. 반복과 복제는 여러 분야에서 대체로 명확하지 않고 조화되지 않은 상태로 남아 있습니다: "한 그룹이 한 단어로 의미하는 것, 다른 그룹이 다른 단어로 의미하는 것. 이러한 용어와 반복성과 같은 다른 용어들은 한 실험의 일반적인 개념 또는 다른 실험의 결과를 확인하는 연구와 관련하여 오랫동안 사용되어 왔습니다."[26]

이러한 형식화의 부재를 넘어서 21세기까지 지속되어 온 연구 투명성에 대한 제도적, 규율적 담론과 연구 업무의 현실 사이에는 상당한 표류가 있었습니다. 장치의 높은 비용과 인센티브의 부족으로 인해 대부분의 경험은 현대 연구자들에 의해 재현되지 않았습니다. 로버트 도일과 같은 헌신적인 실험주의 지지자조차도 Friedrich Steinle을 위해 한 번만[27] 실행된 연구 설계를 자세히 설명함으로써 가상 실험주의의 한 형태로 발전해야 했습니다. 투명성이라는 가정된 미덕과 과학의 물질적 조건 사이의 격차는 결코 해결되지 않았습니다. "복제가 실제로 시도되는 드문 경우는 이론 개발의 중심(예: 기존 이론과 양립할 수 없음)이거나 주요 경제적 관점으로 인해 광범위한 관심을 약속하는 경우입니다. 복제 가능성이라는 형식적인 이상에도 불구하고 우리는 복제 문화에 살고 있지 않습니다."[28]

투명성 위기의 전제조건 (1945-2000)

제2차 세계대전 이후 거대 과학의 발전은 연구 투명성에 전례 없는 도전을 야기했습니다. 많은 분야에 걸친 통계 방법의 일반화와 연구 프로젝트의 폭과 복잡성 증가는 과학적 과정에 대한 적절한 문서화 부족에 대한 일련의 우려를 수반했습니다.

출판된 연구 산출물의 확대로 인해 문헌 조사의 새로운 정량적 방법이 메타 분석 또는 메타 과학이라는 꼬리표로 개발되었습니다. 이러한 접근법은 정량적 결과가 건전하다는 가정에 의존하며, 관측 프레임워크 실험의 세부 사항(예: 표본의 크기 또는 구성)도 마찬가지입니다. 1966년 Stanley Schor와 Irving Karten은 67개의 주요 의학 저널에 통계적 방법에 대한 최초의 일반적인 평가 중 하나를 발표했습니다. 노골적으로 문제가 되는 논문은 거의 발견되지 않았지만, "거의 73%의 보고서가 (수정이 필요한 보고서와 거부되었어야 할 보고서에서) 이러한 결론의 정당성이 무효일 때 결론이 도출되었습니다."[29]

1970년대와 1980년대에 과학적 위법 행위는 점차 개인의 위법 행위로 제시되지 않고 과학 기관과 지역 사회가 해결해야 할 집단적인 문제가 되었습니다. 1979년과 1981년 사이에 미국의[30] 연구자들과 정책 입안자들로부터 과학적 사기와 표절의 주요 사례들이 이 문제에 더 큰 초점을 모았습니다. 잘 알려진 조사에서, 과학의 배신자들은, 두 명의 과학 언론인은 과학적 사기를 구조적인 문제로 묘사했습니다: "더 많은 사기 사례가 대중의 눈에 들어오면서 우리는 사기가 과학적 환경의 꽤 규칙적인 사소한 특징이 아닌지 궁금했습니다. (…) 논리, 복제, 동료 검토 - 모든 것은 종종 장기간 동안 과학적 위조자에 의해 성공적으로 거부되었습니다."[31] 연구 무결성의 코드화는 "분야별, 국내 및 국제적으로 동일하게 수많은 행동 강령"으로 증가된 대중의 조사에 대한 주요 기관적 대답이었습니다.[32]

재현성/투명성 논쟁 (2000-2015)

자세한 정보: 복제위기
Graphic of results and barriers. 193 experiments were designed, 87 were initiated, and 50 were completed.
재현성 프로젝트의 결과: 암 생물학

2000년대 들어 연구방법론의 표준화에 대한 오랜 현안은 "해결되지 않으면 일반 대중이 과학에 대한 신뢰를 잃을 수밖에 없는" 구조적 위기로 점점 더 많이 제시되고 있습니다.[33] 2010년대 초반은 일반적으로 전환점으로 여겨집니다: "2011-2012년경이 되어서야 과학계의 의식에 재현 불가능한 경고가 쏟아졌습니다."[34]

논쟁에 초기 중요한 기여를 한 것은 2005년부터 논란이 되고 영향력 있는 John Ioannidis의 주장입니다: "대부분의 발표된 연구 결과는 거짓입니다.[35] 주요 주장은 지나치게 느슨한 실험 기준에 근거한 것으로, "현대 생물 의학 연구의 대부분은 진정한 발견에 대한 사전 및 사후 연구 확률이 매우 낮은 영역에서 운영되고 있다"[36]는 수많은 약한 결과가 확실한 연구로 제시되었습니다.

요안니디스의 연구는 PLOS Medicine에 발표되었기 때문에 심리학, 의학 및 생물학 분야에서 상당한 반향을 일으켰습니다. 이후 수십 년 동안 대규모 프로젝트는 실험 재현성을 평가하려고 시도했습니다. 2015년 재현성 프로젝트: 심리학은 3개의 최고 심리학 저널(Journal of Personality and Social Psychology, Journal of Experimental Psychology: 학습, 기억, 인지 및 심리과학: 거의 모든 논문이 재현 가능한 효과를 가지고 있는 반면, 복제물의 36%만이 충분히 유의한 것으로 나타났습니다(p 값은 공통 임계값인 0.05보다 높음).[37] 2021년, 또 다른 재현성 프로젝트인 Cancer Biology는 2010년과 2012년 사이에 발표된 암에 관한 53개의 상위 논문을 분석하여 효과 크기가 원래 연구 결과보다 평균 85% 작다는 것을 확인했습니다.[38]

2010년대 동안 재현성 위기의 개념은 더 광범위한 분야로 확장되었습니다. 학술 검색 엔진 시맨틱 스콜라가 기록한 메타데이터(2022년 6월 기준 6,349건의 인용)에 따르면 존 이오아니디스(John Ioannidis)의 세미나 논문의 연간 인용 비율은 이 프레이밍이 특히 컴퓨팅 과학으로 확장된 방법을 보여줍니다. 두 개의 주요 저널에 18개의 실험 연구를 복제한 경제학에서 심리학이나 의학에 버금가는 실패율(39%)[39]을 발견했습니다.

여러 글로벌 설문조사에서 재현성 및 기타 연구 투명성 문제에 대한 과학계의 불안감이 증가하고 있다고 보고했습니다. 2016년 네이처는 "연구자의 70% 이상이 다른 과학자의 실험을 재현하려고 시도했다가 실패했고, 절반 이상이 자신의 실험을 재현하는 데 실패했다"[40]고 강조했습니다. 이 조사는 또한 부분적으로 징계 차이 때문에 "재현성이 무엇인지 또는 그렇게 해야 하는지에 대한 합의가 없다"는 것을 발견했습니다. 이로 인해 연극에서 문제를 극복하는 데 필요한 조치가 무엇인지 평가하기가 더 어려워집니다.[40] 네이처 조사는 역설적으로 연구 투명성이 부족하다는 비판을 받기도 했습니다. 대표적인 표본이 아닌 온라인 설문조사를 기반으로 하였기 때문에 "대규모 과학계 사이의 태도에 대해 내릴 수 있는 결론을 제한하는 편의 표본 및 기타 방법론적 선택에 의존했다"[41]는 엇갈린 결과에도 불구하고, Nature 조사는 크게 보급되었고, ahs는 연구 투명성에 대한 모든 연구의 일반적인 자료가 되었습니다.[42]

재현성 위기 및 기타 연구 투명성 문제는 일반 언론에서 다루어진 공개 주제가 되었습니다: "재현성 대화는 과학 문헌과 대중 언론 모두에서 지속적인 관심을 받아왔기 때문에 다른 방법론적 대화에 비해 독특합니다."[43]

연구 투명성 및 오픈 사이언스 (2015–)

2000년 이후 오픈 사이언스 운동은 과학적 산출물(출판물, 데이터 또는 소프트웨어)에 대한 접근을 넘어 과학적 생산의 전 과정을 포괄하는 것으로 확대되었습니다. 2018년, Vicente-Saez와 Martinez-Fuentes는 Scopus와 Web of Science에 색인된 영어권 과학 문헌에서 개방 과학의 표준 정의가 공유하는 공통 가치를 매핑하려고 시도했습니다.[44] 액세스는 투명성, 공동 작업 및 사회적 영향에 대한 보다 최근의 약속에 의해 확장되었기 때문에 더 이상 오픈 사이언스의 주요 차원이 아닙니다.[45] 이 과정을 통해 오픈 사이언스는 "새로운 오픈 사이언스 관행이 오픈 저장소, 오픈 물리 연구소 및 학제 간 연구 플랫폼을 통해 연구를 수행하고 공유하는 새로운 조직 형태와 함께 발전했습니다. 이러한 새로운 관행과 조직 형태는 대학에서 과학의 기풍을 확장시키고 있습니다."[46]

개방형 과학 운동의 세계적 규모와 다양한 기술 도구에 통합되어 있습니다. 표준 및 규정은 연구 투명성에 의해 구체화된 "과학 기관의 명시된 목표와 개인 수준에서 [15]이를 이행할 유인이 부족한 구조적 불일치"를 극복할 수 있도록 합니다.

연구 투명성을 보장하기 위한 잠재적 프레임워크로서 오픈 사이언스의 공식화는 처음에 기관 및 지역 사회 이니셔티브에 의해 수행되었습니다. TOP 지침은 2014년 투명성 및 개방성 추진 위원회에 의해 상세히 설명되었으며, 여기에는 "일반적으로 사회 및 행동 과학 분야의 징계 지도자, 저널 편집자, 기금 기관 대표 및 징계 전문가"가 포함됩니다.[15] 지침은 준수 수준이 다른 8가지 표준에 의존합니다. 표준은 모듈식이지만 "한 표준에 대한 약속이 다른 표준의 채택을 용이하게 할 수 있다는 점에서 서로를 보완하기도 한다"고 일관된 과학의 방법을 명확히 하는 것을 목표로 합니다.[15]

2015년 이후 이러한 계획은 새로운 규정과 윤리강령에 부분적으로 영향을 미쳤습니다. 2017년부터 유럽의 연구 무결성 행동 강령은 오픈 사이언스와 오픈 데이터를 중심으로 강력하게 구성되어 있습니다: "데이터 관리는 출판과 거의 동등한 수준의 주의를 기울이며, 또한 이러한 점에서 4개의 CoC 중 가장 발전된 수준입니다."[47] 2020년 7월에 처음 채택되었습니다. 연구자를 평가하는 홍콩 원칙은 개방형 과학을 과학적 진실성의 다섯 가지 축 중 하나로 인정합니다: "개방형 과학의 다양한 양식은 연구자의 평가에서 보상받을 필요가 있는 것이 분명해 보입니다. 이러한 행동은 연구 진실성의 핵심 원칙인 투명성을 강력하게 증가시키기 때문입니다."[48]

연구 투명성의 양식

연구 투명성은 학문적 문화, 연구의 물질적 조건, 과학자와 다른 사회계(정책 입안자, 비학문 전문가, 일반 청중) 간의 상호 작용에 따라 매우 다양한 형태를 갖습니다. Lyon, Jeng 및 Mattern에게 "'투명성'이라는 용어는 다양한 연구 이해 관계자에 의해 다양한 맥락에서 적용되었으며, 다양한 방식으로 개념을 설명하고 틀을 구성했습니다."[19] 2020년 Kevin Elliott은 목적, 청중, 콘텐츠, 기간, 행위자, 메커니즘, 장소 및 위험의 8가지 차원의 연구 투명성 분류 체계를 도입했습니다.[49] 엘리엇에게는 모든 형태의 투명성이 실현 가능하고 바람직한 것은 아닙니다. 그래서 적절한 용어는 더 적절한 결정을 내리는 데 도움이 될 수 있습니다. "이것들은 중요한 반대이지만, 여기서 고려되는 투명성의 분류는 이들에 대한 최선의 대응은 일반적으로 투명성의 목표를 완전히 포기하지 않고 이를 최소화할 수 있는 가장 좋은 형태의 투명성을 고려하는 것임을 시사합니다."[50]

방법 재현성

Goodman, Fanelli 및 Ioannidis는 방법 재현성을 "이론적으로나 실제적으로 동일한 절차가 정확히 반복될 수 있도록 연구 절차 및 데이터에 대한 충분한 세부 정보 제공"으로 정의합니다.[2] 이러한 수용은 계산적 맥락에서의 복제성 또는 실험적 맥락에서의 재현성과 대체로 동의어입니다. 실험 용어를 선택한 국립과학원의 보고서에서 방법 재현성의 대응물은 "동일한 입력 데이터, 계산 단계, 방법 및 코드, 분석 조건을 사용하여 일관된 결과를 얻는 것"으로 설명되었습니다.[26]

방법 재현성은 계산 과학에서 더 달성 가능합니다. 예상대로 동작하는 한 동일한 코드가 동일한 출력을 생성해야 합니다. 개방형 코드, 개방형 데이터 및 최근에는 연구 노트가 방법 재현성을 높이기 위한 일반적인 권장 사항입니다. 원칙적으로 이러한 모든 연구 결과의 가용성으로 인해 분석의 모든 과정을 평가하고 감사할 수 있습니다. 실제로 Roger Peng은 2011년에 이미 많은 프로젝트가 "모든 연구자가 사용할 수 없는 컴퓨팅 능력"을 필요로 한다고 강조했습니다.[51] 이 문제는 인공 지능이나 컴퓨터 비전과 같은 일부 영역에서 악화되었는데, 매우 큰 딥 러닝 모델의 개발로 인해 원본 코드와 데이터가 열려 있는 경우에도 이를 재현하는 것이 거의 불가능(또는 엄청난 비용으로)하기 때문입니다. 방법 재현성은 또한 오픈 코드가 항상 사용 가능하거나 호환되지 않을 수 있는 외부 프로그램에 의존할 수 있기 때문에 라이브러리 의존성에 의해 영향을 받을 수 있습니다. 2018년과 2019년의 두 연구는 동일하게 GitHub에서 호스팅되는 연구 노트북의 많은 부분이 필요한 확장 기능을 사용할 수 없거나 코드에 문제가 있기 때문에 더 이상 운영할 수 없다는 것을 보여주었습니다.[52][53]

실험 과학에서 일반적으로 합의된 방법 재현성 기준은 없습니다: "실제로 연구를 "방법론적으로 재현 가능한" 것으로 설명하는 데 필요한 절차적 세부 사항의 수준은 합의가 없습니다."[2]

결과 재현성

Goodman, Fanelli 및 Ioannidis는 결과 재현성을 "절차가 매우 밀접하게 일치하는 독립적인 연구 수행에서 동일한 결과를 얻는 것"으로 정의합니다.[2] 결과 재현성은 실험적 맥락에서의 복제, 계산적 맥락에서의 재현성과 유사합니다. 국립 과학 아카데미에 보존된 복제 가능성의 정의는 주로 "동일한 과학적 질문에 대한 답을 목표로 하는 연구 전반에 걸쳐 일관된 결과를 얻음"에 적용됩니다.[26] 심리학이나 의학과 같은 실험 분야에서 충족되는 재현성 위기는 단순히 재실행할 수 없는 연구에 관한 것이지만 실험 설계의 독립적인 재창조를 포함하기 때문에 대부분 "결과 재현성"의 위기입니다.[26] 따라서 최근 몇 년 동안 가장 많이 논의된 형태의 연구 투명성입니다.[14]

결과 재현성은 다른 형태의 연구 투명성보다 달성하기가 어렵습니다. 여기에는 계산 재현성, 과학적[26] 측정의 정확성 및 방법론적 접근의 다양성을 포함할 수 있는 다양한 문제가 포함됩니다.[54] 원래 절차가 얼마나 가까운지를 결정하는 보편적인 기준은 없으며 기준은 학문에 따라 또는 연구 분야에 따라 다를 수 있습니다. 결과적으로 재현성에 대한 메타 분석은 상당한 도전에 직면했습니다. 오픈 사이언스 컬래버레이션(Open Science Collaboration)이 수행한 100개의 심리학 논문에 대한 2015년 연구는 "방법론적 접근과 결론에 대한 논란의 문을 열고" 결과 재현성에 대한 "주관적 평가"에 의존할 필요가 있는 "단일한 수용된 정의의 결여"에 직면했습니다.[55]

관측 재현성 및 검증성

2018년 사비나 레오넬리(Sabina Leonelli)는 관찰 재현성을 "같은 시간과 장소에 배치된 숙련된 연구자라면 동일한 데이터는 아니더라도 최소한 유사한 패턴을 선택할 것이라는 기대"로 정의합니다.[56] 이러한 기대는 비실험 분야의 광범위한 과학 및 학술적 관행을 회복합니다:[57] "의료, 역사 및 사회 과학의 엄청난 양의 연구는 실험에 의존하는 것이 아니라 독특한 상황을 문서화하는 조사, 설명 및 사례 보고서와 같은 관찰 기술에 의존합니다."[56]

개방형 과학 인프라의 발달은 과학 데이터 및 기타 주요 소스의 상태와 가용성을 근본적으로 변화시켰습니다. 이러한 리소스에 대한 액세스는 디지털화와 고유 식별자의 속성으로 인해 완전히 변경되었습니다. 영구 디지털 객체 식별자(DOI)는 2000년대 초부터 데이터 세트에 처음 할당되어 과학적 데이터의 타당성에 대한 오랜 논쟁을 해결했습니다.[59]

Andrew Moravcsik는 1차 출처나 연구 자료에 대한 인용의 투명성 증가를 "질적 연구의 혁명"으로 평가했습니다.[60] 이러한 리소스에 대한 액세스는 디지털화와 고유 식별자의 속성으로 인해 완전히 변경되었습니다. 영구 디지털 객체 식별자(DOI)는 2000년대 초부터 데이터 세트에 처음 할당되어 과학적 데이터의 타당성에 대한 오랜 논쟁을 해결했습니다.[59]

가치투명성

연구 가치의 투명성은 환경 연구나 사회 과학과 같은 정책 결정에 강한 관여를 하는 학문의 주요 초점이 되어 왔습니다. 2009년 헤더 더글러스는 과학에 대한 대중의 담론이 객관적 연구의 규범적 이상에 의해 지배되어 왔다고 강조했습니다: 절차가 올바르게 적용되었다면 과학 결과는 "가치가 없다"는 것입니다.[61] Douglas의 경우, 이 이상은 사전에 정의된 가치가 개념, 프로토콜 및 사용된 데이터에 대한 선택을 크게 앞선 것일 수 있기 때문에 연구 및 과학적 조언의 효과적인 프로세스와 함께 크게 손실된 상태로 남아 있습니다.[62] 더글러스는 대신 연구자들이 보유한 가치를 공개하는 것을 찬성했습니다: "가치는 정책 문서나 과학자들의 연구 논문에서 이 간접적인 역할에서 가능한 한 명시적으로 이루어져야 합니다."[63]

2010년대에 몇몇 과학 철학자들은 열린 과학의 맥락에서 가치 투명성을 체계화하려고 시도했습니다. 2017년 Kevin Elliott은 연구의 가치 투명성을 위한 세 가지 조건을 강조했는데, 첫 번째 조건은 "가치 영향력을 면밀히 조사할 수 있도록 (…) 데이터, 방법, 모델 및 가정에 대해 가능한 한 투명하게 하는 것"입니다.[64]

검토 및 편집 투명성

2010년대까지 학술 출판의 편집 관행은 대부분 비정형적이고 거의 연구되지 않았습니다: "350년 동안의 학술 출판(…) 연구에도 불구하고, [작가들에게 보내는 지침]과 그 진화와 변화에 대한 연구는 거의 없습니다."[65]

편집 투명성은 최근 연구 재현성에 대한 논쟁의 자연스러운 확장으로 인정받고 있습니다.[66][67] 2015년 TOP 지침에 마련된 몇 가지 원칙은 이미 명시적 편집 기준의 존재를 암시하고 있습니다.[68] 편집 투명성에 대한 전례 없는 관심은 또한 다양화와 개방적인 과학 출판 환경의 복잡화에 의해 동기부여가 되었습니다: "저널의 편집 과정에 대한 다양한 기대에 의해 촉발되었습니다. 저널은 편집 평가 및 동료 심사 시스템을 구성하는 새로운 방법을 실험하기 시작했습니다(...). 이미 다양한 동료 심사 및 편집 선정 관행에 이러한 혁신이 도달했다는 것은 더 이상 저자, 독자 및 심사자가 편집 평가가 단순히 어떻게 작동하는지 알고 있다고 가정할 수 없다는 것을 의미합니다."[66]

투명한 디자인: 오픈 워크플로우 개발

TOPs 지침은 개방적인 과학 환경에서 결과 재현성을 확립하기 위해 영향력 있는 학제 간 표준을 설정했습니다. 실험적이고 계산적인 학문이 여전히 주요한 초점이지만, 표준은 다른 학문적 관행(예: 연구 자료)에 보다 구체적인 관심사와 형식을 통합하려고 노력해 왔습니다.

연구 투명성과 관련하여 조화로운 정책의 채택을 지원하기 위한 방법으로 배지나 지수와 같은 비공식적 인센티브가 처음으로 제안되었습니다. 개방형 과학의 발전으로 인해 규제 및 표준화된 인프라 또는 프로세스가 점점 선호되고 있습니다.

연구결과의 공유

데이터 공유는 일찍부터 재현성 위기와 통계 지표에 대한 확실한 지침의 부재에 대한 주요 잠재적 해결책으로 확인되었습니다. 2005년, John Ioannidis는 "모든 가설 생성 실험의 등록보다 분야 내의 데이터 수집 또는 조사자의 일종의 등록 또는 네트워킹이 더 실현 가능할 수 있다"고 가설을 세웠습니다.[69]

연구 성과물의 공유는 TOPs 가이드라인의 세 가지 표준에 의해 다루어지고 있습니다: 데이터 투명성(2), 분석/코드 방법 투명성(3), 연구 자료 투명성(4). 모든 관련 데이터, 코드 및 연구 자료는 "신뢰할 수 있는 저장소"에 저장해야 하며 모든 분석은 게시 전에 이미 독립적으로 복제됩니다.[70]

증표기준

인용 표준은 일반적으로 학술적 참고 자료에 적용되지만 데이터, 코드, 주요 출처 또는 정성 평가와 같은 다른 모든 연구 산출물에 대한 공식화는 훨씬 적습니다.

2012년 미국 정치학 협회는 열린 질적 연구를 위해 새로운 정책을 채택했습니다.[71] 이들은 데이터 투명성(원본 출처에 대한 정확한 서지 데이터의 의미에서), 분석 투명성(인용된 출처에서 외삽된 주장에 관한) 및 생산 투명성(원본 선정에서 이루어진 편집 선택과 관련하여)의 세 가지 차원의 투명성을 다룹니다.[72] 2014년에 Andrew Moravcsik은 투명성 부록의 구현을 지지했습니다. 여기에는 원본 출처의 자세한 인용문과 "출처가 주장을 어떻게 지원하는지 설명하는" 주석이 포함되어 있습니다.[73]

TOP 지침에 따르면 각 출판물에 "데이터 및 자료에 대한 적절한 인용"이 제공되어야 합니다.[70] 결과적으로, 코드나 데이터 세트와 같은 과학적 산출물은 인용 가능한 기여로 완전히 인정됩니다: "이러한 자료의 정기적이고 엄격한 인용은 그것들을 독창적인 지적 기여로 인정합니다."[70]

사전등록

사전등록은 연구의 사전등록(6)과 분석계획의 사전등록(7)의 두 가지 TOP 가이드라인에서 다루고 있습니다. 두 경우 모두 최고 수준의 규정 준수 일지에 대해 "요건 충족에 대한 기사 링크 및 배지"를 제공해야 합니다.[70]

사전 등록은 다양한 의문스러운 연구 관행을 예방적으로 해결하는 것을 목표로 합니다. 일반적으로 "테스트할 가설, 목표 표본 크기를 기술하는 공공 아카이브에 타임스탬프가 지정된 편집 불가능한 연구 계획"의 형식을 취합니다.[74] 사전등록은 이론적으로 "QRP와 p-해킹을 작동시키는 연구자의 자유도"를 제약하는 것으로 윤리적 계약으로 작용합니다.[74]

사전 등록한다고 해서 모든 범위의 의문스러운 연구 관행이 해결되는 것은 아닙니다. 특히 결과를 선택적으로 보고하는 것은 사전 정의된 연구 계획인 "사전 등록이 결과가 보고되는 것을 보장하지 않기 때문에 출판 편향을 완전히 상쇄하지는 않습니다."[75]와 호환됩니다. '사전등록은 연구자가 부실한 분석계획을 사전등록하는 것을 방해하는 것이 없기 때문에 타당한 추론을 방해할 수 있다'는 인위적인 제약조건을 만들어 사전등록이 연구결과의 질을 해칠 수도 있다는 주장이 제기됐습니다.[76]

상대적으로 비용이 들지 않는 해결책으로 옹호되고 있지만, 사전 등록은 연구원의 상당한 헌신에 의존하기 때문에 실제로 구현하기가 더 어려울 수 있습니다. 심리학 저널에 공개 과학 실험을 채택한 경험적 연구에 따르면 "사전 등록의 채택은 2015년부터 2020년까지 다른 공개 과학 관행에 비해 지연된다."[77] 결과적으로 "사전 등록으로 인한 현장의 이점을 파악하는 연구자들 내에서도 개인에 대한 비용과 이점을 둘러싼 불확실성이 존재합니다."[77]

복제 연구

복제 연구 또는 복제 가능성 평가는 하나 또는 여러 개의 원래 연구를 다시 수행하는 것을 목표로 합니다. 이 개념은 2010년대에 등장했을 뿐이지만, 복제 연구는 수십 년 동안 존재했지만 그렇게 인정되지 않았습니다.[78] 국립 아카데미의 2019년 보고서에는 1986년에서 2019년 사이에 출판된 25개의 복제물에 대한 메타 분석이 포함되어 있습니다. 복제의 대부분은 의학 및 사회 과학(특히 심리학 및 행동 경제학)에 관한 것이며 현재 표준화된 평가 기준이 없다는 것을 발견했습니다: "복제 가능성을 평가하는 방법은 일관성이 없으며 복제 가능성 백분율은 사용된 방법에 크게 의존합니다."[78] 결과적으로, 적어도 2019년의 경우 복제 연구는 복제율을 추정하기 위해 집계될 수 없습니다. 복제 연구는 "숫자에 대한 과학 전반의 복제 불가능성의 실제 비율을 반드시 나타내는 것은 아닙니다."[78]

TOPs 지침은 복제 연구에 대한 인식과 가치 평가를 강화할 것을 요구했습니다. 8번째 표준은 준수 저널이 "등록된 보고서를 동료 검토가 있는 복제 연구를 위한 제출 옵션으로 사용해야 한다"고 명시하고 있습니다.[70]

편집 정책 열기

2018년 7월, 몇몇 출판사, 사서, 저널 편집자 및 연구원들이 투명한 편집 정책을 위한 라이덴 선언 초안을 작성했습니다.[79] 이 선언문은 학술지들이 "검토자 선정, 검토 기준, 블라인드, 텍스트 유사성 스캐너와 같은 디지털 도구의 사용, 수정 및 철회에 관한 정책에 관한 정보를 포함하지 않는 경우가 많다"고 강조하고 이러한 투명성의 결여를 지적했습니다.[79] 선언문은 다음과 같은 네 가지 주요 간행물 및 안전성 검토 단계를 식별합니다.

  • 제출 시: 저널의 거버넌스, 범위, 편집위원회 또는 거부율에 대한 세부사항.[79]
  • 검토 중: 선택 기준, 검토 시점 및 동료 검토 모델(이중 바인딩, 단일 바인딩, 오픈).[79]
  • 출판물: "검토 과정에서의 역할"에 대한 공개.[79]
  • 공표 후 [79]: "시정기준 및 절차, 우려표시, 철회" 그 밖의 변경사항

2020년 라이덴 선언은 책임 있는 편집 정책을 위한 플랫폼(Pratform for Responsible Editor Policy: PREP)에 의해 확장 및 보완되었습니다.[80] 이 계획은 또한 편집 정책 및 동료 검토 관행에 대한 데이터 및 경험적 정보의 구조적 부족을 해결하는 것을 목표로 합니다.[66][81] 2022년 현재 이 데이터베이스에는 353개의 초기 기반에서 [82]490개의 저널의 편집 절차에 대한 부분적인 크라우드소싱 정보가 포함되어 있습니다.[83] 평가된 절차에는 특히 "저자와 검토자에게 제공되는 익명성 수준, 표절 스캐너와 같은 디지털 도구의 사용, 연구 및 출판 과정에서의 동료 검토 시기"가 포함됩니다.[84] 이러한 발전에도 불구하고 편집 연구에 대한 연구는 여전히 "저자 또는 다른 이해 관계자가 자신의 (…) 요구 사항 또는 권장 사항에 따라 저널을 비교할 수 있는 포괄적인 데이터베이스"의 필요성을 강조하고 있습니다.[85]

참고문헌

  1. ^ Plesser 2018, p. 1-2.
  2. ^ a b c d Goodman, Fanelli & Ioannidis 2016, 페이지 2.
  3. ^ Nelson et al. 2021, p. 45.
  4. ^ 플레저 2018, 2쪽.
  5. ^ 바셀 2021, 페이지 1.
  6. ^ Pimple 2002, 202쪽.
  7. ^ Wicherts et al. 2016.
  8. ^ 존, 뢰웬슈타인 & 프레렉 2012.
  9. ^ 프레이저 외 2018.
  10. ^ a b 파넬리 2009.
  11. ^ 고팔라크리슈나 외 2021.
  12. ^ 고팔라크리슈나 외 2021, 페이지 5.
  13. ^ 리옹 2016, 160쪽
  14. ^ a b 엘리엇 2020, 페이지 2.
  15. ^ a b c d e Nosek et al. 2015, p. 1423.
  16. ^ Nosek et al. 2015, p. 1422-1423.
  17. ^ 슈타인 2016.
  18. ^ 파넬리 2018.
  19. ^ a b Lyon, Jeng & Mattern 2017, 페이지 47.
  20. ^ Steinle 2016, 페이지 44.
  21. ^ 스키코어 2011.
  22. ^ Schickore 2011, 330쪽.
  23. ^ Schickore 2011, 332쪽.
  24. ^ Steinle 2016, p. 45.
  25. ^ 벨 1902, 15쪽.
  26. ^ a b c d e National Academy 2019, p. 46
  27. ^ 샤핀 & 샤퍼 2011, 페이지 60 sq..
  28. ^ Steinle 2016, 56쪽.
  29. ^ Schor & Karten 1966, 148쪽.
  30. ^ Löppönen & Vuorio 2013, 페이지 3.
  31. ^ Broad & Wade 1983, 8페이지
  32. ^ 레인 2018, 페이지 49
  33. ^ Drummond 2018, p. 2.
  34. ^ 바셀 2021, 10쪽.
  35. ^ 요안니디스 2005.
  36. ^ Ioannidis 2005, p. 700.
  37. ^ 오픈 사이언스 콜라보레이션 2015.
  38. ^ "Reproducibility Project: Cancer Biology". www.cos.io. Center for Open Science. Retrieved 19 January 2022.
  39. ^ Camerer et al. 2016.
  40. ^ a b 베이커 2016.
  41. ^ National Academy 2019, 페이지 83.
  42. ^ 바셀 2021, 페이지 128.
  43. ^ 넬슨 외 2021, 페이지 1-2.
  44. ^ 비센테 사에즈 & 마르티네스 푸엔테스 2018.
  45. ^ Vicente-Saez & Martinez-Fuentes 2018, 페이지 2.
  46. ^ Vicente-Saez, Gustafsson & Van den Brande 2020, 페이지 1.
  47. ^ 레인 2018, 65쪽
  48. ^ Moher et al. 2020, p. 6
  49. ^ 엘리엇 2020, 6페이지
  50. ^ 엘리엇 2020, 8-9쪽.
  51. ^ 펭 2011.
  52. ^ 룰, 타바드 & 홀런 2018.
  53. ^ Pimentel et al. 2019.
  54. ^ National Academy 2019, 페이지 51.
  55. ^ Goodman, Fanelli & Ioannidis 2016, 페이지 4.
  56. ^ a b 레오넬리 2018, 페이지 137.
  57. ^ Devzer et al. 2021.
  58. ^ a b 브레이크 2004.
  59. ^ a b Crosas 2014, 63쪽.
  60. ^ Moravcsik 2014, p. 48.
  61. ^ 더글러스 2009, 페이지 175.
  62. ^ 더글러스 2009, 페이지 87 sq..
  63. ^ 더글러스 2009, p. 176
  64. ^ 엘리엇 2017, p. X.
  65. ^ 말리치키 외 2021, 페이지 2.
  66. ^ a b c Horbach, Hepkema & Halffman 2020a, 페이지 2.
  67. ^ 저스트맨 2019.
  68. ^ Nosek et al. 2015.
  69. ^ Ioannidis 2005, p. 701.
  70. ^ a b c d e Nosek et al. 2015, p. 1424.
  71. ^ 루피아 & 엘만 2014.
  72. ^ Moravcsik 2014, 페이지 48-49.
  73. ^ Moravcsik 2014, 50쪽.
  74. ^ a b 로메로 2019, 8페이지
  75. ^ 로메로 2019, 9페이지
  76. ^ Devzer et al. 2021, 페이지 16.
  77. ^ a b Logg & Dorison 2021, 페이지 26.
  78. ^ a b c National Academy 2019, 페이지 77.
  79. ^ a b c d e f Radboud and Leiden 투명성 선언 2019.
  80. ^ Horbach, Hepkema & Halffman 2020a, 페이지 1.
  81. ^ Squazzoni et al. 2020.
  82. ^ ResponsibleJournals.org
  83. ^ Horbach, Hepkema & Halffman 2020a, p. 4.
  84. ^ Horbach, Hepkema & Halffman 2020b.
  85. ^ 말리치키 외 2021, 페이지 9.

서지학

표준 및 선언문

리포트

책과 논문

  • Broad, William J.; Wade, Nicholas (1983). Betrayers of the Truth. Simon and Schuster. ISBN 978-0-671-44769-4.
  • Douglas, Heather (2009-07-15). Science, Policy, and the Value-Free Ideal. University of Pittsburgh Pre. ISBN 978-0-8229-7357-7.
  • Shapin, Steven; Schaffer, Simon (2011-08-15). Leviathan and the Air-Pump: Hobbes, Boyle, and the Experimental Life. Princeton University Press. ISBN 978-1-4008-3849-3.
  • Elliott, Kevin C.; Steel, Daniel (2017-03-27). Current Controversies in Values and Science. Taylor & Francis. ISBN 978-1-317-27399-8.
  • Elliott, Kevin Christopher (2017). A Tapestry of Values: An Introduction to Values in Science. Oxford University Press. ISBN 978-0-19-026081-1.
  • Pimple, Kenneth D. (2017-05-15). Research Ethics. Routledge. ISBN 978-1-351-90400-1.
  • Bausell, R. Barker (2021-01-26). The Problem with Science: The Reproducibility Crisis and What to do About It. Oxford University Press. ISBN 978-0-19-753654-4.
  • Grahe, Jon (2021-08-30). A Journey into Open Science and Research Transparency in Psychology. Routledge. ISBN 978-1-00-043049-3.

학술논문

장들

컨퍼런스

기타출처