대부분의 발표된 연구 결과가 거짓인 이유

'왜 가장 많이 출판된 연구 결과가 거짓인가'^[1]는 존 이오아니디스 스탠포드 의대 교수가 2005년 쓴 에세이로서 PLOS Medicine에 실렸다.그것은 과학 분야에 기초적인 것으로 여겨진다.

이오아니디스 박사는 논문에서 대다수는 아니더라도 상당수의 의학 연구 논문에는 복제할 수 없는 결과가 담겨 있다고 주장했다.간단히 말해서, 이 에세이는 과학자들이 과학적 발견이 중요한지를 결정하기 위해 가설 테스트를 사용한다고 말한다.「표현성」은 확률 면에서 공식화되며, 하나의 정형화된 계산("P 값")은 선별 메커니즘으로서 과학 문헌에 보고된다.Ioannidis는 사람들이 이러한 테스트를 수행하고 보고하는 방법에 대한 가정을 정리한 다음, 그는 대부분의 발표된 결과가 거짓 양성 결과라는 것을 나타내는 통계적 모델을 만들었다.

주장

특정 과학 분야에서 결과가 참일 것으로 알려진 알려진 기준 확률이 $P{\displaystyle \mathbb{}(\text{True}}$) ${\displaystyle \mathb {P}({\text})$로 표시된다고 가정합시다.$True$ 연구를 실시할 때 양성 결과가 $나올{\displaystyle \mathbb{}}$ 확률은 P$(+){\displaystyle \mathb {P} (+)}.$이 두 가지 요인을 감안하여 조건부 $확률{\displaystyle \mathbb{}}$ P${\displaystyle (\text{True}}$ ${\displaystyle \mid }$+$){\displaystyle \mathb {P}(\text{\$text$})$를 계산하고자 한다.$True}}\mid$ $+)\},$ 이것은 양의 예측 값(PPV)으로 알려져 있다.Bayes의 정리를 통해 PPV를 다음과 같이 계산할 수 있다.

where ${\displaystyle \alpha }$ is the type I error rate and ${\displaystyle \beta }$ is the type II error rate; the statistical power is ${\displaystyle 1-\beta }$. It is customary in most scientific research to desire ${\displaystyle \alpha =0.05}$ and ${\displaystyle \beta =0.2}$. If we assumme $P{\displaystyle \mathbb{}}$( ${\displaystyle \text{True}}$)${\displaystyle }$=${\displaystyle 0}$.1 ${\displaystyle \mathb {P}({\text{$$참)}=0.$$특정$ 과학 분야의 경우$$$,$ PPV를 $\alpha {\displaystyle }$ ${\displaystyle \alpha }$ 및$$ $\beta {\displaystyle }$ ${\displaystyle \beta }$의 다른 값에 대해 계산할 수 있다$.$

	$\displaystyle \reason }$
$\displaystyle \reason }$	0.1	0.2	0.3	0.4	0.5	0.6	0.7	0.8	0.9
0.01	0.91	0.90	0.89	0.87	0.85	0.82	0.77	0.69	0.53
0.02	0.83	0.82	0.80	0.77	0.74	0.69	0.63	0.53	0.36
0.03	0.77	0.75	0.72	0.69	0.65	0.60	0.53	0.43	0.27
0.04	0.71	0.69	0.66	0.63	0.58	0.53	0.45	0.36	0.22
0.05	0.67	0.64	0.61	0.57	0.53	0.47	0.40	0.31	0.18

그러나 Bayes의 정리에서 도출된 PPV에 대한 간단한 공식은 연구 설계나 보고의 편향을 설명하지 않는다.일부 발표된 연구결과는 연구자 편견이 없었다면 연구결과는 발표되지 않았을 것이다.$u{\displaystyle }$ ${\displaystyle \in }$[ ${\displaystyle 0,}$ ${\displaystyle 1}$ ${\displaystyle ]}$ ${\displaystyle u\in [0,1]}$을(를) 연구자 편향으로 인해 분석 결과가 발표되었을 확률은 되도록$$ 한다.그런 다음 PPV는 보다 일반적인 표현으로 주어진다.

편향의 도입은 PPV를 압박하는 경향이 있을 것이다. 극단적인 경우 연구의 편향이 극대화되면 $P{\displaystyle \mathbb{}(\text{참}}$+${\displaystyle }$)${\displaystyle }$= $){\displaystyle \mathb{P}{\text{$$True}} +)=\mathb {P}({\text{$$True$ $연구$가$$α {\$displaystyle \alpha$$$} 및$\beta {\displaystyle }$ {\$displaystyle \beta$ $\}$에 대한 벤치마크 요건을 충족하고 치우침이 없더라도 양성 결과를 보고하는 논문이 부정확할 확률은 여전히 36%이며, 실제 결과의 기본 확률이 낮으면 PPV도 낮아진다.게다가, 많은 과학 분야에서 한 연구의 평균 통계 능력이 기준 수준인 0.8에 훨씬 못 미친다는 강력한 증거가 있다.^[2][3][4]

편향, 낮은 통계력, 소수의 참된 가설의 현실을 감안할 때, 이오아니디스는 다양한 과학 분야의 연구 대다수가 허위인 결과를 보고할 가능성이 높다고 결론짓는다.

코롤러리

Ioannidis는 주요 결과 외에도 발표된 연구의 신뢰성에 영향을 미칠 수 있는 요인에 대해 6개의 코롤을 나열한다.

과학 분야의 연구 결과는 사실일 가능성이 낮지만

1. 연구 규모가 작을수록
2. 효과 크기가 작을수록
3. 시험된 관계의 선택 횟수가 많을수록 적은 경우.
4. 설계, 정의, 결과 및 분석 모드의 유연성 증가.
5. 재정적, 기타 이익과 편견이 있다.
6. (더 많은 과학팀이 참여한 가운데) 과학 분야가 더 뜨거워질수록.

리셉션

논문에서 나온 극단적인 진술에 대한 회의론에도 불구하고, 이오아니디스의 보다 광범위한 주장과 경고는 다수의 연구자들에 의해 받아들여졌다.^[5]메타사이언스의 성장과 과학적 복제위기의 인식은 논문의 신뢰성을 강화시켰고, 과학 연구의 방법론적 개혁을 요구하게 되었다.^[6][7]

논평과 기술적 대응에서 통계학자 굿맨과 그린란드는 이오아니디스 모델에서 몇 가지 약점을 찾아냈다.^[8][9]Ioanidis가 대부분의 연구 결과의 주장이 거짓이며 "대부분의 연구 결과들은 대부분의 연구 설계와 대부분의 분야에서 거짓"이라고 "증언했다"고 했던 극적이고 과장된 언어 사용은 거부되었고, 그들은 그의 논문의 결론과 권고에 동의했다.

바이오스타틱스학자 제거와 렉은 이 모델이 실증적 자료보다는 정당하지만 자의적인 가정에 근거하고 있다고 비판하고, 이오아니디스의 주장대로 바이오의학 연구에서 거짓 양성률이 50%가 아닌 14% 정도로 추정된다는 자체 조사를 했다.^[10]그들의 논문은 다른 통계학자들의 논평을 뒷받침하는 확대된 논문과 함께 2014년 전문지 '바이오스타틱스'에 실렸다.리클 때 데이터를 데려와야 합니다는science-wise 거짓 발견율에 대해 이야기를 나누고:;science-wise 거짓 발견율을 추정하기 위해 다른 프레임워크, 그리고"그게 아주 대부분의 출판된 조사 잘못된 것으로 보인다,"지만, 그래도"대부분의"과"거짓"의 하나의 정의에 따라 다르다 협정의 주요한 점들을 요약했다.[11]

통계학자 울리히 쉬맥은 일부 과학 분야에서 보고된 허위 발견률이 실제 발견률이 아니라는 점을 지적하며 모델에 대한 경험적 근거의 중요성을 강화했다.Ioannidis의 이론적 모델은 그 점을 설명하지 못하지만, 미발표 유의미한 결과의 수를 추정하는 통계적 방법("z-curve")을 두 가지 예에 적용했을 때, 거짓 양성률은 8%~17%^[12]로 50%를 넘지 않는다.

허위양성률이 높은 원인

그럼에도 불구하고 이러한 약점에도 불구하고 Ioannidis가 논하는 문제와 권고사항에 대한 일반적인 동의가 있지만, 그의 어조는 "다람쥐"와 "농민적으로 오해의 소지가 있는" 것으로 묘사되어 사람들을 불필요하게 과학에 대해 회의적이거나 냉소적이게 만들 위험이 있다.^[8][13]

이 연구의 지속적인 영향은 임상 의학과 생물의학 연구에서 높은 허위 양성률의 근본적인 동인에 대한 인식과 이를 완화하기 위한 저널과 과학자들의 노력이었다.Ioannidis는 2016년에 이러한 드라이버를 다음과 같이 재작성했다.^[14]

• 단일 사일로 조사자(작은 표본 크기로 제한
• 테스트 중인 가설의 사전 등록 없음
• 최상의 P 값을 갖는 가설의 사후 체리 선택
• P < 0.05만 요구함
• 복제 안 함
• 데이터 공유 안 함

참고 항목

• 베이즈 정리
• 메타사이언스
• 복제위기
  • Berkeley Initiative for the Berkeley Initiative
  • 데이터 준설
  • 출판편향
  • 재현성 프로젝트

참조

추가 읽기

• Carnegie Mellon University, Statistics Journal Club: "가장 많이 발표된 연구 결과가 거짓인 이유"의 요약 및 토론
• 경제학 지원: De Long, J. Bradford; Lang, Kevin. "경제적 가설은 모두 거짓인가?" 정치경제학 저널. 100 (6): 1257–1272, 1992
• 사회과학 분야 지원:Hardwicke, Tom E.; Wallach, Joshua D.; Kidwell, Mallory C.; Bendixen, Theiss; Crüwell Sophia와 Ioannidis, John P. A. "사회과학의 투명성과 재현성 관련 연구 관행에 대한 경험적 평가(2014–2017). 로열 소사이어티 오픈 사이언스. 7: 190806, 2020.

외부 링크

• 2016년 버클리 사회과학 투명성 이니셔티브의 유튜브 동영상, "가장 많이 발표된 연구 결과가 거짓인 이유"(Part I, Part II, Part III)
• 2014년 구글 토크스에서의 존 이오아니디스(John Ioannidis)의 유튜브 영상 "Reproductive Research: True or False?"