학자적 동료 평가

Scholarly peer review

학자적 동료 검토(또는 심판이라고도 함)는 같은 분야의 전문가(또는 "피어")가 연구자의 방법결과의 초안을 검토(보통 익명으로)하는 과정이다.동료평가는 학술 출판사(편집장, 편집국 또는 프로그램 위원회)가 학술지, 모노그래프 또는 학술회의진행 중에 이 작품을 수용해야 하는지, 개정과 함께 수용 가능한 것으로 간주해야 하는지, 공식 출판물에 거부되어야 하는지를 결정하는 데 도움이 된다.

안전 점검은 자격을 갖추고 합리적으로 공평한 검토를 수행할 수 있는 특정(그리고 종종 좁게 정의된) 분야의 전문가 커뮤니티를 요구한다.특히 덜 좁게 정의되거나 학제간 분야에서의 작업에 대한 공정한 검토는 성취하기 어려울 수 있으며, 아이디어의 중요성(좋은지 나쁜지)은 동시대인들 사이에서 결코 널리 인정받지 못할 수 있다.동료평가는 일반적으로 학문적 질에 필요한 것으로 간주되며 대부분의 주요 학술지에 사용된다.그러나 안전 점검은 무효한 연구의 출판을 완전히 방해하지는 않으며,[1] 이 과정에 대한 실험적으로 통제된 연구는 주선하기 어렵기 때문에 안전 점검이 발표된 논문의 품질을 향상시킨다는 직접적인 증거는 부족하다.[2]

학자적 동료평가는 여러 가지 비판을 받아왔으며, 수년간 제도 개혁을 위한 다양한 제안들이 제시되어 왔다.많은 연구들이 안전 점검 과정에 내재된 문제들을 강조해왔다.(Squazoni et al. 2017[3] 참조).더욱이, 라곤 외, (2013)[4]은 안전 점검 결과와 인용구로 측정한 미래 영향 사이에 낮은 상관관계가 있음을 보여주었다.Brezis와 Birukou는 또한 Peer Review 과정이 제대로 작동하지 않는다는 것을 보여준다.그들은 등급이 견고하지 않다고 강조한다. 예를 들어, 검토자의 변경은 검토 결과에 극적인 영향을 미칠 수 있다.두 가지 주요 요소는 피어 프로세스의 편향에 영향을 미친다.[5]

  • 첫 번째 요소는 심판들이 혁신적인 아이디어에 대한 취향과 인식에서 동음이의어로 표현한다는 것이다.그래서 기존의 아이디어를 개발하는 검토자는 혁신 프로젝트에 낮은 점수를 주는 경향이 있고, 혁신 아이디어를 개발한 검토자는 동성애적으로 혁신 프로젝트에 더 높은 점수를 주는 경향이 있다.
  • 안전 점검 프로세스의 높은 편차를 초래하는 두 번째 요소는 검토자가 프로젝트를 분석하기 위해 동일한 시간을 투자하지 않는다는 것이다(또는 동등하게 동일한 능력을 가지고 있지 않다).Brezis와 Biruku는[5] 심판들 사이의 이러한 이질성이 전체 동료 검토 과정에 심각한 영향을 미치게 될 것이며, 그 과정 결과에서 주요한 재정 거래로 이어질 것이라는 것을 보여준다.[5]

또래프로세스는 프로젝트 수용에도 활용되고 있다.(프로젝트의 경우 수용률이 작으며, 평균 10%로 1%~20% 수준이다.유럽 H2020 통화에서는 수용률이 1.8%이다.)혁신적 프로젝트가 기존 안전 점검 과정에서 높은 순위를 차지하지 않기 때문에 지원 대상 프로젝트를 선택할 때 안전 점검이 더 문제가 된다.안전 점검 과정은 적합성, 즉 논란이 덜한 프로젝트와 논문의 선택으로 이어진다.이는 학자들이 1997년 마틴이 논의한 바와 같이 연구를 위해 자금을 조달할 필요가 있기 때문에 학자들이 제안할 제안의 종류에도 영향을 미칠 수 있다:[6] "일반적인 비공식 견해는 전통적인 프로젝트를 위한 자금을 확보하는 것이 더 쉽다는 것이다.자금 조달에 열심인 사람들은 급진적이거나 비정통적인 사업을 제안할 것 같지 않다.심판들이 누가 될지는 모르니 중도라고 보는 게 상책이다.그래서 중도적용하는 것이 더 안전하다"[5]고 말했다.

안전 점검 프로세스를 개혁하기 위한 다른 시도는 다른 것들 사이에서 전이 및 저널리즘 분야에서 비롯된다.개혁자들은 안전 점검 과정의 신뢰성과 효율성을 높이고 과학적인 토대를 제공하고자 한다.[7][8][9]일반적으로 F1000, eLife, BMJBioMed Central과 같이 안전 점검자의 신원도 공개하면서, 공통 안전 점검 관행,[10][11] 특히 개방적 안전 점검에 대한 대안이 시험에 포함되었다.

역사

사설 사전 공개 동료 검토의 첫 번째 기록은 1665년 런던 왕립학회 철학적 거래의 창립 편집자인 헨리 올덴버그가 작성한 것이다.[12][13][14]

동료가 검토한 최초의 출판물은 1731년 영국 에든버러 왕립학회에서 발표한 의학 수필과 관찰일 것이다.오늘날의 동료 검토 시스템은 이러한 18세기 과정으로부터 발전하여 [15]19세기 중반부터 외부 검토자가 참여하기 시작했으며,[16] 20세기 중반이 되어서야 보편화되었다.[17]

동료평론은 과학적 방법의 시금석이 되었지만, 19세기 까지는 편집국장이나 편집위원에 의해 직접 행해지는 경우가 많았다.[18][19][20]당시 과학 저널의 편집자들은 외부 입력, 즉 외부 검토자 패널을 구하지 않고 출판 결정을 내려 기성 작가들에게 저널리즘적 재량권을 부여했다.예를 들어 1905년 안날렌 데르 파이식호에 실린 알버트 아인슈타인의 혁명가 안누스 미라빌리스 4편의 논문은 이 저널의 편집장인 막스 플랑크공동편집자인 빌헬름 에 의해 동료평론가들과 함께 미래의 노벨상 수상자들과 이 논문들의 주제에 대한 전문가들에 의해 검토되었다.훨씬 나중에, 아인슈타인은 외부 검토 과정에 대해 심하게 비판했는데, 편집자에게 "인쇄되기 전에 전문가들에게" 원고를 보여줄 수 있는 권한을 주지 않았고, "논문을 다른 곳에 출판할 것"이라고 알려주지 않았다고 말했다. 그는 그렇게 했고, 사실 그는 나중에 출판물을 철회해야만 했다.[21]

일부 의학저널이 외부검토자를 체계적으로 선임하기 시작한 것은 20세기 중반 이후지만 이런 관행이 널리 퍼져 외부검토자가 저자와 편집자의 감사를 받는 등 학술저널 내에서 어느 정도 가시성을 부여받은 것은 20세기 중반부터이다.[18][22]네이처지의 2003년 사설은 20세기 초 "증거의 부담은 일반적으로 새로운 사상의 지지자들보다는 반대자들에게 있었다"고 밝혔다.[23]자연 그 자체는 1967년에야 공식적인 동료 검토를 시작했다.[24]1950년대와 1960년대 사이언스, 아메리칸 저널 오브 메디슨과 같은 저널들은 편집 작업량을 줄이기 위해 외부 검토자들에게 점점 더 의존했다.[22]20세기에, 동료 검토는 또한 과학 기금 배분에 일반적이 되었다.이 과정은 편집 동료 검토의 과정과는 독립적으로 발전한 것으로 보인다.[12]: 221

가우데는[25][self-published source?] 동료 검토의 역사에 대한 사회과학적 관점을 제공하며, 여기서 동료 검토는 조사, 검열, 저널 동료 검토 사이의 피상적이거나 자명한 공통점을 살펴보는 것만이 아니다.굴드,[26] 비아기올리,[27] 스피어,[20] 리프의 역사적 연구를 바탕으로 한다.[28]제1차 동료 검토 회의는 1989년에 개최되었다.[29]시간이 지나면서 동료 검토에 전념하는 논문의 분율은 꾸준히 감소해 사회학 연구 분야로서 편향과 오류에 대한 보다 체계적인 연구로 대체되고 있음을 시사한다.[2]안전 점검 연구를 '사전 구성 프로세스'로 하는 「공통 경험」의 정의와 병행하여, 일부 사회과학자는 사전 구성으로 간주하지 않고 안전 점검을 살펴보았다.Hirschauer는 저널 안전 점검이 동료들 간의 판단에 대한 상호 책임으로 이해될 수 있다고 제안했다.[30]Gaudet은 저널 안전 점검이 경계 판단의 사회적 형태로서 이해될 수 있을 것이라고 제안했는데, 이는 중요한 지식 시스템에 대해 설정된 과학적(또는 그렇지 않은) 것으로 간주될 수 있는 것을 결정하고, 이전의 조사와 검열 형식을 따르는 것이다.[25][self-published source?]

실용적으로 동료평가는 제출된 원고를 심사하는 동안 행해진 작업을 말한다.이 과정은 저자들이 그들의 규율의 수용된 기준을 충족하도록 장려하고, 관련 없는 발견, 부당한 주장, 받아들일 수 없는 해석 및 개인적인 견해의 보급을 감소시킨다.또래 심사를 거치지 않은 출판물은 학계 학자와 전문가들로부터 의심을 받을 가능성이 높다.[citation needed]검토되지 않은 작업은 분야에 따라 크게 좌우되지만 h-index와 같은 학자의 학력에 기여하거나 기여도가 낮지 않다.

정당성

개별적이든 팀원이든 저자와 연구자가 복잡한 작품의 모든 실수나 결함을 발견하기란 어렵다.이것은 반드시 관련자들에 대한 반성이 아니라, 새롭고 아마도 다양한 주제를 가지고, 특별한 전문지식을 가지고 있거나 단순히 신선한 눈으로 그것을 바라보는 사람에게 개선의 기회가 더 명백할 수 있기 때문이다.따라서 다른 사람에게 일을 보여주는 것은 약점이 식별되고 개선될 확률을 증가시킨다.학술지에 게재된 보조금 기금과 출판 모두에 있어서, 일반적으로 그 주제가 참신하고 실질적이라는 것도 요구 사항이다.[31][32]

학술적 기사의 게재 여부, 혹은 발표 전에 수정해야 할 사항 등은 결국 원고가 제출된 출판사(편집장 또는 편집국)에 달려 있다.이와 유사하게, 제안된 프로젝트에 자금을 지원할 것인지의 결정은 기금 조달청의 관계자에게 있다.이러한 개인은 보통 결정을 내릴 때 한 명 이상의 검토자의 의견을 참조한다.이는 주로 다음 세 가지 이유에서입니다.[citation needed]

  • 작업량소수의 편집자/평가자 그룹은 많은 저널에 제출된 많은 기사에 각각 충분한 시간을 할애할 수 없다.
  • 잘못된 아이디어들.편집자/평가자가 제출된 모든 자료를 스스로 판단한다면, 승인된 자료는 전적으로 그들의 의견을 반영할 것이다.
  • 제한된 전문 지식.편집자/평가자는 제출된 모든 자료를 적절히 판단할 수 있도록 단일 저널 또는 기금 기관에서 다루는 모든 분야에 대해 충분히 전문가라고 기대할 수 없다.

평론가들은 종종 익명적이고 독립적이다.그러나 일부 검토자는 익명성을 포기할 수 있으며, 심판에 대한 정식 불만사항의 심사나 법원 명령과 같은 다른 제한된 상황에서는 검토자의 신원을 공개해야 할 수 있다.익명성은 일방적이거나 상호적일 수 있다(단일 또는 이중 맹목적인 검토).[citation needed]

일반적으로 검토자는 기사에서 논의된 분야의 전문가로부터 선택되기 때문에, 안전 점검의 과정은 일부 무효하거나 증명되지 않은 주장을 발표된 연구와 지식의 본문에 포함시키지 않는 데 도움이 된다.학자들은 제한된 전문 지식 영역 밖에서 출판된 기사를 읽은 후, 어느 정도 동료 검토 과정에 의존하여 후속 또는 관련 연구를 위해 믿을 수 있고 신뢰할 수 있는 연구를 제공할 것이다.저자가 기사에 포함된 연구를 위조한 것으로 드러나면 다른 학자들, 그리고 연구 분야 자체가 무효한 연구에 의존했을 수 있기 때문에 중대한 스캔들이 뒤따른다.[citation needed]

미국 대학의 경우, 출판 전 책의 동료평가는 미국대학언론인협회(Association of American University Press)의 정식 회원 자격을 얻기 위한 요건이다.[33]

절차

제안 출판물의 경우, 출판사(편집장 또는 편집위원, 종종 해당 편집자 또는 관계 편집자의 도움을 받아)는 해당 분야의 전문가인 연구자나 학자에게 저자의 작품이나 아이디어의 사전 사본을 보낸다('리퍼리스' 또는 '리뷰어'로 알려져 있다).커뮤니케이션은 보통 이메일이나 ScholarOne, Scholara, Open Journal Systems와 같은 웹 기반의 원고 처리 시스템을 통해 이루어진다.연구 분야와 특정 저널에 따라 주어진 기사에 대해 보통 1~3명의 심판이 있다.예를 들어, 스프링거는 한 기사에 두세 명의 검토자가 있다고 말한다.[34]

동료 검토 프로세스에는 세 가지 단계가 포함된다.[35]

1단계: 데스크 평가

한 편집자는 원고를 평가하여 논문이 저널 심판에게 전해질지 여부를 판단한다.이 단계에서 많은 기사들은 "책상 거부"를 받는다. 즉, 편집자는 기사를 전달하지 않기로 선택한다.저자는 설명서를 받을 수도 있고 받지 않을 수도 있다.

책상 거부는 편집자들이 생존할 수 없는 원고를 빨리 지나쳐 작가들에게 좀 더 적합한 저널을 추구할 기회를 제공할 수 있도록 능률적인 과정을 의도하고 있다.예를 들어, 유럽 회계 검토 편집자들은 각 원고를 세 가지 질문으로 나누어 원고가 심판에게 전진하는지를 결정한다: 1) 논문이 저널의 목적과 범위에 적합한가, 2) 논문 내용(예: 문헌 검토, 방법, 결론)은 충분하며 논문이 본문에 가치 있는 기여를 하는가?더 큰 문헌의 본문, 3) 형식과 기술사양을 따르는가?이들 중 어느 하나에 "아니오"하면, 원고는 책상 거절을 받는다.[36]

책상 거부율은 저널에 따라 다르다.예를 들어, 2017년 세계은행 연구진은 몇몇 세계 경제 저널의 거부율을 집계했는데, 책상 거부율은 21%(경제 레이사)에서 66%(개발경제 저널)까지 다양했다.[37]미국심리학회는 이 분야의 여러 주요 출판물에 대한 거부율을 발표하고 있으며, 거부 내용이 사전평가인지 사후평가인지는 구체적으로 밝히지 않았지만 2016년 수치는 49%[38]에서 90%까지 낮은 수치였다.

2단계: 외부 검토

만약 그 논문이 데스크에서 거부되지 않는다면, 편집자들은 심판들에게 원고를 보내는데, 심판들은 그들의 전문성과 저자들과의 거리 때문에 선택된다.이때 심판이 거부하거나 변경(경고)[39] 없이 수용하거나 저자에게 수정·재제출 지시를 내릴 수 있다.

편집자들의 기사 수용에 대한 이유는 다양하지만, 엘시버는 세 명의 편집자가 기사 수용을 유도하는 요소들을 고려하는 기사를 게재했다.이러한 요소들에는 원고: "중요한 문제에 대한 새로운 통찰력" 전달, 실무자들에게 유용할 것인지, 새로운 이론을 진전시키거나 제안할 것인지, 새로운 문제를 제기할 것인지, 적절한 방법과 결론을 가질 것인지, 문헌에 근거한 좋은 논거를 제시하고, 좋은 이야기를 들려줄 것인지 등이 포함된다.한 편집자는 자신이 직접 해낸 신문들을 좋아한다고 지적한다.[40]

이 심판들은 각각 작품에 대한 평가를 편집자에게 돌려주며, 개선 제안과 함께 약점이나 문제점을 지적한다.전형적으로, 심판의 코멘트의 대부분은 결국 저자에 의해 보여진다. 비록 심판은 출판사에 '당신의 눈으로만' 코멘트를 보낼 수 있지만; 과학 저널들은 거의 보편적으로 이 컨퍼런스를 관찰한다.그런 다음 편집자는 보통 심판의 코멘트로 결정을 저자에게 다시 전달하기 전에 심판의 코멘트와 원고에 대한 자신의 의견을 평가한다.[41]

심판의 평가에는 보통 원고나 제안서를 어떻게 할 것인지에 대한 명시적 권고가 포함되며, 종종 저널이나 기금 기관이 제공하는 옵션에서 선택된다.예를 들어 네이처는 다음과 같은 네 가지 행동 과정을 권고한다.[42]

  • 원고나 청혼을 무조건 받아들이는 것,
  • 그 저자가 그것을 특정한 방법으로 개선한 경우에 그것을 받아들인다.
  • 이를 거부하되, 개정을 장려하고 재탕자를 초대한다.
  • 노골적으로 거절하다

이 과정에서 심판의 역할은 자문이다.편집자는 대개 심판의 의견을 받아들일 의무가 없지만,[43] 대부분 그렇게 할 것이다.나아가 과학 간행물의 심판이 집단으로 활동하지 않고, 서로 의사소통하지 않으며, 전형적으로 서로의 정체성이나 평가를 알지 못한다.찬성론자들은 논문의 검토자가 서로 모르는 경우, 편집자가 검토의 객관성을 보다 쉽게 검증할 수 있다고 주장한다.일반적으로 심판들이 합의를 이루어야 한다는 요구사항은 없으며, 대신 편집자가 최선의 주장을 판단하여 결정을 내리는 경우가 많다.

다수의 심판이 작품의 질에 대해 실질적으로 동의하지 않는 상황에서는, 결정을 내리기 위한 여러 가지 전략이 있다.논문은 완전히 거부되거나, 편집자는 저자가 다루어야 할 검토자의 논점을 선택할 수 있다.[44]출판사가 동일한 원고에 대해 매우 긍정적이고 매우 부정적인 리뷰를 받을 때 편집자는 종종 타이브레이커로서 하나 이상의 추가 리뷰를 요청하게 된다.동점일 경우 또 다른 전략으로 출판사는 저자를 초청해 심판의 비판에 답하고 동점을 깨기 위한 설득력 있는 반박을 허용할 수도 있다.출판사가 반박의 설득력을 저울질할 자신이 없다면 출판사는 원색적인 비판을 한 심판에게 답변을 요구할 수도 있다.편집자는 작가와 심판 사이에 서로 주고받는 커뮤니케이션을 전달할 수 있으며, 사실상 논점을 토론할 수 있다.[45]

그러나 이러한 경우에도 출판사는 복수의 심판이 서로 상의하는 것을 허용하지 않는다. 각 심사자는 다른 심사자가 제출한 의견을 종종 볼 수 있다.그 과정의 목표는 명백하게 합의에 도달하거나 그들의 의견을 바꾸도록 누군가를 설득하는 것이 아니라, 대신에 정보에 입각한 편집 결정을 위한 자료를 제공하는 것이다.심판 불일치와 관련된 한 초기 연구에서는 7개 기사 속성 중 6개(예: 문헌 검토 및 최종 출판 권고)[46]에 대해 찬스보다 크지는 않더라도 합의가 더 큰 것으로 나타났지만, 이 연구는 소규모였고 오직 하나의 저널에서만 수행되었다.적어도 한 연구는 검토자의 의견 불일치가 일반적이지 않다는 것을 발견했지만, 이 연구는 또한 작으며 오직 한 저널에만 있다.[47]

전통적으로, 검토자들은 종종 저자들에게 익명으로 남아있지만, 이 표준은 시간과 학문 분야에 따라 다르다.일부 학술 분야에서는 대부분의 저널이 평론자에게 익명 여부를 선택할 수 있는 선택권을 제공하거나, 심판이 평론에 서명하는 것을 선택할 수 있어 익명성을 포기할 수 있다.출판된 논문은 때때로 논문의 개선에 도움을 준 익명 또는 지명된 심판들 덕분에 인정란에 기재되기도 한다.예를 들어 네이처 저널은 이 옵션을 제공한다.[42]

때때로 저자들은 특정 검토자를 제외할 수도 있다: 탐사 피부과 저널에 시행된 한 연구는 검토자를 제외하는 것이 기사의 수용 가능성을 두 배로 높인다는 것을 발견했다.[48]일부 학자들은 이 생각이 과학적인 과정을 왜곡한다고 주장하며 불편해한다.다른 이들은 그것이 어떤 식으로든 편향된 심판들로부터 보호한다고 주장한다.[49]작가들이 원고를 위해 심판을 고를 수 있는 경우도 있다.미생물학 분야의 오픈액세스 저널 mSphere가 이 모델로 옮겨왔다.마이크 임페리얼 편집장은 이 과정이 논문을 검토하는 데 걸리는 시간을 줄이고 저자들이 가장 적절한 리뷰어를 선택할 수 있도록 허용하기 위한 것이라고 말한다.[50]그러나 2015년의 스캔들은 이러한 선정 검토자들이 어떻게 부정 평가를 장려할 수 있는지를 보여준다.저자가 추천한 리뷰어 이름으로 '레닌-안지오텐신-알도스테론 시스템 저널'에 가짜 리뷰가 제출돼 저널이 이 옵션을 없앴다.[51]

3단계: 수정사항

안전 점검 중에 원고가 거부되지 않은 경우, 원고는 수정을 위해 저자에게 되돌아간다.이 단계에서 저자들은 검토자들이 제기한 우려를 다룬다.William Stepord Noble 박사는 검토자에게 응답하기 위한 10가지 규칙을 제공한다.그의 규칙은 다음과 같다.[52]

  1. "개요를 제공한 후 전체 리뷰를 인용"
  2. "모든 평론가를 정중하고 존중하라"
  3. "책임을 인정하라"
  4. "응답에 대한 자급자족"
  5. "검토자가 제기한 모든 사항에 대응"
  6. "검토자가 사용자의 응답을 탐색할 수 있도록 타이포그래피 사용"
  7. "가능한 경우, 각 코멘트에 대해 제기되는 요점에 대한 직접적인 답변으로 답변을 시작하십시오.
  8. "가능하면 검토자가 요구하는 대로 하십시오."
  9. "이전 버전에 비해 변경된 내용에 대해 명확히 설명"
  10. "필요한 경우 응답을 두 번 작성"(즉, "벤팅" 버전을 작성하되 검토자가 볼 버전을 작성)

심판을 모집

저널이나 책 출판사에서, 리뷰어를 고르는 일은 일반적으로 편집자에게 돌아간다.[53]원고가 도착하면, 편집자는 학자나 다른 전문가들로부터 검토를 요청하는데, 그들은 이미 그 저널이나 책 부문을 심판할 의지를 표명했거나 표명하지 않았을 것이다.허가기관은 전형적으로 신청서가 도착하기 전에 심사위원회나 심사위원회를 모집한다.[54]

심판들은 발생할 수 있는 이해 상충을 편집자에게 알려야 한다.저널이나 개별 편집자는 원고의 저자를 초대하여 그들이 자신의 작품을 심판할 자격이 있다고 생각하는 사람들을 지명할 수 있다.일부 저널의 경우 이것은 제출의 요구 사항이다.저자들은 또한 때때로 실격되어야 하는 자연적인 후보들을 지명할 기회가 주어지는데, 이 경우 그들은 정당성을 제공하도록 요청받을 수 있다(일반적으로 이해충돌의 관점에서 표현된다).[citation needed]

편집자들은 전형적으로 학술적 글쓰기가 매우 전문적이기 때문에 심판을 고를 때 저자의 의견을 요청한다.편집자들은 종종 많은 전문분야를 감독하며, 모든 전문분야에서 전문가가 될 수는 없다.그러나 편집자가 후보 풀에서 심판들을 고른 후, 편집자는 전형적으로 심판들의 신원을 저자와 과학 저널에 서로 공개하지 않을 의무가 있다.그러한 문제에 대한 정책은 학문 분야마다 다르다.[citation needed]일부 원고에 관한 한 가지 어려운 점은, 진정으로 전문가로서의 자격을 갖춘 학자, 검토 중인 것과 유사한 작업을 스스로 해낸 사람은 거의 없을 수 있다는 점이다.이것은 검토자의 익명성과 이해 상충의 회피라는 목표를 좌절시킬 수 있다.전문가 모집과 관련하여 저급한 신문이나 지역 신문과 상금을 거의 주지 않는 기관들은 특히 장애인이다.[citation needed]

심판 모집에 있어 잠재적인 장애는 그들이 대개 보수를 받지 못한다는 것인데, 그렇게 하는 것 자체가 이해 상충을 일으키기 때문이다.또한 복습은 자신의 연구와 같은 그들의 주요 활동으로부터 시간을 빼앗는다.모집 희망자의 장점으로는, 대부분의 잠재적 심판들은 작가 자신 혹은 적어도 독자로, 출판 시스템이 전문가들이 시간을 기부하도록 요구한다는 것을 알고 있다.심판으로 활동하는 것은 심지어 보조금, 또는 전문 협회 회원 자격의 조건이 될 수도 있다.[55]일반적으로 전자정보의 폭발적 증가와 저널 수의 불균형적인 증가 때문에 과학자의 수가 지속적으로 증가함에 따라 "피어 리뷰 위기"가 발생하였다.현재 시행되고 있는 시스템은 현대의 요구에 대응하지 못하고 있으며, 즉시 급진적인 개혁이 이루어지지 않는 한, 필연적으로 소멸할 것이다.학술제도는 확립된 보편적 지표를 바탕으로 승진 및 종신 재직에 필수적인 엄격한 동료 검토 활동 기준을 혁신하고 확립해야 한다.즉, 연구자에게 보상을 해주기 때문에 학문적으로 보상 검토자가 되는 것인데, 현재는 그렇지 않다.다른 인센티브는 모두 실패했다.[55]

심판은 현장의 기준에 맞지 않는 작품이 출판되는 것을 막을 수 있는 기회가 있는데, 이는 어느 정도 책임이 있는 입장이다.편집자들은 자신의 작품의 출판을 감독했거나, 혹은 그 학자가 미래에 그 편집자의 출판사에 원고를 제출하기를 원하는 사람일 때 학자를 모집하는 데 특별한 이점이 있다.마찬가지로 허가기관도 현재 또는 이전 허가권자 중에서 심판을 구하는 경향이 있다.[citation needed]

Peerage of Science는 독립된 서비스로서 열린 참여를 통해 검토자 모집이 이루어지는 커뮤니티로, 저자는 자신의 원고를 비계열 과학자가 접근할 수 있는 서비스에 제출하고, '검증된 사용자'는 자신이 검토하고자 하는 것을 스스로 선택한다.또래 검토자로 참여하게 된 동기는 다른 사용자가 검토 작업의 품질을 평가하고 점수를 매겨 사용자 프로필에 기여하는 평판 시스템에서 비롯된다.Peerage of Science는 과학자들에게 어떠한 수수료도 부과하지 않으며 동료 검토자들에게도 지불하지 않는다.그러나 참여 출판사는 이 서비스를 사용하기 위해 비용을 지불하고, 진행 중인 모든 프로세스에 접근하고, 저자들에게 출판 제의를 할 기회를 얻는다.[citation needed]

독립된 안전 점검 서비스를 통해 저자는 보통 안전 점검 프로세스 전반에 걸쳐 작업에 대한 권리를 보유하며, 작업을 제출할 가장 적절한 저널을 선택할 수 있다.[56][57]안전 점검 서비스는 또한 작업에 가장 적합한 저널에 대한 조언이나 권고사항을 제공할 수 있다.저널은 재무적 보상이 야기할 수 있는 잠재적인 이해 상충 또는 저자가 복수의 안전 점검 서비스에 계약했지만 가장 유리한 것만 제시하는 위험 없이 여전히 독립적인 안전 점검 수행을 원할 수 있다.[citation needed]

안전 점검 수행의 대안적 또는 보완적 시스템은 작성자가 수행된 것에 대한 비용을 지불하는 것이다.그러한 서비스 제공자의 예는 Rubriq이다. 각 작업에 대해 재정적으로 보상을 받는 동료 검토자를 할당한다.[58]

다른 스타일

익명 및 귀속됨

대부분의 학술 간행물의 경우, 검토자의 신원은 익명으로 유지된다("블라인드 피어 리뷰"라고도 함).대안적인 동료 검토에는 검토자의 신원을 밝히는 것이 포함된다.일부 평론가들은 저널의 기본 형식이 블라인드 피어 리뷰인 경우에도 익명성을 포기할 것을 선택한다.

익명의 동료 검토에서, 검토자는 저널 편집자나 회의 주최자에게 알려져 있지만, 그들의 이름은 기사의 작성자에게 주어지지 않는다.검토 전 문서에서 식별 정보가 벗겨지는 등 검토 과정을 위해 작성자의 신원도 익명화할 수 있는 경우도 있다.그 시스템은 편견을 줄이거나 없애기 위한 것이다.[20]

일부 전문가들은 논란이 되고 있는 연구 주제를 재검토하기 위한 블라인드 리뷰 절차를 제안했다.[59]

어느 사회학 저널에서 게제가 그 1950s[60]에 더욱 사회 과학, 인문학에서 저자들의 정체성은 평론가들("비엔날레")으로부터 분리시키며, 그, 저자 또는 disapprob에 대한 관심을 지식 성의 숨겨져 있는 천연 sciences,[표창 필요한]보다는 여전히 시행해 왔다 이중 맹검의 동료 평가에서는는 작가의 ation그들의 [61]평론을 편파하다이중 블라인드 리뷰 과정을 비판하는 사람들은 익명성을 확보하기 위한 어떤 편집 노력에도 불구하고, 그 과정이 종종 그렇게 하지 못하는데, 그 이유는 특정한 접근법, 방법, 작문 스타일, 표기법 등이 연구 흐름의 특정 집단을 가리키기 때문이며, 심지어 특정인을 가리키기 때문이라고 지적한다.[62][self-published source?][63]

"큰 과학"의 많은 분야에서, 망원경이나 싱크로트론과 같은 주요 장비들의 공개적으로 이용할 수 있는 운영 스케줄은, 그것들을 찾고자 하는 모든 사람들에게 저자들의 이름을 분명히 해 줄 것이다.이중 블라인드 리뷰를 찬성하는 사람들은 그것이 단일 블라인드보다 더 나쁜 성과를 거두지 못하며, 학문적 자금과 출판에서 공정성과 평등에 대한 인식을 발생시킨다고 주장한다.[64]단일 블라인드 리뷰는 참가자의 호의에 따라 크게 좌우되지만 쉽게 식별되는 작가와의 이중 블라인드 리뷰에 지나지 않는다.

1인칭, 2인칭 리뷰의 대안으로 저자와 평론가는 저자와 평론가의 이름이 상대방에게 알려질 때 이해충돌을 선언하도록 권장한다.갈등이 보고될 때, 충돌하는 검토자는 원고를 검토하고 토론하는 것이 금지되거나, 또는 그 검토는 보고된 갈등을 염두에 두고 해석될 수 있다; 후자의 선택은 이전의 전문적인 연결이나 먼 가족 관계와 같이 이해의 충돌이 경미할 때 더 자주 채택된다.이온. 검토자가 이해 상충을 선언하는 동기는 직업윤리와 개인의 청렴성의 문제다.리뷰가 공개되지 않은 경우에도 여전히 기록의 문제이며, 리뷰어의 신뢰도는 그들이 동료들 사이에서 어떻게 자신을 대표하느냐에 달려 있다.IEEE Transactions on Software Engineering과 같은 일부 소프트웨어 엔지니어링 저널은 비블라인드 리뷰를 사용하여 저자와 검토자 모두의 이해충돌 편집자에게 보고한다.[citation needed]

더 엄격한 책임의 기준은 감사라고 알려져 있다.검토자는 급여가 지급되지 않기 때문에 감사에 필요한 만큼 검토에 많은 시간과 노력을 쏟을 것으로 기대할 수 없다.따라서 과학과 같은 학술지, 미국 지구물리학연합과 같은 단체, 국립보건원, 국립과학재단과 같은 기관들은 다른 연구자가 발표 후 연구를 복제하거나 감사하고자 할 경우 과학 데이터와 방법을 유지·보관한다.[65][66][67]

기존의 익명 안전 점검은 책임감이 부족하고, 안전 점검 과정을 관리하는 사람들(즉, 저널 편집자)이 악용할 가능성,[68] 편향 가능성, 그리고 다른 결함들과 [69]함께 비일관성으로 인해 비판을 받아왔다.[70][71]국립생명공학정보센터유진 쿠닌 선임연구원은 이 시스템이 "잘 알려진 병폐"를 가지고 있다고 주장하며 "개방적인 동료 검토"[72]를 옹호한다.

동료 검토 열기

1999년 개방형 접속 저널 오브 메디컬 인터넷 리서치(Journal of Medical Internet Research[73])가 창간되었고, 창간부터 각 발행 기사의 하단에 검토자 이름을 게재하기로 결정했다.또한 1999년에는 영국의학저널이 개방형 동료 검토 시스템으로 옮겨가 저자는 물론 독자가 아닌 저자에게 검토자의 신원을 공개했고,[74] 2000년에는 바이오메드 센트럴이 발간한 개방형 접근 BMC 시리즈[75] 의학저널이 개방형 동료검토를 이용해 출범했다.BMJ와 마찬가지로, 검토자의 이름은 안전 점검 보고서에 포함된다.게다가, 만약 그 기사가 출판된다면, 그 보고서는 "사전 홍보 역사"[citation needed]의 일부로서 온라인에서 이용할 수 있게 된다.

BMJ 그룹에 의해 출판된 몇몇 다른 저널들은 공개 과학 도서관에서 출판된 PLoS Medicine과 마찬가지로 선택적인 오픈 피어 리뷰를 허용한다.[74][76]BMJ 신속한 대응은 출판 이후 지속적인 토론과 비판을 가능하게 한다.[77]

2006년 6월에 네이처는 병행 오픈 피어 리뷰 실험을 시작했다: 정기적인 익명 과정에 제출된 일부 기사들은 공개되고 확인된 공개 논평에도 온라인에서 이용할 수 있었다.그 결과는 고무적이지 않았다 – 오직 5%의 저자들만이 실험에 참여하기로 동의했고, 단지 54%의 기사만이 의견을 받았다.[78][79]편집자들은 연구자들이 너무 바빠서 참여하지 못했을 수도 있고 그들의 이름을 공개하기를 꺼렸을 수도 있다고 제안했다.기사가 익명의 안전 점검의 대상이 되고 있다는 지식도 또한 이해에 영향을 미쳤을 수 있다.

2006년 2월, 바이오메드 센트럴이 발행한 학술지 '생물학 다이렉트(Biology Direct)'는 기존의 동료 검토 모델에 또 다른 대안을 추가했다.만약 저자들이 각각 보고서를 반납하거나 외부검토를 요청할 편집위원 3명을 찾을 수 있다면, 그 기사는 발표될 것이다.필리카와 마찬가지로 평론가들은 출판을 억제할 수 없지만 필리카와 대조적으로 평론은 익명성이 없고 평론되지 않고 기사도 게재되지 않는다.작가들은 자신의 글을 철회하거나, 검토에 응해 수정하거나, 수정 없이 출판할 수 있는 기회가 있다.비판적 논평에도 불구하고 저자들이 기사 발간을 진행한다면, 독자들은 리뷰어들의 이름과 함께 부정적인 논평들을 분명히 볼 수 있다.[80][third-party source needed]사회과학에서는 위키식, 서명된 동료평론, 예를 들어 셰익스피어 분기별 호에서 실험이 있었다.[81]

2010년, BMJ는 검토자들에게 서명된 검토서가 공개적으로 게시될 수 있다고 말한 것이 검토의 품질에 유의미한 영향을 미치지 않는다고 결정한 후, 서명된 검토자의 보고서를 승인된 논문과 함께 발행하기 시작했다.[82]

2011년, 독립적인 안전 점검 서비스인 Peerage of Science는 학문적 안전 점검에 대한 몇 가지 비전통적 접근방식과 함께 시작되었다.가장 중요한 것은 안전 점검의 정확성과 정당성에 대한 판단과 점수, 그리고 여러 개의 참여 저널에 의한 단일 안전 점검 라운드의 동시 사용을 포함한다.[citation needed]

2013년 F1000리서치 출범을 시작으로 일부 출판사는 버전 기사 시스템을 활용해 공개 동료 검토와 사후 동료 검토를 결합했다.F1000Rearch에서는 검토 전에 기사를 게재하고, 초청된 동료 검토 보고서(및 검토자 이름)가 들어오는 대로 기사와 함께 게재한다.[83]그리고 나서 그 기사의 저자 개정판은 원본과 연결된다.2014년 출범한 사이언스 오픈은 버전 기사와 유사한 포스트홍보 검토 시스템을 사용하고 있다.[84]

2014년, Life는 각 기사의 최종본의 필수적인 부분으로 동료 검토 보고서와 저자의 응답을 게재하는 개방형 동료 검토 시스템을 이식했다.[85]

신렛은 2016년부터 폐쇄적인 크라우드 피어 리뷰를 실험하고 있다.검토 중인 기사는 80명 이상의 전문가 검토자 풀로 보내지며, 그 후 공동으로 원고에 대한 의견을 개진한다.[86]

연구 결과의 재현성에 관한 문제를 해결하기 위한 노력의 일환으로, 일부 학자들은 저자들이 안전 점검 과정의 일부로 그들의 원시 데이터를 공유하는 것에 동의할 것을 요구하고 있다.[87]예를 들어, 1962년까지 많은 심리학자들이 다른 연구자들로부터 원시 데이터 세트를 얻으려고 시도했는데, 결과는 엇갈렸다.최근의 시도는 50개의 요청 중 7개의 데이터만을 낳았다.동료 검토의 조건으로 공개 데이터를 입수하는 것은 말할 것도 없고, 입수하는 것은 논쟁의 여지가 남아 있다.[88]2020년 동료 검토에서 원시 데이터에 대한 접근 부족은 권위 있는 뉴잉글랜드 저널 오브 메디슨랜싯에 기사의 수축을 가져왔다.현재 많은 저널은 동료 검토에 포함되기 위해 원시 데이터에 대한 접근을 요구한다.[89]

홍보 전/후 안전 점검

동료 검토 과정은 학술지가 관리하는 출판 과정에만 국한되지 않는다.특히, 어떤 형태의 안전 점검은 기사가 저널에 제출되기 전이나 저널에 의해 발행된 후에 발생할 수 있다.

홍보 전 동료 검토

원고는 전형적으로 제출 전 동료들에 의해 검토되며, 원고를 ArXiv, BioRxiv 또는 SSRN과 같은 사전 인쇄 서버에 업로드하면 연구자들이 원고를 읽고 코멘트를 할 수 있다.사전 인쇄 서버에 업로드하는 관행, 토론 활동 등은 현장에 따라 크게 좌우되며 공개 사전 공개 피어 리뷰가 가능하다.[90][91]이 방법의 장점은 검토 과정의 속도와 투명성이다.누구나 피드백(일반적으로 코멘트의 형태)을 줄 수 있으며, 일반적으로 익명으로 할 수 없다.이러한 논평은 또한 공개적이며 이에 대응할 수 있으므로, 저자와 검토자의 의사소통은 전통적인 출판물에서 일반적인 2-4번의 교환으로 제한되지 않는다.저자는 전형적으로 3~4명의 검토자의 피드백 대신 광범위한 사람들의 의견을 통합할 수 있다.단점은 품질에 대한 어떠한 보장도 없이 훨씬 많은 수의 논문이 지역사회에 제출된다는 것이다.

홍보 후 동료 검토

원고가 발행된 후에는 출판물을 읽으면서 동료 검토 과정이 계속되는데, 이는 홍보동료 검토라고 알려져 있다.독자들은 종종 저널의 편집자에게 편지를 보내거나 온라인 저널 클럽을 통해 편집자와 연락을 취한다.이러한 방식으로 모든 "피어"는 출판된 문학에 대한 검토와 비판을 제공할 수 있다.많은 저널에 "인쇄 전 단계"라는 관행이 도입되면서 인쇄 발행물에서 원서와 함께 편집자에게 요청받지 않은 편지를 동시에 발행할 수 있게 되었다.[citation needed]

이 주제에 대한 변형은 공개 동료 논평으로, 전문가의 논평이 출판된 기사에 대해 요청되고 저자들이 응답하도록 초대된다.이 과정을 사용하는 저널은 논문과 함께 "표적지"에 비익명 논평을 간청하고 게재하며, 물론 원작자의 답변도 곁들여 게재한다.공개 동료 논평은 1957년 Current Hatography라는 학술지를 창간한 인류학자 Sol Tax에 의해 처음 시행되었다.[92]캠브리지 대학 출판부가 발간한 학술지 행동과 뇌과학은 1978년[93] 스테반 하나드가 창간해 커런트 인류학의 공개 동료 해설 기능을 모델로 삼았다.[94]싸이콜로키(1990~2002년)[95]도 같은 특징을 바탕으로 했지만 이번에는 온라인에서 시행됐다.2016년 이후 오픈 피어 논평은 잡지 Animal Sentience에 의해서도 제공된다.

자체 기사의 리뷰를 주최하는 저널 외에도, 출판된 문헌에 대한 익명의 코멘트를 허용하고 작가들이 이러한 코멘트에 답하도록 강요하는 PubPeer와 같이, 홍보 후 동료 리뷰를 전담하는 외부 독립 웹사이트도 있다.[96]이들 사이트의 홍보 후기 검토도 사설을 통해 검토해야 한다는 의견이 제기되었다.[97]메가저널 F1000리서치사이언스오픈은 리뷰어 및 리뷰어 보고서의 정체성을 모두 기사와 함께 공개 발행한다.

일부 저널은 사전 공개 검토 대신 공식 검토 방법으로 발표 후 안전 점검(post postpublication peer review를 사용한다.이것은 2001년에 대기 화학 물리학 (ACP)에 의해 처음 도입되었다.[98]보다 최근에는 F1000리서치사이언스 오픈이 공식 검토 방식으로 홍보 후기를 가진 메가저널로 출시되었다.[83][84]ACPF1000Research 동료 검토자는 모두 공개 전 검토 저널과 마찬가지로 공식적으로 초대된다.그 두 학술지에서 동료들의 심사를 통과한 기사는 외부 학술 데이터베이스에 수록되어 있다.[99]

2006년, 영국의 소규모 학술 심리학자들이 전통적인 동료 검토의 문제점으로 본 많은 것들을 바로잡기 위해 즉각적인 온라인 저널 오브 에브리싱(Journal of Everything)인 필리카(Philica)를 출범시켰다.제출된 모든 기사는 즉시 발행되며, 이후에 검토될 수 있다.기사를 검토하고자 하는 연구자라면 누구나 그렇게 할 수 있고, 리뷰는 익명이다.리뷰는 각 기사의 마지막에 표시되며, 작품의 출판 여부를 결정하는 것이 아니라 독자에게 작품에 대한 비판이나 지도를 하는 데 사용된다.평론가들이 동의하지 않으면 사상을 억압할 수 없다는 뜻이다.독자들은 자신의 독서를 지도하기 위해 리뷰를 사용하며, 특히 인기 있거나 인기 없는 작품은 쉽게 식별할 수 있다.[citation needed]

소셜 미디어 및 비공식적인 동료 평가

최근의 연구는 #arsenic life(또는 GFAJ-1) 논쟁의 경우처럼, 비공식적, 사후적 동료 검토의 수단으로서 소셜 미디어 기술과 과학 블로그의 사용에 주의를 환기시키고 있다.[100]2010년 12월, Scienceexpress (Science의 인쇄 전 버전)에 실린 한 기사는 NASA의 우주생물학자 펠리사 울프-시몬이 이끄는 그 저자들이 생리학적 건물 블록에서 인을 비소로 대체할 수 있는 특정 박테리아를 발견하고 배양했다고 주장하면서 흥분과 회의감을 동시에 불러일으켰다.기사 발간 당시 NASA는 이번 발견이 외계 생명체에 대한 수색에 영향을 미칠 것이라는 언론성명을 발표해 #arseniclife라는 해시태그 아래 트위터에서 흥분을 불러일으켰고, 개인 블로그를 통해 회의적인 목소리를 낸 동료 전문가들의 비판도 이어졌다.[101]결국, 이 기사를 둘러싼 논쟁은 언론의 관심을 끌었고,[102] 그녀와 그녀의 동료들이 NASA 과학자들의 원래 연구 결과를 복제하려는 시도가 실패한 것과 관련하여 2012년[103] 7월에 공식 발표되었던 가장 목소리를 높인 과학 비평가 중 한 명인 로즈마리 레드필드가 주목을 받았다.

#arsenic life 사례가 소셜 미디어 토론 및 동료 검토 프로세스에 미치는 영향에 따른 연구자들은 다음과 같은 결론을 내렸다.

우리의 결과는 쌍방향 온라인 통신 기술이 공식적인 검토 채널을 통해 진전된 후에 더 넓은 과학계의 구성원들이 과학 정보를 합법화하는 저널 검토자의 역할을 수행할 수 있도록 할 수 있다는 것을 보여준다.또한 이러한 기술을 통해 다양한 청중들이 과학적 논란에 관심을 가질 수 있으며, 발표 후 동료 평가의 비공식적인 과정을 관찰할 수 있다.(p 946)[100]

결과 블라인드 안전 점검

긍정적이거나 통계적으로 유의미한 결과를 보고하는 연구는 그렇지 않은 연구보다 발표될 가능성이 훨씬 높다.이러한 긍정의 편향에 대한 대응책은 결과를 숨기거나 사용할 수 없게 하는 것으로, 학술지 수용을 연구 제안서를 검토하는 과학 보조금 기관과 유사하게 만드는 것이다.버전에는 다음이 포함된다.

  1. 결과 맹인 안전 점검 또는 결과 맹인 안전 점검, 1966년 처음 제안: 검토자는 결과 및 결론 섹션을 생략한 제출된 문서의 편집본을 받는다.[104][105][106][107][108]2단계 버전에서는 1977년에 처음 제안된 전면적인 논문 판정에 근거하여 2차 검토나 편집판정을 한다.[109][110]
    2007년 로빈 핸슨이 제안한 결론 맹목적인 리뷰는 모든 작가들에게 긍정적인 버전과 부정적인 버전을 제출하도록 요청하며, 저널이 어떤 것이 진짜 버전인지 폭로하는 기사를 수용한 후에야 확장된다.[111]
  2. Pre-accepted 기사나outcome-unbiased 일기인지 사전 공표 검토 또는 등록된 보고서 또는 결과를 제출하거나 초기 acceptance[112][113][114][115][116][117][118][119][120]기 전에 일기인지 거부의 논문이 종이를 결과 또는 사기 전에 쓴 버전에 기초하여 받아 포인트로 유학 pre-registration을 연장한다.Clusions(확대된 연구 pr로 만들어지고 있습니다.그러나 이론적 정당성, 실험 설계 및 통계 분석을 설명한다.일단 제안된 가설과 방법론이 검토자들에 의해 받아들여지면, 저자들은 데이터를 수집하거나 이전에 수집된 데이터를 분석할 것이다.사전 수용된 기사의 제한된 변형으로는 1997~2015년 랑셋 연구 프로토콜 리뷰가 무작위화된 시험 프로토콜을 검토하여 발표했으며, 최종 논문은 즉시 거부되지 않고 동료 검토로 보내질 것이라는 보장이 있었다.[121][122]예를 들어 네이처 휴먼 행동(Nature Human Activity)은 등록된 보고서 형식을 채택했는데, 이는 "연구 결과에서 연구를 안내하는 질문 및 이에 답변하는 데 사용된 방법들로 강조점을 전환한다"는 것이다.[123]유럽인적학술지(European Journal of Personality)는 이 형식을 정의한다. "등록된 보고서에서 저자들은 이론적, 경험적 배경, 연구 질문/가설, 파일럿 데이터(가능한 경우)를 포함하는 연구 제안서를 작성한다.제출 즉시, 이 제안서는 데이터 수집에 앞서 검토될 것이며, 받아들여질 경우 연구 결과와 상관없이 이 안전 점검 절차의 결과로 도출된 논문이 발표될 것이다."[124]

다음 저널은 결과 맹목적인 안전 점검 또는 사전 수용된 기사를 사용했다.

  • 유럽 학술지Parapsychology》는 마틴 존슨(1974년 등록 보고서 버전을 제안)의 산하에 1976년부터 1993년까지 제출된 설계에 근거하여 논문을 채택한 후 출판하기 시작하여 총 25개의[110] RR를 발행하였다.[125]
  • 국제 예측 저널은 1986년[126] 이전부터 1996/1997년까지 옵트인 결과 블라인드 안전 점검과 사전 수용 기사를 사용했다.[113][127]
  • 학술지 Apply Cyritical Measurement는 1989~1996년 '사전 출판 검토' 과정을 제안해 5개 논문만 제출하면 사용이 종료됐다.[113][128]
  • 2009년 조사에서 미국 항공우주국(MA) 내과에서는 86%의 검토자가 결과 맹목적인 안전 점검 과정에서 일할 의향이 있다는 것을 발견하고, 2단계 결과 맹목적인 안전 점검으로 시범 실험을 실시했는데, 이는 맹목적이지 않은 단계가 부정적인 면보다 긍정적인 연구에 더 많은 혜택을 주었다는 것을 보여준다.[129]그러나 저널은 현재 결과 맹목적인 동료 검토를 사용하지 않는다.[citation needed]
  • 열린과학센터는 2013년부터 '등록된 보고서'(사전 수용 기사)[130][131][132][133][134][135]를 활용하도록 권장하고 있다.2017년 10월 현재 ~80개의 저널이 등록 보고서를 제공하고 있으며, 등록 보고서(Registered Reports)의 특별한 이슈를 가지고 있거나 AIMS Neurocience, Cortex, Perspectures on Syclitical Science, Social Sychology, Comparison Political Studies)를 포함한 등록 보고서(예: 복제만)를 제한적으로 수용하고 있다.
    • 비교정치학에서는 2016년 19건의 제출물 중 3건이 사전 수용된 시험 결과를 발표하였다. 그 중 3건이 사전 수용되었다. 그 과정은 효과가 좋았지만 정량적 실험 설계에 비중을 두고 제출자와 검토자로서 '낚시'의 양을 줄였고, 이론적 뒷받침과 실질적인 중요성에 초점을 맞췄다.Ults는 통계적 힘과 무효 결과의 함의에 주목하면서 "우리는 이러한 형태의 검토가 최고 품질의 논문들로 이어진다는 것을 명확하게 진술할 수 있다"고 결론지었다."최소한 몇 가지 표준 제출 옵션 중 하나로 결과 없는 검토를 허용하는 상위 저널을 정책으로 채택하고 싶다."[136]

비판

다양한 편집자들이 동료 검토에 대한 비판을 표명했다.[137][138]또한 Cochrane 리뷰는 안전 점검이 생물 의학 연구에서 품질을 보장한다는 경험적 증거를 거의 발견하지 못한 반면,[139] 두 번째 체계적 검토와 메타 분석은 프로세스를 개선하기 위해 설계된 개입에 대한 평가의 빈도를 감안할 때 생물 의학에서 증거 기반 안전 점검의 필요성을 발견했다.[140]

외부인에게는 익명의 발표 전 동료 검토 과정이 불투명하다.일부 저널은 특히 저자가 발행 전에 수수료를 지불하는 저널에서 고객층을 보다 쉽게 확장하기 위해 엄격한 동료 검토를 수행하지 않은 혐의를 받고 있다.[141]리처드 스미스 전 영국 의학저널 편집장은 동료평가가 "비효율적이고, 주로 복권, 반혁신적이고, 느리고, 비용이 많이 들고, 과학적인 시간을 낭비하고, 비효율적이고, 쉽게 남용되고, 편향되기 쉽고, 사기행각을 탐지할 수 없고, 무관하다"고 주장했다.알과 저소득 및 중간 소득 국가의 사람들; 많은 저널들은 출판하는 데 수개월 그리고 심지어 수년이 걸리고 그 과정은 연구자들의 시간을 낭비한다.이 비용에 대해서는 연구정보네트워크가 2008년 세계 안전 점검 비용을 19억 파운드로 추산했다.[142]

또한, 호주의 혁신 연구 대학 그룹(호주에서의 교수, 학습, 연구의 포괄적 우수성에 헌신한 7개 종합대학의 연합)은 "연구자들이 초기 경력에서, 급여를 충당하기 위해 경쟁적 보조금에 의존할 때, 그리고 미확인이 될 때, 불이익을 검토한다"는 것을 발견했다."연구 아이디어의 종말을 알리는 것은 종종 중단되는 자금 지원이다."[143]

모든 동종업자가 이해할 수 있는 낮은 수준의 기사 구분

John Ioannidis는 사람들이 'layman'에서 '전문가'로 지나가는 시험과 다른 시험들은 정확한 구별을 하지 않고, 정밀한 구분(이 중 후자는 낮은 인지 정밀도의 전문가들에게 인식되지 않음)에 초점을 맞추고 있기 때문에, 그만큼 개별적인 것이 많다고 주장한다.l "laymen" 사이에 있는 것처럼 "laymen" 사이의 상관관계와 인과관계를 구별하는 능력의 차이.이오아니디스는 그 결과 많은 '전문가'들의 학술적 동료평가는 매우 낮은 인지적 정밀도 수준에서 이해할 수 있는 기사만 통과하도록 허용하고, 상관관계로부터 인과관계를 유추하는 기사를 편향시키는 한편, '상호'로 구분되는 기사들을 잘못 표기하고 있다고 주장한다.일부 검토 "평가"는 인지적으로 특정 결론의 합리화 주장과 구별할 수 없기 때문에 저자의 입장에서 자신의 능력에 대한 텐트 과대평가"를 한다.Ioannidis는 이것이 동료 검토가 허위 연구 결과의 엄밀한 비판의 발표를 중단하면서 선별적으로 공표되는 원인이 되게 하고, 추가 발표 후 검토는 초기 발표 전 동료의 개정을 통해 만들어졌을 수 있는 소수의 엄격한 논문을 선택적으로 철회함으로써 동일한 편향을 반복한다는 주장이다.상관관계와 인과관계를 혼동하는 저가품들을 인쇄물에 남기는 동안.[144]

동료 검토 및 신뢰

연구자들은 18세기 이후 다양한 방법으로 원고를 출판하기 전에 동료들이 원고를 검토해왔다.[145][146]이 실천의 주요 목표는 과학적인 논의의 관련성과 정확성을 향상시키는 것이다.전문가들이 여러 가지 이유로 동료 검토를 비판하는 경우가 많지만, 그 과정은 여전히 과학의 '금본위제'로 여겨지는 경우가 많다.[147]그러나 때때로 안전 점검은 나중에 잘못된 것으로 판명되고 발표 전에 기만적이거나 사기적인 결과가 거의 발견되지 않는 연구를 승인한다.[148][149]따라서 배후의 이념과 동료평가의 실천 사이에 불화의 요소가 있는 것 같다.안전 점검이 불완전하다는 것을 효과적으로 전달하지 못함으로써, 더 넓은 대중에게 전달되는 메시지는 안전 점검 저널에 게재된 연구는 "진실"이며 안전 점검은 결함이 있는 과학으로부터 문헌을 보호한다는 것이다.안전 점검의 많은 요소들에 대해 잘 확립된 많은 비판들이 존재한다.[150][151][152]아래에서는 부적절한 안전 점검이 과학 문헌에 대한 대중의 이해에 미칠 수 있는 광범위한 영향을 설명한다.

과학의 여러 분야에 걸친 여러 사례들은 과학자들이 의심스럽거나 부패한 연구에 대해 동료 검토의 중요성을 높였다는 것을 발견한다.예를 들어, 기후 변화 데니어에너지와 환경 저널에 연구를 발표하여 인간의 활동이 지구의 기후에 어떻게 영향을 미치는지 보여주는 연구의 본체를 훼손하려고 시도하고 있다.기성 기후 변화 과학을 거부하는 미국의 정치인들은 연설과 보고서에 이 저널을 여러 차례 인용했다.[153]

때때로 동료 검토는 선입견의 결과를 위해 조정된 과정으로 노출되어 왔다.뉴욕 타임즈는 뇌 손상이 선수들에게 장기적인 해를 끼치지 않는다는 과학적 증거로 인용된 미식축구리그(NFL)가 후원한 연구에 대한 기밀 동료 검토 문서를 입수했다.[154]안전 점검 과정 동안, 이 연구의 저자들은 모든 NFL 선수들이 연구의 일부라고 진술했는데, 이것은 기자들이 연구에 사용된 데이터베이스를 조사함으로써 거짓임이 밝혀졌다는 주장이다.게다가, 타임즈는 NFL이 일부 동료 검토자들이 그들의 발표를 중단하는 것을 "욕망스럽게" 보였다는 증거에도 불구하고 "고혹적이고 비밀스러운 동료 검토 과정"을 인용함으로써 연구" 방법과 결론을 정당화하려고 노력했다고 언급했다.최근의 연구는 또한 발표된 의학 연구에 대한 광범위한 산업 자금은 종종 발표되지 않으며 그러한 이해 상충은 안전 점검에 의해 적절하게 다루어지지 않는다는 것을 보여주었다.[155][156]

동료평가가 잡지 못하는 또 다른 문제점은 대필이다. 대필은 기업들이 학자들을 위해 기사를 작성한 후 이를 저널에 게재하는 과정이다. 때로는 거의 변화가 없다.[157]이 연구들은 정치, 규제, 마케팅 목적으로 사용될 수 있다.2010년 미국 상원 재무위원회는 이 관행이 널리 퍼져 있다는 보고서를 발표했는데, 이 관행이 과학 문헌을 타락시키고 처방율을 증가시켰다는 것이다.[158]몇몇 대학의 교수들이 참여한 수십 개의 학술지에 대필 기사가 실렸다.[159]

특정 분야의 전문가들이 자신의 영역에서 발행되는 논문의 가치를 더 잘 이해하듯이, 과학자들은 일반 대중보다 출판된 논문의 가치를 더 잘 파악하고, 또래 검토를 인간의 결함으로 인간적인 과정으로 보고,[160] "그 한계에도 불구하고, 우리는 그것이 필요하다.그것이 우리가 가진 전부고, 그것 없이 우리가 어떻게 지낼지 상상하기 어렵다."[161]그러나 이러한 미묘함은 일반 대중에게 상실되는데, 그들은 종종 동료 검토와 함께 저널에 발표되는 것이 "금본적 기준"이며, 발표된 연구를 사실과 잘못 동일시할 수 있다는 생각에 현혹될 수 있다.[160]그러므로 안전 점검과 안전 점검 연구 결과가 비전문적 청중에게 어떻게 전달되는지에 대해 더 많은 주의를 기울여야 한다. 특히 안전 점검의 복잡성에 대한 광범위한 기술적 변화와 심층적인 감상이 나타나고 있는 기간 동안에 말이다.[162][163][164][165]이것은 학술 출판 시스템이 수축과[149][166][167] 복제 또는 재현성 "위기"[168][169][170]와 같은 더 넓은 문제에 직면해야 하기 때문에 필요할 것이다.

안전 점검 보기

안전 점검은 종종 어떤 형태로든 과학적인 담론에 필수적인 것으로 간주된다.그것의 게이트키핑 역할은 과학 문헌의[171][172] 품질을 유지하고 신뢰할 수 없는 결과, 신호와 잡음을 구분할 수 없고 과학 진보를 느리게 하는 위험을 피하기 위해 필요하게 되어 있다.[173][174]

안전 점검의 단점들은 훨씬 더 강력한 필터링과 게이트키핑에 대한 요구로 충족되었다.그러한 시책에 찬성하는 일반적인 주장은 과학 문헌의 무결성을 유지하기 위해 이 필터가 필요하다는 믿음이다.[175][176]

더 많은 감독에 대한 요구는 진정한 장학금으로 알려진 것과 직관에 반하는 최소한 두 가지 의미를 가진다.[160]

  1. 학자들이 스스로 일의 질을 평가할 능력이 없다는 믿음, 무엇이 좋고 무엇이 좋은지 알려 줄 수 있는 문지기가 필요하다는 믿음이다.
  2. 학자들이 좋은 일을 하고 있는지 확실히 하기 위해서는 '보호자'가 필요하다는 믿음.

다른 이들은 작가들이 대부분 특정 작품의 질에 기득권을 가지고 있다고 주장한다[160].파인만(1974)의 [177]말처럼 작가들만이 "거짓말을 하는 것이 아니라 여러분이 어떻게 틀렸는지를 보여주기 위해 몸을 뒤로 굽히는, 과학자로서 행동할 때 가져야 할 추가적인 유형의 진실성"을 가질 수 있었다.어떤 것이든, 현재의 동료 검토 과정과 학술 시스템은 그러한 무결성에 불이익을 주거나 최소한 인센티브를 주지 못할 수 있다.

대신에, "검토된" 라벨이 주는 신뢰성은 파인만이 과학이 자기 교정적이고 진리를 추구하는 과정을 운영하는데 필요한 의심의 문화라고 부르는 것을 감소시킬 수 있다.[178]이것의 영향은 현재 진행 중인 복제 위기, 조작, 그리고 현 시스템의 비효능성에 대한 광범위한 분노에서 볼 수 있다.[150][145]동료 평론가들이 전혀 회의감이 없는 것이 아니기 때문에 더 많은 감독이 해답이라고 생각하는 것이 일반적이다.그러나 문제는 기사가 필터를 통과하는지 여부를 결정하는 소수의 선택된 사람들이 공유하는 회의론들이 아니다.그것은 검증과 그에 수반되는 회의론 부족이다.[179]여기서 다시 한번 더 많은 감시는 동료 검토가 품질을 보장한다는 인상을 더할 뿐이며, 따라서 의심의 문화를 더욱 감소시키고 과학적 탐구 정신에 반작용한다.[180]

우리의 가장 근본적인 과학적 발견들 중 일부라도 질적인 연구는 동료 검토가 현재의 형태를 취하기 훨씬 전인 수 세기 전으로 거슬러 올라간다.[145][181][146]수세기 전 동료평가가 존재했던 것이 무엇이든, 그것은 현대와는 다른 형태를 취했는데, 대형 상업 출판사의 영향이나 출판 또는 소멸하는 만연한 문화였다.[181]초기 개념에서 그것은 종종 힘들고 시간이 많이 걸리는 과제였지만, 연구자들은 그럼에도 불구하고 의무적인 것이 아니라 그들 자신의 장학금의 진실성을 유지하기 위한 의무에서 동료들의 검토를 받았다.그들은 중앙집중화된 저널, 편집자 또는 어떤 정형화되거나 제도화된 프로세스의 도움 없이 대부분 그렇게 할 수 있었다.현대 기술의 지지자들은 이 순간적으로 전 세계 학자들과 함께 그러한 학문 교류를 보다 쉽게, 순수한 학자적인 형태로 상호 검토 복원 의사 소통을 할 수 있는 연구원들 서로 더 분명히 이해하고, 이들의 통찰력 의사 소통 참여한 논의로 argue[160].[163][182]

그러한 현대 기술에는 사전 인쇄 서버에 결과를 게시하는 것, 연구의 사전 등록, 공개 동료 검토 및 기타 열린 과학 관행이 포함된다.[169][183][184]모든 학문적인 의사 소통의 필요한 기능했지만, 비판자들은 적절한, 실제 구현과 부당함을 이 가정 시험할 수 있는 argue[152]이 모든 이니셔티브들에서는 gatekeeping의 역할,;, 이제 학자들은 정확 위탁할 수 있는지 보여 준 그런 전통적인 저널 제공할 수 있는 더 많은 연구원들의 열망을 보여 준 탁월한 남아 있페 OOO저널-프로듀서 검토와 무관하게 그들 자신의 품질관리를 형성한다.존 테넌트는 또한 전통적인 저널의 비효율성에 대한 격렬한 항의는 그들이 충분한 정밀 조사를 제공할 수 없다는 것과 비판적 사고를 은폐되고 잘 이해되지 않는 과정에 아웃소싱하는 것에 집중한다고 주장한다.따라서 학술지와 동료 검토가 과학적 무결성을 보호하기 위해 요구된다는 가정은 바로 학문적 연구의 근간을 훼손하는 것으로 보인다.[160]

필터링이 정말로 품질관리에 불필요하다는 가설을 시험하기 위해, 많은 전통적인 출판 관행은 재설계되어야 하고, 편집위원회는 해체되지 않았다면 용도 변경되어야 하며, 저자들은 그들 자신의 저작물에 대한 안전 점검에 대한 통제권을 부여해야 한다.작가들을 그들 자신의 동료 리뷰를 담당하게 하는 것은 이중적인 목적을 수행하는 것으로 보인다.[160]한편으로는 전통적인 제도 내에서 품질의 서훈을 제거하여 출판의 단순한 행위와 관련된 위신을 없앤다.어쩌면 역설적으로 이 장벽의 제거는 출판의 캐쉬를 스스로 없애기 때문에 실제로 출판물의 질을 높이는 결과를 초래할 수도 있다.반면 독자들은 필터가 없다는 것을 알고 있기 때문에 읽는 것은 무엇이든 건강한 양의 회의로 해석해야 하고, 따라서 자연스럽게 과학적 실천에 대한 의심의 문화를 복원해야 한다.[185][186][187]

선의의 연구자들이 생산한 일의 질에 대한 우려 외에도, 진정으로 개방된 시스템으로 문학이 특정 문제에 기득권을 가진 사람들에 의한 쓰레기와 선전으로 채워질 수 있다는 우려가 있다.기존의 동료평론 모델은 과학적 조사의 특징인 건전한 회의론을 감소시키고, 따라서 문학에 침투하려는 파괴적인 시도에 대한 신뢰를 떨어뜨린다는 반론이다.[160]그러한 "정크"가 출판되도록 허용하면 개별 기사의 신뢰도는 떨어질 수 있지만, "의심 문화"[185]를 육성함으로써 전체적인 문학이 더욱 탄탄해질 수 있다.

편향 및 억압 혐의

저자와 독자들 사이에 편집자와 검토자의 개입은 중개자가 게이트키퍼 역할을 할 수 있게 할 수 있다.[188]과학의 일부 사회학자들은 동료평가가 엘리트들에 의한 통제와 개인적 질투에 영향을 받기 쉽도록 만든다고 주장한다.[189]안전 점검 과정은 때때로 진행을 방해할 수 있고 새로움에 대한 편견을 가질 수 있다.[23][190]검토 보고서의 언어적 분석은 검토자들이 취약점을 찾아 신청을 거절하는 데 초점을 맞추고, 제안서에 있을 수 있는 고위험/높은 획기적인 아이디어를 찾는 데 초점을 맞추지 않는다는 것을 시사한다.[191]검토자들은 특히 자신의 견해와 모순되는 결론에 비판적인 경향이 있고,[192][193] 결론과 일치하는 결론에 관대하다.이와 동시에, 기성 과학자들은 다른 과학자들보다 심판으로, 특히 신문/출판사들이 많이 찾는 경향이 있다.그 결과, 기존의 전문가들과 조화를 이루는 아이디어는 우상향적이거나 혁명적인 아이디어보다 인쇄물을 보고 최고의 저널에 등장할 가능성이 더 높다.이것은 토마스 의 과학 혁명에 관한 유명한 관찰과 일치한다.[194]동료 검토와 과당경쟁 연구 자금후원이 주류 의견을 독점으로 육성한다는 시뮬레이션이 암시하는 이론적 모델이 확립되었다.[195]

기존의 익명 동료 검토에 대한 비판은 책임감이 부족하고, 검토자에 의한 남용으로 이어질 수 있으며, 편향되고 일관되지 않을 수 있다고 주장한다.[71][69][196]

또래 평론에서 성 편향에 대한 제안도 있어 남성 저자들이 더 호의적인 대우를 받을 가능성이 높다.[197]그러나 2021년 한 연구는 그러한 편향에 대한 증거를 찾지 못했다(어떤 면에서는 여성 작가들이 더 호의적으로 대우받는다는 것을 발견했다).[198][199][200]

액세스 저널 열기 및 동료 검토

OA(Open Access) 저널에 대한 일부 비평가들은 기존의 구독 저널에 비해 개방형 액세스 저널은 표준 이하의 또는 덜 공식적인 동료 검토 관행을 활용할 수 있으며, 그 결과 그러한 저널의 과학적 연구의 질이 저하될 것이라고 주장해왔다.[201][unreliable source?]2012년에 발표된 연구에서, 이 가설은 공개 접근 및 구독 저널에 게재된 기사의 상대적 "영향"(인용 계수를 사용하여)을 평가하여 시험되었는데, 이는 과학계의 구성원들이 아마도 기준 이하의 작품을 인용할 가능성이 낮으며, 따라서 인용 계수가 다음 중 하나와 같은 역할을 할 수 있다는 것을 근거로 한다.저널 형식이 동료 평가와 출판된 장학금의 질에 실제로 영향을 미쳤는지 아닌지에 대한 토론자.[202]본 연구는 궁극적으로 "Web of Science 및/또는 Scoppus에서 지수화한 OA 저널은 구독 저널, 특히 바이오의약품 및 기사 처리 비용으로 자금을 조달하는 저널과 동일한 과학적 영향과 품질에 접근하고 있다"고 결론내렸고, 이에 따라 저자들은 "저자들이 퍼블리싱을 선택하지 않을 이유가 없다"고 주장한다.'OA'라는 꼬리표 때문에 OA 저널에 실릴 수 있다.

실패

안전 점검 기사에서 주요 결론 중 적어도 하나를 훼손하고 보다 신중한 검토자가 식별할 수 있는 근본적인 오류가 있을 경우 안전 점검이 실패한다.많은 저널들은 편집자에게 편지를 게재하는 것을 넘어 동료 검토 실패를 다룰 수 있는 절차가 없다.[203]과학저널의 동료평가는 검토된 기사가 정직하게 준비된 것으로 가정한다.이 과정은 때때로 사기를 감지하지만 그렇게 하도록 설계되지 않았다.[204]안전 점검이 실패하고 부정적이거나 다른 방법으로 재생산할 수 없는 데이터로 논문이 발행되는 경우 논문은 철회될 수 있다.1998년 가상의 원고를 사용한 동료 검토에 대한 실험에서 동료 검토자는 일부 원고 오류를 감지하지 못했고 대다수의 검토자는 논문의 결론이 결과에 의해 뒷받침되지 않는다는 것을 알아차리지 못할 수 있다.[205]

가짜 동료 평가

안전 점검이 수행되어야 한다고 주장되었지만 실제로는 그렇지 않았다. 이는 일부 약탈적인 공개 액세스 저널(예: 안전 점검이 두려운 사람? 사건) 또는 후원된 엘스비에 저널의 경우 문서화되었다.[206]

네이처지는 2014년 11월 일부 학자들이 추천 평론가의 가짜 연락처를 학술지에 제출하고 있다고 폭로해 출판사가 추천 평론가와 접촉하면 원저자가 가짜 이름으로 자신의 작품을 심사하는 내용이었다.[207]출판 윤리 위원회는 부정 행위에 대해 경고 성명을 발표했다.[208]2015년 3월 바이오메드 센트럴은 43편의 논문을[209] 철회했고 스프링어는 2015년 8월 10개 저널에 64편의 논문을 철회했다.[210]Tumor Biology 저널은 동료 리뷰 사기의 또 다른 예다.[206]

2020년 나노입자연구저널은 존경받는 학자들을 사칭해 주제발표를 받아낸 '조직화된 불량 편집자 네트워크'의 희생양이 됐고, 19편의 수준 미달 기사(제출 80건 중)를 발간했다.[211][212]그 일기는 그 사기 사건을 공공연히 투명하게 처리했다는 평을 받았다.[211]

표절

검토자는 일반적으로 원시 데이터에 대한 접근 권한이 부족하지만, 원고의 전문을 볼 수 있으며, 일반적으로 해당 지역의 최근 출판물에 익숙하다.따라서 이들은 허위 자료보다 산문의 표절을 탐지하는 데 더 유리한 위치에 있다.예를 들어 역사학자들의 이러한 텍스트 표절 사례는 널리 알려져 있다.[213]

과학적인 측면에서, 미국 국립보건원이 후원한 3,247명의 과학자들을 대상으로 한 여론 조사에서, 0.3 퍼센트가 가짜 데이터를 시인했고 1.4 퍼센트가 표절을 시인했다.[214]또한, 같은 여론 조사의 4.7%가 자기표절이나 자기표절을 인정했는데, 이 자기표절이나 자기표절은 작가가 이전 작품을 인용하지 않고 동일한 자료나 자료, 또는 본문을 재등록하는 것이다.[214][clarification needed]

  • "아마도 안전 점검에서 가장 널리 인정된 실패는 수준 높은 작업의 식별을 보장할 수 없다는 점일 것이다.일부 동료들이 검토한 학술지에 의해 거부된 중요한 과학 논문 목록은 적어도 에드워드 제너천연두 예방접종 보고서에 대한 철학적 거래의 편집자의 1796년 거부로 거슬러 올라간다."[215]
  • 순과 발리누나스 논쟁은 2003년 항공우주 엔지니어 윌리 순과 천문학자인 샐리 발리누나스가 <기후연구>지에 쓴 리뷰 연구의 발리 발리누나스가 출판된 것을 포함했는데,[216] 는 G.W. 부시 행정부가 제1차 환경보호국 보고서를 수정하는 근거로 재빨리 채택되었다.이 논문은 그 방법론과 이전에 발표된 연구 자료의 오용 때문에 수많은 과학자들로부터 강한 비판을 받았으며, 이 논문의 동료 검토 과정에 대한 우려를 불러일으켰다.이 논란으로 이 잡지의 편집자 몇 명이 사임하고 출판사 오토 킨이 이 논문이 그대로 출판되지 말았어야 했다고 인정한 결과가 되었다.
  • 리만의 수적 통합 방법을 합친 사다리꼴 법칙이 당뇨병 연구 저널인 '당뇨병 치료'에 다시 게재됐다.[217]이 방법은 거의 항상 고등학교 미적분학에서 가르치기 때문에 아주 잘 알려진 아이디어가 새로운 발견으로 재조명되는 사례로 여겨졌다.[218]
  • 웨섹스 공과대학에서 주관한 컨퍼런스는 터무니없는 논문(임의의 구절로 구성된 논문 포함)을 쓴 세 명의 연구자가 엑스포의 표적이 되었다.그들은 논문이 "검토되고 잠정적으로 받아들여졌다"고 보고했고, 그 회의는 덜 경험적이거나 순진한 연구자들에게 출판 가능성을 "판매"하기 위한 시도라고 결론지었다.[219]그러나 이것은 안전 점검이 실패한 것보다 실제 안전 점검의 결여로 더 잘 설명될 수 있다.
  • 인문학에서, 동료들의 리뷰에 의해 발견되지 않은 가장 악명 높은 표절 사례들 중 하나는 전 중세 및 르네상스 철학 교수였던 마틴 스톤이 KU LeuvenVoor Bijsbegeerte를 포함했다.마틴 스톤은 다른 사람들의 작품에서 거의 완전히 도용된 적어도 40편의 기사와 책장을 출판할 수 있었다.이 출판물들의 대부분은 동료 평단의 저널과 책 시리즈에 나왔다.[220][221]

대중문화에서

2017년 모스크바 고등경제학교는 '익명의 동료 검토자에게 보내는 추모문'을 공개했다.대형 콘크리트 큐브, 즉 주사위의 형태를 취하는데, 5개의 가시 면에 "수용", "소요 변화", "주요 변화", "수정 및 재제출", "거부" 등이 있다.이 기념비를 고안한 사회학자인 이고르 치리코프는 연구자들이 동료 검토와 애증 관계를 맺고 있지만, 동료 검토자들은 그럼에도 불구하고 대부분 보이지 않는 일을 하고 있으며, 이 기념비는 이들에 대한 헌사라고 말했다.[222]

참고 항목

참조

  1. ^ KupferschmidtAug. 17, Kai; 2018; Am, 9:15 (August 14, 2018). "Researcher at the center of an epic fraud remains an enigma to those who exposed him". Science AAAS. Retrieved August 11, 2019.{{cite web}}: CS1 maint: 숫자 이름: 작성자 목록(링크)
  2. ^ a b Couzin-Frankel J (September 2013). "Biomedical publishing. Secretive and subjective, peer review proves resistant to study". Science. 341 (6152): 1331. doi:10.1126/science.341.6152.1331. PMID 24052283.
  3. ^ Squazzoni, Flaminio; Brezis, Elise; Marušić, Ana (October 1, 2017). "Scientometrics of peer review". Scientometrics. 113 (1): 501–502. doi:10.1007/s11192-017-2518-4. ISSN 1588-2861. PMC 5629222. PMID 29056787.
  4. ^ Ragone, Azzurra; Mirylenka, Katsiaryna; Casati, Fabio; Marchese, Maurizio (November 1, 2013). "On peer review in computer science: analysis of its effectiveness and suggestions for improvement". Scientometrics. 97 (2): 317–356. doi:10.1007/s11192-013-1002-z. ISSN 0138-9130. S2CID 16803499.
  5. ^ a b c d Brezis, Elise S.; Birukou, Aliaksandr (April 1, 2020). "Arbitrariness in the peer review process". Scientometrics. 123 (1): 393–411. doi:10.1007/s11192-020-03348-1. ISSN 1588-2861. S2CID 211017926. CC-BY icon.svg 텍스트는 이 소스에서 복사되었으며, Creative Commons Accountation 4.0 International License에서 사용할 수 있다.
  6. ^ Martin, B. "Chapter 5: Peer review as scholarly conformity". www.bmartin.cc.
  7. ^ Rennie, Drummond (July 7, 2016). "Let's make peer review scientific". Nature News. 535 (7610): 31–33. Bibcode:2016Natur.535...31R. doi:10.1038/535031a. PMID 27383970. S2CID 4408375.
  8. ^ Slavov, Nikolai (November 11, 2015). "Making the most of peer review". eLife. 4: e12708. doi:10.7554/eLife.12708. ISSN 2050-084X. PMC 4641509. PMID 26559758.
  9. ^ Couzin-FrankelSep. 19, Jennifer (September 18, 2018). "'Journalologists' use scientific methods to study academic publishing. Is their work improving science?". Science AAAS. Retrieved July 18, 2019.
  10. ^ Cosgrove, Andrew; Cheifet, Barbara (November 27, 2018). "Transparent peer review trial: the results". Genome Biology. 19 (1): 206. doi:10.1186/s13059-018-1584-0. ISSN 1474-760X. PMC 6260718. PMID 30482224.
  11. ^ Patterson, Mark; Schekman, Randy (June 26, 2018). "A new twist on peer review". eLife. 7: e36545. doi:10.7554/eLife.36545. ISSN 2050-084X. PMC 6019064. PMID 29944117.
  12. ^ a b Steinzor, Rena (July 24, 2006). Rescuing Science from Politics. Cambridge University Press. p. 304. ISBN 978-0521855204.
  13. ^ 과학, 엔지니어링 및 공공 정책 위원회, 국립 과학 아카데미, 국립 공학 아카데미 및 과학자가 되기 위한 의학 연구소: 미국 워싱턴 D.C. 리서치 국립 아카데미 출판부책임 있는 행동 지침, 1995,82쪽, ISBN 0309119707
  14. ^ 과학저널의 기원과 동료평가원 선정위원회 보고서
  15. ^ Benos DJ, Bashari E, Chaves JM, Gaggar A, Kapoor N, LaFrance M, Mans R, Mayhew D, McGowan S, Polter A, Qadri Y, Sarfare S, Schultz K, Splittgerber R, Stephenson J, Tower C, Walton RG, Zotov A, et al. (June 2007). "The ups and downs of peer review". Advances in Physiology Education. 31 (2): 145–52. doi:10.1152/advan.00104.2006. PMID 17562902. S2CID 296058. p. 145 – Scientific peer review has been defined as the evaluation of research findings for competence, significance, and originality by qualified experts. These peers act as sentinels on the road of scientific discovery and publication.
  16. ^ Blow, Nathan S. (January 2015). "Benefits and Burdens of Peer-Review". BioTechniques (editorial). Vol. 58, no. 1. p. 5. doi:10.2144/000114242.
  17. ^ "Benefits and Burdens of Peer-Review". From the Editor. BioTechniques. Vol. 58, no. 1. January 2015. p. 5.
  18. ^ a b Pontille, David; Torny, Didier (2014). "From manuscript evaluation to article valuation: the changing technologies of journal peer review". Human Studies. 38: 57–79. doi:10.1007/s10746-014-9335-z. S2CID 53387591.
  19. ^ Csiszar A (April 2016). "Peer review: Troubled from the start". Nature. 532 (7599): 306–8. Bibcode:2016Natur.532..306C. doi:10.1038/532306a. PMID 27111616. S2CID 4458585.
  20. ^ a b c Spier R (August 2002). "The history of the peer-review process". Trends in Biotechnology. 20 (8): 357–8. doi:10.1016/S0167-7799(02)01985-6. PMID 12127284.
  21. ^ Kennefick, Daniel (September 2005). "Einstein versus the Physical Review". Physics Today. 58 (9): 43–48. Bibcode:2005PhT....58i..43K. doi:10.1063/1.2117822. S2CID 122132354.
  22. ^ a b Baldwin, Melinda (September 1, 2018). "Scientific Autonomy, Public Accountability, and the Rise of "Peer Review" in the Cold War United States". Isis. 109 (3): 538–558. doi:10.1086/700070. ISSN 0021-1753. S2CID 150175444.
  23. ^ a b "Coping with peer rejection". Nature. 425 (6959): 645. October 2003. Bibcode:2003Natur.425..645.. doi:10.1038/425645a. PMID 14562060. S2CID 4380827.
  24. ^ Tan, Meng H. (2018). "Chapter 7: Peer review – Past, Present and Future". In Markovac, Jasna; Kleinman, Molly; Englesbe, Michael (eds.). Medical and Scientific Publishing: Author, Editor, and Reviewer Perspectives. Academic Press. pp. 55–68. ISBN 978-0-12-809969-8.
  25. ^ a b Gaudet, Joanne (July 16, 2014). "Investigating journal peer review as scientific object of study:unabridged version – Part I". UO Research. hdl:10393/31319.
  26. ^ Gould, T.P.H. (2012). Do We Still Need Peer Review?. The Scarecrow Press. ISBN 9780810885745.[페이지 필요]
  27. ^ Biagioli, M. (2002). "From book censorship to academic peer review". Emergences. 12 (1): 11–45. doi:10.1080/1045722022000003435. S2CID 143577949.
  28. ^ Rip, A. (1985). "Commentary: Peer review is alive and well in the United States". Science, Technology, & Human Values. 10 (3): 82–86. doi:10.1177/016224398501000310. S2CID 144738593.
  29. ^ Rennie D, Flanagin A (January 2018). "Three Decades of Peer Review Congresses". JAMA. 319 (4): 350–353. doi:10.1001/jama.2017.20606. PMID 29362775.
  30. ^ Hirschauer, S. (2010). "Editorial judgements: A praxeology of 'voting' in peer review". Social Studies of Science. 40 (1): 71–103. doi:10.1177/0306312709335405. S2CID 145222636.
  31. ^ "Peer Review Panels – Purpose and Process" (PDF). USDA Forest Service. February 6, 2006. Retrieved October 4, 2010.
  32. ^ Sims Gerald K. (1989). "Student Peer Review in the Classroom: A Teaching and Grading Tool" (PDF). Journal of Agronomic Education. 18 (2): 105–108. doi:10.2134/jae1989.0105. The review process was double-blind to provide anonymity for both authors and reviewers, but was otherwise handled in a fashion similar to that used by scientific journals
  33. ^ "AAUP Membership Benefits and Eligibility". Association of American University Presses. Retrieved August 3, 2016.
  34. ^ "Peer Review". www.springer.com. Retrieved April 17, 2018.
  35. ^ Spicer, Andre. "Explainer: what is peer review?". The Conversation. Retrieved April 17, 2018.
  36. ^ Stolowy, Herve (2017). "Letter from the Editor: Why Are Papers Desk Rejected at European Accounting Review". European Accounting Review. 26 (3): 411–418. doi:10.1080/09638180.2017.1347360. S2CID 157531858.
  37. ^ McKenzie, David (February 21, 2017). "The State of Development Journals 2017: Quality, Acceptance Rates, and Review Times". Impact Evaluations. Retrieved April 17, 2018.
  38. ^ "Summary Report of Journal Operations, 2016". American Psychologist. 72 (5): 499–500. 2017. doi:10.1037/amp0000172. PMID 28726464. S2CID 1271000.
  39. ^ Insights, Editage (April 11, 2013). "Peer review process and editorial decision making at journals". Editage Insights(04-11-2013).
  40. ^ Elsevier. "8 reasons I accepted your article". Elsevier Connect. Retrieved April 17, 2018.
  41. ^ Benos DJ, Kirk KL, Hall JE (December 2003). "How to review a paper". Advances in Physiology Education. 27 (1–4): 47–52. doi:10.1152/advan.00057.2002. PMID 12760840. S2CID 35635960.
  42. ^ a b "Peer-review policy : authors & referees @ npg". www.nature.com. Retrieved April 17, 2018.
  43. ^ "Recommendations for the Conduct, Reporting, Editing, and Publication of Scholarly work in Medical Journals". ICMJE. December 16, 2014. Retrieved June 26, 2015.
  44. ^ "What should editors do when referees disagree?". Dynamic Ecology. September 2, 2014. Retrieved April 17, 2018.
  45. ^ Coleman, Andrew M. (1979). "Editorial role in author-referee disagreements" (PDF). Bulletin of the British Psychological Society. 32: 390–1.
  46. ^ Scott, W. A. (1974). "Interreferee agreement on some characteristics of manuscripts submitted to the Journal of Personality and Social Psychology". American Psychologist. 29 (9): 698–702. doi:10.1037/h0037631.
  47. ^ Pless, I. B. (August 2006). "When reviewers disagree". Injury Prevention. 12 (4): 211. doi:10.1136/ip.2006.090806. PMC 2586794. PMID 16887940.
  48. ^ Grimm, David (2005). "Suggesting or Excluding Reviewers Can Help Get Your Paper Published". Science. 309 (5743): 1974. doi:10.1126/science.309.5743.1974. PMID 16179438. S2CID 38626590.
  49. ^ "Reviewers Can Help Get Your Paper Published". Science AAAS. September 23, 2005. Retrieved April 17, 2018.
  50. ^ "Journal's new program: Choose your own reviewers – and get a decision in days". Retraction Watch. December 12, 2016. Retrieved April 17, 2018.
  51. ^ "Eight retractions for fake reviews lead journal to suspend author nominations". Retraction Watch. December 24, 2015. Retrieved April 17, 2018.
  52. ^ Noble WS (October 2017). "Ten simple rules for writing a response to reviewers". PLOS Computational Biology. 13 (10): e1005730. Bibcode:2017PLSCB..13E5730N. doi:10.1371/journal.pcbi.1005730. PMC 5638205. PMID 29023444.
  53. ^ Lawrence O'Gorman (January 2008). "The (Frustrating) State of Peer Review" (PDF). IAPR Newsletter. 30 (1): 3–5.
  54. ^ Schwartz, Samuel M.; Slater, Donald W.; Heydrick, Fred P.; Woolett, Gillian R. (September 1995). "A Report of the AIBS Peer-Review Process for the US Army's 1994 Breast Cancer Initiative". BioScience. 45 (8): 558–563. doi:10.1093/bioscience/45.8.558. JSTOR 1312702.
  55. ^ a b Chloros, George D.; Giannoudis, Vasileios P.; Giannoudis, Peter V. (January 1, 2022). "Peer-reviewing in Surgical Journals: Revolutionize or Perish?". Annals of Surgery. 275 (1): e82–e90. doi:10.1097/SLA.0000000000004756. ISSN 1528-1140. PMID 33630457. S2CID 232049402.
  56. ^ Hames, Irene (2014). "The changing face of peer review". Science Editing. 1: 9–12. doi:10.6087/kcse.2014.1.9.
  57. ^ Satyanarayana K (2013). "Journal publishing: the changing landscape". The Indian Journal of Medical Research. 138: 4–7. PMC 3767268. PMID 24056548.
  58. ^ Stemmle, Laura; Collier, Keith (2013). "RUBRIQ: Tools, services, and software to improve peer review". Learned Publishing. 26 (4): 265–268. doi:10.1087/20130406.
  59. ^ Armstrong, J. Scott (1982). "Research on scientific journals: Implications for editors and authors". Journal of Forecasting. 1: 83–104. CiteSeerX 10.1.1.468.1453. doi:10.1002/for.3980010109. S2CID 11911654.
  60. ^ Pontille, David; Torny, Didier (2014). "The Blind Shall See! The Question of Anonymity in Journal Peer Review". Ada: A Journal of Gender, New Media, and Technology. 4. doi:10.7264/N3542KVW.
  61. ^ Cressey, Daniel (2014). "Journals weigh up double-blind peer review". Nature. doi:10.1038/nature.2014.15564. S2CID 155896469.
  62. ^ Markus, Annette (December 28, 2005). "Double-blind peer review?".
  63. ^ "Working double-blind". Nature. 451 (7179): 605–606. 2008. Bibcode:2008Natur.451R.605.. doi:10.1038/451605b. PMID 18256621. S2CID 4344755.
  64. ^ Mainguy G, Motamedi MR, Mietchen D (September 2005). "Peer review--the newcomers' perspective". PLOS Biology. 3 (9): e326. doi:10.1371/journal.pbio.0030326. PMC 1201308. PMID 16149851.
  65. ^ "Policy on Referencing Data in and Archiving Data for AGU Publications". American Geophysical Union. 2012. Retrieved September 8, 2012. The following policy has been adopted for AGU publications in order to ensure that they can effectively and efficiently perform an expanded role in making the underlying data for articles available to researchers now and in the future.
    • 이 정책은 1993년 11월 AGU 간행물 위원회에 의해 처음 채택된 후 1994년 3월, 1995년 12월, 1996년 10월 개정되었다.
    • Bill Cook의 AGU 데이터 정책도 참조하십시오.2012년 4월 4일.
  66. ^ "Data Management & Sharing Frequently Asked Questions". National Science Foundation. November 30, 2010. Retrieved September 8, 2012.
  67. ^ Moore, R.W.; Rajasekar, A.; Wan, M. (2005). "Data Grids, Digital Libraries, and Persistent Archives: An Integrated Approach to Sharing, Publishing, and Archiving Data". Proceedings of the IEEE. 93 (3): 578–588. doi:10.1109/JPROC.2004.842761. S2CID 8597031.
  68. ^ Bingham, Craig (2000). "Peer review and the ethics of internet publishing". In Jones, Anne Hudson; McLellan, Faith (eds.). Ethical Issues in Biomedical Publication. Baltimore: Johns Hopkins University. pp. 85–111. ISBN 9780801863158.
  69. ^ a b Rothwell PM, Martyn CN (September 2000). "Reproducibility of peer review in clinical neuroscience. Is agreement between reviewers any greater than would be expected by chance alone?". Brain. 123 (9): 1964–9. doi:10.1093/brain/123.9.1964. PMID 10960059.
  70. ^ "The Peer Review Process" (PDF). Retrieved January 4, 2012.
  71. ^ a b Alison McCook (February 2006). "Is Peer Review Broken?". The Scientist.
  72. ^ Koonin, Eugene (2006). "Reviving a culture of scientific debate". Nature. doi:10.1038/nature05005 (inactive March 27, 2022). Archived from the original on December 21, 2012.{{cite journal}}: CS1 maint : 2022년 3월 현재 DOI 비활성화(링크)
  73. ^ "JMIR Home". JMIR.org. Retrieved January 4, 2012.
  74. ^ a b Smith, R. (January 1999). "Opening up BMJ peer review". BMJ. 318 (7175): 4–5. doi:10.1136/bmj.318.7175.4. PMC 1114535. PMID 9872861.
  75. ^ "BMC series". Biomedcentral.com. Retrieved January 4, 2012.
  76. ^ Mathers, Colin D; Loncar, Dejan (March 27, 2009). "PLoS Medicine: A Peer-Reviewed, Open-Access Journal". PLOS Medicine. 3 (11): e442. doi:10.1371/journal.pmed.0030442. PMC 1664601. PMID 17132052. Retrieved January 4, 2012.
  77. ^ Delamothe, T.; Smith, R. (May 2002). "Twenty thousand conversations". BMJ. 324 (7347): 1171–2. doi:10.1136/bmj.324.7347.1171. PMC 1123149. PMID 12016170.
  78. ^ "Overview: Nature's peer review trial". Nature. December 2006. doi:10.1038/nature05535 (inactive February 28, 2022).{{cite journal}}: CS1 maint : 2022년 2월 현재 DOI 비활성화(링크)
  79. ^ "Peer review and fraud". Nature. 444 (7122): 971–972. 2006. Bibcode:2006Natur.444R.971.. doi:10.1038/444971b. PMID 17183274. S2CID 27163842.
  80. ^ "Aims and scope". Biology Direct.
  81. ^ Cohen, Patricia (August 23, 2010). "For Scholars, Web Changes Sacred Rite of Peer Review". The New York Times.
  82. ^ van Rooyen, S.; Delamothe, T.; Evans, S. J. (November 2010). "Effect on peer review of telling reviewers that their signed reviews might be posted on the web: randomised controlled trial". BMJ. 341: c5729. doi:10.1136/bmj.c5729. PMC 2982798. PMID 21081600.
  83. ^ a b Jeffrey Marlow (July 23, 2013). "Publish First, Ask Questions Later". Wired. Retrieved January 13, 2015.
  84. ^ a b Elizabeth Allen (September 29, 2017) [December 8, 2014]. "The recipe for our (not so) secret Post-Publication Peer Review sauce!". ScienceOpen.com. Retrieved January 13, 2015.
  85. ^ Rampelotto, Pabulo (2014). "Editorial". Life. 4 (2): 225–226. doi:10.3390/life4020225. PMC 4187159. PMID 25370195.
  86. ^ "The case for crowd peer review". Chemical & Engineering News. November 26, 2018. Retrieved March 10, 2020.
  87. ^ "The PRO Initiative for Open Science". Peer Reviewers' Openness Initiative. September 13, 2014. Retrieved September 15, 2018.
  88. ^ Witkowski, Tomasz (2017). "A Scientist Pushes Psychology Journals toward Open Data". Skeptical Inquirer. 41 (4): 6–7. Archived from the original on September 15, 2018.
  89. ^ 결함이 있는 Surgisphere 데이터에 기반한 Covid-19 연구는 의학 저널이 The Guardian, 2020년 과정을 검토하도록 강요한다.
  90. ^ "The Stars Are Aligning for Preprints - The Scholarly Kitchen". The Scholarly Kitchen. April 18, 2017. Retrieved May 19, 2018.
  91. ^ "Biology preprints over time ASAPbio". asapbio.org. Retrieved May 19, 2018.
  92. ^ "Obituary: Sol Tax, Anthropology". Retrieved October 22, 2010.
  93. ^ "Editorial". Behavioral and Brain Sciences. 1: 1–2. 1978. doi:10.1017/S0140525X00059045.
  94. ^ 사이언티스트, 1980년 3월 20일 페이지 945
  95. ^ Stevan Harnad (1991). "Post-Gutenberg Galaxy: The Fourth Revolution in the Means of Production of Knowledge". Public-Access Computer Systems Review. 2 (1): 39–53. Retrieved October 22, 2010.
  96. ^ Torny, Didier (2018). "Pubpeer: vigilante science, journal club or alarm raiser? The controversies over anonymity in post-publication peer review".
  97. ^ Slavov N (November 2015). "Making the most of peer review". eLife. 4. doi:10.7554/elife.12708. PMC 4641509. PMID 26559758.
  98. ^ Pöschl U (2012). "Multi-stage open peer review: scientific evaluation integrating the strengths of traditional peer review with the virtues of transparency and self-regulation". Frontiers in Computational Neuroscience. 6: 33. doi:10.3389/fncom.2012.00033. PMC 3389610. PMID 22783183.
  99. ^ "F1000Research peer-reviewed articles now visible on PubMed and PubMed Central". STM Publishing News. December 12, 2013. Retrieved January 13, 2015.
  100. ^ a b Yeo, Sara K.; Liang, Xuan; Brossard, Dominique; Rose, Kathleen M.; Korzekwa, Kaine; Scheufele, Dietram A.; Xenos, Michael A. (2017). "The case of #arseniclife: Blogs and Twitter in informal peer review". Public Understanding of Science. 26 (8): 937–952. doi:10.1177/0963662516649806. PMID 27229853. S2CID 20905189.
  101. ^ 레드필드, 로즈마리(2010년 12월 4일)"아르세닉 관련 박테리아(NASA의 주장)"RR Research 블로그]2010년 12월 4일 검색됨
  102. ^ 짐머, 칼 (2010년 12월 7일)"과학자들은 나사의 비소 기반 생명체 연구에서 치명적인 결함을 발견한다."슬레이트, 2010년 12월 7일 회수
  103. ^ Reaves, M. L.; Sinha, S.; Rabinowitz, J. D.; Kruglyak, L.; Redfield, R. J. (July 2012). "Absence of detectable arsenate in DNA from arsenate-grown GFAJ-1 cells". Science. 337 (6093): 470–3. arXiv:1201.6643. Bibcode:2012Sci...337..470R. doi:10.1126/science.1219861. PMC 3845625. PMID 22773140.
  104. ^ Rosenthal, Robert (1966). "Intentional Error". Experimenter Effects in Behavioral Research. p. 36.
  105. ^ Newcombe RG (September 1987). "Towards a reduction in publication bias". British Medical Journal. 295 (6599): 656–9. doi:10.1136/bmj.295.6599.656. PMC 1257777. PMID 3117278.
  106. ^ Kupfersmid, Joel (1988). "Improving what is published: A model in search of an editor". American Psychologist. 43 (8): 635–642. doi:10.1037/0003-066X.43.8.635.
  107. ^ Glymour, M. Maria; Kawachi, Ichiro (2005). "Review of publication bias in studies on publication bias: Here's a proposal for editors that may help reduce publication bias". BMJ. 331 (7517): 638.2. doi:10.1136/bmj.331.7517.638-a. PMC 1215604. PMID 16166149.
  108. ^ Smulders, Yvo M. (2013). "A two-step manuscript submission process can reduce publication bias". Journal of Clinical Epidemiology. 66 (9): 946–947. doi:10.1016/j.jclinepi.2013.03.023. PMID 23845183.
  109. ^ Mahoney, Michael J. (1977). "Publication prejudices: An experimental study of confirmatory bias in the peer review system". Cognitive Therapy and Research. 1 (2): 161–175. doi:10.1007/BF01173636. S2CID 7350256.
  110. ^ a b 와이즈먼 외 2019, "등록된 보고서: 초기 사례분석"
  111. ^ 2007년 1월 16일 "Conclusion-Blind Review", 2010년 11월 6일 "Result Blind Review", "누가 편견 없는 저널을 원하나?", 2012년 4월 27일
  112. ^ Walster, G. William; Cleary, T. Anne (1970). "A Proposal for a New Editorial Policy in the Social Sciences". The American Statistician. 24 (2): 16–19. doi:10.1080/00031305.1970.10478884. S2CID 20366741.
  113. ^ a b c Armstrong, J. Scott (1997). "Peer review for journals: Evidence on quality control, fairness, and innovation". Science and Engineering Ethics. 3: 63–84. CiteSeerX 10.1.1.37.5054. doi:10.1007/s11948-997-0017-3. S2CID 7920654.
  114. ^ Lawlor, D. A. (2007). "Quality in epidemiological research: Should we be submitting papers before we have the results and submitting more hypothesis-generating research?". International Journal of Epidemiology. 36 (5): 940–943. doi:10.1093/ije/dym168. PMID 17875575.
  115. ^ 2012년 4월 16일 브렌단 니한 "학술개혁: 4부제안"
  116. ^ 2012년 4월 27일 "사전 수용된 학술기사 추가"
  117. ^ Nyhan, Brendan (2015). "Increasing the Credibility of Political Science Research: A Proposal for Journal Reforms". PS: Political Science & Politics. 48: 78–83. doi:10.1017/S1049096515000463. S2CID 154801036.
  118. ^ 데이비드 카거, 2011년 2월 17일 CS 연구 간행물 평가 증대 제안
  119. ^ "인기구조입니다, 여러분! 2012년 4월 17일 크리스 사이드는 왜 과학 개혁이 허가 기관에서 나와야 하는가."
  120. ^ Chambers CD (March 2013). "Registered reports: a new publishing initiative at Cortex" (PDF). Cortex; A Journal Devoted to the Study of the Nervous System and Behavior. 49 (3): 609–10. doi:10.1016/j.cortex.2012.12.016. hdl:2027.42/144295. PMID 23347556. S2CID 140204881.
  121. ^ Green 외 2013은 "프로토콜 리뷰"를 인용, "읽고, 이해하고, 믿고, 사용하라: 보다 신뢰할 수 있는 연구 출판물을 위한 원칙과 제안"이라고 말했다.
  122. ^ The Editors Of The Lancet (2015). "Protocol review at the Lancet: 1997–2015". The Lancet. 386 (10012): 2456–2457. doi:10.1016/S0140-6736(15)01131-9. S2CID 140207427. {{cite journal}}: last1=일반 이름 포함(도움말)
  123. ^ "Promoting reproducibility with registered reports". Nature Human Behaviour. 1: 0034. 2017. doi:10.1038/s41562-016-0034. S2CID 28976450.
  124. ^ "Streamlined review and registered reports soon to be official at EJP".
  125. ^ EJP 사설, Johnson 1975 (European Journal of Parapsychology)1975;1(1:1-2); "편향의 통제와 통제의 모델", Johnson 1975(유럽어학저널 of Parapsychology)1975;1(1):36–44); "비유의 결과에 관한 출판 정책", 1976년 존슨(European Journal of Parapsychology 1976;1(2):1–5)
  126. ^ Armstrong, J. Scott; Dagum, Estella Bee; Fildes, Robert; Makridakis, Spyros (1986). "Publishing Standards for Research on Forecasting (editorial)". Marketing Papers.
  127. ^ Armstrong, J.Scott (1996). "Publication of research on controversial topics: The early acceptance procedure". International Journal of Forecasting. 12 (2): 299–302. doi:10.1016/0169-2070(95)00626-5. S2CID 8545569.
  128. ^ Weiss, David J. (1989). "An Experiment in Publication: Advance Publication Review". Applied Psychological Measurement. 13: 1–7. doi:10.1177/014662168901300101. S2CID 122661856.
  129. ^ Sridharan, Lakshmi; Greenland, Philip (2009). "Editorial Policies and Publication Bias". Archives of Internal Medicine. 169 (11): 1022–3. doi:10.1001/archinternmed.2009.100. PMID 19506169. S2CID 5158555.
  130. ^ "등록된 보고서", OSF
  131. ^ "등록된 보고서: 과학 출판의 단계적 변화;이니셔티브가 출판 편향과 싸우는 방법에 관한 개념의 창시자한 명인 크리스 챔버스 교수, 2014년 11월 13일, 챔버스
  132. ^ d. Chambers, Christopher; Feredoes, Eva; d. Muthukumaraswamy, Suresh; j. Etchells, Peter (2014). "Instead of "playing the game" it is time to change the rules: Registered Reports at AIMS Neuroscience and beyond". AIMS Neuroscience. 1: 4–17. doi:10.3934/Neuroscience.2014.1.4.
  133. ^ Nosek, Brian A.; Lakens, Daniël (2014). "Registered Reports". Social Psychology. 45 (3): 137–141. doi:10.1027/1864-9335/a000192.
  134. ^ "2015년 12월 15일 사이언스, "새로운 출판 옵션으로 스터디를 등록하십시오."
  135. ^ 2014년 5월 20일 가디언은 "심리학의 '등록 혁명: 투명성을 유지하기 위한 움직임은 심리학을 더 과학적으로 만들 뿐만 아니라 과학을 강화하기 위해 우리의 정신 지식을 활용하고 있다"말했다.
  136. ^ Findley, Michael G.; Jensen, Nathan M.; Malesky, Edmund J.; Pepinsky, Thomas B. (2016). "Can Results-Free Review Reduce Publication Bias? The Results and Implications of a Pilot Study". Comparative Political Studies. 49 (13): 1667–1703. doi:10.1177/0010414016655539. S2CID 44705752.
  137. ^ Rennie, Drummond; Flanagin, Annette; Smith, Richard; Smith, Jane (2003). "Fifth International Congress on Peer Review and Biomedical Publication". JAMA. 289 (11): 1438. doi:10.1001/jama.289.11.1438.
  138. ^ Horton R (February 2000). "Genetically modified food: consternation, confusion, and crack-up". The Medical Journal of Australia. 172 (4): 148–9. doi:10.5694/j.1326-5377.2000.tb125533.x. PMID 10772580. S2CID 36401069.
  139. ^ Jefferson, Tom; Rudin, Melanie; Brodney Folse, Suzanne; Davidoff, Frank (April 18, 2007). Cochrane Methodology Review Group (ed.). "Editorial peer review for improving the quality of reports of biomedical studies". Cochrane Database of Systematic Reviews (2): MR000016. doi:10.1002/14651858.MR000016.pub3. PMID 17443635.
  140. ^ Bruce, Rachel; Chauvin, Anthony; Trinquart, Ludovic; Ravaud, Philippe; Boutron, Isabelle (December 2016). "Impact of interventions to improve the quality of peer review of biomedical journals: a systematic review and meta-analysis". BMC Medicine. 14 (1): 85. doi:10.1186/s12916-016-0631-5. ISSN 1741-7015. PMC 4902984. PMID 27287500.
  141. ^ Couchman, John R. (November 11, 2013). "Peer Review and Reproducibility. Crisis or Time for Course Correction?". Journal of Histochemistry & Cytochemistry. 62 (1): 9–10. doi:10.1369/0022155413513462. PMC 3873808. PMID 24217925.
  142. ^ "The peer review drugs don't work". Times Higher Education (THE). May 28, 2015. Retrieved October 23, 2018.
  143. ^ "Peer review 'works against' early career researchers". Times Higher Education (THE). July 16, 2018. Retrieved October 23, 2018.
  144. ^ JPA Ioannidis(2005) "가장 많이 발표된 연구 결과가 거짓인 이유"
  145. ^ a b c Csiszar, Alex (2016). "Peer Review: Troubled from the Start". Nature. 532 (7599): 306–308. Bibcode:2016Natur.532..306C. doi:10.1038/532306a. PMID 27111616.
  146. ^ a b Moxham, Noah; Fyfe, Aileen (2018). "The Royal Society and the Prehistory of Peer Review, 1665–1965" (PDF). The Historical Journal. 61 (4): 863–889. doi:10.1017/S0018246X17000334. S2CID 164984479.
  147. ^ Moore, John (2006). "Does Peer Review Mean the Same to the Public as It Does to Scientists?". Nature. doi:10.1038/nature05009 (inactive February 28, 2022).{{cite journal}}: CS1 maint : 2022년 2월 현재 DOI 비활성화(링크)
  148. ^ Ferguson, Cat; Marcus, Adam; Oransky, Ivan (2014). "Publishing: The Peer-Review Scam". Nature. 515 (7528): 480–482. Bibcode:2014Natur.515..480F. doi:10.1038/515480a. PMID 25428481.
  149. ^ a b Budd, J. M.; Sievert, M.; Schultz, T. R. (1998). "Phenomena of Retraction: Reasons for Retraction and Citations to the Publications". JAMA. 280 (3): 296–7. doi:10.1001/jama.280.3.296. PMID 9676689.
  150. ^ a b Smith, Richard (2006). "Peer Review: A Flawed Process at the Heart of Science and Journals". Journal of the Royal Society of Medicine. 99 (4): 178–82. doi:10.1177/014107680609900414. PMC 1420798. PMID 16574968.
  151. ^ Ross-Hellauer, Tony (2017). "What Is Open Peer Review? A Systematic Review". F1000Research. 6: 588. doi:10.12688/f1000research.11369.2. PMC 5437951. PMID 28580134.
  152. ^ a b Tennant, Jonathan P.; Dugan, Jonathan M.; Graziotin, Daniel; Jacques, Damien C.; Waldner, François; Mietchen, Daniel; Elkhatib, Yehia; b. Collister, Lauren; Pikas, Christina K.; Crick, Tom; Masuzzo, Paola; Caravaggi, Anthony; Berg, Devin R.; Niemeyer, Kyle E.; Ross-Hellauer, Tony; Mannheimer, Sara; Rigling, Lillian; Katz, Daniel S.; Greshake Tzovaras, Bastian; Pacheco-Mendoza, Josmel; Fatima, Nazeefa; Poblet, Marta; Isaakidis, Marios; Irawan, Dasapta Erwin; Renaut, Sébastien; Madan, Christopher R.; Matthias, Lisa; Nørgaard Kjær, Jesper; O'Donnell, Daniel Paul; et al. (2017). "A Multi-Disciplinary Perspective on Emergent and Future Innovations in Peer Review". F1000Research. 6: 1151. doi:10.12688/f1000research.12037.3. PMC 5686505. PMID 29188015.
  153. ^ "Skeptics get a journal" (PDF)., Paul Thacker, 2005.
  154. ^ Schwarz, Alan; Bogdanich, Walt; Williams, Jacqueline (March 24, 2016). "N.F.L.'s Flawed Concussion Research and Ties to Tobacco Industry". The New York Times..
  155. ^ Wong, Victoria S. S.; Avalos, Lauro Nathaniel; Callaham, Michael L. (2019). "Industry Payments to Physician Journal Editors". PLOS ONE. 14 (2): e0211495. Bibcode:2019PLoSO..1411495W. doi:10.1371/journal.pone.0211495. PMC 6366761. PMID 30730904.
  156. ^ Weiss, Glen J.; Davis, Roger B. (2019). "Discordant Financial Conflicts of Interest Disclosures between Clinical Trial Conference Abstract and Subsequent Publication". PeerJ. 7: e6423. doi:10.7717/peerj.6423. PMC 6375255. PMID 30775185.
  157. ^ Flaherty, D. K. (2013). "Ghost- and Guest-Authored Pharmaceutical Industry–Sponsored Studies: Abuse of Academic Integrity, the Peer Review System, and Public Trust". The Annals of Pharmacotherapy. 47 (7–8): 1081–3. doi:10.1345/aph.1R691. PMID 23585648. S2CID 22513775.
  158. ^ "Ghostwriting in medical literature" (PDF)..
  159. ^ "Frequently asked questions about medical ghostwriting"..
  160. ^ a b c d e f g h Vanholsbeeck, Marc; Thacker, Paul; Sattler, Susanne; Ross-Hellauer, Tony; Rivera-López, Bárbara S.; Rice, Curt; Nobes, Andy; Masuzzo, Paola; Martin, Ryan; Kramer, Bianca; Havemann, Johanna; Enkhbayar, Asura; Davila, Jacinto; Crick, Tom; Crane, Harry; Tennant, Jonathan P. (March 11, 2019). "Ten Hot Topics around Scholarly Publishing". Publications. 7 (2): 34. doi:10.3390/publications7020034.
  161. ^ Relman, A. S. (1990). "Peer Review in Scientific Journals--What Good Is It?". Western Journal of Medicine. 153 (5): 520–22. PMC 1002603. PMID 2260288.
  162. ^ Bravo, Giangiacomo; Grimaldo, Francisco; López-Iñesta, Emilia; Mehmani, Bahar; Squazzoni, Flaminio (2019). "The Effect of Publishing Peer Review Reports on Referee Behavior in Five Scholarly Journals". Nature Communications. 10 (1): 322. Bibcode:2019NatCo..10..322B. doi:10.1038/s41467-018-08250-2. PMC 6338763. PMID 30659186.
  163. ^ a b Tennant, Jonathan P. (2018). "The State of the Art in Peer Review". FEMS Microbiology Letters. 365 (19). doi:10.1093/femsle/fny204. PMC 6140953. PMID 30137294.
  164. ^ Squazzoni, Flaminio; Grimaldo, Francisco; Marušić, Ana (2017). "Publishing: Journals Could Share Peer-Review Data". Nature. 546 (7658): 352. Bibcode:2017Natur.546Q.352S. doi:10.1038/546352a. PMID 28617464. S2CID 52858966.
  165. ^ Allen, Heidi; Boxer, Emma; Cury, Alexandra; Gaston, Thomas; Graf, Chris; Hogan, Ben; Loh, Stephanie; Wakley, Hannah; Willis, Michael (2018). "What Does Better Peer Review Look like? Definitions, Essential Areas, and Recommendations for Better Practice". doi:10.17605/OSF.IO/4MFK2. {{cite journal}}:Cite 저널은 필요로 한다. journal=(도움말)
  166. ^ Fang, Ferric C.; Casadevall, Arturo (2011). "Retracted Science and the Retraction Index". Infection and Immunity. 79 (10): 3855–3859. doi:10.1128/IAI.05661-11. PMC 3187237. PMID 21825063.
  167. ^ Moylan, Elizabeth C.; Kowalczuk, Maria K. (2016). "Why Articles Are Retracted: A Retrospective Cross-Sectional Study of Retraction Notices at BioMed Central". BMJ Open. 6 (11): e012047. doi:10.1136/bmjopen-2016-012047. PMC 5168538. PMID 27881524.
  168. ^ Open Science Collaboration (2015). "Estimating the Reproducibility of Psychological Science". Science. 349 (6251): aac4716. doi:10.1126/science.aac4716. hdl:10722/230596. PMID 26315443. S2CID 218065162.
  169. ^ a b Munafò, Marcus R.; Nosek, Brian A.; Bishop, Dorothy V. M.; Button, Katherine S.; Chambers, Christopher D.; Percie Du Sert, Nathalie; Simonsohn, Uri; Wagenmakers, Eric-Jan; Ware, Jennifer J.; Ioannidis, John P. A. (2017). "A Manifesto for Reproducible Science". Nature Human Behaviour. 1: 0021. doi:10.1038/s41562-016-0021. PMC 7610724. PMID 33954258.
  170. ^ Fanelli, Daniele (2018). "Opinion: Is Science Really Facing a Reproducibility Crisis, and Do We Need It To?". Proceedings of the National Academy of Sciences. 115 (11): 2628–2631. doi:10.1073/pnas.1708272114. PMC 5856498. PMID 29531051.
  171. ^ Goodman, Steven N. (1994). "Manuscript Quality before and after Peer Review and Editing at Annals of Internal Medicine". Annals of Internal Medicine. 121 (1): 11–21. doi:10.7326/0003-4819-121-1-199407010-00003. PMID 8198342. S2CID 5716602.
  172. ^ Pierson, Charon A. (2018). "Peer review and journal quality". Journal of the American Association of Nurse Practitioners. 30 (1): 1–2. doi:10.1097/JXX.0000000000000018. PMID 29757914. S2CID 46888329.
  173. ^ Caputo, Richard K. (2019). "Peer Review: A Vital Gatekeeping Function and Obligation of Professional Scholarly Practice". Families in Society: The Journal of Contemporary Social Services. 100: 6–16. doi:10.1177/1044389418808155.
  174. ^ Siler, Kyle; Lee, Kirby; Bero, Lisa (2015). "Measuring the effectiveness of scientific gatekeeping". Proceedings of the National Academy of Sciences. 112 (2): 360–365. Bibcode:2015PNAS..112..360S. doi:10.1073/pnas.1418218112. PMC 4299220. PMID 25535380.
  175. ^ Resnik, David B.; Elmore, Susan A. (2016). "Ensuring the Quality, Fairness, and Integrity of Journal Peer Review: A Possible Role of Editors". Science and Engineering Ethics. 22 (1): 169–188. doi:10.1007/s11948-015-9625-5. PMID 25633924. S2CID 3641934.
  176. ^ Bornmann, Lutz (2011). "Scientific Peer Review". Annual Review of Information Science and Technology. 45: 197–245. doi:10.1002/aris.2011.1440450112.
  177. ^ "Cargo cult science"., 리처드 파인만.
  178. ^ "Cargo Cult Science". Caltech Magazine. 1974. Archived from the original on August 24, 2019.
  179. ^ 뉴욕 타임즈, 애런 E. 캐롤Carroll, Aaron E. (November 5, 2018). "Peer Review: The Worst Way to Judge Research, Except for All the Others". The New York Times..
  180. ^ "Bucking the Big Bang"., Eric Lerner, 새로운 과학자.
  181. ^ a b "Untangling Academic Publishing. A History of the Relationship between Commercial Interests, Academic Prestige and the Circulation of Research". 26.
  182. ^ Priem, Jason; Hemminger, Bradley M. (2012). "Decoupling the Scholarly Journal". Frontiers in Computational Neuroscience. 6: 19. doi:10.3389/fncom.2012.00019. PMC 3319915. PMID 22493574.
  183. ^ Bowman, Nicholas David; Keene, Justin Robert (2018). "A Layered Framework for Considering Open Science Practices". Communication Research Reports. 35 (4): 363–372. doi:10.1080/08824096.2018.1513273.
  184. ^ McKiernan, E. C.; Bourne, P. E.; Brown, C. T.; Buck, S.; Kenall, A.; Lin, J.; McDougall, D.; Nosek, B. A.; Ram, K.; Soderberg, C. K.; Spies, J. R.; Thaney, K.; Updegrove, A.; Woo, K. H.; Yarkoni, T. (2016). "Point of View: How Open Science Helps Researchers Succeed". eLife. 5. doi:10.7554/eLife.16800. PMC 4973366. PMID 27387362.
  185. ^ a b "In Peer Review We (Don't) Trust: How Peer Review's Filtering Poses a Systemic Risk to Science".
  186. ^ Brembs, Björn (2019). "Reliable Novelty: New Should Not Trump True". PLOS Biology. 17 (2): e3000117. doi:10.1371/journal.pbio.3000117. PMC 6372144. PMID 30753184.
  187. ^ Stern, Bodo M.; o'Shea, Erin K. (2019). "A Proposal for the Future of Scientific Publishing in the Life Sciences". PLOS Biology. 17 (2): e3000116. doi:10.1371/journal.pbio.3000116. PMC 6372143. PMID 30753179.
  188. ^ Bradley, James V. (1981). "Pernicious Publication Practices". Bulletin of the Psychonomic Society. 18: 31–34. doi:10.3758/bf03333562.
  189. ^ "영국 과학자들은 '매버릭' 동료들을 배제하고 있다"(2004) 유레크 알러트 공개 발표일:2004년 8월 16일
  190. ^ Boudreau, K. J.; Guinan, E.C.; Lakhani, K.R.; Riedl, C. (October 2016). "Looking Across and Looking Beyond the Knowledge Frontier: Intellectual Distance, Novelty, and Resource Allocation in Science". Management Science. 62 (10): 2765–2783. doi:10.1287/mnsc.2015.2285. PMC 5062254. PMID 27746512.
  191. ^ van den Besselaar, Peter; Sandström, Ulf; Schiffbaenker, Hélène (October 2018). "Studying grant decision-making: a linguistic analysis of review reports". Scientometrics. 117 (1): 313–329. doi:10.1007/s11192-018-2848-x. ISSN 0138-9130. PMC 6132964. PMID 30220747.
  192. ^ Osmond DH (March 1983). "Malice's wonderland: research funding and peer review". Journal of Neurobiology. 14 (2): 95–112. doi:10.1002/neu.480140202. PMID 6842193. ... they may strongly resist a rival's hypothesis that challenges their own
  193. ^ Grimaldo, Francisco; Paolucci, Mario (March 14, 2013). "A simulation of disagreement for control of rational cheating in peer review". Advances in Complex Systems. 16 (7): 1350004. Bibcode:2005AdCS....8...15L. doi:10.1142/S0219525913500045. S2CID 2590479.
  194. ^ Petit-Zeman, Sophie (January 16, 2003). "Trial by peers comes up short". The Guardian.
  195. ^ Fang, H. (2011). "Peer review and over-competitive research funding fostering mainstream opinion to monopoly". Scientometrics. 87 (2): 293–301. doi:10.1007/s11192-010-0323-4. S2CID 24236419.
  196. ^ Rowland, Fytton (2002). "The peer-review process". Learned Publishing. 15 (4): 247–258. doi:10.1087/095315102760319206. S2CID 18368797.
  197. ^ Budden, A. E.; Tregenza, T.; Aarssen, L. W.; Koricheva, J.; Leimu, R.; Lortie, C. J. (January 2008). "Double-blind review favours increased representation of female authors". Trends in Ecology & Evolution. 23 (1): 4–6. doi:10.1016/j.tree.2007.07.008. PMID 17963996.
  198. ^ Squazzoni, Flaminio; Bravo, Giangiacomo; Farjam, Mike; Marusic, Ana; Mehmani, Bahar; Willis, Michael; Birukou, Aliaksandr; Dondio, Pierpaolo; Grimaldo, Francisco (January 6, 2021). "Peer review and gender bias: A study on 145 scholarly journals". Science Advances. 7 (2): eabd0299. Bibcode:2021SciA....7..299S. doi:10.1126/sciadv.abd0299. ISSN 2375-2548. PMC 7787493. PMID 33523967.
  199. ^ Akst, Jef (January 6, 2020). "No Gender Bias in Peer Review: Study". The Scientist Magazine. Retrieved February 6, 2021.
  200. ^ Yirka, Bob (January 7, 2020). "Analysis: Peer review process unlikely to be primary cause of gender publishing inequalities in scholarly journals". phys.org. Retrieved February 6, 2021.
  201. ^ Suber, Peter (September 2, 2007). "Will open access undermine peer review?". SPARC Open Access Newsletter.
  202. ^ Björk, Bo-Christer; Solomon, David (2012). "Open access versus subscription journals: A comparison of scientific impact". BMC Medicine. 10: 73. doi:10.1186/1741-7015-10-73. PMC 3398850. PMID 22805105.
  203. ^ Afifi, M. "Reviewing the "Letter-to-editor" section in the Bulletin of the World Health Organization, 2000–2004". Bulletin of the World Health Organization. Archived from the original on August 6, 2006.
  204. ^ Lee, Kirby (2006). "Increasing accountability". Nature. doi:10.1038/nature05007 (inactive February 28, 2022).{{cite journal}}: CS1 maint : 2022년 2월 현재 DOI 비활성화(링크)
  205. ^ Baxt, W. G.; Waeckerle, J. F.; Berlin, J. A.; Callaham, M. L. (September 1998). "Who reviews the reviewers? Feasibility of using a fictitious manuscript to evaluate peer reviewer performance". Annals of Emergency Medicine. 32 (3 Pt 1): 310–7. doi:10.1016/S0196-0644(98)70006-X. PMID 9737492.
  206. ^ a b Tumor Biology 논문의 동료 검토 사기 사례(2017년 4월 25일 회수)
  207. ^ Ferguson, C.; Marcus, A.; Oransky, I. (November 2014). "Publishing: The peer-review scam". Nature. 515 (7528): 480–2. Bibcode:2014Natur.515..480F. doi:10.1038/515480a. PMID 25428481. S2CID 4447250.
  208. ^ "COPE statement on inappropriate manipulation of peer review processes". publicationethics.org.
  209. ^ "Inappropriate manipulation of peer review". BioMed Central blog. March 26, 2015.
  210. ^ Callaway, Ewen (2015). "Faked peer reviews prompt 64 retractions". Nature. doi:10.1038/nature.2015.18202. S2CID 182578881.
  211. ^ a b "Imposters hijack journal's peer review process to publish substandard papers". Chemistry World. January 18, 2021. Retrieved January 19, 2021.
  212. ^ Pinna, Nicola; Clavel, Guylhaine; Roco, Mihail C. (2020). "The Journal of Nanoparticle Research victim of an organized rogue editor network!". Journal of Nanoparticle Research. Springer Science and Business Media LLC. 22 (12): 376. Bibcode:2020JNR....22..376P. doi:10.1007/s11051-020-05094-0. ISSN 1388-0764. S2CID 229182904.
  213. ^ "Historians on the Hot Seat". History News Network. April 23, 2010.
  214. ^ a b Weiss, Rick (June 9, 2005). "Many scientists admit to misconduct: Degrees of deception vary in poll". Washington Post.
  215. ^ Michaels, David (2006). "Politicizing Peer Review: Scientific Perspective". In Wagner, Wendy; Steinzor, Rena (eds.). Rescuing Science from Politics: Regulation and the Distortion of Scientific Research. Cambridge University Press. p. 224. ISBN 978-0-521-85520-4.
  216. ^ Soon, W.; Baliunas, S. (2003). "Proxy climatic and environmental changes of the past 1000 years". Climate Research. 23: 89–110. Bibcode:2003ClRes..23...89S. doi:10.3354/cr023089.
  217. ^ Tai MM (February 1994). "A mathematical model for the determination of total area under glucose tolerance and other metabolic curves". Diabetes Care. 17 (2): 152–4. doi:10.2337/diacare.17.2.152. PMID 8137688. S2CID 42761923.
  218. ^ Knapp, Alex (2011). "Apparently, Calculus Was Invented In 1994". Forbes.
  219. ^ Purgathofer, Werner. "Beware of VIDEA!". tuwien.ac.at. Technical University of Vienna. Retrieved April 29, 2014.
  220. ^ Dougherty, M. V.; Harsting, P.; Friedman, R. (2009). "40 Cases of Plagiarism" (PDF). Bulletin de Philosophie Médiévale. 51: 350–91.
  221. ^ Dougherty, M. V. (2017). "Correcting the Scholarly Record in the Aftermath of Plagiarism: A Snapshot of Current-Day Publishing Practices in Philosophy". Metaphilosophy. 48 (3): 258–83. doi:10.1111/meta.12241.
  222. ^ Schiermeier, Quirin (2017). "Monument to peer review unveiled in Moscow". Nature. doi:10.1038/nature.2017.22060.

추가 읽기