유효성(통계)

Validity (statistics)
다른 용도는 유효성을 참조하십시오.

타당성은 개념, 결론 또는 측정의 근거가 충분하고 실제 세계에 정확하게 대응될 가능성이 있는 주요 범위다.[1][2] "유효한"이라는 단어는 강한 뜻을 가진 라틴어 validus에서 유래되었다. 측정 도구(예: 교육에서의 시험)의 유효성은 도구에서 측정하고자 하는 것을 측정하는 정도를 말한다.[3] 타당성은 아래에 보다 상세히 기술된 여러 유형의 증거(예: 면면 타당성, 구성 유효성 등)의 강도에 기초한다.

심리측정학에서 유효성은 시험 유효성이라고 알려진 특정한 응용 프로그램을 가지고 있다: "증거와 이론이 시험 점수의 해석을 지원하는 정도"("시험의 제안된 사용에 수반되는 정도").[4]

과학적 타당성의 개념이 통계적 조치의 관점에서 현실의 본질을 다루고 있다는 것은 일반적으로 받아들여지고 있으며, 따라서 인식론적, 철학적 문제일 뿐만 아니라 측정의 문제라는 것이다. 논리에서 용어 사용은 전제와 논쟁의 결론 사이의 관계와 관련하여 더 좁다. 논리학에서 타당성은 전제조건이 참일 경우 결론의 진실은 필연적으로 따르는 논쟁의 속성을 말한다. 주장의 결론은 주장의 타당성과 그 전제가 사실인지를 말하는 것이 옳다. 대조적으로 "과학적 또는 통계적 타당성"은 반드시 진실인 연역적 주장이 아니라, 확정되지 않은 방식으로 진실 또는 거짓으로 남아 있는 귀납적 주장이다. 그렇기 때문에 '과학적 또는 통계적 타당성'은 그 본질에 있어서 강하거나 약하다고 할 수 있는 자격이 있는 주장으로, 결코 필요하지도 않고 확실히 진실하지도 않다. 이것은 "과학적 또는 통계적 타당성"에 대한 주장을 사실상의 사실이 무엇을 의미하는지에 대한 해석에 개방적으로 만드는 효과가 있다.

타당성은 어떤 유형의 시험을 사용할지 결정하는 데 도움이 될 수 있고, 연구자들이 윤리적이고 비용 효율적일 뿐만 아니라 문제의 아이디어나 구성을 진정으로 측정하는 방법을 확실히 사용하는 데 도움을 줄 수 있기 때문에 중요하다.

시험유효성

주요 기사: 시험유효성

유효성(정확성)

참고 항목: 정밀도 및 정확도

평가의 타당성은[5] 측정 대상의 측정 정도를 의미한다. 이것은 측정이 매우 일관된 결과를 제공하는 정도인 신뢰성과 같지 않다. 타당성 내에서 측정은 신뢰도에서와 마찬가지로 항상 유사할 필요는 없다. 그러나 어떤 조치가 신뢰할 수 있다고 해서 반드시 유효한 것은 아니다. 예를 들어, 5파운드를 뺀 저울은 신뢰할 수 있지만 유효하지 않다. 시험은 신뢰할 수 없는 한 유효할 수 없다. 유효성은 또한 측정 목적으로 설계된 측정치에 따라 달라지지만 그 대신 다른 것이 아니다.[6] 타당성(신뢰성과 유사함)은 상대적인 개념이다. 타당성은 전부 또는 아예 없는 아이디어가 아니다. 유효성의 종류는 다양하다.

구성 유효성

주요 기사: 구성 유효성

구성 타당성(construct validity)은 구성의 운영화(예: 이론으로부터 개발된 실제 시험)가 이론에 의해 정의된 대로 구성물을 측정하는 정도를 가리킨다. 그것은 다른 모든 종류의 타당성을 약화시킨다. 예를 들어, 시험이 지능을 측정하는 범위는 구성 타당성의 문제다. 지능 척도는 무엇보다도 그 척도가 연관되어서는 안 되는 것(차별적 타당성)과 연관되어 있지 않고 (양립적 타당성)과 연관되어 있다고 가정한다.[7]

구성 타당성 증거는 구성의 해석에 대한 경험적, 이론적 지지를 포함한다. 그러한 증거 선에는 다른 시험 항목에 대한 반응 사이의 관계를 포함하여 시험의 내부 구조에 대한 통계적 분석이 포함된다. 그것들은 또한 시험과 다른 구성물의 측정 사이의 관계를 포함한다. 현재 이해한 바와 같이, 구성의 타당성은 시험이 측정하도록 설계된 구성의 실질적인 이론에 대한 지지와 구별되지 않는다. 이와 같이, 구성의 인과적 역할의 측면을 밝히기 위해 고안된 실험도 유효성 증거를 구성하는 데 기여한다.[7]

내용유효성

내용 유효성(Content validity)은 "측정할 행동 영역의 대표적인 표본을 포함하는지 여부를 결정하기 위한 시험 내용의 체계적 검사"를 포함하는 비통계적 유형의 유효성이다(Anastasi & Urbina, 1997년 페이지 114). 예를 들어, IQ 설문지에는 과학 문헌에서 논의된 지능의 모든 영역을 포괄하는 항목이 있는가?

내용 유효성 증거는 시험의 내용이 구성과 관련된 내용 영역과 일치하는 정도를 포함한다. 예를 들어, 두 개의 숫자를 추가하는 능력의 테스트에는 다양한 숫자의 조합이 포함되어야 한다. 한 자리 숫자만, 또는 짝수 숫자만 있는 테스트는 콘텐츠 영역에 대한 적용 범위가 좋지 않을 것이다. 내용 관련 근거는 일반적으로 주제 전문가(SME)가 시험 규격에 대해 시험 항목을 평가하는 것을 포함한다. 연구자는 설문지 최종 관리로 가기 전에 각 시공사나 변수에 대한 항목의 타당성을 상담하고 이에 따라 중소기업의 의견을 바탕으로 측정기기를 수정해야 한다.

테스트는 어떤 항목을 포함할지 신중하게 선택하여 내용 유효성을 내장한다(Anastasi & Urbina, 1997). 대상 영역의 철저한 조사를 통해 작성한 시험 시방서에 부합하도록 항목을 선정한다. Foxcroft, Paterson, Le Roux & Herbst(2004, 페이지 49)[8]는 전문가 패널을 사용하여 시험 규격과 항목의 선택을 검토함으로써 시험의 내용 유효성을 개선할 수 있다는 점에 주목한다. 전문가들은 그 항목들을 검토하고 그 항목들이 행동 영역의 대표적인 표본들을 포함하고 있는지에 대해 의견을 제시할 수 있을 것이다.

면 유효성

면 유효성은 시험이 특정 기준을 측정하는 것으로 보이는지 여부에 대한 추정치로서, 시험이 실제로 그 영역의 현상을 측정한다고 보장하지는 않는다. 조치는 높은 유효성을 가질 수 있지만, 테스트가 그것이 무엇인지를 측정하는 것으로 보이지 않을 때, 그것은 낮은 얼굴 유효성을 가진다. 실제로, 테스트가 가짜(말레이징)의 대상이 되는 경우, 얼굴 유효성이 낮으면 테스트가 더 유효해질 수 있다. 얼굴 유효성이 낮은 정직한 답변을 얻을 수 있다는 점을 고려하면, 조치를 시행하는 동안 얼굴 유효성이 낮은 것처럼 보이게 하는 것이 중요할 때도 있다.

얼굴 유효성은 내용 유효성과 매우 밀접하게 관련되어 있다. 내용 유효성은 시험이 특정 기준의 모든 영역을 평가하는지를 가정한 이론적 근거에 따라 결정되지만(예: 추가 기술 평가 시 수학 기술에 대한 좋은 척도로 산출되는가? 이에 대답하기 위해 당신은 알아야 한다. 수학 능력에는 어떤 다른 종류의 산술적 기술이 포함되는지) 면면 타당성은 시험이 좋은 척도로 보이는지 아닌지와 관련이 있다. 이 판단은 시험의 「얼굴」에 하는 것이므로, 아마추어도 판단할 수 있다.

얼굴 유효성은 출발점이지만, 결코 주어진 목적을 위해 유효하다고 가정해서는 안 된다. 전에 '전문가'가 잘못되어 온 적이 있기 때문이다.- 말레우스 말리피카룸(마녀의 함메르)은 '마녀탐지'에서 두 '전문가'의 자기상정 능력 이외에는 그 결론에 대한 뒷받침이 없었으나, 그것은 '마녀사냥'를 비난하는 '시험'으로 이용되었다.화형식으로 수만 명의 남녀가 화형을 당한다.[9]

기준유효성

기준 유효성 증거는 시험과 구성을 대표하는 것으로 간주되는 기준 변수(또는 변수) 사이의 상관 관계를 포함한다. 즉, 시험을 유효하다고 이미 보유하고 있는 다른 측정이나 결과(기준)와 비교한다. 예를 들어 직원 선발시험은 직무수행 측정(기준)에 대해 검증하는 경우가 많고, IQ시험은 학업성취도 측정(기준)에 대해 검증하는 경우가 많다.

시험 데이터와 기준 데이터를 동시에 수집하는 경우, 이를 동시 유효성 증거라고 한다. 나중에 수집된 기준 데이터를 예측하기 위해 시험 데이터를 먼저 수집하는 경우 이를 예측 유효성 증거라고 한다.

동시유효성

동시 타당성(concurrency validation)은 운용화가 동시에 측정되는 동일한 구조의 다른 조치들과 상관관계가 있는 정도를 말한다. 측정값을 동일한 유형의 다른 측정치와 비교할 때 관련(또는 상관)이 된다. 선발 시험 예제로 돌아가면, 이는 시험이 현직 직원들에게 관리되고, 그 다음 그들의 수행평가 점수와 상관관계를 갖는다는 것을 의미한다.

예측 유효성

예측 타당성(predictional validity)은 운용화가 향후 어느 시점에 측정되는 동일한 구조의 다른 조치들을 예측(또는 상관)할 수 있는 정도를 가리킨다. 다시 말하지만, 선발 시험의 예로서, 이것은 시험이 지원자들에게 관리되고, 모든 지원자들이 고용되고, 그들의 수행능력은 나중에 검토되고, 그리고 나서 두 가지 조치들에 대한 그들의 점수는 상관관계가 있다는 것을 의미한다.

이것은 또한 측정이 측정되는 것과 다른 것 사이의 관계를 예측할 때 입니다; 다른 일이 미래에 일어날지 안 일어날지를 예측하는 것. 예측된 전과 사후 실제 결과 사이의 높은 상관관계가 타당성을 입증하는 가장 강력한 증거다.

실험유효성

실험연구 설계의 타당성은 과학적인 방법의 근본적인 부분이며,[10] 연구윤리의 염려가 된다. 유효한 설계가 없으면 유효한 과학적 결론을 도출할 수 없다.

통계적 결론 타당성

통계적 결론 타당성(statistical expresence validation)은 데이터에 기초한 변수들 간의 관계에 대한 결론이 정확하거나 '합리적'인 정도를 말한다. 이것은 단지 변수의 관계에 대한 통계적 결론이 올바른지에 대한 것으로 시작되었지만, 이제는 양적, 통계적, 질적 데이터라는 '합리적' 결론으로 이동하려는 움직임이 있다.[11]

통계적 결론 타당성에는 적절한 표본 추출 절차, 적절한 통계 시험 및 신뢰할 수 있는 측정 절차의 사용을 보장하는 것이 포함된다.[12] 이러한 유형의 타당성은 변수들 사이에서 발견되는 관계에만 관련되므로, 그 관계는 단순한 상관관계일 수 있다.

내부유효성

내부 타당성은 인과관계에 대한 결론이 내려질 수 있는 정도(예: 원인과 결과)에 대한 귀납적 추정치로서, 사용된 조치, 연구 설정 및 전체 연구 설계에 기초한다. 종속 변수에 대한 독립 변수의 영향을 고도로 제어된 조건에서 연구하는 좋은 실험 기법은 대개 단일 사례 설계보다 높은 수준의 내부 유효성을 허용한다.

8가지 종류의 교란 변수는 내부 타당성을 방해할 수 있다(즉, 인과관계를 분리하려는 시도로).

  1. 기록, 실험 변수 외에 첫 번째 측정과 두 번째 측정 사이에 발생하는 특정 사건
  2. 성숙, 시간 경과의 함수로서 참가자 내의 프로세스(특정 이벤트에만 국한되지 않음), 예를 들어, 늙어 가고, 더 배고프고, 더 피곤한 등.
  3. 시험, 두 번째 시험의 점수에 대한 시험의 효과.
  4. 계측, 측정 도구의 교정 변경 또는 관찰자 또는 점수자의 변경은 획득한 측정치에 변화를 일으킬 수 있다.
  5. 통계적 회귀 분석, 극단적 점수에 기초하여 그룹을 선택한 경우 작동.
  6. 비교 그룹에 대한 응답자의 차등 선택에서 비롯되는 선택, 편향.
  7. 실험 사망률 또는 비교 그룹에서 응답자의 차등 손실.
  8. 다중 그룹 유사 실험 설계에서의 선택-성 상호작용 등

외부유효성

외부 타당성은 연구의 (내부적으로 유효한) 결과가 다른 사례(예: 다른 사람, 장소 또는 시간)에 대해 참으로 유지될 수 있는 정도에 관한 것이다. 다시 말해서, 그것은 발견이 타당하게 일반화될 수 있는지에 관한 것이다. 다른 사례에서 동일한 연구가 수행되었다면 동일한 결과를 얻을 수 있을까?

이에 대한 주요 요인은 연구 표본(예: 연구 참여자)이 관련 차원을 따라 일반 인구를 대표하는지 여부다. 외부 유효성을 위태롭게 하는 기타 요인은 다음과 같다.

  1. 테스트의 반응적 또는 상호작용 효과, 사전 테스트는 사후 테스트의 점수를 증가시킬 수 있음
  2. 선택 편향과 실험 변수의 교호작용 효과.
  3. 비실험 환경에서 실험 변수에 노출되는 사람에 대한 실험 변수의 영향에 대한 일반화를 방해하는 실험 준비의 반응적 효과
  4. 초기 치료의 효과를 소거할 수 없는 다중 치료 간섭.

생태적 타당성

생태적 타당성은 연구결과가 연구환경 이외의 실생활에 적용될 수 있는 범위다. 이 문제는 외부 타당성과 밀접하게 관련되어 있지만, 실제 세계에서 관찰할 수 있는 것이 어느 정도(생태학 = 유기체와 그 환경 사이의 상호작용의 과학)인지에 대한 문제를 다룬다. 생태학적으로 타당하려면 연구의 방법, 자료 및 설정 등이 조사 중인 실제 상황과 비슷해야 한다.

생태학적 타당성은 부분적으로 실험 대 관찰의 문제와 관련이 있다. 일반적으로 과학에는 관찰(수동)과 실험(활동)의 두 가지 영역이 있다. 실험 설계의 목적은 인과 관계를 검정하기 위한 것으로, A의 원인 B나 B의 원인 A를 유추할 수 있다. 그러나 때로는 윤리적 및/또는 메스톨로지 제한이 실험을 수행하지 못하게 한다(예: 격리가 어린이의 인지 기능에 어떤 영향을 미치는가). 그러면 당신은 여전히 연구를 할 수 있지만, 그것은 인과관계가 아니라 상관관계가 있다. A가 B와 함께 발생한다고 단정할 수 있을 뿐이다. 두 기술 모두 장단점이 있다.

내부 유효성과의 관계

얼핏 보면, 내부와 외부의 타당성이 서로 모순되는 것처럼 보인다 – 모든 간섭 변수에 대해 통제해야 하는 실험 설계를 얻기 위해서. 그래서 실험실에서 자주 실험을 하는 것이다. 내부 타당성을 얻는 동안(간섭 변수를 일정하게 유지하여 제외) 인위적인 실험실 설정을 설정하기 때문에 생태학적 타당성이나 외부 타당성을 잃게 된다. 반면에 관찰적 연구를 통해 간섭 변수(내부 타당성이 낮음)를 통제할 수는 없지만, 자연적(생태적) 환경에서, 행동이 정상적으로 일어나는 장소에서 측정할 수 있다. 그러나 그렇게 함으로써 그대는 내적 타당성을 희생한다.

그러나 내적 타당성과 외적 타당성의 명백한 모순은 피상적일 뿐이다. 특정 연구의 결과가 다른 사람, 장소 또는 시간에 일반화되는가에 대한 문제는 유도주의적 연구 전략을 따를 때만 발생한다. 만약 연구의 목적이 이론을 연역적으로 시험하는 것이라면, 사람은 연구의 엄격성을 저해할 수 있는 요소, 즉 내부 타당성에 대한 위협에만 관심을 갖는다. 즉, 연구와 외부적, 내부적 타당성의 관련성은 연구목표에 따라 달라진다. 나아가 타당성 문제와 연구 목표를 혼동하면 이론이 인공 실험실 환경에서 현상만 설명할 수 있을 뿐 실제 세계는 설명할 수 없는 상호 내적 타당성 문제로 이어질 수 있다.[13][14]

진단 유효성

정신의학에서는 진단 범주 자체의 타당성을 평가하는 데 특별한 문제가 있다. 이러한 맥락에서:[15]

  • 내용 유효성은 증상 및 진단 기준을 나타낼 수 있다.
  • 동시 유효성은 다양한 상관관계 또는 표지에 의해 정의될 수 있으며, 아마도 치료 반응에 의해 정의될 수 있다.
  • 예측 유효성은 주로 시간 경과에 따른 진단 안정성을 나타낼 수 있다.
  • 판별 유효성은 다른 장애와의 구분을 포함할 수 있다.

로빈스와 구제는 1970년에 정신과 진단의 타당성을 확립하기 위한 영향력 있는 공식적인 기준이 될 것을 제안했다. 그들은 다섯 가지 기준을 열거했다.[15]

  • 구별되는 임상 설명(증상 프로파일, 인구통계학적 특성 및 일반적인 침전물 포함)
  • 실험실 연구(심리검사, 방사선 및 사후에 발견된 사항 포함)
  • 다른 장애와의 구분(배제 기준에 의한)
  • 특성 코스를 보여주는 후속 연구(진단 안정성의 증거 포함)
  • 가족 군집화를 보여주는 가족 연구

이것들은 그 이후 DSM과 ICD 분류 시스템의 기초를 형성한 Feighner Criteria and Research Diagnostic Criteria에 통합되었다.

1980년 켄들러(Kendler)는 다음과 같이 구분:[15]

  • 선행 검증자(가족 통합, 사전 입찰 성격 및 촉진 요인)
  • 동시 검증자(심리검사 포함)
  • 예측 검증자(시간 경과에 따른 일관성, 재발 및 회복 속도, 치료에 대한 반응)

낸시 안드레아센(1995)은 이 모든 것이 잠재적으로 증상과 진단을 신경 기판과 연결시킬 수 있는 분자유전학과 분자생물학, 신경화학, 신경항암학, 인지신경과학 등 몇 가지 추가 검증자를 열거했다.[15]

켄델과 자블린스키(2003)는 유효성과 효용을 구분하는 것의 중요성을 강조했고, 그들의 신드롬에 의해 정의되는 진단 범주는 다른 장애와 분리되는 자연적 경계를 가진 불연속 실체임이 입증된 경우에만 유효하다고 보아야 한다고 주장했다.[15]

켄들러(2006)는 유효성을 입증하는 기준은 실제 장애가 아닌 대부분의 신드롬을 무효화할 만큼 충분히 민감해야 한다고 강조했다. 이를 근거로, 그는 "가족 내에서 달리는 것"의 로빈스와 구제 기준이 부적절하다고 주장한다. 왜냐하면 대부분의 인간의 심리적, 신체적 특징들이 자격을 갖기 때문이다. 예를 들어, "6피트 이상의 키, 빨간 머리, 큰 코"가 혼합된 임의 증후군이 "가족 내에서 달리는 것"과 "열린" 것으로 밝혀질 것이기 때문이다. 그러나 이 shh.그것이 장애라는 증거로 간주되지 않는다. 켄들러는 정신 질환의 "필수주의자" 유전자 모델과 유전자 발견의 결과만으로 "성질을 관절에 이식"함으로써 범주형 정신 진단을 검증할 수 있을 것이라는 희망은 믿을 수 없다고 더 나아가 제안했다.[16]

미국 연방법원 시스템에서는 다우버트 대 메렐 다우 제약회사(Daubert 대 Merrell Dow Pharmetic)를 사용하여 증거의 타당성과 신뢰성을 평가한다. 페리와 리히텐발트(2010)는 잘못된 살인 유죄 판결에 대한 분석에서 광범위한 신뢰성과 타당성 주제에 대한 논의의 출발점을 제공한다.[17]

참고 항목

참조

  1. ^ 브레인, 윌나트, 만하임, 리치 2011 경험적 정치 분석 제8판. 보스턴, MA: 롱맨 페이지 105
  2. ^ Campbell, Donald T. (1957). "Factors relevant to the validity of experiments in social settings". Psychological Bulletin. 54 (4): 297–312. doi:10.1037/h0040950. ISSN 1939-1455. PMID 13465924.
  3. ^ Kelley, Truman Lee (1927). Interpretation of Educational Measurements. Yonkers-on-Hudson, NY: World Book Company. p. 14. The problem of validity is that of whether a test really measures what it purports to measure...
  4. ^ 미국 교육 연구 협회, 심리학 협회 및 전국 교육 측정 위원회. (1999). 교육 및 심리 테스트의 표준. 워싱턴 DC: 미국 교육 연구 협회.
  5. ^ 국가 교육 측정 위원회. http://www.ncme.org/ncme/NCME/Resource_Center/Glossary/NCME/Resource_Center/Glossary1.aspx?hkey=4bb87415-44dc-4088-9ed9-e8515326a061#anchorV
  6. ^ 크레이머, 제프리 P, 더글러스 A. 번스타인, 비키 파레스. 임상 심리학에 대한 소개. 7부. Upper Saddle River, NJ: Pearson Fatherice Hall, 2009. 인쇄하다
  7. ^ a b Cronbach, Lee J.; Meehl, Paul E. (1955). "Construct validity in psychological tests". Psychological Bulletin. 52 (4): 281–302. doi:10.1037/h0040957. hdl:11299/184279. ISSN 0033-2909. PMID 13245896. S2CID 5312179.
  8. ^ 폭스크로프트, C, 패터슨, H, 르루, N, & 허브스트, D. 인간과학연구회, (2004년. '남아프리카의 심리학적 평가: A는 분석을 필요로 한다. 테스트는 심리 평가 실무자의 패턴과 니즈를 사용한다. 최종 보고서: 7월. 웹사이트에서 검색됨: http://www.hsrc.ac.za/research/output/outputDocuments/1716_Foxcroft_Psychologicalassessmentin%20SA.pdf
  9. ^ 가장 흔한 추정치는 4만~6만 명이다. 브라이언 레백(현대 초기 유럽의 마녀사냥)은 알려진 유럽의 마녀 재판 횟수를 유죄 판결과 사형 집행 평균으로 곱해 약 6만 명의 사망자를 냈다. 앤 르윈 바스토우(마녀크래즈)는 10만 명의 사망자를 추정하면서, 잃어버린 기록을 설명하기 위해 레백의 추정치를 조정했다. 로널드 허튼(달의 트라이엄프)은 레백의 추정치가 이미 조정되었다고 주장하며, 이 수치를 약 4만 명으로 수정한다.
  10. ^ Campbell, Donald T. (1957). "Factors relevant to the validity of experiments in social settings". Psychological Bulletin. 54 (4): 297–312. doi:10.1037/h0040950. ISSN 1939-1455. PMID 13465924.
  11. ^ 코즈비, 폴 C.. 행동 연구의 방법 10번지 보스턴: McGraw-Hill 고등교육, 2009. 인쇄하다
  12. ^ Jonathan Javid (6 November 2015). "Measurement validity and reliability". slideshare.net. Retrieved 23 March 2018.
  13. ^ Lin, Hause; Werner, Kaitlyn M.; Inzlicht, Michael (2021-02-16). "Promises and Perils of Experimentation: The Mutual-Internal-Validity Problem". Perspectives on Psychological Science. 16 (4): 854–863. doi:10.1177/1745691620974773. ISSN 1745-6916. PMID 33593177. S2CID 231877717.
  14. ^ Schram, Arthur (2005-06-01). "Artificiality: The tension between internal and external validity in economic experiments". Journal of Economic Methodology. 12 (2): 225–237. doi:10.1080/13501780500086081. ISSN 1350-178X. S2CID 145588503.
  15. ^ a b c d e Kendell, R; Jablensky, A (2003). "Distinguishing between the validity and utility of psychiatric diagnoses". The American Journal of Psychiatry. 160 (1): 4–12. doi:10.1176/appi.ajp.160.1.4. PMID 12505793.
  16. ^ Kendler, KS (2006). "Reflections on the relationship between psychiatric genetics and psychiatric nosology". The American Journal of Psychiatry. 163 (7): 1138–46. doi:10.1176/appi.ajp.163.7.1138. PMID 16816216.
  17. ^ Perri, FS; Lichtenwald, TG (2010). "The Precarious Use Of Forensic Psychology As Evidence: The Timothy Masters Case" (PDF). Champion Magazine (July): 34–45.

추가 읽기