내부유효성

Internal validity

내부 타당성은 특정 연구의 맥락 안에서 인과관계에 대한 주장을 뒷받침하는 증거의 한 부분이다. 그것은 과학 연구의 가장 중요한 속성 중 하나이며 증거에 대한 추론에서 더 일반적으로 중요한 개념이다. 내적 타당성은 연구결과에 대한 대안적 설명(일반적으로, 체계적 오류 또는 '생물'의 출처)을 얼마나 잘 배제할 수 있는지에 따라 결정된다. 그것은 결과가 다른 맥락에 대한 결론을 정당화할 수 있는 범위(즉, 결과가 일반화될 수 있는 범위)인 외부 타당성과 대조된다.

세부 사항

추론은 두 변수 사이의 인과관계가 적절히 입증되면 내적 타당성을 갖는다고 한다.[1][2] 다음과 같은 세 가지 기준이 충족될 때 유효한 인과 추론을 할 수 있다.

  1. "원인"이 시간상 "효과"보다 선행(우선순위),
  2. "원인"과 "효과"는 함께 발생하는 경향이 있다(공분산)
  3. 관찰된 공분리에 대한 타당한 대안적 설명이 없다.[2]

과학적 실험 설정에서 연구자들은 종종 한 변수(독립 변수)의 상태를 변경하여 그것이 두 번째 변수(의존 변수)에 어떤 영향을 미치는지 확인한다.[3] 예를 들어, 연구자는 특정 약물이 건강에 어떤 영향을 미치는지 보기 위해 여러 그룹의 사람들 사이에서 특정 약물의 복용량을 조작할 수 있다. 이 예에서 연구자는 인과적 추론 즉, 약물의 다른 선량이 관찰된 변화나 차이에 대해 책임을 질 수 있다는 것을 하기를 원한다. 연구자가 종속변수의 관찰된 변화나 차이를 독립변수에 자신 있게 귀속시킬 수 있을 때(즉, 연구자가 이들 변수 사이의 연관성을 관찰하고 다른 설명이나 경쟁 가설들을 배제할 수 있을 때) 인과 추론은 내부적으로 타당하다고 한다.[4]

그러나 많은 경우에 종속변수에서 발견된 효과의 크기는 단순히 의존적인 것이 아니다.

  • 독립 변수의 변동,
  • 영향을 측정하고 탐지하는 데 사용되는 계측기와 통계적 절차의 힘
  • 통계적 방법의 선택(통계적 결론 타당성 참조).

오히려 (또는 통제할 수 없는) 여러 변수나 상황은 발견된 효과에 대한 추가 또는 대체 설명(a)과 발견된 효과의 크기에 대한 (b)로 이어질 수 있다. 그러므로 내적 타당성은 어느 쪽이든 혹은 어느 쪽이든 문제가 아니며, 그것이 바로 참된 실험 이외의 연구 설계도 역시 내적 타당성이 높은 결과를 산출할 수 있는 정확한 이유다.

높은 수준의 내부 타당성을 가진 추론을 허용하기 위해 연구 설계 중에 주의사항을 취할 수 있다. 경험 법칙으로서 독립 변수의 직접 조작에 기초한 결론은 조작 없이 관찰된 연관성에 기초한 결론보다 내부 타당성이 더 크다.

내부 타당성만을 고려할 때, 고도로 제어되는 실제 실험 설계(즉, 무작위 선택, 제어 또는 실험 그룹에 무작위 할당, 신뢰할 수 있는 기기, 신뢰할 수 있는 조작 프로세스 및 교란 요인에 대한 안전장치)는 과학 연구의 "금본 표준"이 될 수 있다. 그러나 내부 타당성을 높이기 위해 사용되는 바로 그 방법은 또한 조사 결과의 일반성 또는 외부 타당성을 제한할 수 있다. 예를 들어, 동물원에서 동물의 행동을 연구하면 그 맥락 안에서 유효한 인과적 추론을 더 쉽게 이끌어낼 수 있지만, 이러한 추론은 야생 동물들의 행동에 일반화되지 않을 수도 있다. 일반적으로 실험실에서 특정 과정을 연구하는 전형적인 실험에서는 일반적으로 그 과정에 강하게 영향을 미치는 많은 변수를 생략할 수 있다.

위협 예제

내부 유효성에 대한 이러한 위협 중 8개를 리콜하려면 다음과 같은 의미인 니모닉 약어인 THE MES를 사용하십시오.[5]

  • 테스트,
  • 역사
  • 계측기 변경,
  • 평균에 대한 통계적 회귀 분석,
  • 성숙
  • 실험 사망률,
  • 선택 및
  • 선택 상호 작용.

애매한 시간적 우선 순위

어떤 변수가 먼저 바뀌었는지 알 수 없을 때는 어떤 변수가 원인이고 어떤 것이 효과인지 판단하기 어려울 수 있다.

교란

인과적 추론의 타당성에 대한 주요 위협은 다음과 같다. 종속변수의 변화는 오히려 조작된 변수와 관련된 세 번째 변수의 변동에 기인할 수 있다. 거짓 관계를 배제할 수 없는 경우, 원래의 인과 추론에 대한 경쟁 가설이 개발될 수 있다.

선택편향

선택 편향은 사전 시험에서 독립 변수와 상호작용할 수 있는 그룹 간의 차이가 존재하여 관측 결과에 대해 '책임감'을 갖는 문제를 말한다. 연구자들과 참여자들은 무수한 특징들, 일부 학습된 것들, 그리고 다른 내재된 것들을 실험에 가져온다. 예를 들어 성, 몸무게, 머리, 눈, 피부색, 성격, 정신 능력, 신체 능력 등이 있지만, 동기나 참여 의지와 같은 태도도 그렇다.

연구의 선택 단계 중, 동일하지 않은 수의 시험 대상자가 유사한 주제 관련 변수를 갖는 경우, 내부 타당성에 대한 위협이 있다. 예를 들어, 한 연구자가 실험 그룹과 제어 그룹이라는 두 개의 테스트 그룹을 만들었다. 두 그룹의 피험자는 독립 변수와 관련하여 유사하지 않지만 하나 이상의 피험자 관련 변수에서 유사하다.

또한 자기 선택은 종속 변수의 해석력에 부정적인 영향을 미친다. 이는 특정 인구통계 개인이 다른 인구통계보다 더 높은 비율로 시험에 응시하는 온라인 설문조사에서 종종 발생한다.

역사

연구/실험을 벗어나거나 종속 변수의 반복 측정 사이의 사건은 실험 절차에 대한 참가자의 반응에 영향을 미칠 수 있다. 흔히 이러한 사건은 참여자의 태도와 행동에 영향을 미치는 대규모 사건(자연재해, 정치적 변화 등)으로, 의존적 조치의 변화가 독립적 변수 때문인지, 아니면 역사적 사건 때문인지 판단할 수 없게 된다.

성숙

실험이 진행되는 동안 또는 측정 사이에 피사체가 변경된다. 예를 들어, 어린 아이들은 성숙할 수 있고, 집중하는 능력은 그들이 자라면서 바뀔 수 있다. 신체적 성장과 같은 영구적인 변화와 피로와 같은 일시적인 변화는 모두 "자연적인" 대안적 설명을 제공하므로, 그들은 대상이 독립 변수에 반응하는 방식을 바꿀 수 있다. 따라서 연구를 완료한 후, 연구자는 불일치의 원인이 시간 또는 독립 변수에 의한 것인지 판단하지 못할 수 있다.

반복 테스트(테스트 효과라고도 함)

참가자를 반복적으로 측정하면 편견이 생길 수 있다. 참가자는 정답을 기억하거나 시험 중임을 알 수 있도록 조건을 붙일 수 있다. (같거나 비슷한) 지능 테스트를 반복적으로 치르는 것은 보통 점수 상승으로 이어지지만, 기초 기술이 영원히 바뀌었다고 결론짓는 대신, '내부 타당성'에 대한 이러한 위협은 좋은 라이벌 가설을 제공한다.

계측기 변경(계기)

시험 과정 중에 사용되는 기구는 실험을 변경할 수 있다. 이것은 또한 관찰자들이 더 집중되거나 준비되거나, 혹은 그들이 판단을 내릴 때 사용하는 기준을 무의식적으로 바꾼 것을 말한다. 이 역시 다른 시기에 주어진 자진신고 대책에 문제가 될 수 있다. 이 경우, 소급 전형을 사용함으로써 영향을 완화시킬 수 있다. 계측 변경이 발생하는 경우, 대체 설명을 쉽게 이용할 수 있기 때문에 주요 결론의 내부 타당성에 영향을 미친다.

평균에 대한 회귀 분석

주 기사: 평균에 대한 회귀 분석

이러한 유형의 오차는 시험 중 극한 점수(평균에서 멀리 떨어진 점수)에 기초하여 피실험자를 선택할 때 발생한다. 예를 들어, 읽기 점수가 가장 낮은 아이들이 읽기 과정에 참여하도록 선택되었을 때, 과정 끝의 개선은 과정의 효과성이 아닌 평균에 대한 회귀에 기인할 수 있다. 만약 그 아이들이 과정이 시작되기 전에 다시 테스트를 받았다면, 그들은 어쨌든 더 좋은 점수를 얻었을 것이다. 마찬가지로 개별 점수에 대한 극단적 특이치는 시험의 한 예에서 포착될 가능성이 더 높지만 반복적인 시험으로 보다 정상적인 분포로 진화될 가능성이 높다.

사망률/차이차 감소

주요 기사: 생존 편향

이 오류는 처음부터 끝까지 참여한 참가자만 기준으로 추론할 경우 발생한다. 그러나, 참가자들은 완료 전에, 그리고 심지어 연구나 프로그램 또는 실험 자체 때문에라도, 연구를 중단했을 수 있다. 예를 들어, 그룹 구성원이 사후 테스트에서 금연을 한 비율은 대조군보다 금연 교육을 받은 그룹에서 훨씬 더 높게 나타났다. 그러나 실험군에서는 60%만이 프로그램을 완료했다. 이러한 소진이 연구의 어떤 특징, 독립 변수의 관리, 계측기와 체계적으로 관련되어 있거나, 또는 중퇴가 그룹 간의 관련 편향으로 이어질 경우, 관찰된 차이를 설명하는 전체 종류의 대체 설명이 가능하다.

선택-성 상호작용

주체와 관련된 변수, 머리카락의 색, 피부색 등과 시간 관련 변수, 나이, 신체 크기 등이 상호 작용할 때 발생한다. 두 그룹 사이에 차이가 발생하는 경우, 이 차이는 나이 범주의 나이 차이 때문일 수 있다.

확산

치료 효과가 치료 그룹에서 대조군으로 확산되는 경우 실험 그룹과 대조군 그룹 간의 차이가 관찰될 수 있다. 그러나 이것은 독립 변수가 효과가 없거나 종속변수와 독립변수의 관계가 없다는 것을 의미하지는 않는다.

보상적 경쟁/재량적 사기가 저하됨

대조군 그룹의 동작은 연구의 결과로 변할 수 있다. 예를 들어, 통제 그룹 구성원은 실험 그룹의 예상되는 우월성이 입증되지 않는지 보기 위해 더 많은 노력을 할 수 있다. 다시 말해, 이것은 독립 변수가 아무런 영향을 미치지 않았거나 종속 변수와 독립 변수 사이에 관계가 없음을 의미하지는 않는다. 반대로, 종속변수의 변화는 독립변수에 기인한 것이 아니라 사기가 저하된 통제집단에 의해서만 영향을 받을 수 있다.

실험자 편향

실험자 편향은 실험을 수행하는 개인이 통제 그룹과 실험 그룹의 구성원들에게 의도하지 않게 다른 방식으로 행동함으로써 결과에 영향을 미칠 때 발생한다. 실험자가 참가자가 속한 조건을 인지하지 못하는 이중 블라인드 연구 설계의 활용을 통해 실험자의 편향 가능성을 없앨 수 있다.

상호 내부 유효성 문제

내적 타당성이 높은 실험은 실생활에서 관련성이 없는 현상이나 결과를 만들어 낼 수 있어 상호 내적 타당성 문제가 발생한다.[6][7] 그것은 연구자들이 이론을 개발하기 위해 실험 결과를 이용하고 그 이론들을 이론 시험 실험을 설계하는데 사용할 때 발생한다. 실험과 이론 사이의 이러한 상호 피드백은 인공적인 실험실 환경에서만 현상과 결과만을 설명하는 이론으로 이어질 수 있지만 실생활에서는 그렇지 않다.

참고 항목

참조

  1. ^ 양조장, M. 2000. 연구 설계 및 타당성 문제. Reis, H. and Judd, C. (eds) 사회·인성심리학 연구방법 핸드북. 케임브리지:케임브리지 대학 출판부.
  2. ^ a b 샤디쉬, W, 쿡, T, 캠벨, D. (2002) 보스턴의 생성 인과 추론을 위한 실험 및 준 실험 설계:호우톤 미플린.
  3. ^ 레빈, G., 파킨슨, S. (1994년) 심리학의 실험 방법. 뉴저지 힐스데일: 로렌스 얼바움.
  4. ^ 리버트, R. M. & 리버트, L. L. (1995년) 과학 및 행동: 심리학 연구 방법에 대한 소개. 엥글우드 절벽, NJ: 프렌티스 홀.
  5. ^ Wortman, P. M. (1983). "Evaluation research – A methodological perspective". Annual Review of Psychology. 34: 223–260. doi:10.1146/annurev.ps.34.020183.001255.
  6. ^ Schram, Arthur (2005-06-01). "Artificiality: The tension between internal and external validity in economic experiments". Journal of Economic Methodology. 12 (2): 225–237. doi:10.1080/13501780500086081. ISSN 1350-178X.
  7. ^ Lin, Hause; Werner, Kaitlyn M.; Inzlicht, Michael (2021-02-16). "Promises and Perils of Experimentation: The Mutual-Internal-Validity Problem". Perspectives on Psychological Science: 1745691620974773. doi:10.1177/1745691620974773. ISSN 1745-6916.

외부 링크