외부유효성

외부 타당성은 해당 연구의 맥락 밖에서 과학 연구의 결론을 적용하는 타당성이다.^[1] 즉, 연구 결과를 다른 상황, 사람, 자극, 시간 등으로 일반화할 수 있는 범위인 것이다.^[2] 이와는 대조적으로, 내부 타당성은 특정 연구의 맥락 안에서 도출된 결론의 타당성이다. 일반적인 결론은 거의 항상 연구의 목표이기 때문에, 외부 타당성은 어떤 연구의 중요한 속성이다. 외부 유효성의 수학적 분석은 이종 모집단 전체에 걸친 일반화가 실현 가능한지의 판단과 유효한 일반화를 산출하는 통계적 및 계산적 방법을 고안하는 것과 관련이 있다.^[3]

위협

"외부적 타당성에 대한 위협은 특정 연구의 결과로부터 일반화를 하는 것이 어떻게 잘못될 수 있는지를 설명하는 것이다."^[4] 대부분의 경우 일반화 가능성은 한 요인(즉 독립 변수)의 효과가 다른 요인에 의존할 때 제한된다. 따라서 외부 타당성에 대한 모든 위협은 통계적 상호작용이라고 설명할 수 있다.^[5] 일부 예는 다음과 같다.

• 치료에 의한 적성 상호작용: 표본은 독립 변수와 상호작용하는 특정 형상을 가질 수 있으며, 일반성을 제한할 수 있다. 예를 들어, 비교 심리치료 연구는 종종 특정한 샘플(예: 자원 봉사자, 매우 우울함, 동반자 없음)을 채택한다. 만약 심리치료가 이러한 샘플 환자들에게 효과적이라고 밝혀진다면, 자원봉사가 아닌 사람이나 가벼운 우울증이나 동시에 다른 장애가 있는 환자들에게도 효과가 있을까? 그렇지 않다면 연구의 외부 타당성은 제한될 것이다.
• 치료 상호작용에 의한 상황: 연구의 모든 상황별 세부사항(예: 치료 조건, 시간, 위치, 조명, 소음, 치료 관리, 조사자, 시기, 범위 및 측정 범위 등)은 잠재적으로 일반화를 제한할 수 있다.
• 치료 상호작용에 의한 사전 테스트: 사전 테스트를 수행할 때만 인과 관계를 찾을 수 있는 경우, 이는 또한 소견의 일반성을 제한한다. 이것은 때때로 "감각"이라는 꼬리표 밑에 들어가는데, 이는 사전 테스트가 사람들을 치료의 조작에 더 민감하게 만들기 때문이다.

연구의 외부 타당성은 연구의 내부 타당성에 의해 제한된다는 점에 유의한다. 연구 내에서 이루어진 인과 추론이 무효인 경우, 다른 맥락에 대한 추론의 일반화도 무효가 될 것이다.

Cook과 Campbell은^[6] 일부 모집단에 대한 일반화와 일부 배경 요인의 다른 수준에 의해 정의된 하위 모집단에 대한 일반화 사이에 중요한 구분을 했다. 린치는 역사의 스냅숏으로 보지 않는 한 의미 있는 모집단에 일반화하는 것은 거의 불가능하다고 주장해 왔지만, 일부 종속변수에 대한 어떤 원인의 영향이 어떤 배경요인에 따라 달라지는 하위 모집단에 일반화되는 정도를 시험하는 것은 가능하다. 이를 위해서는 조사 중인 치료 효과가 하나 이상의 배경 요인과의 상호작용에 의해 완화되는지 여부를 검사해야 한다.^[5][7]

무장 해제 위협

유효성에 대한 위협을 열거하면 연구자들이 근거 없는 일반화를 피하는데 도움이 될 수 있지만, 그러한 위협들 중 상당수는 유효한 일반화를 가능하게 하기 위해 무장을 해제하거나 체계적인 방법으로 무력화할 수 있다. 구체적으로는 한 모집단의 실험 결과를 "재처리"하거나 "재교정"하여 인구 차이를 우회하고 실험을 수행할 수 없는 두 번째 모집단에서 유효한 일반화를 산출할 수 있다. 펄과 바린보임은^[3] 일반화 문제를 (1) 유효 재교정에 자신을 빌려주는 문제와 (2) 이론적으로 외부 타당성이 불가능한 것으로 분류했다. 그래프 기반 미적분학을 사용하여, 문제 인스턴스(instance)가 유효한 일반화가 가능하도록 필요하고도 충분한 조건을 도출하고, 필요한 재교정을 자동적으로 생성하는 알고리즘을 고안했다.^[8][9] 이것은 외부의 타당성 문제를 그래프 이론의 연습으로 감소시키고, 일부 철학자들은 그 문제가 이제 해결되었다고 결론짓게 했다.^[10]

외부 유효성 문제의 중요한 변형은 표본추출편향이라고도 알려진 선택편향, 즉 의도된 모집단의 비대표 표본에 대한 연구가 수행될 때 발생하는 편향을 다룬다. 예를 들어, 대학생들을 대상으로 임상시험을 실시하는 경우, 조사자는 연령, 교육, 소득과 같은 속성이 일반 학생의 속성과 상당히 다른 전체 모집단에 대해 결과가 일반화되는지 여부를 알고 싶어할 수 있다. 바린보임과 펄의 그래프 기반 방법은 표본 선택 편향을 우회할 수 있는 조건을 식별하고, 이러한 조건이 충족되면 전체 모집단의 평균 인과 효과에 대한 편중되지 않은 추정기를 구성한다. 부적절하게 샘플링된 연구와 상이한 모집단에 걸친 일반화의 주요한 차이는 모집단 간의 차이가 대개 나이나 민족성과 같은 기존 요인에 의해 야기되는 반면 선택 편향은 종종 치료 후 조건, 예를 들어 환자를 중퇴시키는 등의 이유로 야기된다는 사실에 있다.f 연구 또는 부상의 심각도에 의해 선택된 환자. 시술 후 요인에 의해 선택이 좌우되는 경우 편견이 없는 추정을 보장하기 위해 파격적인 재교정 방법이 필요하며, 이러한 방법은 문제의 그래프에서 쉽게 얻을 수 있다.^[11][12]

예

만약 나이가 개인마다 치료 효과를 다르게 만드는 주요 요인으로 판단된다면, 표본 추출된 학생과 일반 모집단 사이의 나이 차이는 그 모집단의 평균 치료 효과에 대한 편향된 추정으로 이어질 것이다. 이러한 편향은 간단한 재측정 절차를 통해 교정할 수 있다. 우리는 학생 하위 인구에서 연령별 효과를 취하며 일반 인구의 연령 분포를 사용하여 평균을 계산한다. 이것은 우리에게 인구의 평균 치료 효과에 대한 편견 없는 추정치를 줄 것이다. 반면에 연구 표본과 일반 모집단을 구별하는 관련 요인이 그 자체로 치료의 영향을 받는 경우, 다른 재위조 계획을 실행할 필요가 있다. 이 인자를 Z라고 부르면 실험 표본에서 다시 Y에 대한 X의 z 고유 효과를 평균하지만, 지금은 Z에 대한 X의 "관심 효과"로 무게를 재게 된다. 즉, 새로운 무게는 전체 모집단에 X=x를 투여했을 때 Z=z 수준에 도달한 단위의 비율이다. 흔히 쓰여진^[13] $P{\displaystyle (Z}$= z ${\displaystyle d}$ ${\displaystyle o}$ ${\displaystyle (}$ X${\displaystyle }$= $){\displaystyle P(Z=z do(X=x))})$는 일반 모집단의 관찰 연구로부터 추정할 수 있다$.$

이러한 성질의 대표적인 예는 Z가 치료와 결과 사이의 중재자일 때 나타난다. 예를 들어, 치료법은 콜레스테롤을 감소시키는 약물이 될 수도 있고, Z는 콜레스테롤 수치일 수도 있고, Y 기대수명이 될 수도 있다. 여기서, Z는 치료의 영향을 받고 결과를 결정하는 주요 요인 Y. 실험 연구에 선택된 피실험자들은 일반 모집단에서 일반적인 것보다 더 높은 콜레스테롤 수치를 갖는 경향이 있다고 가정해 보자. 전체 모집단의 생존에 대한 약물의 평균적 효과를 추정하기 위해 우선 실험 연구에서 z별 치료 효과를 계산한 다음 가중 함수로$$ $P{\displaystyle (Z}$= ${\displaystyle z}$ ${\displaystyle d}$ ${\displaystyle o}$( ${\displaystyle X}$= x $){\displaystyle P(Z=z do(X=x))})$를 사용하여 평균화한다. 얻어진 추정치는 Z와 Y가 교락된 경우에도 편향되지 않을 것이다. 즉, Z와 Y 모두에 영향을 미치는 측정되지 않은 공통 요인이 있는 경우에도 편향되지 않을 것이다.^[14]

이것과 다른 가중치 체계의 타당성을 보장하는 정확한 조건은 바린보임과 펄, 2016년^[14] 및 바린보임 외, 2014년에 공식화된다.^[12]

외부, 내부 및 생태적 타당성

많은 연구와 연구 설계에서 내부 타당성과 외부 타당성 사이에 절충이 있을 수 있다.^[15][16][17] 내부 타당성을 높이려는 시도는 또한 조사 결과의 일반성을 제한할 수 있으며, 그 반대의 경우도 마찬가지일 수 있다. 이런 상황은 많은 연구자들이 "생태학적으로 타당한" 실험을 요구하게 만들었다. 그것은 실험 절차가 "실제" 조건과 유사해야 한다는 것을 의미한다. 그들은 인공적으로 통제되고 제한된 환경에 초점을 두고 많은 실험실에 근거한 연구에서 생태학적 타당성의 결여를 비판한다. 일부 연구자들은 생태학적으로 유효한 연구 설계에 근거한 인과적 추론이 인공적으로 생산된 실험실 환경에서 얻은 것보다 더 높은 수준의 일반성을 허용한다는 점에서 외부 타당성과 생태적 타당성이 밀접하게 연관되어 있다고 생각한다. 그러나 이는 다시 일부 모집단에 대한 일반화(생태적 타당성에 대한 우려와 밀접하게 관련됨)와 일부 배경 요인에 따라 다른 하위 모집단에 걸친 일반화의 구별과 관련이 있다. 생태학적으로 유효한 연구 환경에서 생성된 일부 연구 결과는 일반화하기가 어려울 수 있으며, 고도로 통제된 환경에서 생성된 일부 연구 결과는 거의 보편적인 외부 타당성을 주장할 수 있다. 따라서 외부 및 생태적 타당성은 독립적이다. 연구는 외부 타당성은 보유하지만 생태적 타당성은 보유하지 않을 수 있으며, 그 반대의 경우도 마찬가지다.

질적 연구

질적 연구 패러다임 안에서 외부 타당성은 이전 가능성 개념으로 대체된다. 전달성은 유사한 매개변수, 모집단 및 특성을 가진 상황으로 이전할 수 있는 연구 결과의 능력이다.^[18]

실험에서

연구자들은 실험이 본질적으로 외부 타당성이 낮다고 주장하는 것이 일반적이다. 실험 방법을 따를 경우 많은 단점이 발생할 수 있다는 주장도 있다. 상황에 대한 충분한 통제력을 얻어 무작위로 사람을 조건에 배정하고 외부 변수의 영향을 배제하는 덕택에 상황은 다소 인위적이고 실제 생활과 멀어질 수 있다.

문제에는 두 가지 종류의 일반화가 있다.

1. 실험자가 구성한 상황부터 실제 상황(상황에 걸친 일반화 가능성)^[2]까지 일반화할 수 있는 범위
2. 실험에 참여한 사람부터 일반인에 이르기까지 일반화할 수 있는 범위(사람에 걸친 일반화)^[2]

그러나 이 두 가지 고려사항 모두 연구된 특정 상황과 응답자와 다른 사람들을 대상으로 한 실험에서 도출된 발견의 일반성을 평가하는 것이 논쟁의 여지가 있을 정도로 더 중요한 과제라기 보다는 쿡과 캠벨의 목표 모집단에 대한 일반화 개념과 관련이 있다. 어떤 의미 ^[6]있는 방법

실험 비평가들은 필드 설정(또는 최소한 현실적인 실험실 설정)과 응답자들의 실제 확률 샘플을 사용함으로써 외부 타당성을 개선할 수 있다고 제안한다. 그러나 상황적 요인이나 개인적 배경 요인이 다른 하위 집단에 걸친 일반화 가능성을 이해하는 것이 목표라면, 이러한 치료법은 일반적으로 그들에게 귀속되는 외부 타당성을 증가시키는 효과가 없다. 연구자가 알지 못하는 배경 요인 X 치료 상호작용이 존재하는 경우(가능해 보이는 바와 같이), 이러한 연구 관행은 상당한 외부 타당성 결여를 가릴 수 있다. 산업 및 조직 심리학에 관한 글을 쓴 딥보이와 플래너건은 하나의 분야 설정과 하나의 연구실 설정에서 나온 결과가 똑같이 두 번째 분야 설정으로 일반화될 가능성이 낮다는 증거에 주목한다.^[19] 따라서 현장 연구는 본래 외부 타당성이 높은 것이 아니며 실험실 연구는 외부 타당성이 낮은 것이 아니다. 두 경우 모두 해당 연구에서 일정하게 유지되는 배경 요인의 변화에 따라 연구된 특정 치료 효과가 변화할 것인지에 달려 있다. 자신의 연구가 치료와 상호 작용하지 않는 일부 배경 요소의 수준에 대해 "비현실적"이라면, 외부 유효성에 영향을 미치지 않는다. 실험이 일부 배경 인자를 비현실적인 수준에서 일정하게 유지하고 그 배경 인자를 변화시키면 강력한 치료 x 배경 인자 교호작용이 나타났을 경우에만 외부 타당성이 위협된다.^[5]

상황에 따른 일반화 가능성

대학에서 시도되는 심리실험에 대한 연구는 인위적인 상황에서 진행돼 현실로 일반화할 수 없다는 비판을 받는 경우가 많다.^[20][21] 이 문제를 해결하기 위해 사회심리학자들은 그들의 연구를 가능한 한 현실적이게 함으로써 결과의 일반성을 높이려고 한다. 위에서 언급한 바와 같이, 이것은 특정 집단에 일반화되기를 바라는 것이다. 사실주의(realism per se)는 설정이 다소 더 현실적이거나 연구 참가자가 다른 현실적 환경에 배치될 경우 결과가 변경될 것인지에 대한 진술을 하는 데 도움이 되지 않는다. 하나의 설정만 시험하는 경우 설정 전반에 걸친 일반화 가능성에 대한 문구를 작성할 수 없다.^[5][7]

그러나 많은 저자들이 외부의 타당성과 현실주의를 털어놓는다. 실험이 현실적일 수 있는 방법은 두 가지 이상이다.

1. 일상 생활에서 자주 일어나는 사건들과 실험 상황의 유사성—많은 실험들이 분명히 비현실적이라는 것은 분명하다.
2. 많은 실험에서, 사람들은 일상 생활에서 거의 마주치지 않는 상황에 놓인다.

이는 실험이 실제 상황과 어느 정도 유사한지를 실험의 일상적인 사실주의로 지칭한다.^[20]

실험에서 촉발된 심리적 과정이 일상생활에서 일어나는 심리적 과정과 얼마나 유사한지 심리학적 현실성이 높은지 확인하는 것이 더 중요하다.^[22]

실제 사건에 몰두하는 자신을 발견하면 심리적 현실감이 고조된다. 이를 위해 연구원들은 때때로 참가자들에게 커버스토리 즉, 연구의 목적에 대한 잘못된 설명을 들려준다. 그러나 실험자들이 실험의 목적을 참가자들에게 말한다면 그러한 절차는 심리적인 현실성이 낮을 것이다. 일상생활에서는 언제 위급상황이 발생할지 아무도 모르며 이에 대한 대응을 계획할 시간이 없다. 이는 촉발된 심리적 과정의 종류가 실제 비상사태의 것과 크게 달라져 연구의 심리적 현실성을 떨어뜨린다는 것을 의미한다.^[2]

사람들은 왜 그들이 하는 일을 하는지, 또는 그것이 일어날 때까지 무엇을 하는지 항상 알지 못한다. 따라서 참가자들에게 실험적인 상황을 설명한 다음 그들에게 정상적으로 반응하도록 요구하는 것은 실제로 같은 상황에 처한 사람들의 행동과 일치하지 않을 수도 있는 반응을 만들어 낼 것이다. 우리는 가상적인 상황에서 그들이 무엇을 할 것인가에 대한 사람들의 예측에 의존할 수 없다; 우리는 현실 세계에서 일어나는 것과 같은 심리적인 과정을 유발하는 상황을 구성할 때 비로소 사람들이 실제로 무엇을 할 것인지 알 수 있다.

사람에 따른 일반화 가능성

사회심리학자들은 일반적으로 사람들이 사회적 영향에 취약한 방식을 연구한다. 몇몇 실험에서 사회적 영향의 흥미롭고 예상치 못한 예를 기록했는데, 단지 다른 사람들이 존재한다는 단순한 지식으로 사람들이 도움을 줄 가능성을 줄였다.

실험 결과가 특정 모집단의 행동을 나타낸다는 것을 확인하는 유일한 방법은 참가자들이 해당 모집단에서 무작위로 선택되도록 하는 것이다. 사회심리실험을 위해 무작위 표본을 선택하는 것은 비현실적이고 비용이 많이 들기 때문에 실험의 표본을 조사 때처럼 무작위로 선택할 수는 없다. 정치적 여론 조사의 일환으로 전화로 몇 가지 질문에 대답하는 데 동의하도록 무작위 샘플을 설득하는 것은 충분히 어려운 일이며, 그러한 여론 조사는 시행하는데 수천 달러가 들 수도 있다. 더구나 비록 어떤 식으로든 진정으로 무작위적인 표본을 모집할 수 있었다 하더라도 실험 치료의 효과에는 관찰되지 않은 이질성이 있을 수 있다... 치료는 일부 부분군에는 긍정적인 영향을 미칠 수 있지만 다른 부분군에는 부정적인 영향을 미칠 수 있다. 치료 평균에 표시된 효과는 어떤 부분군에도 일반화되지 않을 수 있다.^[5][23]

많은 연구자들은 이러한 과정이 너무나 근본적이어서 보편적으로 공유된다고 가정하고, 사회적 영향력에 취약하게 만드는 기본적인 심리과정을 연구함으로써 이 문제를 해결한다. 어떤 사회심리학 과정은 문화에 따라 다양하며, 그러한 경우, 다양한 사람들의 표본이 연구되어야 한다.^[24]

복제

실험의 외부 유효성에 대한 궁극적인 테스트는 복제다. 즉, 대상 모집단이 다르거나 설정이 다른 상태에서 연구를 다시 수행한다. 연구원들은 종종 그들이 여전히 같은 결과를 얻는지 알아보기 위해 다른 방법을 사용할 것이다.

한 문제에 대한 많은 연구가 수행되면, 결과는 달라질 수 있다. 몇몇 연구들은 방관자의 수가 도움의 행동에 미치는 영향을 발견할 수 있지만, 몇몇 연구들은 그렇지 않다. 이를 이해하기 위해, 독립 변수의 효과가 신뢰할 수 있는지 확인하기 위해 두 개 이상의 연구의 결과를 평균화하는 메타분석이라는 통계적 기법이 있다. 메타 분석은 본질적으로 많은 연구 결과에 걸친 발견이 우연이나 독립 변수에 기인할 확률을 알려준다. 독립변수가 20개 연구 중 하나에서만 영향을 미치는 것으로 밝혀진 경우 메타분석은 하나의 연구는 예외였으며 평균적으로 독립변수가 종속변수에 영향을 미치지 않는다는 것을 알려준다. 독립 변수가 대부분의 연구에서 영향을 미치는 경우, 메타 분석은 평균적으로 종속 변수에 영향을 미친다는 것을 우리에게 알려줄 가능성이 높다.

실험실에 국한되지 않는 신뢰할 수 있는 현상이 있을 수 있다. 예를 들어, 방관자들의 수를 증가시키면서 사람들의 아이들, 대학생들, 그리고 미래의 장관들;[24]이스라엘에서; 작은 마을과 미국의 대도시에[25], 심리학 실험실, 도시 길거리, 지하철 기차와 같은 설정 다양한[26],[27]과 포함하여 많은 종류와 행동을 돕는 것을 억제하는 것이 밝혀졌다.한 variet과y: 발작, 잠재적 화재, 싸움 및 사고와 같은 비상사태 유형 ^[28]및 타이어 펑크 발생과 같은 덜 심각한 사건.^[29] 이러한 복제들 중 많은 것들이 실제 환경에서 수행되어 왔으며, 사람들은 실험이 수행되고 있다는 것을 알 수 없었을 것이다.

사회심리학자의 기본적인 딜레마

심리학에서 실험을 할 때, 어떤 사람들은 내적 타당성과 외적 타당성 사이에 항상 절충이 존재한다고 믿는다.

1. 외부 변수가 결과에 영향을 주지 않고 무작위로 사람을 조건에 배정할 수 있도록 상황에 대한 충분한 통제력을 보유한다.
2. 그 결과가 일상생활에 일반화될 수 있도록 보장하는 것.

일부 연구자들은 외부 타당성을 높이는 좋은 방법은 현장 실험을 하는 것이라고 믿는다. 현장 실험에서, 사람들의 행동은 실험실 밖에서, 자연 환경 속에서 연구된다. 현장 실험은 실생활 환경에서 수행된다는 점을 제외하고는 실험실과 설계가 동일하다. 현장 실험의 참가자는 자신이 경험하는 사건이 사실상 실험이라는 것을 알지 못한다. 이런 실험은 일반 대학생 표본보다 다양한 실존 인물들로 현실에서 이뤄지고 있기 때문에 외부 타당성이 높다는 주장도 있다. 그러나 실제 환경 설정이 극적으로 다르기 때문에 하나의 실제 환경에서의 발견은 다른 실제 환경으로 일반화될 수도 있고 그렇지 않을 수도 있다.^[19]

단일 실험에서 내부적 타당성이나 외부적 타당성 모두 포착되지 않는다. 사회심리학자들은 우선 내부적 타당성을 선택하며, 사람들이 다른 조건에 무작위로 할당되고 모든 외부 변수가 통제되는 실험실 실험을 수행한다. 다른 사회심리학자들은 통제하기 위해 외부적 타당성을 선호하고, 대부분의 연구를 현장 연구로 수행하며, 많은 이들이 이 두 가지를 모두 수행한다. 두 가지 유형의 연구를 종합하면, 두 가지 유형의 연구는 완벽한 실험의 요건을 충족한다. 복제를 통해 연구자들은 주어진 연구 문제를 내적, 외적 타당성을 극대화하여 연구할 수 있다.^[30]

참고 항목

• 구성 유효성
• 내용유효성
• 통계적 결론 타당성

메모들