모드 효과

Mode effect
촬영장비 효과와 혼동하지 마십시오.

모드 효과는 특정 조사 관리 모드가 다른 데이터를 수집하게 하는 현상을 가리키는 광범위한 용어다.예를 들어, 두 개의 다른 모드(예: 종이와 전화)를 사용하여 질문을 할 때, 한 모드에 대한 응답은 다른 모드에 주어진 응답과 현저히 다를 수 있다.모드 효과는 방법론적 인공물로서 다양한 수집 모드에서 얻은 결과를 비교할 수 있는 능력을 제한한다.

이론

특정 조사 모드는 응답자들을 정신적 "대본"이라고 불리는 다른 마음의 틀에 넣는다.[1]이것은 그들이 주는 결과에 영향을 미칠 수 있다.예를 들면 다음과 같다.

  • 대면조사는 "게스트" 대본을 제시한다.응답자들은 대면 면접관들을 더 친절하고 친절하게 대할 가능성이 높아서, 그들이 더 호의적이고 그들의 대답에 영향을 미치게 된다.설문조사를 관리하는 면접관들 간의 차이는 또한 조사 결과에 대한 다양한 "면접자 효과"로 이어질 수 있다.
  • 전화 인터뷰는 "사기꾼" 또는 "텔레마케터" 대본을 요구한다.응답자들은 전화면접에 덜 우선순위를 두어 면접을 더 빨리 끝내기 위해 만족감을 더 높일 수 있다(최소한의 노력으로 질문에 대답할 수 있다.전화의 다른 쪽 끝에 있을 수 있는 경계심은 또한 응답자들이 다른 조사 모드에서 제공될 수 있는 것보다 더 사회적으로 받아들일 수 있는 답변을 제공하도록 이끌 수 있다.

모드 간 차이가 클[citation needed] 경우 모드 효과는 더 클 가능성이 높다.대면 인터뷰는 스스로 완성한 펜과 종이 형식과는 크게 다르다.대조적으로 웹 서브, 펜과 종이 및 기타 자체 완성 양식은 상당히 유사하며(각각 응답자는 질문을 읽고 개인적으로 응답해야 함) 따라서 모드 효과를 최소화할 수 있다.

설문 조사 사용자는 다른 모드의 연구 결과를 비교할 때 모드 효과의 가능성을 고려해야 한다.그러나 모드 효과는 복잡할 수 있고 응답자 인구통계, 주제 및 모드 간의 상호작용을 수반할 수 있기 때문에 이는 어렵다.조사기구에 대해 모드 효과를 정식으로 조사하지 않는 한, 그 규모와 주제에 정통한 전문가의 질적 판단을 정량화하기 어렵고 대신 각각의 모드가 요구된다.

사회적 만족도 편향성

모드 효과에 대한 연구는 때때로 모순되지만 몇몇 일반적인 패턴이 나타난다.예를 들어, 사회적 만족도 편향은 전화 조사의 경우 가장 높고 웹 조사의 경우 가장 낮은 경향이 있다.[2][3]

  1. 전화조사
  2. 대면조사
  3. IVR 조사
  4. 메일 조사
  5. 웹 설문 조사

따라서 행정모드에 따라 민감한 주제(성행위나 불법행위 등)에 대해 수집되는 데이터가 달라지기 때문에 연구자들은 데이터를 조합하거나 다른 모드의 결과를 비교하는 데 주의해야 한다.

모드 간 질문 차이

어떤 모드는 모드의 특징에 맞추기 위해 다른 모드와 다른 질문 표현을 요구한다.예를 들어, 자기 완성형 양식은 응답자들이 비교적 복잡한 질문에 대답할 수 있도록 사례 목록이나 광범위한 지시사항을 사용할 수 있다.이와는 대조적으로, 전화 면접에서 응답자들은 종종 업무 기억력에 의해 제한되며 여러 하위 절에서 긴 질문을 이해할 것 같지 않다.또 다른 예로는 자기완전형에서 흔히 발견되는 질문의 '매트릭스'가 구두 면접에서 쉽게 판독될 수 없다. 오히려 매트릭스는 일반적으로 일련의 개별 질문으로 대본을 작성해야 할 것이다.

모드에 따라 질문 문구의 차이가 다른 모드에 의해 다른 데이터가 수집되는 원인이 될 수 있다.그러나, 이것이 항상 그런 것은 아니며, 질문을 새로운 모드에 적절히 적응시키는 것은 유사한 데이터를[citation needed] 산출할 수 있다.설문 조사 설계자는 질문을 채택할 때 모드의 관례를 고려해야 한다.예를 들어, 응답자에게 총계수를 직접 문서 형태로 계산하도록 요구하는 것은 허용될 수 있지만, 응답자들은 웹 양식(응답자가 컴퓨터에서 총계가 자동으로 계산될 것으로 예상할 수 있는 경우)에서 이것이 필요한 경우 그것이 부담스럽다고 인식할 수 있다.이것은 다시 형태에 대한 그들의 태도를 바꿀 수 있고, 그들의 행동을 바꾸고, 궁극적으로 수집된 데이터를 바꿀 수 있다.

모드 효과 식별 및 해결

모드 효과는 각 모드에 응답자 비율이 할당되는 조사 내에 실험을 포함시킴으로써 식별할 수 있다.각 모드와의 결과 차이는 이 특정 설문조사에 대한 '모드 효과'를 식별해야 한다.

모드 효과가 정량화되면, 이 정보를 사용하여 기존 데이터를 재처리하고 다른 모드에서 수집된 데이터 간의 비교를 허용할 수 있다(예를 들어, 새로운 모드에서 과거 결과가 '어떤' 결과가 관리되었는지를 판단하기 위해 시계열을 역주조함으로써).

모드 간 차등 적용 범위

다른 관리 모드는 본질적으로 대상 모집단의 일부를 제외할 수 있다.이것은 채취한 샘플을 편향하고, 다른 모드를 사용하여 수집되었을 데이터를 변경한다.예를 들어, 집 전화가 없는 사람들은 RDD(Random Digit Dialling) 조사에서 제외되며, 인터넷에 접속하지 않는 사람들은 웹 설문 조사를 완료할 가능성이 낮다.이것은 다른 모드를 사용할 때 모집단에서 다른 표본을 추출한다는 것을 의미한다.상이한 적용범위를 조사하기 위해 실험이 특별히 설계되지 않는 한, 모드 효과는 적용범위에 의해 혼동될 것이며, 모드/실험 조건 간의 유의한 차이에는 다음과 같은 여러 가지 설명이 있을 수 있다.

  • 모드의 속성;com3
  • 다양한 모드에 반응하는 사람들의 다른 '동작'
  • (적층적인 방식으로) 응답자의 모드 특성과 서로 다른 '모드' 특성 모두
  • 어떤 응답자는 모드의 속성에 영향을 받지만 다른 응답자는 그렇지 않은 상호 작용.

이 문제는 조사의 '실시간' 관리에서 다중 모드를 사용할 때 악화된다.일부 설문조사는 복수 모드를 사용하므로 응답자가 가장 편리한 방법을 선택할 수 있다.즉, 응답자의 다른 '유형'은 자신의 선택에 따라 다른 모드를 완성할 것으로 예상된다.이 경우, 어떤 조건에 임의로 응답자를 할당하는 것은 그들의 선호도를 반영하지 않기 때문에 모드 효과를 정량화하기가 어렵다.그러한 실험은 외부 타당성이 결여되어 있으며, 결과가 응답자에게 선택권을 제공하는 상황에 직접 일반화되지는 않을 것이다.참가자를 조건(즉, 선택을 허용하여 외부 타당성을 유지)에 무작위로 할당하지 않는 것은 각 모드를 선택하는 다른 응답자 유형의 결합 효과를 반영하는 모드 간의 분명한 차이를 의미하며, b) 모드 효과를 의미한다.

참조

  1. ^ 그로브스, 로버트 M. (1989년).Survey Errors and Survey Costs, New York: Wiley-Interscience.
  2. ^ 프라우케 크뢰터, 스탠리 프레스어, 로저 투란게아우."CATI, IVR 및 웹 설문 조사의 사회적 만족도 편견:모드의 영향 및 질문 민감도".공개 오피니언 Q (2008) 72(5): 847-865 2009년 1월 26일 온라인 최초 발행:10.1093/poq/nfn063
  3. ^ 앨리슨 L.홀브룩, 멜라니 C그린 앤 존 A.크로스닉."긴 질문지를 가진 국가 확률 표본의 전화 대 대면 인터뷰:응답자 만족도와 사회적 만족도 응답편향의 비교"공개 오피니언 Q(2003) 67(1): 79-125. doi:10.1086/346010.
  4. ^ De Lew, E. (2005년.설문조사에서 데이터 수집 모드를 혼합하거나 혼합하지 않는 방법.공식 통계 저널, 21(2): 233-255.