인지적 사전 테스트

Cognitive pretesting

인지 사전시험, 즉 인지면접은 대상자가 면접 질문에 어떻게 답하는지에 대한 데이터를 수집하는 현장 연구 방법이다. 그것은 시험이나 설문지를 실시하기 전에 평가하는 것이다.[1] 그것은 조사 연구자들이 조사 응답에 관한 피드백을 수집할 수 있도록 하며, 그 질문이 연구자가 의도하는 구조를 측정하는 것인지 여부를 평가하는 데 사용된다. 그런 다음 수집된 데이터는 설문지의 문제 질문을 조정하고 전체 표본에 대한 설문조사를 실시하기 전에 사용된다.[2][3][4][5][6]

인지 면접은 일반적으로 참가자들로부터 다음과 같은 정보를 수집한다: 대상자가 자신의 답을 어떻게 구성했는지에 대한 평가, 대상자가 무엇을 의미하는지 해석하는 설명, 대상자가 질문에 대답하는 과정에서 어려움에 대한 보고, 그 밖의 상황을 대상자에게 드러내는 모든 것.s 답

인지적 사전 테스트는 면접, 시험 또는 설문지의 유효성을 테스트하는 데 필수적인 것으로 간주된다.[7]

목적

이러한 사전 테스트의 목적은 다음과 같다.

  • 시험이나 면접이 이해될 수 있는지 확인하다.
  • 참가자가 시험에 대해 가지고 있을 수 있는 문제를 해결하다.
  • 참가자들의 질문에 대한 관심과 호기심을 측정하다.
  • 답변의 척도를 측정한다(예: 전체 척도를 사용하는가, 답변이 너무 많은가)
  • 질문 순서 및 기타 맥락 효과를 평가한다.
  • 면접관과의 문제.
  • 테스트와 관련된 모든 기술적 문제 해결(예: 모든 기술에 대한 결함 또는 문법적 오류)
  • 그리고 시험이나 면접을 보는 데 걸리는 시간도.[1][4][6]

종류들

일반적으로 인지 프리테스트를 실시할 때 실천하는 방법은 많다. 포함:[1] 기존의 사전 테스트, 인지 인터뷰, 행동 코딩, 응답자 설명, 그룹 토론, 전문가 검토, 시선 추적 및 웹 검색

기존의 사전 테스트-실제 시험이나 면접이 어떻게 될 것인가를 본떠 모방하고 모델화하려는 리허설과 비슷하다. 실제 시험이나 면접 전에 실시되는 모의실험. 실제 면접이나 시험에서 어떤 방법을 사용하든 이러한 사전 시험 방법에 사용해야 한다.[1][8]

인지적 사전 테스트(인지적 인터뷰)- 기존의 사전 테스트와 매우 유사함. 하지만, 참가자들은 시험을 치르면서 적극적으로 질문에 대한 질문을 받고 있다. 면접이나 시험 때 실시한다.[1][6]

또한 서면 조사, 구두 조사, 전자 조사[4] 등 다양한 방법으로 제시될 수 있다.

기술

면접관이 좋은 면접이나 설문지를 확보하는 데 필요한 정보를 추출하기 위해 인지적 사전 시험에서 구현하는 특정한 기법이 있다.

사고방식의 기법- 이것은 면접관이 면접관에게 자신의 생각을 말하게 하고 어떻게 대답하게 되었는지를 말할 때 발생한다. 이것은 동시(중)이거나 인터뷰 후(후) 소급(후)할 수 있다.[1][2]

탐색 기술- 인터뷰 진행자가 인터뷰 대상자에게 하나 이상의 후속 질문을 할 때 발생한다. 그들은 질문, 용어 또는 심지어 응답에 대해 '프로비즈'한다.[1][2]probe)'한다.

패러프레이싱- 면접관이 면접자에게 질문을 반복하기 위해 자신의 말을 사용해 달라고 요청할 때 발생한다. 이 시험은 문제가 이해될 수 있는지 확인하기 위한 것이다.[1]

신뢰도- 면접관이 면접관에게 질문에 얼마나 정확하게 답했는지에 대한 자신감을 물어볼 때 발생한다.[1]

분류- 이것은 면접관이 면접관에게 질문하거나 면접관이 어떻게 특정한 상황이나 심지어 용어를 분류하는지 이해하려고 할 때 발생한다.[1]

참가자 및 모집

샘플 크기는 사전 테스트에서 매우 중요한 주제다. 참가자가 5~15명인 소규모 표본이 일반적이다. 다만 표본 크기가 최소 30명 이상이면 가장 좋다. 늘 많으면 낫다.[9]

표본이 작으면 시험 내 문제점이 발견되지 않을 수 있다.

참가자들에게 설문지에 대해 알려주는 두 가지 다른 방법이 있다: 참여 사전 테스트와 발표되지 않은 사전 테스트.[4]

참가 사전 테스트를 통해 참가자는 자신이 완료하고 있는 테스트가 연습 실행일 뿐이라는 것을 확실히 알 수 있다. 이것은 주로 프로빙 및 사고-라우드 기술 또는 인지 사전 테스트 및 인터뷰에[4] 사용된다.

발표되지 않은 사전 테스트는 참가자가 그가 연습 런인지 알지 못하는 테스트다. 이것은 가장 일반적인 사전 테스트와 같다. 스터디에서 둘 이상의 사전 테스트가 발생할 경우 참여 사전 테스트를 먼저 수행한 다음 발표되지 않은 두 번째 사전 테스트를 수행하는 것이 좋다.[4][6]

측량 연구자에 의한 사용

인지면접은 인구조사국,[10] 국립보건통계센터[11], 노동통계국 등 미국 연방기관이 정기적으로 실시하고 있다.[12]

참조

  1. ^ a b c d e f g h i j Lenzner, Timo; Neuert, Cornelia; Otto, Wanda (2016). "Kognitives Pretesting". Gesis Survey Guidelines. doi:10.15465/gesis-sg_en_010.
  2. ^ a b c Tilley, Barbara C.; LaPelle, Nancy R.; Goetz, Christopher G.; Stebbins, Glenn T. (2014). "Using Cognitive Pretesting in Scale Development for Parkinson's Disease: The Movement Disorder Society Unified Parkinson's Disease Rating Scale (MDS-UPDRS) Example". Journal of Parkinson's Disease. 4 (3): 395–404. doi:10.3233/JPD-130310. ISSN 1877-7171. PMC 5086096. PMID 24613868.
  3. ^ "Pretesting - Cross-Cultural Survey Guidelines". ccsg.isr.umich.edu. Retrieved 2020-07-18.
  4. ^ a b c d e f "Writing@CSU". writing.colostate.edu. Retrieved 2020-07-18.
  5. ^ Grimm, Pamela (2010), "Pretesting a Questionnaire", Wiley International Encyclopedia of Marketing, American Cancer Society, doi:10.1002/9781444316568.wiem02051, ISBN 978-1-4443-1656-8
  6. ^ a b c d VOICU, MIRELA-CRISTINA. "QUESTIONNAIRES PRETESTING IN MARKETING RESEARCH". {{cite journal}}: Cite 저널은 필요로 한다. journal= (도움말)
  7. ^ "GESIS - Leibniz Institute for the Social Sciences". www.gesis.org. Retrieved 2020-07-18.
  8. ^ Hu, Shu (2014), "Pretesting", in Michalos, Alex C. (ed.), Encyclopedia of Quality of Life and Well-Being Research, Dordrecht: Springer Netherlands, pp. 5048–5052, doi:10.1007/978-94-007-0753-5_2256, ISBN 978-94-007-0753-5
  9. ^ Perneger, Thomas V.; Courvoisier, Delphine S.; Hudelson, Patricia M.; Gayet-Ageron, Angèle (2015-01-01). "Sample size for pre-tests of questionnaires". Quality of Life Research. 24 (1): 147–151. doi:10.1007/s11136-014-0752-2. ISSN 1573-2649. PMID 25008261. S2CID 22314144.
  10. ^ Virgile, Katz, Tuttle, Terry, Graber (2019). "Cognitive Pretesting of 2019 American Housing Survey Modules". The United States Census Bureau. Retrieved 2020-05-20.{{cite web}}: CS1 maint : 복수이름 : 작성자 목록 (링크) CS1 maint : url-status (링크)
  11. ^ "Q-Bank - Learn about the OMB Cognitive Interviewing Standards". wwwn.cdc.gov. Retrieved 2020-05-20.
  12. ^ K, Schwartz,Lisa. "The American Time Use Survey: cognitive pretesting : Monthly Labor Review: U.S. Bureau of Labor Statistics". www.bls.gov. Retrieved 2020-05-27.