시험유효성

Test validity

시험 유효성은 시험(화학시험, 신체시험, 학업시험 등)이 측정해야 할 것을 정확히 측정하는 정도를 말한다. 심리 테스트와 교육 테스트 분야에서, "유효성(validity)"은 "검사의 제안된 용도에 수반되는 시험 점수의 해석을 뒷받침하는 증거와 이론의 정도를 의미한다.[1] 고전적 모델들이 개념을 다양한 "유효성"(내용 유효성, 기준 유효성, 구성 유효성 등)으로 나누었지만,[2] 현재 지배적인 견해는 유효성이 단일 단일 구조라는 것이다.[3]

유효성은 일반적으로 심리 및 교육 시험에서[4] 가장 중요한 문제로 간주된다. 왜냐하면 시험 결과에 대한 의미와 관련이 있기 때문이다.[3] 많은 교과서가 정적인 구성으로 타당성을 제시하지만,[5] 심리학 및 교육 시험 구성 권고안을 처음 발표한 이후 다양한 타당성 모델이 발전하고 있다.[6] 이 모델들은 두 가지 주요 그룹으로 분류될 수 있다: 몇 가지 유형의 유효성을 포함하는 고전적 모델과 단일 구조로 유효성을 제시하는 현대적 모델이다. 현대 모델은 고전적인 "유효성"을 타당성의[3] "관찰성" 또는 타당성을 뒷받침하는 증거의[1] "유형"으로 재구성한다.

시험 유효성 자체는 시험자간 신뢰도, 시험자 내 신뢰도, 반복성(시험-재시험 신뢰도) 및 그 밖의 특성 시험을 사용하여 시험/검증할 수 있으며, 결과는 보통 비교된다. 통계적 분석은 다양한 결과들 간의 차이가 문제가 될 만큼 큰지 아니면 허용 가능할 정도로 작은지 여부를 결정하는 데 도움이 된다.

역사적 배경

비록 심리학자들과 교육자들이 제2차 세계 대전 전에 타당성의 몇 가지 측면을 알고 있었지만, 타당성을 확립하기 위한 그들의 방법은 일반적으로 시험 점수와 알려진 기준의 상관관계로 제한되었다.[7] 1954년 이크론바흐의 지시로 1954년 심리테스트 및 진단기법에[6] 대한 기술권고에서는 (a) 동시유효성, (b) 예측유효성, (c) 내용유효성, (d) 구성유효성의 네 부분으로 나누어 유효성의 범위를 명확히 하고 넓히려고 시도하였다. 크론바흐와 멜의 후속 출판물은[8] 예측과 동시 유효성을 "기준 지향성"으로 분류했고, 결국 기준 유효성이 되었다.

그 후 40년 동안 크론바흐를 포함한 많은 이론가들은 이 3인 1의 유효성에 대해 불만을 표했다.[9][10][11][12] 그들의 주장은 타당성을 6개의 "전망"[3]으로 구성된 단일 구조로 기술한 1995년 새뮤얼 메식스의 기사에서 절정에 달했다. 그의 견해에 따르면, 시험 점수로 인한 다양한 추론은 다른 유형의 증거를 요구할 수 있지만, 다른 유효성을 요구하지는 않는다.

1999년 교육 및 심리 테스트[1] 표준은 주로 메식스의 모델을 체계화했다. 그들은 메식스의 각 측면을 포함하는 다섯 가지 유형의 타당성 지원 증거를 설명하고, 고전적 모델의 내용, 기준 및 구성 타당성에 대해서는 언급하지 않는다.

유효성 확인 프로세스

1999년 표준에 따르면 검증은 시험 개발자 및/또는 시험 사용자가 제안한 대로 점수를 해석하기 위한 "건전한 과학적 근거"를 제공하기 위한 증거를 수집하는 과정이다.[1] 따라서 검증은 제안된 해석의 범위와 측면(다차원 척도의 경우)을 정의하는 체계에서 시작된다. 이 프레임워크에는 해석과 문제의 시험을 연계하는 합리적인 정당성도 포함되어 있다.

타당성 연구자들은 그 해석이 타당하려면 충족되어야 하는 일련의 명제를 열거한다. 또는 반대로 해석의 타당성을 위협할 수 있는 이슈의 목록을 작성할 수 있다. 어느 경우든, 연구자들은 해석의 명제(또는 해석의 타당성에 대한 위협)를 지지하거나 의문을 제기하기 위해(원래 경험적 연구, 기존 문헌의 메타 분석 또는 검토, 또는 논제의 논리적 분석 등) 증거를 수집하여 진행한다. 증거의 양보다는 질에 중점을 둔다.

시험 결과에 대한 단일 해석은 몇 가지 명제를 참(또는 그 유효성에 대한 위협 집합 중 하나에서 의문을 제기할 수 있다)을 요구할 수 있다. 단일 제안을 지지하는 강력한 증거가 다른 제안을 지지하는 요건을 완화시키지 않는다.

해석의 타당성을 뒷받침하는(또는 의문을 제기하는) 증거는 다음 5가지 범주 중 하나로 분류할 수 있다.

  1. 테스트 내용 기반 증거
  2. 대응 프로세스를 기반으로 한 증거
  3. 내부 구조에 근거한 증거
  4. 다른 변수와의 관계를 기반으로 한 증거
  5. 테스트 결과에 기반한 증거

각 유형의 증거를 수집하는 기법은 해당 해석에 필요한 제안을 지지하거나 의문을 제기하는 정보를 제공하는 경우에만 사용해야 한다.

각각의 증거는 마침내 타당성 논쟁으로 통합된다. 이 주장은 시험, 이의 관리 프로토콜 또는 해석의 기초가 되는 이론적 구조의 개정을 요구할 수 있다. 시험 및/또는 시험 결과에 대한 해석이 어떤 식으로든 수정된 경우, 새로운 검증 프로세스는 새로운 버전을 뒷받침할 증거를 수집해야 한다.

참고 항목

참조

  1. ^ a b c d 미국 교육 연구 협회, 미국 심리 협회 및 전국 교육 측정 위원회. (1999년) 교육 및 심리검사 기준. 워싱턴 DC: 미국 교육 연구 협회.
  2. ^ 구이온, R. M. (1980). 삼위일체적 타당성에 관한 교리에 대해서. 프로 심리학, 11, 385-398
  3. ^ a b c d 메식스, S. (1995년) 심리 평가의 타당성: 점수의 의미에 대한 과학적 탐구로서 사람의 반응과 성과로부터 추론을 검증한다. 미국 심리학자 50, 741-749
  4. ^ 팝햄, W. J. (2008) 평가에 관한 모든 것 / 오해의 소지가 있는 것. 교육 리더십, 66(1), 82-83.
  5. ^ 기타 우수한 텍스트를 참조하십시오. 니트코, J., 브룩하트, S. M. (2004) 학생에 대한 교육 평가. 뉴저지 주, 어퍼 새들 리버: 메릴-프렌티스 홀.
  6. ^ a b 미국 심리학 협회, 미국 교육 연구 협회 및 전국 교육 측정 위원회(1954년). 심리 테스트 및 진단 기법에 대한 기술 권장 사항. 워싱턴 DC: 협회.
  7. ^ 안고프, W. H. (1988) 유효성: 진화하는 개념. H. Wainer & H. Braun (Eds.)에서 시험 유효성 (pp. 19-32). 뉴저지 힐스데일: 로렌스 얼바움.
  8. ^ 크론바흐, L. J. & Mehl, P. E. (1955) 심리 테스트에서 유효성을 구성한다. 심리학 회보, 52, 281-302.
  9. ^ 크론바흐, L. J. (1969년). 교육 조치의 검증. 1969년 시험 문제 초청 회의의 진행. 프린스턴, NJ: 교육 시험 서비스, 35-52.
  10. ^ 로빙거 J(1957) 심리학 이론의 도구로서의 객관적 시험. 심리 보고서 3, 634-694.
  11. ^ 테노피르, M. L. (1977) 콘텐츠 구성 혼동. 인사 심리학, 30, 47-54
  12. ^ 구온, R. M. (1977) 내용유효성-내 불만의 근원. 응용 심리 측정, 1, 1-10.