내용유효성
Content validity심리측정학에서 내용유효성(논리유효성이라고도 함)은 어떤 측정치가 주어진 구성물의 모든 면을 나타내는 정도를 가리킨다. 예를 들어 우울증 척도는 우울증의 정서적 차원만 평가하지만 행동적 차원을 고려하지 않는 경우 내용 타당성이 결여될 수 있다. 내용 타당성 판단과 관련하여 주관성의 요소가 존재하며, 이는 외향성과 같은 특정 성격 특성이 나타내는 것에 대한 어느 정도의 동의가 필요하다. 성격적 특성에 대한 의견 불일치는 높은 내용적 타당성의 획득을 방해할 것이다.[1]
설명
내용 유효성은 시험이 실제로 측정하는 것이 아니라 겉으로 보기에는 측정되는 것을 가리키는 얼굴 유효성과는 다르다. 얼굴 유효성은 시험을 치르는 수험생, 사용을 결정하는 행정요원, 기술적으로 훈련받지 않은 관찰자에게 시험이 "유효해 보이는지"를 평가한다. 내용 유효성은 인정된 주제 전문가를 사용하여 시험 항목이 얼굴 유효성 평가보다 더 엄격한 통계적 시험과 정의된 내용을 평가하는지 여부를 평가해야 한다. 내용 유효성은 주어진 주제 영역(예: 역사) 또는 직무 능력(예: 회계)에 실제로 필요한 지식을 반영해야 하는 시험 항목이 있는 학술 및 직업 시험에서 가장 자주 다루어진다. 임상 환경에서 내용 유효성은 테스트 항목과 증후군의 증상 내용 사이의 일치성을 가리킨다.
측정
C. H. 로쉬에 의해 널리 사용되는 내용 유효성 측정 방법이 개발되었다. 그것은 본질적으로 특정 항목이 얼마나 중요한지에 대한 측정자 또는 심판들 간의 합의를 측정하는 방법이다. 로셰(1975)는 취업 전 시험에 관한 기사에서 심사 위원단의 각 과목별 전문가 평가자(SME)에게 "이 항목에서 측정한 기술이나 지식이 직무 수행에 '필수적'인가, '유용하지만 필수적이지는 않은가'인가, '필요하지 않은가'라는 질문에 답변할 것을 제안했다. 로쉬에 따르면, 만약 패널의 절반 이상이 어떤 항목이 필수적이라고 말한다면, 그 항목은 최소한 어느 정도의 내용 유효성을 가지고 있다. 많은 수의 패널들이 특정 항목이 필수적이라는 데 동의함에 따라 콘텐츠 유효성의 더 높은 수준이 존재한다. 로쉬는 이러한 가정을 이용하여 내용 유효성 비율이라는 공식을 개발했다. where content validity ratio, number of SME panelists indicating "essential", total number of SME panelists. 이 공식은 +1 ~ -1 범위의 값을 산출한다. 양수 값은 중소기업이 최소한 절반은 필수품목으로 평가했음을 나타낸다. 항목 전체의 평균 CVR은 전체 시험 내용 유효성의 지표로 사용될 수 있다.
로셰(1975)는 시험 평가자가 특정 규모의 중소기업 풀에 대해 우연한 기대를 초과하는 데 필요한 계산된 CVR 크기를 결정할 수 있는 CVR의 임계값을 표로 제공했다. 이 표는 그의 친구 로웰 쉬퍼가 로쉬를 위해 계산한 것이다. 이 출판된 표를 면밀히 검토한 결과 이상 징후가 드러났다. Schipper 표에서 CVR의 임계치는 40개 중소기업(최소값 = .29)에서 9개 중소기업(최소값 = .78)으로 단조롭게 증가하다가 8개 중소기업(최소값 = .75)에서 예상 외로 하락했다가 7개 중소기업(최소값 = .99)에서 상한값을 치른다. 그러나 이 공식을 8명의 래터에게 적용할 때 7개의 에센셜과 1개의 다른 등급의 결과는 7.75의 CVR을 산출한다. 만약 7.75가 임계값이 아니라면, 8명의 레터 중 1.00의 CVR을 산출하는 것이 필요할 것이다. 이 경우, CVR의 오름차순과 일치하려면 8명의 래터 값이 1.00이어야 한다. 8명의 래터에게 요구되는 "완벽한" 값을 가질 수 있기 때문에 동일한 원칙을 위반할 수 있지만, 8명보다 높거나 낮은 다른 래터 수에서의 등급에는 해당되지 않는다. 테이블의 단조로운 진행에서 이러한 이탈이 Schiper 부분의 계산 오류 때문이었는지, 타이핑이나 타이핑의 오류 때문이었는지는 불분명하다. 윌슨, 팬 & 슈프스키(2012년)는 이 오류를 시정하고자 하는 로셰의 글이나 슈퍼의 어떤 출판물에서도 비판적 가치의 표가 어떻게 계산되었는지를 설명하는 어떤 설명도 발견하지 못했다. Wilson과 동료들은 Schipper 값이 이항 분포에 대한 정규 근사치에 가까운 근사치라고 결정했다. 그들은 또한 Schiper의 값을 새로 계산된 이항 값과 비교함으로써, 실제로 값이 양꼬리 시험의 이항 값을 미러링했을 때, Rawsher와 Schiper가 발표한 표를 한꼬리 시험을 나타내는 것으로 잘못 표시했다는 것을 발견했다. 윌슨과 동료들은 복수의 알파 수준에서 단위 단계에서 임계값을 제공하는 내용 유효성 비율에 대한 임계값을 재계산한 것을 발표했다.[3]
값 표는 다음과 같다.[2]
| 패널 N° | 최소값 |
|---|---|
| 5 | .99 |
| 6 | .99 |
| 7 | .99 |
| 8 | .75 |
| 9 | .78 |
| 10 | .62 |
| 11 | .59 |
| 12 | .56 |
| 20 | .42 |
| 30 | .33 |
| 40 | .29 |
참고 항목
참조
- ^ Pennington, Donald (2003). Essential Personality. Arnold. p. 37. ISBN 0-340-76118-0.
- ^ a b Lawshe, Charles H. (1975). "A Quantitative Approach to Content Validity". Personnel Psychology. 28 (4): 563–575. doi:10.1111/j.1744-6570.1975.tb01393.x.
- ^ Wilson, F. Robert; Pan, Wei; Schumsky, Donald A. (2012). "Recalculation of the Critical Values for Lawshe's Content Validity Ratio". Measurement and Evaluation in Counseling and Development. Informa UK Limited. 45 (3): 197–210. doi:10.1177/0748175612440286. ISSN 0748-1756.
외부 링크
- 관리 척도 안내서, 경험적 관리 연구 문헌에서 구성을 측정하기 위해 이전에 사용한 다중 항목 척도를 포함하는 위키북. 많은 규모에 대해 내용 타당성이 논의된다.
