일반성 이론
Generalizability theory |
일반성 이론, 즉 G 이론은 신뢰할 수 있는 관찰을 개념화하고 조사하고 설계하기 위한 통계적 틀이다. 특정 조건에서 측정의 신뢰성(즉, 재현성)을 결정하는 데 사용된다. 특히 성능 평가의 신뢰성을 평가하는 데 유용하다. 원래는 크론바흐, L.J., 나게스와리, R., & Gleser, G.C. (1963년)에 도입되었다.
개요
G 이론에서 변동의 근원을 면이라고 한다. 면은 분산 분석에 사용되는 "인자"와 유사하며, 사람, 측정자, 항목/형태, 시간 및 설정을 포함할 수 있다. 이러한 면은 잠재적인 오류 발생원이고 일반화 이론의 목적은 각 면과 면의 상호작용에 의해 발생하는 오차의 양을 정량화하는 것이다. G 연구에서 얻은 데이터의 유용성은 연구의 설계에 결정적으로 좌우된다. 따라서 연구자는 구체적인 결과를 일반화하고자 하는 방법을 신중하게 고려해야 한다. 한 설정에서 더 많은 설정까지 일반화하는 것이 중요한가? 한 바퀴에서 더 많은 사냥꾼까지? 한 세트의 항목에서 더 큰 세트의 항목으로? 이러한 질문에 대한 답은 연구자마다 다르며, 다른 방식으로 G 연구의 설계를 주도할 것이다.
연구자가 일반적으로 어떤 면을 조사하고자 하는가를 결정하는 것 외에, 어떤 면이 분석의 목적으로 측정의 대상(예: 체계적 분산원) 역할을 할 것인가를 결정할 필요가 있다. 나머지 관심 측면은 측정 오차의 원인으로 간주된다. 대부분의 경우, 측정 대상은 숫자/점수가 할당된 사람이 될 것이다. 다른 경우에는 팀이나 교실과 같은 그룹이나 연주자가 될 수 있다. 이상적으로는 거의 모든 측정된 분산이 측정 대상(예: 개별 차이)에 귀속되며 나머지 면(예: 래터, 시간, 설정)에 귀속되는 분산의 양은 매우 적다.
G 연구의 결과는 의사결정, 즉 D 연구를 알리는 데도 사용될 수 있다. D 연구에서, 우리는 "이 연구의 다른 측면들이 바뀌면 어떻게 될까?"라는 가상의 질문을 던질 수 있다. 예를 들어, 청량음료 회사는 소비자 등급 척도를 사용하여 신제품의 품질을 평가하는 데 관심이 있을 수 있다. D 연구를 채택함으로써 소비자가 2개 대신 10개의 질문을 받거나 1,000명의 소비자가 100개 대신 청량음료를 평가했을 경우 품질 등급의 일관성이 어떻게 변화할지 추정할 수 있을 것이다. 따라서 시뮬레이션 D 연구를 채택함으로써 일반화 계수(고전 시험 이론의 신뢰도 계수와 유사함)가 다른 상황에서 어떻게 변화하는지 검토할 수 있으며, 결과적으로 우리의 측정이 가장 신뢰할 수 있는 이상적인 조건을 결정할 수 있다.
고전 시험 이론과의 비교
고전적 시험 이론(CTT)의 초점은 측정의 오차를 결정하는 데 있다. 아마도 CTT의 가장 유명한 모델은 = + X 등식일 것이다 여기서 X는 관측 점수, T는 참 점수, e는 측정에 관련된 오류다. e가 rater나 계측기 오류와 같은 많은 다른 유형의 오류를 나타낼 수 있지만, CTT는 한 번에 하나의 유형의 오류만 추정할 수 있도록 허용한다. 본질적으로 그것은 모든 오류의 근원을 하나의 오류 용어로 만든다. 이는 고도로 통제된 실험실 조건의 맥락에서 적합할 수 있지만, 분산은 일상 생활의 일부분이다. 예를 들어 현장조사에서 측정조건이 일정하게 유지될 것으로 기대하는 것은 비현실적이다. 일반화 이론은 측정에 영향을 미칠 수 있는 평가 조건의 가변성을 인정하고 허용한다. G 이론의 장점은 연구자들이 설정, 시간, 항목, 측정자 등 평가가 자주 달라지는 개별적인 요인 때문에 결과에서 총 분산의 비율이 어느 정도인지를 추정할 수 있다는 데 있다.
CTT 이론과 G 이론의 또 다른 중요한 차이점은 후자의 접근방식이 절대적인 대 상대적인 결정을 내리는 데 사용될 경우 결과의 일관성이 어떻게 변화할 수 있는지를 고려한다는 것이다. 절대적 또는 기준 참조 결정의 예로는 적격성 또는 진단을 결정하기 위해 개인의 시험 점수를 컷오프 점수와 비교할 때(즉, 성취도 시험에서 어린이 점수는 영재 프로그램의 적격성을 결정하기 위해 사용된다)가 있다. 이와는 대조적으로, 상대적 또는 표준 참조의 예로는 ⑴ 또래와 비교한 상대적 순위를 결정하는 데 개인의 시험 점수가 사용되는 경우(즉, 독서 하위 테스트에서 어린이의 점수는 자신이 속한 읽기 그룹을 결정하는 데 사용됨), ⑵ 개인 간 비교(즉, 콤파리)가 결정된다.ng 동일한 개인 내 이전 및 현재 수행). 연구자가 관심을 갖는 결정 유형은 일반화 계수(CTT의 신뢰성 계수와 유사)를 계산하기 위해 어떤 공식을 사용해야 하는지를 결정할 것이다.
메모들
참조
- 브레넌, R. L. (2001) 일반화 이론. 뉴욕: 스프링거-베를라크.
- C.W.C. 치우(2001) 판단에 따른 성과 평가 점수 매기기: 일반화 이론. 뉴욕: 클루워.
- 크로커(Crocker, L, & Algina), J. (1986년). 고전 및 현대 시험 이론 소개 뉴욕: 하코트 브레이스.
- 크론바흐, L.J., 글레저, G.C., 난다, H. & 라자라트남, N. (1972) 행동 측정의 신뢰도: 점수 및 프로파일에 대한 일반화 이론. 뉴욕: 존 와일리.
- 크론바흐, L.J., 나게스와리, R., & Gleser, G.C. 일반화 이론: 신뢰성의 해방 이론. 영국 통계 심리학 저널, 16, 137-163.
- 슈라우트, P. E. & Fleiss, J. L. (1979) 클라스 내 상관 관계: 레이터 신뢰도 평가 시 사용. 심리학 게시판, 86(2), 420–428. doi: 10.1037/0033-2909.86.2.420
- Shavelson, R.J. & Webb, N.M. (1991) 일반화 이론: 프라이머. 오크 천스, 크리스 앤더슨:
