컨센서스 기반 평가

Consensus-based assessment

합의 기반 평가는 합의 의사 결정의 일반적인 관행과 전문지식을 많은 수의 초보자나 여교사가 근접하게 추정할 수 있다는 이론적 관찰에 따라 확장된다.그것은 일반적으로 정서 지능, 정치, 종교, 가치와 문화 등 매우 애매한 지식 영역에 대한 측정 기준을 결정하는 방법을 만든다.이러한 관점에서 문화적 공감대를 형성하는 공유된 지식은 전문성이나 일반적 지능과 거의 같은 방식으로 평가될 수 있다.

일반지능 측정기준

컨센서스 기반 평가는 능력이 다른 개인(예: 전문가와 견습생)의 표본이 리커트 척도를 사용하여 관련 시나리오를 유사한 평균 등급으로 평가한다는 단순한 발견에 기초한다.따라서, CBA 프레임워크의 관점에서, 키 채점을 위한 문화적 표준은 평가되고 있는 모집단에서 도출될 수 있다.지난 수십 년 동안 함께 일했던 피터 레그리와 조셉 프소트카는 심령계 g를 판단이 필요한 조사와 같은 척도를 통해 모호하지 않게 측정할 수 있다고 제안했다.이것은 그룹 또는 전문가 평균에서 각 개인에 대한 편차 점수를 사용하거나, 또는 그들의 판단과 그룹 평균 간의 Pearson 상관관계를 사용할 수 있다.그 두 기술은 완벽하게 상관관계가 있다.Regree와 Psotka는 이후 개인에게 단어 빈도 추정, 양호한 연속성의 이항 확률 판단, 지식 함의 파악, 대략적인 고용 분포 등을 요청하는 척도를 만들었다.이 항목들은 객관적 참조자를 피하기 위해 신중하게 식별되었고, 따라서 응답자들이 광범위하게 개발된 합의된 표준에 대해 점수를 매긴 판단을 제공해야 하는 척도였다.이 판단 배터리의 성능은 약 0.80과 사이코메트릭 g의 기존 측정치와 상관관계가 있다.응답 키는 합의로 도출되었다.수학 문제나 물리 문제와는 달리, 심리학적 g를 평가하기 위한 항목, 시나리오, 옵션의 선택은 복잡한 판단을 강조하는 이론에 의해 대략적으로 안내되었지만, 평가가 이루어지기 전까지는 명시적 키가 알려지지 않았다: 그것들은 편차 점수, 상관 관계를 이용하여 모든 사람의 반응의 평균에 의해 결정되었다.또는 요인 점수.

문화지식 측정기준

전문지식과 합의 사이의 연관성을 이해하는 한 가지 방법은 많은 성과영역의 경우 전문지식은 대부분 경험에서 도출된 지식을 반영한다는 점을 고려하는 것이다.초보자는 경험이 적은 경향이 있기 때문에, 그들의 의견은 여러 가지 모순된 방향으로 틀린다.그러나 경험을 쌓을수록 전문가에게 전달되는 여정가의 의견은 더욱 일치하게 된다.이 견해에 따르면, 오류는 무작위적이다.따라서 다양한 전문지식을 가진 응답자들의 대규모 표본으로부터 수집된 등급 데이터는 상당한 수의 전문가들이 이용할 수 있는 평균 등급의 근사치를 위해 사용될 수 있다.평균의 표준 편차는 관측치의 수가 매우 커짐에 따라 0에 가까워지기 때문에, 다양한 역량의 집단에 기초한 추정치는 최상의 성능 표준의 수렴 추정치를 제공할 것이다.이러한 그룹의 반응 수단은 효과적인 점수 측정 루브릭 또는 성과를 평가하기 위한 측정 표준을 만드는 데 사용될 수 있다.이 접근방식은 특히 리커트 응답 척도를 사용하여 확장되는 주관적 지식 영역의 채점 방법과 관련이 있으며, 전문가가 부족한 여러 영역에 대한 채점 표준을 개발하기 위해 이 접근방식이 적용되었다.

실험결과

실제로 분석 결과, 두 그룹의 표본 크기가 클 경우(Legree, Pso, Pso, Pso) 전문가와 CBA 표준 간에 높은 수준의 수렴 수준이 입증되었으며, 그러한 표준에 기반한 점수(Pearson Rs의 범위는 .72 ~ .95)도 높은 상관 관계를 보였다.tka, Shawe & Bourne, 2005).CBA와 전문가 참조 점수 간의 이러한 통합과 관련 유효성 데이터는 전문가와 초보자나 여정원의 대규모 표본을 사용하여 등급 데이터를 수집할 경우 CBA와 전문가 기반 점수를 서로 교환하여 사용할 수 있음을 나타낸다.

인자분석

CBA는 종종 동일한 항목에 대한 모든 사람들의 판단의 평균에 대해 일련의 항목에 걸쳐 각 개인의 리커트 규모 판단의 Pearson R 상관관계를 사용하여 계산된다.그 상관관계는 그 사람이 합의점에 근접하는 정도를 나타내는 척도가 된다.또한 집단의 합의된 수단으로부터 표준화된 편차 점수로 계산되기도 한다.이 두 과정은 수학적으로 이형적이다.만약 문화가 지식의 공유로 간주되고, 그리고 지식의 집중 영역에 대한 집단의 평가의 평균이 그 영역에서 문화적 합의의 척도로 간주된다면, 두 절차 모두 CBA를 개인의 문화적 이해의 척도로 평가한다.

그러나 어떤 주제에 관한 하위 항목에 대한 합의가 균등하게 배분되지 않는 것일 수 있다.아마도 항목들의 지식 콘텐츠는 서로 다른 합의의 영역으로 분산되어 있을 것이다.예를 들어 자유주의자인 보수주의자들은 법과 질서에 대해 강하게 느끼는 보수주의자들과 사생활 침해에 대해 다르게 느낄 수 있다.사실, 표준 인자 분석은 이 문제를 표면화시킨다.

중심 또는 주성분 분석(PCA)에서 첫 번째 요인 점수는 각 등급에 각 항목의 등급에 대한 요인(일반적으로 각 개인에 대한 모든 표준화된 등급의 평균)의 상관관계를 곱하여 생성된다.이 곱셈은 각 항목에 대한 개별 차이 패턴의 상관관계(구성요소 점수)로 각 항목을 가중시킨다.이러한 항목에 대해 합의가 불균일하게 배분된다면, 일부 항목은 공통요인의 전반적인 문제에 더 집중될 수 있다.한 항목이 전체 개별 차이의 패턴과 높은 상관관계를 갖는다면, 전체 요인 점수에서 가중치가 더 강해진다.이러한 가중치는 인자 분석에서 더 가중되는 공통의 CBA 합의 패턴을 공유하는 항목이기 때문에 암묵적으로 CBA 점수에 가중치를 부여하기도 한다.

윌리엄 스티븐슨(심리학자)이 만든 전치 또는 Q 방법론 인자 분석은 이러한 관계를 분명하게 이끌어낸다.Q 인자 분석의 경우 CBA 점수는 PCA의 성분 점수와 통계적으로 이형이다.그것들은 모든 사람들의 반응의 평균에 대한 각 개인의 반응을 적재하는 것이다.따라서 Q 요인 분석은 도메인의 하위 속성 차원(정치적 영역에서의 자유주의 등)을 가장 잘 나타내는 항목보다 지배적 차원을 대표하는 사람을 먼저 선택하는 데 사용할 수 있다면, 우수한 CBA 측정치를 제공할 수 있다.그런 다음 인자 분석은 도메인의 특정 축을 따라 개인의 CBA를 제공할 수 있다.

실제로 신뢰성이 높은 규모를 제공하기 위해 항목을 쉽게 만들고 배열하지 않을 경우, 원래의 요인 분석에서도 공통된 공감대가 있는 항목을 선택해야 하기 때문에 Q 요인 분석은 필요하지 않다.예를 들어, 정치적 태도를 위한 항목들의 규모에서, 그 항목들은 큰 정부에 대한 태도, 법과 질서, 경제 문제, 노동 문제, 또는 자유주의적 문제에 대해 물어볼 수 있다.이 항목들 중 어떤 것이 조사된 집단의 정치적 태도에 가장 강하게 영향을 미치는지는 선험자를 결정하기가 어려울 수 있다.그러나 인자분석은 항목과 사람의 행렬에 대한 대칭적인 계산이므로, (이러한 것이 리커트 척도일 때) 항목에 대한 원래의 인자분석은 비슷한 영역에 있는 항목들뿐만 아니라 보다 일반적으로 비슷한 합의점을 갖는 항목들을 선택한다.이 요인 분석 기법의 부가적인 장점은 항목이 요인을 따라 자동으로 배열되어 최고 리커트 등급도 최고 CBA 표준점수라는 것이다.이 인자를 선택하면 CBA(구성 요소) 점수가 결정된다.

비평

CBA 표준에 대한 가장 일반적인 비판은 평균이 어떻게 최대 표준이 될 수 있는지 의문을 제기하는 것이다.이 비평은 CBA가 심리학적 속성, 특히 지능의 최대 성능 테스트에 적합하지 않다고 주장한다.그렇더라도 CBA 기법은 비전통적 지능의 다양한 척도(예: 실용적, 감정적, 사회적 등)에 일상적으로 채용된다.자세한 비평은 고트프레드슨(2003)과 맥캔, 로버츠, 매튜스, & 자이드너(2004)와 과학 문헌에 제시되어 있다.

참고 항목

참조

  • 고트프레드슨, L. S. (2003)실제 지능 이론을 해부하는 것:이것의 주장과 증거.지능, 31(4), 343–397.
  • Regree, P. J., Psotka J., Shawe, T. R. & Bourne, D. (2005)합의 기반 측정을 사용하여 감정 지능 평가.센서스 기반 측정.R. Schulze & R. R. R. Roberts (Eds)에서 국제 감성 지능 핸드북.(pp 99–123)독일 베를린:호그레페 & 휴버.
  • 맥캔, C, 로버츠, R.D., 매튜스, G, & Zeidner, M. (2004)성과 기반 EI(Electronic Intelligence) 테스트의 컨센서스 점수 및 경험적 옵션 가중치.성격과 개인의 차이, 36, 645–662.

외부 링크