라우터 간 신뢰성

이 섹션은 확인을 위해 추가 인용문이 필요합니다. 신뢰할 수 있는 출처에 인용문을 추가하여 이 기사를 개선하는 데 도움을 주십시오. 조달되지 않은 자재는 제거될 수 있습니다.(2018년 12월) (이 템플릿메시지 삭제 방법 및 삭제 타이밍 확인)

통계학에서 라우터 간 신뢰성(라우터 간 합의, 라우터 간 일치, 서버 간 신뢰성, 코드 간 신뢰성 등 다양한 유사한 이름으로 불리기도 함)은 동일한 현상을 평가, 평가 또는 평가하는 독립 옵서버 간의 일치도입니다.

등급에 의존하는 평가 도구는 등급 간 신뢰성이 우수해야 합니다. 그렇지 않으면 유효한 테스트가 아닙니다.

라우터 간 신뢰성을 확인하는 데 사용할 수 있는 통계량이 많이 있습니다.측정 유형에 따라 서로 다른 통계량이 적합합니다.Cohen의 카파, Scott의 파이 및 Fleiss의 카파와 같은 일부 옵션은 결합-합치 확률 또는 군간 상관 관계, 일치 상관 계수, 클래스 내 상관 관계 및 Krippendorff의 알파입니다.

개념.

평가자 ^[1]간에 신뢰할 수 있는 합의가 무엇인지에 대한 다양한 관점을 반영하여 "평가자 간 신뢰성"에 대한 몇 가지 운영 정의가 있습니다.합의에는 다음의 3가지 운용상의 정의가 있습니다.

1. 신뢰할 수 있는 평가자는 성과에 대한 "공식" 등급에 동의합니다.
2. 신뢰할 수 있는 평가자들은 부여되는 정확한 등급에 대해 서로 동의한다.
3. 신뢰할 수 있는 평가자들은 어느 쪽이 더 나은지, 어느 쪽이 더 나쁜지에 대해 동의한다.

이것들은 동작의 2개의 동작 정의와 조합됩니다.

통계 정보

공동합치확률

합의의 공동 확률은 가장 단순하고 덜 견고한 척도이다.명목 또는 범주형 등급 시스템에서 평가자가 동의한 시간의 백분율로 추정됩니다.우연에 의해서만 합의가 이루어질 수 있다는 사실은 고려하지 않는다.우연의 일치에 대해 '수정'할 필요가 있는지에 대한 의문이 있다. 어떤 경우든 그러한 조정은 기회와 오류가 평가자의 ^[3]결정에 어떻게 영향을 미치는지에 대한 명시적 모델에 기초해야 한다고 제안한다.

사용되는 범주의 수가 작을 경우(예: 2 또는 3), 2명의 평가자가 순전히 우연에 의해 합의할 가능성이 크게 증가한다.이는 두 평가자 모두 이용 가능한 선택지의 수에 제한적이어야 하며, 이는 전체 합의율에 영향을 미치며, 반드시 "내부적" 합의에 대한 성향이 아닌 경우 "내부적"으로 간주되지 않기 때문이다.

따라서, 평가자들 사이에 "내적" 합의가 없는 경우에도, 공동 합의 가능성은 높게 유지될 것이다.유용한 층간 신뢰성 계수는 (a) "내부" 합치가 없을 때 0에 가깝고 (b) "내부" 합치율이 개선될 때 증가할 것으로 예상된다.대부분의 확률 보정 합치 계수는 첫 번째 목표를 달성합니다.그러나 두 번째 목표는 알려진 많은 기회 ^[4]보정 조치로는 달성되지 않는다.

카파 통계량

카파는 일치 또는 신뢰성을 측정하는 방법으로, 우연히 등급이 일치할 수 있는 빈도를 보정합니다.두 명의 평가자에게 적용되는 Cohen의 카파와 ^[5]고정된 수의 평가자에게 적용되는 적응인 Fleiss의 카파는 우연히 ^[6]발생할 것으로 예상되는 합의의 양을 고려한다는 점에서 결합 확률을 개선한다.원본 버전은 데이터를 명목형으로 취급하고 등급에 자연적인 순서가 없다고 가정한다는 점에서 공동 확률과 동일한 문제가 있었다. 데이터에 실제로 순위(정상 측정 수준)가 있는 경우 해당 정보는 측정에서 완전히 고려되지 않는다.

이후 이 접근법의 확장에는 "부분신용"과 순서형 ^[7]척도를 다룰 수 있는 버전이 포함되었다.이러한 확장은 클래스 내 상관 관계(ICC) 제품군과 수렴되므로 명목(카파)에서 서수(서수 카파 또는 ICC—연장 가정), 간격(ICC, 또는 서수 카파—간격 척도를 서수로 처리) 및 비율(ICC)에 이르기까지 각 측정 수준에 대한 신뢰성을 추정하는 개념적으로 관련된 방법이 있다.또한 일련의 항목에 대한 평가자의 합의를 볼 수 있는 변형(예를 들어, 두 명의 면접관이 한 사례에 대해 동일한 반구조적 인터뷰의 모든 항목에 대해 우울증 점수를 합의하는가?)과 평가자 x 사례(예를 들어, 두 명 이상의 평가자가 30건의 우울증 진단이 있는지 여부에 대해 얼마나 잘 합의하는가, 예/아니오)도 있다.공칭 변수).

카파는 +1.0보다 크거나 -1.0보다 작을 수 없다는 점에서 상관 계수와 유사합니다.합의의 척도로 사용되기 때문에 대부분의 상황에서는 양의 값만 예상되며 음의 값은 체계적인 불일치를 나타냅니다.카파는 두 합치도가 양호하고 목표 조건의 비율이 50%에 가까운 경우에만 매우 높은 값을 얻을 수 있습니다(연결 확률 계산에 기준 비율을 포함하기 때문입니다).몇몇 당국자들은 합의의 수준을 해석하기 위해 "경험 규칙"을 제시했는데, 그 중 상당수는 단어들이 ^{[8][9][10][11]}동일하지는 않지만 요지에서는 일치한다.

상관 계수

Pearson의 $r\$displaystyle $r$ Kendall의$$, $또는{\displaystyle }$ Spearman의 {\\$displaystyle \rho$중 하나를 사용하여 주문된 척도를 사용하여 평가자 간의 쌍별 상관 관계를 측정할 수 있습니다.Pearson은 등급 척도가 연속적이라고 가정합니다. Kendall과 Spearman 통계는 등급 척도가 순서형이라고 가정합니다.3개 이상의 평가자가 관찰된 경우 그룹의 평균 일치 수준은 가능한 각 평가자 $쌍$에서$$r\$displaystyle$$$r, or 또는$style$\displaystyle \rho$$값의$$ 평균으로 계산할 수 있습니다.

클래스 내 상관 계수

신뢰성 테스트를 수행하는 또 다른 방법은 클래스 내 상관 계수(ICC)^[12]를 사용하는 것입니다.여기에는 여러 가지 유형이 있으며 하나는 "참 점수의 ^[13]피험자 간 변동으로 인한 관측치의 분산 비율"로 정의됩니다.ICC의 범위는 0.0과 1.0 사이일 수 있습니다(ICC의 초기 정의는 -1과 +1 사이일 수 있습니다).ICC는 모든 평가자가 각 항목에 동일하거나 유사한 점수를 부여하는 등 평가자가 각 항목에 부여한 점수 사이에 변동이 거의 없을 때 높을 것이다.ICC는 Pearson의 $r$과 Spearman의 ${displaystyle\rho$보다 개선된 것으로 평가자 간의 상관관계와 더불어 개별 부문의 등급 차이를 고려하기 때문이다.

계약한도

합의에 대한 또 다른 접근법(평가자가 두 명이고 척도가 연속적일 때 유용)은 두 평가자의 관측치 쌍 사이의 차이를 계산하는 것이다.이러한 차이의 평균을 바이어스라고 하며 기준 간격(평균 ± 1.96 × 표준 편차)을 합치 한계라고 한다.합치 한계를 통해 랜덤 변동이 등급에 얼마나 영향을 미칠 수 있는지 알 수 있습니다.

만약 평가자들이 동의하는 경향이 있다면, 평가자들의 관측치 사이의 차이는 거의 0에 가까워질 것이다.일반적으로 한 래터가 다른 래터보다 일정한 양만큼 높거나 낮으면 치우침이 0과 다릅니다.평가자들이 동의하지 않는 경향이 있지만, 한 등급이 다른 등급보다 높은 일관된 패턴이 없다면, 평균은 거의 0이 될 것입니다.신뢰 한계(일반적으로 95%)는 치우침과 각 합치 한계 모두에 대해 계산할 수 있습니다.

합치 한계를 계산하는 데 사용할 수 있는 몇 가지 공식이 있습니다.이전 단락에서 주어진 간단한 공식은 ^[14]60개 이상의 표본 크기에서 잘 작동한다.

$(\displaystyle\pm 1.96s)$

표본 크기가 작은 경우, 또 다른 일반적인^[15] 단순화는 다음과 같습니다.

$(\displaystyle\pm 2s)$

그러나 가장 정확한 공식(모든 샘플 ^[14]크기에 적용 가능)은 다음과 같습니다.

${{displaystyle {x}}\pm t_{0.05,n-1}s(rt {1+{\frac {1}{n}}})$

Bland와 Altman은^[15] 각 점의 차이, 평균 차이, 그리고 수평의 두 등급의 평균에 대한 수직의 합치 한계를 그래프로 나타내면서 이 아이디어를 확장했습니다.결과 Bland-Altman 그림은 전반적인 합의 정도뿐만 아니라 합의가 항목의 기본 가치와 관련이 있는지 여부도 보여준다.예를 들어, 두 평가자는 작은 항목의 크기를 추정하는 데는 거의 동의하지만 큰 항목에 대해서는 동의하지 않을 수 있다.

두 가지 측정 방법을 비교할 때, 두 가지 방법 사이의 일치 한계와 치우침을 모두 추정하는 것뿐만 아니라(당사자 간 합의) 각 방법에 대한 이러한 특성도 평가하는 것이 흥미롭다.단순히 두 방법 중 하나는 합의의 범위가 넓은 반면 다른 하나는 협소하기 때문에 두 방법 간의 합의가 빈약할 수 있다.이 경우, 합의 한도가 좁은 방법이 통계적 관점에서 더 우수할 것이며, 실무적 또는 그 밖의 고려사항으로 인해 이러한 인식이 바뀔 수 있다.협소하거나 광범위한 합의 한계 또는 크고 작은 편향을 구성하는 것은 각각의 경우에 대한 실질적인 평가의 문제이다.

크리펜도르프 알파

크리펜도르프의 알파는^[16][17] 주어진 개체 집합을 변수의 값으로 분류, 평가 또는 측정하는 관찰자 간에 달성된 합치를 평가하는 다목적 통계량입니다.여기에는 임의의 수의 관측자를 수용하고, 명목, 서수, 간격 및 비율 측정 수준에 적용 가능하며, 결측 데이터를 처리할 수 있으며, 작은 표본 크기에 대해 수정됨으로써 몇 가지 특수 합치 계수가 일반화됩니다.

알파는 텍스트 단위가 훈련된 코더에 의해 분류되는 콘텐츠 분석에서 등장했으며 전문가들이 분석 가능한 용어로 개방형 인터뷰 데이터를 코드화하는 상담 및 조사 연구, 여러 가지 방법으로 개별 속성이 테스트되는 심리 측정학, 구조화되지 않은 사건이 기록되는 관찰 연구에서 사용된다.후속 분석 및 텍스트가 다양한 구문 및 의미적 품질에 대해 주석을 다는 컴퓨터 언어학에서.

불일치

여러 평가자가 유용한 작업의 경우 평가자는 관찰된 표적에 대해 동의하지 않을 것으로 예상된다.이와는 대조적으로, 단순 계산 작업(예: 가게에 진입하는 잠재적 고객 수)과 같은 명확한 측정과 관련된 상황은 종종 측정을 수행하는 한 명 이상의 사람이 필요하지 않다.

등급 목표의 관심 특성의 모호성을 포함하는 측정은 일반적으로 여러 명의 훈련된 평가자를 통해 개선된다.그러한 측정 작업은 종종 품질에 대한 주관적인 판단을 수반한다.예로는 의사의 '침대 옆 매너' 평가, 배심원들에 의한 증인 신뢰도 평가, 연설자의 프레젠테이션 기술 등이 있다.

측정 절차의 평가자 간 변동과 측정 결과 해석의 변동은 등급 측정의 오차 변동의 두 가지 예이다.애매하거나 어려운 측정 시나리오에서 신뢰성을 위해 등급 렌더링에 대한 명확한 지침이 필요합니다.

채점 지침이 없으면 등급은 실험자의 편견, 즉 등급 값이 평가자가 예상하는 쪽으로 표류하는 경향에 의해 점점 더 영향을 받습니다.반복 측정이 수반되는 프로세스 중에는 평가자가 지침과 측정 목표를 이해하도록 주기적인 재교육을 통해 래터 드리프트의 보정을 다룰 수 있다.

「 」를 참조해 주세요.

• 크론바흐 알파
• 등급(제약업)

레퍼런스

추가 정보

• Gwet, Kilem L. (2014) Rater간 신뢰성 핸드북, 제4판, (Gaithersburg: Advanced Analytics, LLC) ISBN 978-0970806284
• Gwet, K. L. (2008)"높은 합의 하에 라우터 간 신뢰성과 그 차이를 계산합니다."영국 수학통계심리학 저널, 61, 29~48
• Johnson, R., Penny, J. 및 Gordon, B.(2009).퍼포먼스 평가:퍼포먼스 태스크의 개발, 스코어링 및 검증뉴욕: 길포드 출판사.ISBN 978-1-59385-988-6
• Shoukri, M. M. (2010) Interobserver Agreement and Reliability 측정 (제2판).Boca Raton, FL: 채프먼 & 홀/CRC 프레스, ISBN 978-1-4398-1080-4

외부 링크

• AgreeStat 360: 클라우드 기반 라우터 간 신뢰성 분석, Cohen의 카파, Gwet의 AC1/AC2, Krippendorff의 알파, Brennan-Prediger, Fleiss의 일반화 카파, 클래스 내 상관 계수
• John Uebersax의 Rater 협정 통계적 방법
• 의료 교육 온라인에 의한 Rater간 신뢰성 계산기
• 온라인(멀티레이터) 카파 계산기
• Rater간 계약의 온라인 계산기