총 작동 특성

총 운용 특성(TOC)은 부울 변수와 순위 변수를 비교하기 위한 통계적 방법이다. TOC는 특성이 있는지 없는지를 진단할 수 있는 지수 변수의 능력을 측정할 수 있다. 유무의 진단은 지수의 값이 임계값을 초과하느냐에 따라 달라진다. TOC는 가능한 임계값을 여러 개 고려한다. 각 임계값은 2x2의 분할표를 생성하며, 여기에는 적중, 누락, 거짓 경보, 수정 거부 등 4개의 항목이 포함된다.^[1]

수신기 작동 특성(ROC)도 진단 능력을 특징으로 하지만 ROC는 TOC보다 적은 정보를 노출한다. 각 임계값에 대해 ROC는 적중/(히트 + 미스)와 거짓 경보/(허위 경보 + 올바른 거부)의 두 가지 비율을 표시하며, TOC는 각 임계값에 대한 총 정보를 분할표에 표시한다.^[2] TOC 방법은 ROC 방법이 제공하는 모든 정보와 더불어 ROC가 밝히지 않는 중요한 추가 정보, 즉 각 임계값에 대한 보정표의 모든 항목의 크기를 나타낸다. TOC는 또한 ROC의 커브(AUC) 아래에 인기 있는 영역을 제공한다.

TOC는 토지 변경 과학, 의료 영상, 기상 예측, 원격 감지 및 재료 테스트를 포함하되 이에 국한되지 않는 많은 분야에서 진단 능력을 측정하는데 적용된다.

기본개념

TOC 곡선을 구성하는 절차는 인덱스가 다양한 임계값과 어떻게 관련되어 있는지에 따라 각 관측치를 존재 또는 부재 중 하나로 진단하여 부울 변수를 인덱스 변수와 비교한다. 관측치 지수가 임계값보다 크거나 같으면 관측치가 존재한다고 진단하고 그렇지 않으면 관측치가 없는 것으로 진단한다. 단일 임계값에 대한 부울 변수와 진단 간의 비교에서 발생하는 분할표에는 네 개의 중앙 항목이 있다. 4개의 중앙 입력 항목은 히트(H), 미스(M), 거짓 경보(F), 수정 거부(C)이다. 관측치의 총수는 P + Q이다. "진정한 긍정", "허위 부정", "허위 부정", "진정한 부정"이라는 용어는 각각 히트, 미스, 허위 경보, 정확한 거절에 해당한다. 입력 항목은 다음과 같이 2x2 분할표 또는 혼동 행렬로 작성할 수 있다.

진단 부울	존재감	부재	부울 합계
존재감	조회수(H)	미스(M)	H + M = P
부재	거짓 경보(F)	올바른 거부(C)	F + C = Q
진단합계	H + F	M + C	P + Q

4비트의 정보가 한계 총계를 포함하여 분할표의 모든 항목을 결정한다. 예를 들어, 우리가 H, M, F, C를 알고 있다면, 우리는 어떤 임계값에 대한 모든 한계 총계를 계산할 수 있다. 또는 H/P, F/Q, P, Q를 알면 표의 모든 항목을 계산할 수 있다.^[1] 2비트의 정보로는 만일의 사태에 대비한 표를 완성하기에 충분하지 않다. 예를 들어, 우리가 ROC가 보여주는 H/P와 F/Q만 알고 있다면, 표의 모든 항목을 알 수 없다.^[1]

역사

로버트 길모어 폰티우스 주니어 클라크대 지리학과 교수와 캉핑시는 2014년 토지변화과학 응용을 위한 TOC를 처음 개발했다.

TOC 공간

TOC 레이블

4개의 상자가 있는 TOC 곡선은 TOC 곡선의 한 점이 히트, 미스, 잘못된 경보 및 정확한 거절을 어떻게 나타내는지 나타낸다. TOC 곡선은 모든 임계값에 대한 분할표의 총 정보를 표시하는 효과적인 방법이다. 이 TOC 곡선을 만드는 데 사용된 데이터는 여기에서 다운로드할 수 있다. 이 데이터 집합에는 30개의 관측치가 있으며, 각 관측치는 부울 변수와 인덱스 변수에 대한 값으로 구성된다. 관측치는 지수의 가장 큰 값에서 가장 작은 값까지 순위를 매긴다. 31개의 임계값이 있는데, 이 임계값은 인덱스의 30개 값과 모든 인덱스 값보다 큰 1개의 추가 임계값으로 구성되어 있어, 출발점(0,0)에 점을 생성한다. 각 점에 라벨을 붙여 각 임계값의 값을 표시한다. 수평 축의 범위는 데이터 집합(P + Q)의 관측치 수인 0부터 30까지입니다. 수직 축의 범위는 0 ~ 10이며, 이는 부울 변수의 존재 관측치 수 P(즉, 히트 + 미스)이다. 또한 TOC 곡선은 왼쪽의 TOC 곡선이 나타내듯이 최대 선이 히트 + 미스 라인을 충족하는 지점 바로 아래에 있는 임계값인 부울 존재 양과 일치하는 임계값을 보여준다. TOC 곡선의 구조에 대한 자세한 설명은 폰티우스 주니어, 로버트 길모어; 시, 캉핑(2014년)을 참조하십시오. "다중 임계값에 대한 진단 능력을 측정하기 위한 총 작동 특성" 국제지리정보과학 28(3): 570–583."^[1]

다음 네 가지 정보는 각 임계값에 대한 분할표의 중심 항목이다.

각 임계값에서 적중 횟수는 임계값 포인트와 수평 축 사이의 거리를 말한다.
각 임계값에서 누락된 횟수는 임계값 포인트와 히트 + 누락된 수평선 사이의 거리를 그래프의 상단을 가로지른다.
각 임계값에서 잘못된 경보의 수는 임계값 포인트와 TOC 공간의 좌측을 경계하는 파란색 점 최대 점 사이의 거리입니다.
각 임계값에서 올바른 거부 수는 임계값 포인트와 TOC 공간의 오른쪽을 경계로 하는 보라색 점 최소선 사이의 거리입니다.

TOC 대 ROC 곡선

TOC 곡선

ROC 곡선

이 수치는 동일한 데이터와 임계값을 사용하는 TOC 및 ROC 곡선이다. 임계값 74에 해당하는 점을 고려하십시오. TOC 곡선은 안타 수를 3으로 나타내고, 따라서 빗맞은 횟수는 7이다. 또한 TOC 곡선을 보면 거짓 경보의 수는 4개, 정확한 거부 횟수는 16개임을 알 수 있다. ROC 곡선의 특정 지점에서 거짓 경보/(허위 경보+수정 거부) 및 히트/(히트+실수)의 비율 값을 수집할 수 있다. 예를 들어, 임계값 74에서는 x 좌표가 0.2이고 y 좌표가 0.3인 것이 분명하다. 그러나 이 두 값은 기초적인 2대 2 분할표의 모든 항목을 구성하기에 불충분하다.

TOC 곡선 해석

TOC 또는 ROC 곡선을 요약하기 위해 곡선 아래 면적(AUC)을 보고하는 것이 일반적이다. 그러나 단일 숫자로의 응축 진단 능력은 곡선의 모양을 이해하지 못한다. 다음의 세 개의 TOC 곡선은 AUC가 0.75이지만 모양이 다른 TOC 곡선이다.

높은 임계값에서 더 높은 정확도를 가진 TOC 곡선.

왼쪽의 이 TOC 곡선은 지수 변수가 원점 부근의 높은 임계값에서는 높은 진단 능력이 있지만 곡선의 오른쪽 상단 부근의 낮은 임계값에서는 무작위 진단 능력이 있는 경우를 예시한다. 곡선은 곡선이 임계치 86에 도달할 때까지 존재에 대한 정확한 진단을 보여준다. 그런 다음 곡선은 수평을 이루며 랜덤선을 중심으로 예측한다.

모든 임계값에서 중간 정확도의 TOC 곡선.

이 TOC 곡선은 지수 변수가 모든 임계값에서 중간 진단 능력을 갖는 경우를 예시한다. 곡선이 랜덤 선 위에 일관적으로 있다.

낮은 임계값에서 정확도가 높은 TOC 곡선.

이 TOC 곡선은 지수 변수가 높은 임계값에서 무작위 진단 능력을 가지고 있고 낮은 임계값에서 높은 진단 능력을 가지고 있는 경우를 예시한다. 곡선은 원점 부근의 가장 높은 임계값에서 랜덤선을 따르며, 그 다음, 지수 변수는 오른쪽 상단 모서리에서 임계값이 감소함에 따라 결함을 정확하게 진단한다.

곡선 아래 영역

진단 능력을 측정할 때 일반적으로 보고되는 측정치는 곡선 아래 영역(AUC)이다. AUC는 TOC와 ROC에서 계산할 수 있다. AUC 값은 TOC 곡선 또는 ROC 곡선의 곡선 아래 영역을 계산하든 동일한 데이터에 대해 일관된다. AUC는 무작위로 선택한 부울 존재의 관측치가 무작위로 선택한 부울 부재 관측치보다 높게 순위를 매길 확률을 나타낸다.^[3] AAC는 진단 능력을 단일 숫자로 요약하고 있지만, 특히 공간적으로 명백하게 분석할 경우 잠재적으로 오해를 불러일으킬 수 있는 조치라는 비판을 받고 있기 때문에 많은 연구자들에게 호소하고 있다.^[3]^[4] 비판을 초래하는 AUC의 일부 특징에는 1)AUC가 임계값을 무시한다는 사실, 2)AUC는 거의 작동하지 않는 TOC 또는 ROC 공간의 영역에 대한 시험 성능을 요약하고, 3)AUC는 누락 및 커미션 오류를 동등하게 가중시키고, 4)AUC는 모델 오류의 공간 분포에 대한 정보를 제공하지 않는다. 5) 공간적 범위의 선택은 정확하게 진단된 결석 비율과 AUC 점수에 큰 영향을 미친다.^[5] 그러나 그러한 비판의 대부분은 다른 많은 지표에 적용된다.

정규화된 단위를 사용할 때, 곡선 아래의 영역(흔히 단순하게 AUC라고 함)은 분류자가 무작위로 선택한 양의 인스턴스(instance)를 무작위로 선택한 음의 인스턴스(instance)보다 높게('양'의 순위가 '음'보다 높다고 가정)^[6]할 확률과 같다. 이는 다음과 같이 볼 수 있다:곡선 아래의 영역은 (큰 T가 x축에 더 낮은 값을 가지므로 적분 경계가 역전됨)

[\displaystyle TPR(T):T\오른쪽 화살표 y(x)}

FPR(T):T\오른쪽 화살표 x}

A=\int _{x=0}^{1}{\mbox{TPR}}({\mbox{F)PR}}^{-1}(x)\,dx=\int_{\int _{\infit }^{-\infit }{\mbox{TPR}(T){\mbox{FPR}}'(T)\,dT=\int _{-\infty }^{\infty }\int _{-\infty }^{\infty }I(T'>T)f_{1}(T')f_{0}(T)\,dT'\,dT=P(X_{1}>X_{0})

여기서 $X_{1}$ $X_{1}$ ${\$ ${$ $1$ }는 $X_{1}$ 양의 인스턴스(instance)에 대한 점수, $X_{0}$ $X_{0}$ {\ $displaystyle X_{0}$ 은 $X_{0}$ $f_{0}$ 음의 인스턴스(instance)에 대한 점수, $f_{0}$ $f_{0}$ ${\$ 및 $f_{1}$ $f_{1}$ ${\$ 1}은 $이전$ 절에서 정의한 확률 밀도이다 $f_{1}$ .

AUC가 부정보다 높은 순위에 있는지 여부를 검정하는 ^[7]^[8]Mann-Whitney U와 밀접하게 연관되어 있음을 더욱 알 수 있다. 계급의 윌콕슨 시험과도 맞먹는다.^[8] AUC는 $G_{1}=2{\mbox{AUC}}-1$ = $G_{1}=2{\mbox{AUC}}-1$ $G_{1}=2{\mbox{AUC}}-1$ - $G_{1}=2{\mbox{AUC}}-1$ ${\displaystyle G_{1}=2{\mbox{$ 1 $G_{1}$ 라는 공식으로 지니계수( $G_{1}$ ${\$ 1}})와 관련이 있다. $AUC}-1$ 여기서:

G_{1}=1-\sum _{k=1}^{n}(X_{k}-X_{k-1})(Y_{k}+Y_{k-1})

^[9]

이러한 방식으로 사다리꼴 근사치의 평균을 사용하여 AUC를 계산할 수 있다.

또한 두 예측 결과 사이의 선 세그먼트의 어느 지점이라도 세그먼트의 반대편 구성 요소의 상대적 길이에 비례하는 확률로 한 시스템 또는 다른 시스템을 임의로 사용하여 달성할 수 있으므로 TOC 볼록 선체(ROC AUCH = ROCH AUC) 아래의 면적을 계산하는 것이 일반적이다.^[10] 또한 빈도를 반전시킬 수도 있다 – 그림에서처럼 더 나쁜 해결책이 더 나은 해결책이 되기 위해 반영될 수 있다; 빈도는 어느 선 세그먼트에서도 반영될 수 있지만, 이 보다 극단적인 형태의 융접은 데이터를 과도하게 적합시킬 가능성이 훨씬 높다.^[11]

전술 작전 본부 탄산 암모늄-우라닐 또 다른 문제는 단일 번호대로 전술 작전 본부 곡선을 낮추는 것은 사실은 그 관련 대안을 마련 Informedness이 다른 시스템 또는 성능점 아니라 개별 시스템의 성능뿐만 아니라 오목한 형태 회복의 가능성을 무시하고 사울 사이의 트레이드 오프에 대해, 사태를 외면하고 있다.[표창 필요한] 또는 DeltaP가 권장된다.^[12]^[13] 이러한 측정은 기본적으로 DeltaP' = 정보성 = 2AUC-1을 가진 단일 예측 지점의 지니와 동일하며, DeltaP = 표기는 이중(실제 등급으로부터의 예측을 예측하는 viz)을 나타내며, 그 기하 평균은 Matthews 상관 계수다.^{[citation needed]}

반면에 총 유기 탄소 탄산 암모늄-우라닐 0과 1— 사이에 충분한 정보를 선형 분급기 0.5—은 다른 방안 informedness,[표창 필요한]확실성[12]과 지니 계수로(단일 parameterization 또는 단일 시스템 사건에)[표창 필요한] 알려진 굴복에 따라 다양한 모든 이동하는 1완벽한 표현하 0기회를 성능을 나타내는 장점을 가진다. 성능, 그리고 −1"페를 나타냅니다.항상 잘못된 응답을 제공하는 완전한 지식의 반대" 사례.^[14] 우연한 성과를 0으로 가져오면 이러한 대체 척도를 카파 통계로 해석할 수 있다. 지식은 코헨 카파, 플라이스 카파와 같은 카파의 다른 일반적인 정의에 비해 기계 학습에 바람직한 특성을 가지고 있는 것으로 나타났다.^{[citation needed]}^[15]

때로는 전체 곡선보다는 TOC 곡선의 특정 영역을 보는 것이 더 유용할 수 있다. 부분적인 AUC를 계산하는 것이 가능하다.^[16] 예를 들어, 종종 모집단 선별 검사의 주된 관심사인 낮은 거짓 양성률로 곡선 영역에 초점을 맞출 수 있다.^[17] P common N (생물정보학 애플리케이션에서 공통)이 x축에 대한 로그 척도를 사용하는 분류 문제에 대한 또 다른 일반적인 접근법이다.^[18]

참조

^ ^a ^b ^c ^d Pontius, Robert Gilmore; Si, Kangping (2014). "The total operating characteristic to measure diagnostic ability for multiple thresholds". International Journal of Geographical Information Science. 28 (3): 570–583. doi:10.1080/13658816.2013.862623.
^ Pontius, Robert Gilmore; Parmentier, Benoit (2014). "Recommendations for using the Relative Operating Characteristic (ROC)". Landscape Ecology.
^ ^a ^b Halligan, Steve; Altman, Douglas G.; Mallett, Susan (2015). "Disadvantages of using the area under the receiver operating characteristic curve to assess imaging tests: A discussion and proposal for an alternative approach". European Radiology. 25 (4): 932–939. doi:10.1007/s00330-014-3487-0. PMC 4356897. PMID 25599932.
^ Powers, David Martin Ward (2012). "The problem of Area Under the Curve". 2012 IEEE International Conference on Information Science and Technology. doi:10.1109/ICIST.2012.6221710.
^ Lobo, Jorge M.; Jiménez-Valverde, Alberto; Real, Raimundo (2008). "AUC: a misleading measure of the performance of predictive distribution models". Global Ecology and Biogeography. 17 (2): 145–151. doi:10.1111/j.1466-8238.2007.00358.x.
^ 포셋, 톰(2006); ROC 분석, 패턴 인식 서신 27, 861–874 소개.
^ Hanley, James A.; McNeil, Barbara J. (1982). "The Meaning and Use of the Area under a Receiver Operating Characteristic (ROC) Curve". Radiology. 143 (1): 29–36. doi:10.1148/radiology.143.1.7063747. PMID 7063747.
^ ^a ^b Mason, Simon J.; Graham, Nicholas E. (2002). "Areas beneath the relative operating characteristics (ROC) and relative operating levels (ROL) curves: Statistical significance and interpretation" (PDF). Quarterly Journal of the Royal Meteorological Society. 128 (584): 2145–2166. Bibcode:2002QJRMS.128.2145M. CiteSeerX 10.1.1.458.8392. doi:10.1256/003590002320603584. Archived from the original (PDF) on 2008-11-20.
^ 손, 데이비드 J. 및 틸, 로버트 J.(2001); 다중 클래스 분류 문제에 대한 ROC 곡선 아래 영역의 단순 일반화, 기계 학습, 45, 171–186.
^ Provost, F.; Fawcett, T. (2001). "Robust classification for imprecise environments". Machine Learning. 42 (3): 203–231. arXiv:cs/0009007. doi:10.1023/a:1007601015854.
^ Flach, P.A.; Wu, S. (2005). "Repairing concavities in ROC curves." (PDF). 19th International Joint Conference on Artificial Intelligence (IJCAI'05). pp. 702–707.
^ ^a ^b Powers, David MW (2012). "ROC-ConCert: ROC-Based Measurement of Consistency and Certainty" (PDF). Spring Congress on Engineering and Technology (SCET). Vol. 2. IEEE. pp. 238–241.
^ Powers, David M.W. (2012). "The Problem of Area Under the Curve". International Conference on Information Science and Technology.
^ Powers, David M. W. (2003). "Recall and Precision versus the Bookmaker" (PDF). Proceedings of the International Conference on Cognitive Science (ICSC-2003), Sydney Australia, 2003, pp. 529–534.
^ Powers, David M. W. (2012). "The Problem with Kappa" (PDF). Conference of the European Chapter of the Association for Computational Linguistics (EACL2012) Joint ROBUS-UNSUP Workshop. Archived from the original (PDF) on 2016-05-18. Retrieved 2012-07-20.
^ McClish, Donna Katzman (1989-08-01). "Analyzing a Portion of the ROC Curve". Medical Decision Making. 9 (3): 190–195. doi:10.1177/0272989X8900900307. PMID 2668680.
^ Dodd, Lori E.; Pepe, Margaret S. (2003). "Partial AUC Estimation and Regression". Biometrics. 59 (3): 614–623. doi:10.1111/1541-0420.00071. PMID 14601762.
^ Karplus, Kevin (2011); Better than Chance: University of California, University of California Cruz, Proteomics, Structural Biology and Bio Informatics(PR PS BB 2011)에서 Null 모델의 중요성

추가 읽기

Pontius Jr, Robert Gilmore; Si, Kangping (2014). "The total operating characteristic to measure diagnostic ability for multiple thresholds". International Journal of Geographical Information Science. 28 (3): 570–583. doi:10.1080/13658816.2013.862623.
Pontius Jr, Robert Gilmore; Parmentier, Benoit (2014). "Recommendations for using the Relative Operating Characteristic (ROC)". Landscape Ecology. 29 (3): 367–382. doi:10.1007/s10980-013-9984-8.
Mas, Jean-François; Filho, Britaldo Soares; Pontius Jr, Robert Gilmore; Gutiérrez, Michelle Farfán; Rodrigues, Hermann (2013). "A suite of tools for ROC analysis of spatial models". ISPRS International Journal of Geo-Information. 2 (3): 869–887. doi:10.3390/ijgi2030869.
Pontius Jr, Robert Gilmore; Pacheco, Pablo (2004). "Calibration and validation of a model of forest disturbance in the Western Ghats, India 1920–1990". GeoJournal. 61 (4): 325–334. doi:10.1007/s10708-004-5049-5.
Pontius Jr, Robert Gilmore; Batchu, Kiran (2003). "Using the relative operating characteristic to quantify certainty in prediction of location of land cover change in India". Transactions in GIS. 7 (4): 467–484. doi:10.1111/1467-9671.00159.
Pontius Jr, Robert Gilmore; Schneider, Laura (2001). "Land-use change model validation by a ROC method for the Ipswich watershed, Massachusetts, USA". Agriculture, Ecosystems & Environment. 85 (1–3): 239–248. doi:10.1016/s0167-8809(01)00187-6.

참고 항목

외부 링크

[Si-1] Pontius, Robert Gilmore; Si, Kangping (2014). "The total operating characteristic to measure diagnostic ability for multiple thresholds". International Journal of Geographical Information Science. 28 (3): 570–583. doi:10.1080/13658816.2013.862623.

[2] Pontius, Robert Gilmore; Parmentier, Benoit (2014). "Recommendations for using the Relative Operating Characteristic (ROC)". Landscape Ecology.

[Halligan2015-3] Halligan, Steve; Altman, Douglas G.; Mallett, Susan (2015). "Disadvantages of using the area under the receiver operating characteristic curve to assess imaging tests: A discussion and proposal for an alternative approach". European Radiology. 25 (4): 932–939. doi:10.1007/s00330-014-3487-0. PMC 4356897. PMID 25599932.

[Powers2012-4] Powers, David Martin Ward (2012). "The problem of Area Under the Curve". 2012 IEEE International Conference on Information Science and Technology. doi:10.1109/ICIST.2012.6221710.

[Lobo2007-5] Lobo, Jorge M.; Jiménez-Valverde, Alberto; Real, Raimundo (2008). "AUC: a misleading measure of the performance of predictive distribution models". Global Ecology and Biogeography. 17 (2): 145–151. doi:10.1111/j.1466-8238.2007.00358.x.

[6] 포셋, 톰(2006); ROC 분석, 패턴 인식 서신 27, 861–874 소개.

[Hanley-7] Hanley, James A.; McNeil, Barbara J. (1982). "The Meaning and Use of the Area under a Receiver Operating Characteristic (ROC) Curve". Radiology. 143 (1): 29–36. doi:10.1148/radiology.143.1.7063747. PMID 7063747.

[Mason-8] Mason, Simon J.; Graham, Nicholas E. (2002). "Areas beneath the relative operating characteristics (ROC) and relative operating levels (ROL) curves: Statistical significance and interpretation" (PDF). Quarterly Journal of the Royal Meteorological Society. 128 (584): 2145–2166. Bibcode:2002QJRMS.128.2145M. CiteSeerX 10.1.1.458.8392. doi:10.1256/003590002320603584. Archived from the original (PDF) on 2008-11-20.

[9] 손, 데이비드 J. 및 틸, 로버트 J.(2001); 다중 클래스 분류 문제에 대한 ROC 곡선 아래 영역의 단순 일반화, 기계 학습, 45, 171–186.

[10] Provost, F.; Fawcett, T. (2001). "Robust classification for imprecise environments". Machine Learning. 42 (3): 203–231. arXiv:cs/0009007. doi:10.1023/a:1007601015854.

[FlachWu2005-11] Flach, P.A.; Wu, S. (2005). "Repairing concavities in ROC curves." (PDF). 19th International Joint Conference on Artificial Intelligence (IJCAI'05). pp. 702–707.

[Powers2012a-12] Powers, David MW (2012). "ROC-ConCert: ROC-Based Measurement of Consistency and Certainty" (PDF). Spring Congress on Engineering and Technology (SCET). Vol. 2. IEEE. pp. 238–241.

[Powers2012b-13] Powers, David M.W. (2012). "The Problem of Area Under the Curve". International Conference on Information Science and Technology.

[14] Powers, David M. W. (2003). "Recall and Precision versus the Bookmaker" (PDF). Proceedings of the International Conference on Cognitive Science (ICSC-2003), Sydney Australia, 2003, pp. 529–534.

[15] Powers, David M. W. (2012). "The Problem with Kappa" (PDF). Conference of the European Chapter of the Association for Computational Linguistics (EACL2012) Joint ROBUS-UNSUP Workshop. Archived from the original (PDF) on 2016-05-18. Retrieved 2012-07-20.

[16] McClish, Donna Katzman (1989-08-01). "Analyzing a Portion of the ROC Curve". Medical Decision Making. 9 (3): 190–195. doi:10.1177/0272989X8900900307. PMID 2668680.

[17] Dodd, Lori E.; Pepe, Margaret S. (2003). "Partial AUC Estimation and Regression". Biometrics. 59 (3): 614–623. doi:10.1111/1541-0420.00071. PMID 14601762.

[18] Karplus, Kevin (2011); Better than Chance: University of California, University of California Cruz, Proteomics, Structural Biology and Bio Informatics(PR PS BB 2011)에서 Null 모델의 중요성

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]

[15]

[16]

[17]

[18]

Search