허위발견율

False discovery rate

통계에서 FDR(false discovery rate)은 다중 비교를 수행할 때 귀무 가설 검정에서 유형 I 오류의 비율을 개념화하는 방법이다. FDR-제어 절차는 FDR을 제어하기 위해 설계되었으며, 이는 거짓인 "발견"(거부된 귀무 가설)의 예상 비율이다.[1] 동등하게 FDR은 총 양의 분류(허위 발견) 수에 대한 예상 비율이다(null의 거부). null의 총 거부 수에는 거짓 긍정 수(FP)와 참 긍정 수(TP)가 모두 포함된다. 간단히 말해서, FDR = FP / (FP + TP)이다. FDR-제어 절차는 적어도 하나의 유형 I 오류의 확률을 제어하는 가족 오류율(FWER) 제어 절차(: Bonferroni 수정)에 비해 유형 I 오류에 대한 덜 엄격한 제어를 제공한다. 따라서 FDR-지배절차는 제1종 오류의 증가된 숫자의 비용으로 더 큰 을 갖는다.[2]

역사

기술적 동기 부여

FDR의 현대적인 광범위한 사용은 여러 개인에서 많은 수의 구별되는 변수의 수집과 분석을 가능하게 하는 기술 개발에서 기인하고 동기 부여가 된다고 여겨진다([3]예를 들어 100명의 다른 사람에서 각각 1만 개의 다른 유전자의 표현 수준). 1980년대 후반과 1990년대까지, 게노믹스와 같은 "고투과" 과학의 발전은 빠른 데이터 획득을 가능하게 했다. 이는 컴퓨팅 능력의 증가와 결합하여 주어진 데이터 집합에 대해 수백, 수천 의 통계적 테스트를 원활하게 수행할 수 있게 했다. 마이크로레이 기술은 두 생물학적 조건 사이의 차등 발현에 대해 수천 개의 유전자를 동시에 시험할 수 있게 해 주었기 때문에 원형적인 예였다.[4]

고투과 기술이 보편화됨에 따라, 기술 및/또는 재정 제약으로 인해 연구자들은 표본 크기가 상대적으로 작은 데이터 집합(예: 시험 대상인 개인은 거의 없음)과 표본당 측정되는 다수의 변수(예: 수천 개의 유전자 표현 수준)를 수집하게 되었다. 이러한 데이터 집합에서 표준 다중 비교 절차를 가진 복수 검정에 대해 고전적인 보정 후 통계적 유의성을 보이는 변수는 너무 적었다. 이로 인해 많은 과학계 내에서 FWER를 폐기하고, 개인에 걸쳐 뚜렷한 효과를 나타내는 변수나 복수 시험에 대한 표준 보정 후 유의하지 않은 것으로 간주될 수 있는 치료법을 강조하고 출판물에 순위를 매기기 위한 다른 방법에 대한 조정되지 않은 다중 가설 시험을 폐기해야 할 필요성이 생겼다. 이에 대응하여, FWER보다 보수적이지 않은 다양한 오류율이 제안되었고, 출판물에 일반적으로 사용되기 시작했다. 이는 주목할 만한 관찰 결과를 도출하는 데 있어 FWER보다 덜 보수적이다. FDR은 연구자들이 후속 작업을 할 "발견"을 찾고 있을 때 유용하며(예: 후속 연구를 위한 유망 유전자를 탐지), 기꺼이 받아들일 "허위 리드"의 비율을 조절하는 데 관심이 있을 때 유용하다.

문학

FDR 개념은 1995년[1](BH 절차) Yoav BenjaminiYosef Hochberg에 의해 공식적으로 설명되었다. 이는 시험한 사소한 많은 효과로부터 중요한 소수의 영향을 식별하기 위한 덜 보수적이고 논란의 여지가 있을 정도로 더 적절한 접근법이다. FDR은 많은 과학 분야(특히 생명과학, 유전학, 생화학, 종양학, 식물과학)에서 폭넓은 인정을 받는 FWER의 첫 번째 대안이었기 때문에 특히 영향력이 컸다.[3] 2005년, 1995년의 벤자민이와 호흐베르크 논문은 25개의 가장 많이 인용된 통계 논문 중 하나로 확인되었다.[5]

1995년 FDR 개념의 도입 이전에는 통계 문헌에서 다양한 전구 사상이 검토되어 왔다. 1979년, Holm은 적어도 잘 알려진 Bonferroni 조정만큼 강력한 FWER를 제어하기 [6]위한 단계적 알고리즘인 Holm 절차를 제안했다. 이 단계적 알고리즘은 p-값을 정렬하고 최소 p-값부터 시작하는 가설을 순차적으로 거부한다.

베냐민니(2010)[3]는 허위 발견률과 논문 베냐민이와 호흐베르크(1995)가 복수 테스트와 관련된 두 논문에서 유래했다고 밝혔다.

  • 첫 번째 논문은 SchwederSpjotvoll(1982)이 순위 p-값을 플로팅하고 가장 큰 p-값부터 시작하는 눈 맞춤 선을 통해 진정한 귀무 가설의 수( 를 평가하자고 제안했다.[7] 이 직선에서 벗어나는 p-값은 잘못된 귀무 가설과 일치해야 한다. 이 아이디어는 나중에 알고리즘으로 개발되었고, 의 추정을 본페로니, 홀름 또는 호흐베르크와 같은 절차에 통합하였다.[8] 이러한 생각은 BH 절차의 그래픽 해석과 밀접한 관련이 있다.
  • 두 번째 논문은 복수의 가설 검정 맥락에서 [9]"발견"이라는 용어를 도입한 브란코 소릭(1989)의 것이다. 소리크는 "통계적 발견의 상당 부분이 틀릴 수 있다"는 경고로 예상된 허위 발견 횟수를 발견 횟수[V]/ )로 나눈 값을 사용했다. 이로 인해 벤자민과 호흐베르크는 단지 경고에 불과하기 보다는 비슷한 오류율이 통제의 가치 있는 목표가 될 수 있다는 생각을 하게 되었다.

BH 절차는 1995년 벤자민과 호흐베르크에 의해 독립 시험을 위한 FDR을 통제하는 것으로 증명되었다.[1] 1986년 R. J. Simes는 통계가 독립적일 때 (교차로 귀무 가설에서) 약한 의미에서 FWER를 제어하기 위해 "Simes 절차"와 동일한 절차를 제공했다.[10]

정의들

아래 정의에 기초하여 Q를 발견 중 거짓 발견의 비율(귀무 가설의 기각)으로 정의할 수 있다.

= / R= /( + ) .

여기서 (는) 잘못된 발견의 수이고 진정한 발견의 수입니다.

FDR(False Discovery Rate)은 다음과 같다.[1]

서 E[ (는) 예상 값이다 목표는 FDR을 지정된 임계값 q 이하로 유지하는 것이다. To avoid division by zero, is defined to be 0 when . Formally, .[1]

다중 가설 검정 분류

다음 표는 여러 귀무 가설을 검정할 때 가능한 결과를 정의한다. H1, H2, ..., Hm 표시된 귀무 가설의 숫자 m이 있다고 가정합시다. 통계적 테스트를 사용하여 해당 검정이 유의하다고 선언되면 귀무 가설을 기각한다. 만약 검정이 중요하지 않다면 우리는 귀무 가설을 기각하지 않는다. 모든 Hi 걸쳐 각 유형의 결과를 합산하면 다음과 같은 랜덤 변수가 발생한다.

귀무 가설 참(H0) 대립 가설 참(HA) 합계
테스트가 유의하다고 선언됨 V S R
검정이 중요하지 않은 것으로 선언됨 U T
합계 m
  • m은 가설을 검정한 총 수입니다.
  • (는) 알 수 없는 모수인 참 귀무 가설의 수입니다.
  • - (는) 진정한 대립 가설의 수입니다.
  • V잘못된 긍정(Type I error)의 수입니다("허위 검색"이라고도 함).
  • S는 참 긍정("참 발견"이라고도 함)의 수입니다.
  • T거짓 부정의 수입니다(타입 II 오류).
  • U진정한 부정의 수입니다.
  • = + (는) 거부된 귀무 가설의 수입니다(참 또는 거짓이라고도 함).

참 귀무 가설인 m 가설 검정에서 R은 관측 가능한 랜덤 변수, S, T, U, V는 관측할 수 없는 랜덤 변수다.

제어 절차

많은 절차에 대한 설정은 H 귀무 가설과 1 … 해당하는 p-값을 갖는 것과 같다. 우리는 이러한 p-값을 오름차순으로 하고 P( ) … () 작은 p-값에서 큰 p-값으로 가는 절차를 단계적 절차라고 한다 유사한 방법으로, "단계별" 절차에서 우리는 큰 해당 시험 통계량에서 작은 시험 통계량으로 이동한다.

베냐민-호흐베르크 절차

베냐민-Hochberg 절차(BH 단계적 절차)는 레벨 에서 FDR을 제어하며[1] 다음과 같이 작동한다.

  1. For a given , find the largest k such that (i.e.,
  2. = ,… , displaystyle i 대한 모든 H( 에 대한 귀무 가설(예: 발견 선언)을 기각하십시오

으로 이것은 ( k 대 k(각각 y축과 x축에) 대 k(각각) 대 k(각각)로 선을 그어 슬로프 로 원점을 통과시키고, 선 아래까지 왼쪽의 모든 지점에 대한 발견을 선언한다.

BH 절차는 m 테스트가 독립적일 때 그리고 의존성의 다양한 시나리오에서도 유효하지만 보편적으로 유효하지는 않다.[11] 그것은 또한 불평등을 충족시킨다.

bh 절차에 의 추정기를 삽입하면 더 이상 원하는 수준에서 FDR 제어를 달성할 수 없다.[3] 추정기에 조정이 필요할 수 있으며 몇 가지 변경이 제안되었다.[12][13][14][15]

Note that the mean for these m tests is , the Mean(FDR ) or MFDR, adjusted for m independent or positively correlated tests (see AFDR below). 여기서 MFDR 표현은 의 단일 재조합 값에 대한 것으로, 벤자민 및 호흐베르크 방법의 일부가 아니다.

베냐민-예쿠틸리 절차

베냐민-예쿠티엘리 절차는 임의의존성 가정 하에서 허위 발견률을 통제한다.[11] 이러한 정교함은 임계값을 수정하고 다음과 같이 가장 큰 k를 찾는다.

  • 시험이 독립적이거나 긍정적인 상관관계가 있는 경우(베냐민리-에서와 같이)Hochberg 절차: ( )= 1 }
  • 임의의존성(부정 상관관계의 경우 포함)에서 c =harmon i= m
( ) 은(는) 테일러 시리즈 확장 및 오일러-마스케로니 상수( constant=를 사용하여 근사치를 계산할 수 있다는 점에 유의하십시오.):

Using MFDR and formulas above, an adjusted MFDR, or AFDR, is the min(mean ) for m dependent tests . Another way to address dependence is by bootstrapping and rerandomization.[4][16][17]

특성.

적응성 및 확장성

FDR 기준을 제어하는 다중성 절차를 사용하는 것은 적응성확장성을 갖는다. FDR을 통제하는 것은 매우 관대한 것일 수 있고(데이터가 정당화한다면), 또는 보수적일 수 있다는 것을 의미하며, 모든 것은 시험한 가설의 수와 유의성의 수준에 따라 달라진다.[3]

FDR 기준은 총 발견 횟수(R)에 따라 동일한 수의 거짓 발견(V)이 다른 의미를 갖도록 적응한다. 이는 가족에 대한 오류율 기준과 대비된다. 예를 들어, 100개의 가설(예를 들어, 일부 모집단의 일부 표현형과의 연관성에 대한 100개의 유전자 돌연변이 또는 SNP)을 검사하는 경우:

  • 만약 우리가 4개의 발견(R)을 한다면, 그것들 중 2개를 거짓 발견(V)으로 하는 것은 종종 비용이 많이 든다. 반면에,
  • 만약 우리가 50개의 발견(R)을 한다면, 그것들 중 2개를 거짓 발견(V)으로 하는 것은 종종 큰 비용이 들지 않는다.

FDR 기준은 총 발견 횟수(Q) 중 동일한 비율의 잘못된 발견이 다른 총 발견 수(R)에 대해 합리적이라는 점에서 확장 가능하다. 예를 들면 다음과 같다.

  • 우리가 100개의 발견(R)을 할 경우, 그 중 5개가 거짓 발견( %이 되는 것은 큰 비용이 들지 않을 수 있다.
  • 마찬가지로 1000개의 발견(R)을 할 경우, 그 중 50개가 거짓 발견(처럼 = 5%이라는 것은 여전히 큰 비용이 들지 않을 수 있다.

테스트 통계 간의 종속성

레벨 q에서 선형 스텝업 BH 절차를 사용하여 FDR을 제어하면 수정 중인 m 귀무 가설의 검정 통계량 사이의 종속성 구조와 관련된 몇 가지 특성이 있다. 검정 통계가 다음과 같은 경우:

  • 독립:[11] m m {}q
  • 독립적이고 연속적인:[1] R= m
  • 양수 의존성:[11] m {0}}{
  • 일반 경우:[11]FDR≤ m0mq/(1+12+13+⋯+1m)≈ m0mq/(ln ⁡(m)+γ+12m){\displaystyle \mathrm{FDR}\leq{\frac{m_{0}}{m}}q(1+{\frac{1}{2}}와{\frac{1}{3}}+\cdots+{\frac{1}{m}}\right)\approx{\frac{m_{0}}{m}}q(\ln(m)+\gamma +{\frac{1}{2m}})}, whe.레 (는) 오일러-마스케로니 상수다.

실제 가설의 비율

If all of the null hypotheses are true (), then controlling the FDR at level q guarantees control over the FWER (this is also called "weak control of the FWER"): , simply because the event of rejecting at least one true null hypothesis is exactly the event , and the event is exactly the event = = 0 / R= 정의에 따라).[1] 그러나 몇 가지 진정한 발견( 0< 이 있다면 FWER FDR이다. 그럴 경우 탐지력을 향상시킬 여지가 있을 것이다. 그것은 또한 FWER를 통제하는 어떤 절차도 FDR을 통제할 것이라는 것을 의미한다.

관련개념

FDR의 발견이 선행되었고 그 뒤를 많은 다른 유형의 오류율이 뒤따랐다. 여기에는 다음이 포함된다.

  • PCER (per-comparison error rate) is defined as: . Testing individually each hypothesis at level α guarantees that (this is testing without any correction for multiplicity)
  • FWER(가족별 오류율)는 다음과 같이 정의된다: W = ) = 연방준비제도이사회(FWER) 통제하는 수많은 절차가 있다.
  • (The tail probability of the False Discovery Proportion), suggested by Lehmann and Romano, van der Laan at al,[citation needed] is defined as: .
  • (also called the generalized FDR by Sarkar in 2007[18][19]) is defined as: .
  • is the proportion of false discoveries among the discoveries", suggested by Soric in 1989,[9] and is defined as: . This is a mixture of expectations and realizations, and has the problem of control for .[1]
  • - 또는 FDR)은 베냐민이와 호흐버그가 사용했으며,[3] 이후 에프론(2008)과 그 이전의 "FDR"로 불렸다.[20] It is defined as: . This error rate cannot be strictly controlled because it is 1 when .
  • + 는 베냐민과 호흐베르크에서 사용했으며,[3] 이후 스토리가(2002)에서 "pFDR"로 불렀다.[21] 과 같이 정의된다: F R+ 1= F R= E[ > .. 이 오류율은 = 0 JD Storey가 pFDR(FDR의 가까운 친척)의 사용을 촉진했을 때의 1이기 때문에 엄격하게 통제할 수 없으며, 이 q-값은 현재 선까지 순서 있는 결과표에서 기대하는 거짓 발견의 비율로 볼 수 있다.[citation needed] 스토리는 또한 확률분포곡선의 형상으로부터 귀무 가설의 실제 개수인 0을 추정할 수 있다는 생각(BH에서도 언급)을 홍보했다. 예를 들어, 모든 귀무 가설이 참인 데이터 집합에서 결과의 50%는 0.5에서 1.0 사이의 확률을 산출한다(그리고 나머지 50%는 0.0에서 0.5 사이의 확률을 산출한다). 따라서 > 0.5을(를) 가진 결과 수를 찾아 두 배로 늘려 m 을(를) 추정할 수 있으며, 이는 데이터 세트의 특정 컷오프에서 pFDR 계산의 미세화를 허용한다.[21]
  • 거짓 초과율(FDP의 꼬리 확률), 다음과 같이 정의됨:[22] R> )
  • W가중 FDR). 각 가설 i는 가중치 w 와) 연관되며 가중치는 중요도/가격을 포착한다. W-FDR은 다음과 된다 = ∑ w w i w_{i}}}}}}}}{{{ri}\ri}\ri}\}\ri}\오른쪽)
  • FDCR(False Discovery Cost Rate). 통계적 프로세스 제어에서 비롯됨: 각 가설 i와 관련된 비용 및 교차 가설 H 비용 그 동기는 생산 공정을 중단하면 고정 비용이 발생할 수 있다는 것이다. It is defined as:
  • PFER(패밀리당 오류율)는 다음과 같이 정의된다 E = E( ) =
  • FNR (False non-discovery rates) by Sarkar; Genovese and Wasserman[citation needed] is defined as:
  • ( ) 는 다음과 같이 정의된다: F z)= ( ) F() {0
  • 로컬 fdr은 다음과 같이 된다 = f () f( = ){f

허위적용률

허위 적용률(FCR)은 어떤 의미에서 FDR 아날로그와 신뢰 구간이다. FCR은 선택한 간격 중 실제 매개변수를 포함하지 않는, 잘못된 평균 탐지율을 나타낸다. FCR은 문제에서 고려된 모든 파라미터에 대해 - 수준에서 동시 커버리지를 제공한다. 동시 범위 확률 1-q를 갖는 간격은 q로 경계되는 FCR을 제어할 수 있다. Bonferroni-Selected-Bonferroni-Adjusted,[citation needed] Adjusted BH-Selected CIs (벤자미니와 예쿠티엘리(2005)),[23] Bayes FCR (예쿠티엘리(2008) [citation needed]및 기타 Bayes 방법 등 많은 FCR 절차가 있다.[24]

베이지안식 접근

FDR과 베이지안 접근법(경험적 베이지안 방법 포함),[20][25][26] 파장 계수 및 모델 선택 임계화,[27][28][29][30] 신뢰 구간을 잘못된 적용범위 명세율(FCR)으로 일반화한다.[23]

참고 항목

참조

  1. ^ a b c d e f g h i Benjamini Y, Hochberg Y (1995). "Controlling the false discovery rate: a practical and powerful approach to multiple testing" (PDF). Journal of the Royal Statistical Society, Series B. 57 (1): 289–300. MR 1325392.
  2. ^ Shaffer J.P. (1995) 다중 가설 검정, 연간 심리 검토 46:561-584, 연간 검토
  3. ^ a b c d e f g Benjamini Y (2010). "Discovering the false discovery rate". Journal of the Royal Statistical Society, Series B. 72 (4): 405–416. doi:10.1111/j.1467-9868.2010.00746.x.
  4. ^ a b Storey JD, Tibshirani R (August 2003). "Statistical significance for genomewide studies". Proceedings of the National Academy of Sciences of the United States of America. 100 (16): 9440–5. Bibcode:2003PNAS..100.9440S. doi:10.1073/pnas.1530509100. PMC 170937. PMID 12883005.
  5. ^ Ryan TP, Woodall WH (2005). "The most-cited statistical papers". Journal of Applied Statistics. 32 (5): 461–474. doi:10.1080/02664760500079373. S2CID 109615204.
  6. ^ Holm S (1979). "A simple sequentially rejective multiple test procedure". Scandinavian Journal of Statistics. 6 (2): 65–70. JSTOR 4615733. MR 0538597.
  7. ^ Schweder T, Spjøtvoll E (1982). "Plots of P-values to evaluate many tests simultaneously". Biometrika. 69 (3): 493–502. doi:10.1093/biomet/69.3.493.
  8. ^ Hochberg Y, Benjamini Y (July 1990). "More powerful procedures for multiple significance testing". Statistics in Medicine. 9 (7): 811–8. doi:10.1002/sim.4780090710. PMID 2218183.
  9. ^ a b Soric B (June 1989). "Statistical "Discoveries" and Effect-Size Estimation". Journal of the American Statistical Association. 84 (406): 608–610. doi:10.1080/01621459.1989.10478811. JSTOR 2289950.
  10. ^ Simes RJ (1986). "An improved Bonferroni procedure for multiple tests of significance". Biometrika. 73 (3): 751–754. doi:10.1093/biomet/73.3.751.
  11. ^ a b c d e Benjamini Y, Yekutieli D (2001). "The control of the false discovery rate in multiple testing under dependency" (PDF). Annals of Statistics. 29 (4): 1165–1188. doi:10.1214/aos/1013699998. MR 1869245.
  12. ^ Storey JD, Taylor JE, Siegmund D (2004). "Strong control, conservative point estimation and simultaneous conservative consistency of false discovery rates: A unified approach". Journal of the Royal Statistical Society, Series B. 66: 187–205. doi:10.1111/j.1467-9868.2004.00439.x.
  13. ^ Benjamini Y, Krieger AM, Yekutieli D (2006). "Adaptive linear step-up procedures that control the false discovery rate". Biometrika. 93 (3): 491–507. doi:10.1093/biomet/93.3.491.
  14. ^ Gavrilov Y, Benjamini Y, Sarkar SK (2009). "An adaptive step-down procedure with proven FDR control under independence". The Annals of Statistics. 37 (2): 619. arXiv:0903.5373. doi:10.1214/07-AOS586. S2CID 16913244.
  15. ^ Blanchard G, Roquain E (2008). "Two simple sufficient conditions for FDR control". Electronic Journal of Statistics. 2: 963–992. arXiv:0802.1406. doi:10.1214/08-EJS180. S2CID 16662020.
  16. ^ Yekutieli D, Benjamini Y (1999). "Resampling based False Discovery Rate controlling procedure for dependent test statistics". J. Statist. Planng Inf. 82 (1–2): 171–196. doi:10.1016/S0378-3758(99)00041-5.
  17. ^ van der Laan MJ, Dudoit S (2007). Multiple Testing Procedures with Applications to Genomics. New York: Springer.
  18. ^ Sarkar SK (2007). "Stepup procedures controlling generalized FWER and generalized FDR". The Annals of Statistics. 35 (6): 2405–20. arXiv:0803.2934. doi:10.1214/009053607000000398. S2CID 14784911.
  19. ^ Sarkar SK, Guo W (June 2009). "On a generalized false discovery rate". The Annals of Statistics. 37 (3): 1545–65. arXiv:0906.3091. doi:10.1214/08-AOS617. JSTOR 30243677. S2CID 15746841.
  20. ^ a b Efron B (2008). "Microarrays, empirical Bayes and the two groups model". Statistical Science. 23: 1–22. arXiv:0808.0603. doi:10.1214/07-STS236. S2CID 8417479.
  21. ^ a b Storey JD (2002). "A direct approach to false discovery rates" (PDF). Journal of the Royal Statistical Society, Series B. 64 (3): 479–498. CiteSeerX 10.1.1.320.7131. doi:10.1111/1467-9868.00346.
  22. ^ Benjamini Y (December 2010). "Simultaneous and selective inference: Current successes and future challenges". Biometrical Journal. Biometrische Zeitschrift. 52 (6): 708–21. doi:10.1002/bimj.200900299. PMID 21154895.
  23. ^ a b Benjamini Y, Yekutieli Y (2005). "False discovery rate controlling confidence intervals for selected parameters". Journal of the American Statistical Association. 100 (469): 71–80. doi:10.1198/016214504000001907. S2CID 23202143.
  24. ^ Zhao Z, Gene Hwang JT (2012). "Empirical Bayes false coverage rate controlling confidence intervals". Journal of the Royal Statistical Society, Series B. 74 (5): 871–891. doi:10.1111/j.1467-9868.2012.01033.x.
  25. ^ Storey JD (2003). "The positive false discovery rate: A Bayesian interpretation and the q-value" (PDF). Annals of Statistics. 31 (6): 2013–2035. doi:10.1214/aos/1074290335.
  26. ^ Efron B (2010). Large-Scale Inference. Cambridge University Press. ISBN 978-0-521-19249-1.
  27. ^ Abramovich F, Benjamini Y, Donoho D, Johnstone IM (2006). "Adapting to unknown sparsity by controlling the false discovery rate". Annals of Statistics. 34 (2): 584–653. arXiv:math/0505374. Bibcode:2005math......5374A. doi:10.1214/009053606000000074. S2CID 7581060.
  28. ^ Donoho D, Jin J (2006). "Asymptotic minimaxity of false discovery rate thresholding for sparse exponential data". Annals of Statistics. 34 (6): 2980–3018. arXiv:math/0602311. Bibcode:2006math......2311D. doi:10.1214/009053606000000920. S2CID 9080115.
  29. ^ Benjamini Y, Gavrilov Y (2009). "A simple forward selection procedure based on false discovery rate control". Annals of Applied Statistics. 3 (1): 179–198. arXiv:0905.2819. Bibcode:2009arXiv0905.2819B. doi:10.1214/08-AOAS194. S2CID 15719154.
  30. ^ Donoho D, Jin JS (2004). "Higher criticism for detecting sparse heterogeneous mixtures". Annals of Statistics. 32 (3): 962–994. arXiv:math/0410072. Bibcode:2004math.....10072D. doi:10.1214/009053604000000265. S2CID 912325.

외부 링크