체르노프 바운드

확률 이론에서, Chernoff 바운드는 독립 랜덤 변수의 합계의 꼬리 분포에 기하급수적으로 감소하는 한계를 제공한다.처음 등장한 논문의 저자인 허먼 체르노프의 이름을 따서 명명되었음에도 불구하고 그 결과는 허먼 루빈 때문이다.^[1][2]마코프의 불평등이나 꼬리 썩는 힘-법률의 한계만을 산출하는 체비셰프의 불평등과 같이 알려진 1, 2모멘트에 근거한 꼬리 한계보다 더 날카로운 한계다.그러나 체비셰프의 불평등은 쌍으로 독립할 것을 요구하지는 않지만, 체비셰프의 불평등도 마르코프의 불평등도 체비셰프의 불평등도 요구하지 않는 조건인 체르노프 구속은 변수들이 독립적일 것을 요구한다.

(역사적으로 이전의) 번스타인의 불평등과 회프딩의 불평등과 관련이 있다.

일반 바운드

무작위 변수 X에 대한 일반적인 체르노프는 마르코프의 불평등을 e에^tX 적용함으로써 얻어진다.이것은 X의 모멘트 생성 기능에 대한 한계를 제공한다.모든 $t{\displaystyle }$ ${\displaystyle \ge }$ ${\displaystyle 0}$ ${\displaystyle t\geq$ 0$}$에 대해$:$

${\displaystyle \Pr(X\geq a)=\Pr(e^{t\cdot X}\geq e^{t\cdot a})\leq {\frac {\mathrm {E}\left[e^{t\cdot X}\right]}{e^{t\cdot a}}}}}}.}$

이 제한은 모든 $t{\displaystyle }$ ${\displaystyle t}$에 대해 적용되므로 다음이 있다$.$

${\displaystyle \Pr(X\geq a)\leq \inf _{t\geq 0}{\frac {\frac {\\mathrm {E} \left[\exp(t\cdot X)\right]}{\exp(t\cdot a)}}}}}.}$

셰르노프 바운드는 때로 위의 불평등을 언급하는데,^[3] 세르게이 번스타인이 관련 번스타인의 불평등을 입증하기 위해 처음 적용한 것이다.^{[citation needed]}호프딩의 불평등, 베넷의 불평등, 맥디아미드의 불평등을 입증하는 데도 쓰인다.

이러한 불평등은 일반적으로 하위 가우스 분포,^[4] 하위 감마 분포 및 독립 랜덤 변수의 합계를 포함한 다양한 종류의 분포에 적용될 수 있다.^[3]Chernoff 경계는 일반적으로 $X{\displaystyle }$ ${\displaystyle X}$이(가) 독립 베르누이 랜덤 변수의 합인 경우를 가리킨다.^[5][6]

X가 n개의 독립 랜덤 변수 X₁, ..., X의_n 합일 때, X의 모멘트 생성 함수는 개별 모멘트 생성 함수의 산물이다.

${\displaystyle \Pr(X\geq a)\leq \inf _{t\geq 0}{\frac {\mathrm {E} \left[\prod _{i}e^{t\cdot X_{i}}\right]}{e^{t\cdot a}}}=\inf _{t\geq 0}e^{-t\cdot a}\prod _{i}\mathrm {E} \left[e^{t\cdot X_{i}}\right].}$

(1)

랜덤 변수 -X에 대해 동일한 분석을 수행하면 다른 방향에서 동일한 바인딩을 얻을 수 있다.

${\displaystyle \Pr(X\leq a)\leq \inf _{t\geq 0}e^{ta}\prod _{i}\mathrm {E} \left[e^{-tX_}}\right]}$

특정 Chernoff 경계는 무작위 변수 X ${\$${\displaystyle {}^{}}$/$cdot$ X_{$i$}의 특정 인스턴스에$$ 대한 $모멘트{\displaystyle \mathrm{}}$ 생성 함수 E${\displaystyle {[}^{}}$e - ${\displaystyle t^{}}$t ${\displaystyle {{}_{}}^{}}$ i ${\displaystyle {{}_{}}^{}}$ ${\$${i$$}}\ri$$}\$right$]$를 계산하여 얻는다$.$베르누이 랜덤 변수에 대한 다음 섹션의 한계는 확률 p가 1인$$ 베르누이 랜덤 변수 $X{\displaystyle {}_{}}$ ${\displaystyle i_{}}$ ${\$에 대해 이 값을 사용하여 도출된다.

${\displaystyle \mathrm {E} \left[e^{t\cdot X_{i}\right]=(1-p)e^{0}+pe^{t^{t}=1+p(e^{t}-1)\leq e^{p(e^{t}-1)-1)}.}$

체르노프 경계는 원래의 첨가제 형태(절대 오차에 대한 경계를 제공하는 형태)나 보다 실용적인 곱셈형(평균에 대한 오차의 경계를 이루는 형태) 등 여러 가지 맛을 만날 수 있다.

승법형식(상대오류)

승법 체르노프 바운드.X₁, ..., X가_n {0, 1}의 값을 갖는 독립 랜덤 변수라고 가정합시다.X는 그 합계를 나타내고 μ = E[X]는 합계의 기대값을 나타내도록 한다.그러면 어떤 Δ > 0에 대해서도,

${\displaystyle \Pr(X)(1+\delta )\mu 왼쪽({\frac {e^{\delta }}}{{1+\delta )^{1+\delta }}}{\mu }}$

유사한 증거 전략을 사용하여 다음을 입증할 수 있다.

${\displaystyle \Pr(X<(1-\delta )\mu 왼쪽({\frac {e^{-\delta }}}{{1-\delta }}}}{1-\delta }}}}}}$

위의 공식은 실제로 다루기 어려운 경우가 많기 때문에 다음과 같은 느슨하지만 보다 편리한 한계가^[7] 자주 사용되는데, 이는 로그 불평등 목록에서 ${\displaystyle \frac{\mathrm{불평등}}{}}$ $2{\displaystyle \frac{\mathrm{}}{}}$ ${\displaystyle \frac{\mathrm{}}{}}$ 2 ${\displaystyle \frac{+}{}\frac{\Delta }{}}$ ${\displaystyle \mathrm{로그}}$ (${\displaystyle 1}$+ ${\displaystyle \Delta }$) ${\$(1$+\delta )$에서 나타난다.

${\displaystyle \Pr(X\leq (1-\delta )\mu )\leq e^{-{-{\frac {\delta ^{2}\mu }}}}},\qqad 0\leq \leq \leq 1,}$

${\displaystyle \Pr(X\geq (\delta )\mu )\leq e^{-{\frac {\delta ^{2}\delta }}}}\qquad 0\leq \delta ,}$

${\displaystyle \Pr(X-\mu \geq \delta \delta \delta \mu )\leq \leq 1.{-{-{\fract {\delta ^{2}\delta }}},\qd0\leq \delta \leq 1.}$

가법(절대 오차)

다음의 정리는 와실리 회프딩에^[8] 기인하여 체르노프–이라고 한다.괭이질 정리.

체르노프–괭이질 정리.X₁, ..., X가_n {0, 1}의 값을 갖는 i.i.d. 랜덤 변수라고 가정해 보십시오.p = E[X₁]와 ε > 0으로 한다.

${\displaystyle {\begin{aligned}\Pr \left({\frac {1}{n}}\sum X_{i}\geq p+\varepsilon \right)\leq \left(\left({\frac {p}{p+\varepsilon }}\right)^{p+\varepsilon }{\left({\frac {1-p}{1-p-\varepsilon }}\right)}^{1-p-\varepsilon }\right)^{n}&=e^{-D(p+\varepsilon \parallel p)n}\\\Pr \left({\frac {1}{n}}\sum X_{i}\leq p-\varepsilon \right)\leq \left(\left({\frac {p}{p-\varepsilon }}\right)^{p-\varepsilon }{\left({\frac {1-p}{1-p+\varepsilon }}\right)}^{1-p+\varepsilon }\right)^{n}&=e^{-D(p-\varepsilon \parallel p)n}\end{aligned}}}}$

어디에

${\displaystyle D(x\parallel y)=x\ln {\frac {x}{x}+(1-x)\ln \left({\frac {1-x}{1-y}\오른쪽)}$

버누이 분포 랜덤 변수들 사이의 Kullback-Leibler 차이점이며, 변수 x와 y가 각각 있다.만약 p.mw-parser-output .sfrac{white-space:nowrap}.mw-parser-output.sfrac.tion,.mw-parser-output.sfrac .tion{디스플레이:inline-block, vertical-align:-0.5em, font-size:85%;text-align:센터}.mw-parser-output.sfrac.num,.mw-parser-output.sfrac .den{디스플레이:블록, line-height:1em, 마진:00.1em}.mw-parser-output.sfrac .den{border-top:1px 고체}.mw-par ≥.Ser-output .sr-only{국경:0;클립:rect(0,0,0,0), 높이:1px, 마진:-1px, 오버 플로: 숨어 있었다. 패딩:0;위치:절대, 너비:1px}1/2을 뜻하는, 그러면 D(p+ε ∥ p)≥ ε 22p(p1−){\displaystyle D(p+\varepsilon\parallel p)\geq{\tfrac{\varepsilon ^{2}}{2p(1-p)}}}.

${\displaystyle \Pr \왼쪽({\frac {1}{n}\sum X_{i}}}p+x\right)\leq \ex \left(-{\frac {x^{2}n}{2p(1-p)}}\right)).}$

보다 단순한 바운드는 D(p + 2 p) ≥ 2ε을² 이용하여 정리를 이완시킴으로써 따르게 되는데, 이는 D(p + ε p)의 볼록함에서 따르며, 이 사실은 다음과 같다.

${\displaystyle {\frac {d^{2}}{d\varepsilon ^{2}}}D(p+\varepsilon \parallel p)={\frac {1}{(p+\varepsilon )(1-p-\varepsilon )}}\geq 4={\frac {d^{2}}{d\varepsilon ^{2}}}(2\varepsilon ^{2}).}$

이 결과는 회프딩의 불평등을 보여주는 특별한 사례다.때로는 한계도 있다.

${\displaystyle{\begin{정렬}((1+x)p\parallel p)\geq{\frac{1}{4}}x^{2}p,&,&&{-{\tfrac{1}{2}}}\leq x\leq{\tfrac{1}{2}},\\[6pt]D(x\parallel이 어두워져서)\geq{\frac{3(x-y)^{2}}{2(2y+x)}},\\[6pt]D(x\parallel이 어두워져서)\geq{\frac{{2(x-y)^}}{2y}},&,&&x\leq y,\\[6pt]D(x\parallel이 어두워져서)\geq{\frac{{2(x-y)^}}{2배}},&,&&x\geq y\end{alig.ned}}}$

p < 1/8에 대해 더 강한 것도 사용된다.

독립 경계 랜덤 변수의 합계

체르노프 한계는 분포에 관계 없이 독립적이고 경계된 랜덤 변수의 일반적인 합에도 적용될 수 있다; 이것은 호핑의 불평등이라고 알려져 있다.그 증거는 다른 Chernoff 경계와 유사한 접근방식을 따르지만, 순간 생성 기능을 구속하기 위해 Hooffding의 보조마크를 적용한다(Hooffding의 불평등 참조).

호핑의 불평등.X₁, ..., X가_n [a,b]의 값을 갖는 독립 랜덤 변수라고 가정합시다.X는 그 합계를 나타내고 μ = E[X]는 합계의 기대값을 나타내도록 한다.그러면 어떤 Δ > 0에 대해서도,

${\displaystyle \Pr(X\leq (1-\delta )\mu )<e^{-{\frac {2\delta ^{2}\mu ^{2}}:{n(b-a)^{2}},}$

${\displaystyle \Pr(X\geq (1+\delta )\mu )<e^{-{-{\frac {2\delta ^{2}\mu ^{2}}:{n(b-a)^{2}}.}$

적용들

Chernoff 경계는 희박한 네트워크에서 세트 밸런싱과 패킷 라우팅에 매우 유용한 응용 프로그램을 가지고 있다.

세트 밸런싱 문제는 통계실험을 설계하는 동안 발생한다.전형적으로 통계실험을 설계하는 동안 실험에 참여한 각 참가자의 특징을 고려하여, 우리는 참가자들을 두 개의 분리된 그룹으로 나누는 방법을 알아야 한다. 그래서 각각의 특징은 두 그룹 사이에 가능한 한 대략적인 균형을 이루도록 말이다.^[9]

또한 Chernoff 경계는 희박한 네트워크에서 패킷을 라우팅하는 동안 네트워크 정체를 감소시키는 순열 라우팅 문제에 대한 엄격한 경계를 얻기 위해 사용된다.^[9]

Chernoff 경계는 학습 알고리즘이 아마도 대략적으로 정확하다는 것을 증명하기 위해 컴퓨터 학습 이론에 사용된다. 즉, 알고리즘이 충분히 큰 훈련 데이터 집합에서 작은 오류를 가지고 있을 가능성이 높다.^[10]

Chernoff 경계는 무작위화(Randomization)와 함께 그것의 섭동 공간을 탐색함으로써 응용 프로그램/알고리즘의 "로봇성 수준"을 평가하는 데 효과적으로 사용될 수 있다.^[11]체르노프(Chernoff)의 구속을 사용하면 강하면서도 대부분 비현실적인 작은 섭동 가설( 섭동 크기는 작다)을 버릴 수 있다.건전성 수준은 차례로 특정 알고리즘 선택, 하드웨어 구현 또는 구조적 매개변수가 불확실성의 영향을 받는 솔루션의 적합성을 검증하거나 거부하는 데 사용될 수 있다.

단순하고 일반적인 Chernoff 경계는 무작위화된 알고리즘의 "부스트"를 위한 것이다.만약 하나 확률 p을과 원하는 대답은 추측하는데 알고리즘, 1/2가 있다면, 사람들은 알고리즘 n를 가동하여 더 높은 성공률을 얻을 수 있는=log⁡(1/δ)2p/(p1/2−)2{\displaystyle n=\log(1/\delta)2p(p-1/2)^{2}}번 있고 이 추측을 출력은 algo의n/2점 이상으로 출력이다.리thm. (비둘기홀 원리에 의한 그러한 추측이 하나 이상 있을 수 없다.)이러한 알고리즘 런이 독립적이라고 가정할 때, 추측의 n/2 이상이 정확할 확률은 확률 p를 가진 1인 독립 베르누이 랜덤 변수_k X의 합이 n/2보다 클 확률과 같다.이는 승법 체르노프 바운드(싱클레어 등급 노트에서 13.3 corolary 13.3, μ$$ = np)를 통해 최소 $1{\displaystyle \mathrm{}}$ {\$displaystyle$ 1-$\delta }$로 나타낼 수 있다.^[12]:

${\displaystyle \Pr \왼쪽[X]{n \over 2}\오른쪽]\geq 1-e^{-{\frac {1}{1}{{1}{1}{1}:{2p}n\왼쪽(p-{\frac {1}{1}{1}}\오른쪽)^{2}}\geq 1-\delta }}$

행렬 바운드

루돌프 알스웨데와 안드레아스 윈터는 매트릭스 값 랜덤 변수에 대한 체르노프를 소개했다.^[13]다음의 불평등 버전은 트로프의 작품에서 찾을 수 있다.^[14]

,..., 독립적으로 행렬하는 확률 변수 M1자 그러한 Mi∈ Cd1×d2{\displaystyle M_{나는}\in \mathbb{C}^{d_{1}\times d_{2}}}와 E[M나는]초기 조향 순간 0([M_{나는}]=0} 할게. 우리에게 의미에 의해‖ M‖{\lVert M\rVert\displaystyle} 것은 규범의 틀 M{년.출신의.$splaystyle M$ 만약 $\Vert {\displaystyle }$ ${\displaystyle {Mi}_{}}$ ${\displaystyle \Vert }$ ${\displaystyle \gamma }$ {$${ {\$displaystyle \lVert M_{i}\rBert \leq \gamma}}$이(가) $모든{\displaystyle }$ i${\displaystyle \{}$ { 1 ,${\displaystyle t\}}$ ${\displaysty i\in \{1,\dots$에 대해 거의 확실하게 유지된다면$$, t\}.

${\displaystyle \Pr \left(\left\ {\frac {1}{t}}\sum _{i=1}^{t}M_{i}\right\ >\varepsilon \right)\leq (d_{1}+d_{2})\exp \left(-{\frac {3\varepsilon ^{2}t}{8\gamma ^{2}}}\right).}$

유의할 점은 0으로부터의 편차가 높은 확률의 ε에 의해 경계된다고 결론짓기 위해서는 ${\displaystyle {d\mathrm{}}_{}}$ $1{\displaystyle {}_{}}$+ d ${\displaystyle 2_{}}$의 로그에 비례하는$$ 샘플 t ${\displaystyle t}$을(를${\displaystyle {}_{}}$ 여러 개 선택해야 한다는 것이다$.$ d 1 + ${\displaystyle {}_{}}$ 2 ${\$ 일반적으로 ${\displaystyle \mathrm{로그}}$ ${\displaystyle (}$min${\displaystyle }$( ${\displaystyle {}_{}}$ ${\displaystyle {1\mathrm{}}_{}}$, ${\displaystyle {d\mathrm{}}_{}}$)${\displaystypaystytytytimestypagestytytyleasesty$)의 의존도를 선택할 필요가 있다.$\log(\min(d_{1},d_{2})}$은(는) 불가피하다$$. 예를 들어 차원 ${\displaystyle d}$ ${\displaystyle \times }$ d ${\displaystyle d\property d}$의 대각선 임의 기호 행렬$.$t 독립 표본의 합계에 대한 연산자 규범은 길이 t의 d 독립 무작위 보행 사이의 최대 편차다.일정한 확률로 최대 편차에 고정된 경계를 달성하기 위해서는 이 시나리오에서 t가 d와 함께 로그적으로 커져야 함을 쉽게 알 수 있다.^[15]

치수에 대한 의존성을 피하기 위해 M의 순위가 낮다고 가정하면 다음과 같은 정리를 얻을 수 있다.

치수에 의존하지 않는 정리

0 < ε < 1과 M은 ${\displaystyle 거의\mathrm{}}$ 확실히$$${\displaystyle [}$ ${\displaystyle E}$ [${\displaystyle }$M ${\displaystyle ]}$ ≤ ≤ ≤ ${\displaystyle 1}$ {\$displaystyle \mathrm {E$$}[M]\leq$ 1$}$${\displaystyle }$및 $m$ M ${\displaystyle \backslash }$ ${\displaystyle \backslash }$ \$$\$displaystyle \$ \$leq \gma }$을 가진 임의 대칭 실제 행렬이 되게 하라.M의 지지에 있는 각 원소는 최대 r등급이 있다고 가정한다.세트

${\displaystyle t=\Oomega \left({\frac {\gamma \log(\gamma /\varepsilon ^{2})}{\varepsilon ^{2}}}\오른쪽).}$

$r{\displaystyle }$ ${\displaystyle \le }$ ${\displaystyle t}$ ${\displaystyle r\leq t}$이(가) 거의 확실히 유지되면$$

${\displaystyle \Pr \left(\left\{1}{t}\sum_{i}-\mathrm {E}[M]\right\\\\\\varepsilon \right]\leq {1}{\mathb {polly}(t)}$

여기서 M₁, ..., M은_t M의 신분증 사본이다.

완전히 무작위적이지 않은 행렬이 있는 정리

가그, 리, 송, 스리바스타바는 확장기에서 무작위적인 산책을 통해 샘플링한 매트릭스 값 랜덤 변수의 합계에 대한 체르노프 타입의 바운드를 입증했고, 위그더슨과 샤오에 의한 추측을 확인했다.

Kyung과 Song은 무작위 스패닝 나무의 라플라시안 매트릭스 합계에 대한 Chernoff 타입을 증명했다.

샘플링 변형

체르노프의 구속의 다음과 같은 변종은 모집단의 다수가 표본에서 소수가 될 확률을 구속하는 데 사용될 수 있으며, 그 반대의 경우도 마찬가지일 수 있다.^[18]

일반 모집단 A와 하위 모집단 B⊆A가 있다고 가정하자.하위 모집단의 상대적 크기(B / A )를 r로 표시한다.

k 크기의 정수 k와 랜덤 표본 S⊂A를 선택한다고 가정합시다.표본(B∩S / S )의 하위 모집단의 상대적 크기를 r로_S 표시한다.

그런 다음, 모든 분수에 대해 [0,1]:

${\displaystyle \mathrm {Pr} \left(r_{S}<(1-d)\cdot r\right) \exp \left(-r\cdot d^{2}\cdot k/2\right)}$

특히, B가 A에서 다수인 경우(즉, r > 0.5) d = 1 - 1 / (2_S r)를 취함으로써 B가 S에서 다수인 상태를 유지할 확률을 구속할 수 있다.^[19]

${\displaystyle \mathrm {Pr} \left(r_{S}>0.5\right)}1-\exp \left(-r\cdot \left(1-{1}{2r}\right)^{2}\cdot k/2\rig)}}$

이 바운드는 물론 전혀 빡빡하지 않다.예를 들어, r=0.5일 때 우리는 사소한 구속 프로브 > 0을 얻는다.

교정쇄

승법형식

승법 체르노프 바운드의 조건에 따라 X₁, ..., X를_n 독립된 베르누이 랜덤 변수가 되게 하며, 합은 X이며 각각 1과 같은 확률 p를_i 갖는다.베르누이 변수의 경우:

${\displaystyle \mathrm {E} \좌측[e^{t\cdot X_{i}\오른쪽]=(1-p_{i}e^{0}+p_{i^}e^}=1+p_{i}(e^{t}-1)\leq e^{p_{p_{t}-1}-1}:{i-1}:{i-1}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}$

So, using (1) with ${\displaystyle a=(1+\delta )\mu }$ for any ${\displaystyle \delta >0}$ and where ${\displaystyle \mu =\mathrm {E} [X]=\textstyle \sum _{i=1}^{n}p_{i}}$,

${\displaystyle {\begin{aligned}\Pr(X>(1+\delta )\mu )&\leq \inf _{t\geq 0}\exp(-t(1+\delta )\mu )\prod _{i=1}^{n}\operatorname {E} [\exp(tX_{i})]\\[4pt]&\leq \inf _{t\geq 0}\exp {\Big (}-t(1+\delta )\mu +\sum _{i=1}^{n}p_{i}(e^{t}-1){\Big )}\\[4pt]&=\inf _{t\geq 0}\exp {\Big (}-t(1+\delta )\mu +(e^{t}-1)\mu {\Big )}.\end{정렬}}}$

단순히 t = log(1 + Δ)를 Δ > 0에 대해 t > 0으로 설정하면, 대체하여 찾을 수 있다.

${\displaystyle \exp {\Big (}-t(1+\delta )\mu +(e^{t}-1)\mu {\Big )}={\frac {\exp((1+\delta -1)\mu )}{(1+\delta )^{(1+\delta )\mu }}}=\left[{\frac {e^{\delta }}{(1+\delta )^{(1+\delta )}}}\right]^{\mu }.}$

이것은 원하는 결과를 증명한다.

체르노프–호피딩 정리(가법적 형태)

q = p + ε으로 한다.a = nq in (1)을 이용하여 다음을 얻는다.

${\displaystyle \Pr \left({\frac {1}{n}}\sum X_{i}\geq q\right)\leq \inf _{t>0}{\frac {E\left[\prod e^{tX_{i}}\right]}{e^{tnq}}}=\inf _{t>0}\left({\frac {E\left[e^{tX_{i}}\right]}{e^{tq}}}\right)^{n}.}$

이제 Pr(X_i = 1) = p, Pr(X_i = 0) = 1 - p라는 것을 알고,

${\displaystyle \left({\frac {\mathrm {E} \left[e^{tX_{i}}\right]}{e^{tq}}}\right)^{n}=\왼쪽 사진\frac {pe^{t}+(1-p)}{e^{tq}}\오른쪽)^{n}=\왼쪽(pe^{(1-q)t}+(1-p)e^{-qt}\오른쪽)^{n}}}$

따라서 우리는 미적분학을 사용하여 최소값을 쉽게 계산할 수 있다.

${\dplaystyle {\frac {d}{dt}}\왼쪽(pe^{(1-q)t}+(1-p)e^{-q}\right)=(1-q)pe^{(1-q)-q(1-p)e^{-q}}{-q}}}}}e^{-qt}}}.$

방정식을 0으로 설정하고 풀면

${\displaystyle {\p(1-q)pe^{(1-q)t}&=q(1-p)e^{-qt}\\(1-q)pe^{t}&=q(1-p)\ended}}}}}}$

하도록

${\displaystyle e^{t}={\frac {(1-p)q}{(1-q)p}}.}$

그러므로,

${\displaystyle t=\log \leftp\frac {(1-p)q}{(1-q)p}\오른쪽).}$

q = p + ε > p로서, t > 0을 보므로, 우리의 바운드는 t에 만족한다.t를 위해 해결한 후에, 우리는 위의 방정식에 다시 꽂아 그것을 찾을 수 있다.

${\displaystyle {\p+{p+}\log \left(pe^{(1-q)t}+(1-p)e^{-qt}\right)=\log \left(e^{-qt}(1-p+pe^{t})\right)\\&, =\log \left(e^{-q\log \left({\frac{(1-p)q}{(1-q)p}}\right)}\right)+\log \left(1-p+pe^{\log \left({\frac{1-p}{1-q}}\right)}e^{\log{\frac{q}{p}}}\right)\\&, =-q\log{\frac{1-p}{1-q}}-q\log{\frac{q}{p}}+\log \left(1-p+p\left({\frac{1-p}{1-q}}\right){\frac{q}{p}}\right)\\&, =-q\log{\frac{1-p}{1-q}}-q\log{\frac{q}{p}}+\log \left(.{\frac{(1-p)(1-q)}{1-q}}+{\frac {(1-p)q}{1-q}}\right)\\&=-q\log {\frac {q}{p}}+\left(-q\log {\frac {1-p}{1-q}}+\log {\frac {1-p}{1-q}}\right)\\&=-q\log {\frac {q}{p}}+(1-q)\log {\frac {1-p}{1-q}}\\&=-D(q\parallel p).\end{정렬}}}$

우리는 이제 우리가 원하는 결과를 얻었다.

${\displaystyle \Pr \left({\tfrac {1}{n}\sum X_{i}\geq p+\varepsilon \right)\leq e^{-D(p+\varepsilon \parallel p)n}.}$

대칭 사례에 대한 증거를 완성하기 위해 우리는 무작위 변수_i Y = 1 - X를_i 정의하고 동일한 증거를 적용하여 바운드에 연결하기만 하면 된다.

참고 항목

• 번스타인의 불평등
• 집중 불평등 - 무작위 변수에 대한 꼬리가 잡히는 요약.
• 크라메르 정리
• 위험시 진입성 값
• 호프딩의 부등식
• 매트릭스 체르노프 바인딩
• 모멘트생성함수

참조

추가 읽기

• Chernoff, H. (1952). "A Measure of Asymptotic Efficiency for Tests of a Hypothesis Based on the sum of Observations". Annals of Mathematical Statistics. 23 (4): 493–507. doi:10.1214/aoms/1177729330. JSTOR 2236576. MR 0057518. Zbl 0048.11804.
• Chernoff, H. (1981). "A Note on an Inequality Involving the Normal Distribution". Annals of Probability. 9 (3): 533–535. doi:10.1214/aop/1176994428. JSTOR 2243541. MR 0614640. Zbl 0457.60014.
• Hagerup, T.; Rüb, C. (1990). "A guided tour of Chernoff bounds". Information Processing Letters. 33 (6): 305. doi:10.1016/0020-0190(90)90214-I.
• Nielsen, F. (2011). "An Information-Geometric Characterization of Chernoff Information". IEEE Signal Processing Letters. 20 (3): 269–272. arXiv:1102.2684. doi:10.1109/LSP.2013.2243726. S2CID 15034953.