매트릭스 체르노프 바인딩

선형대수학에서의 특정 적용의 경우, 유한한 양의 랜덤 행렬의 최대 고유값의 확률 분포의 속성을 아는 것이 유용하다.$\{{\displaystyle }$ ${\displaystyle {\mathbf{}}_{}}$ ${\displaystyle {}_{}}$ ${\displaystyle {}_{}}$ ${\displaystyle \{\mathbf {X} _{k}\}}}$이(가) 임의 행렬의 유한 시퀀스라고 가정해 보십시오.잘 알려진 체르노프(Chernoff)가 스칼라 합계에 바인딩된 것과 유사하게, 주어진 매개변수 t에 대해 다음과 같은 바운드가 모색된다.

${\displaystyle \Pr \왼쪽\{\lambda _{\max }\왼쪽(\sum _{k}\mathbf {X} _{k}\오른쪽)\geq t\right\}}}}$

다음의 이론들은 다양한 가정 하에서 이 일반적인 질문에 답한다; 이러한 가정들은 그들의 고전적이고 스칼라적인 상대와 유사하게 아래에 이름지어진다.이러한 모든 이론은 (Tropp 2010)에서 아래에 도출된 일반적인 결과의 특정 적용으로서 찾을 수 있다.관련 작품 요약을 한다.

매트릭스 가우스 및 라데마허 시리즈

자가 합격 매트릭스

${\displaystyle {\mathbf{}}_{}}$ $d{\displaystyle }$ ${\displaystyle d}$및 {\displaystyle $\{\mathbf {A} _{k}\}$의 고정된 자체 적응형 행렬을${\displaystyle }$유한$$ 염기서열로 간주하고$,{\displaystyle }$ { $}{\displaystyle$\{\$xi_{k}\}}}}}}}$을 독립된 표준 랜덤 변수의 유한열로 간주한다$$.

그런 다음 모든 $t{\displaystyle }$≥ ${\displaystyle 0}$ ${\displaystyle t\geq$ 0$}$에 대해$,$

${\displaystyle \Pr \left\{\lambda_{\text{max}\왼쪽(\sum _{k}\xi _{k}\mathbf {A}\i}\mathbf {A}_{k}\req t\cdot e^{2}/2}\sigma^{2}}}}}}}}}$

어디에

${\displaystyle \sigma ^{2}={\bigg \vert }\vert }\sum _{k}\mathbf {A} _{k}^{2}{\bigg \vert }}}}$

사각 케이스

Consider a finite sequence ${\displaystyle \{\mathbf {B} _{k}\}}$ of fixed, self-adjoint matrices with dimension ${\displaystyle d_{1}\times d_{2}}$, and let ${\displaystyle \{\xi _{k}\}}$ be a finite sequence of independent standard normal or independent Rademacher random variables.분산 모수 정의

${\displaystyle \sigma ^{2}=\max \left\{{\bigg \Vert }\sum _{k}\mathbf {B} _{k}\mathbf {B} _{k}^{*}{\bigg \Vert },{\bigg \Vert }\sum _{k}\mathbf {B} _{k}^{*}\mathbf {B} _{k}{\bigg \Vert }\right\}.}$

그런 다음 모든 $t{\displaystyle }$≥ ${\displaystyle 0}$ ${\displaystyle t\geq$ 0$}$에 대해$,$

${\displaystyle \Pr \left\{\bigg \vert _{k}\sum _{k}\xi _{k}\mathbf {B} _{k}{k}{k}\bigg \vert }\geq\right\}\leq(d_{{1}+d}}})\cdot e^{-t{-t{-t}}{-t^{2\cd}}}}}}}}}{-t{-t^{{{}$

매트릭스 체르노프 불평등

고전적인 Chernoff 경계는 독립 변수, 비부정 변수 및 균일하게 경계된 랜덤 변수의 합계에 관한 것이다.매트릭스 설정에서, 유사한 정리는 균일한 고유값의 구속에 따른 양의-세미드피니트 무작위 행렬의 합계와 관련이 있다.

매트릭스 체르노프 1세

차원 $d{\displaystyle }$ ${\displaystyle$$\{\displaystyle$\{\$mathbf {$X} $_{k}\}}$의 독립적이고 랜덤하며 자기 성장의 행렬을$$ 고려하십시오$.$ 각 랜덤 행렬이 충족된다고 가정하십시오.

${\displaystyle \mathbf {X} _{k}\succeq \mathbf {0} \quad {\text{and}}\quad \lambda _{\text{max}}(\mathbf {X}_{k}\leq R})$

거의 틀림없이

정의

${\displaystyle \mu _{\text{min}}=\lambda _{\text{min}}\left(\sum _{k}\mathbb {E} \,\mathbf {X} _{k}\right)\quad {\text{and}}\quad \mu _{\text{max}}=\lambda _{\text{max}}\left(\sum _{k}\mathbb {E} \,\mathbf {X} _{k}\right).}$

그러면

${\displaystyle \Pr \left\{\lambda _{\text{min}}\left(\sum _{k}\mathbf {X} _{k}\right)\leq (1-\delta )\mu _{\text{min}}\right\}\leq d\cdot \left[{\frac {e^{-\delta }}{(1-\delta )^{1-\delta }}}\right]^{\mu _{\text{min}}/R}\quad {\text{for }}\delta \in [0,1){\text{, and}}}$

${\displaystyle \Pr \left\{\lambda _{\text{max}}\left(\sum _{k}\mathbf {X} _{k}\right)\geq (1+\delta )\mu _{\text{max}}\right\}\leq d\cdot \left[{\frac {e^{\delta }}{(1+\delta )^{1+\delta }}}\right]^{\mu _{\text{max}}/R}\quad {\text{for }}\delta \geq 0.}$

매트릭스 체르노프 2세

만족스러운 독립, 랜덤, 임의, 자체 승인 행렬의${\displaystyle }$시퀀스 { ${\displaystyle {\mathbf{}}_{}}$ ${\displaystyle {}_{}}$: ${\displaystyle 1}$,${\displaystyle 2}$,${\displaystyle \dots ,}$ ${\displaystyle n}$ ${\displaystyle \}}$ ${\displaystyle \{\mathbf {X} _{k}:k=1,2,\ldots,n\}}$을(를) 고려하십시오.

${\displaystyle \mathbf {X} _{k}\succeq \mathbf {0} \quad {\text{and}}\quad \lambda _{\text{max}}(\mathbf {X}_{k}\leq 1})$

거의 틀림없이

평균 기대치의 최소 및 최대 고유값을 계산한다.

${\displaystyle {\bar {\mu }}_{\text{min}}=\lambda _{\text{min}}\left({\frac {1}{n}}\sum _{k=1}^{n}\mathbb {E} \,\mathbf {X} _{k}\right)\quad {\text{and}}\quad {\bar {\mu }}_{\text{max}}=\lambda _{\text{max}}\left({\frac {1}{n}}\sum _{k=1}^{n}\mathbb {E} \,\mathbf {X} _{k}\right).}$

그러면

${\displaystyle \Pr \left\{\lambda _{\text{min}}\left({\frac {1}{n}}\sum _{k=1}^{n}\mathbf {X} _{k}\right)\leq \alpha \right\}\leq d\cdot e^{-nD(\alpha \Vert {\bar {\mu }}_{\text{min}})}\quad {\text{for }}0\leq \alpha \leq {\bar {\mu }}_{\text{min}}{\text{, and}}}$

${\displaystyle \Pr \left\{\lambda _{\text{max}}\left({\frac {1}{n}}\sum _{k=1}^{n}\mathbf {X} _{k}\right)\geq \alpha \right\}\leq d\cdot e^{-nD(\alpha \Vert {\bar {\mu }}_{\text{max}})}\quad {\text{for }}{\bar {\mu }}_{\text{max}}\leq \alpha \leq 1.}$

2진수 정보 다양성은 다음과 같이 정의된다.

${\displaystyle D(a\Vert u)=a\left(\log a-\log u\오른쪽)+(1-a)\left(\log(1-a)-\log(1-u)\right)}$

$a{\displaystyle }$ ,${\displaystyle u}$ ${\displaystyle \in }$[ ${\displaystyle 0,}$ ${\displaystyle 1}$ ${\displaystyle ]}$ ${\displaystyle a,u\in [0,1]}$에 대해 $.$

매트릭스 베넷과 번스타인의 불평등

스칼라 설정에서 베넷과 번스타인의 불평등은 경계가 있거나 하위인 독립된 0만 랜덤 변수의 합계의 위쪽 꼬리를 설명한다.행렬의 경우, 유사한 결과는 0평균 랜덤 행렬의 합계와 관련이 있다.

경계 케이스

차원 $d{\displaystyle }$ ${\displaystyle$$\{\displaystyle$\{\$mathbf {$X} $_{k}\}}$의 독립적이고 랜덤하며 자기 성장의 행렬을$$ 고려하십시오$.$ 각 랜덤 행렬이 충족된다고 가정하십시오.

${\displaystyle \mathbf {X} _{k}\succeq \mathbf {0} \quad {\text{and}}\quad \lambda _{\text{max}}(\mathbf {X}_{k}\leq R})$

거의 틀림없이

총 분산의 정규 분산을 계산한다.

${\displaystyle \sigma ^{2}={\bigg \vert }\vert }\sum _{k}\mathb {E} \,(\mathbf {X} _{k}^{2}){\bigg \Vert }}}}}$

그리고 다음의 불평등 사슬은 모든 t${\displaystyle \mathrm{t}}$ 0 ${\displaystyle t\geq$ 0$}$에 대해 유지된다$.$

${\displaystyle{\begin{정렬}\Pr \left\{\lambda_{\text{맥스}}\left(\sum_{k}\mathbf{X}_{k}\right)\geqt\right\}&\leqd\cdot \exp \left(-{\frac{\sigma ^{2}}{R^{2}}}\cdot h\left({\frac{그러나}{\sigma ^{2}}}\right)\right)\\&, \leqd\cdot \exp \left({\frac{{2}}{\sigma ^{2}+Rt/3}}\right -t^)\\&, \leq{\begin{경우}d\cdot \exp(-3t^{2}/8\sigma ^.{2})\quad&{\text{{}t\leq \sigma ^{2}/R;\d\cdot \exp(-3t/8R)\quad &{{}t\geq \sigma ^{2}/R의 경우.\\end{case}\end{aigned}}}$

함수 $h{\displaystyle (}$ ${\displaystyle u}$) ${\displaystyle h(u)}$은 $u{\displaystyle 0}$ ${\displaystyle u\geq$ 0$}$에 대해$$ $h{\displaystyle (u}$ ) =${\displaystyle }$(${\displaystyle 1}$+ ${\displaystyle u}$) $로그$⁡${\displaystyle }$($+$된다$.$

부차적인 경우

차원 $d{\displaystyle }$ ${\displaystyle$$\{\displaystyle \{\mathbf {X} _{k}\}}$의 독립$$, 랜덤, 자체 승인 행렬을 고려하십시오$.$

${\displaystyle \mathbb {E} \,\mathbf {X} _{k}=\mathbf {0} \quad {\text{and}\}\quad \mathb {E} \, (\mathbf {X} _{k^{p})\p!}}{2}}\cdot R^{p-2}\mathbf {A} _{k}^{2}}$

$p{\displaystyle }$= ${\displaystyle 2}$,${\displaystyle 3}$,${\displaystyle 4}$,${\displaystyle }$…의 경우, ${\displaystyle p=2,3,4,\ldots$ $\}.$

분산 모수 계산,

${\displaystyle \sigma ^{2}={\bigg \vert }\vert }\sum _{k}\mathbf {A} _{k}^{2}{\bigg \vert }}}}$

그리고 다음의 불평등 사슬은 모든 t${\displaystyle \mathrm{t}}$ 0 ${\displaystyle t\geq$ 0$}$에 대해 유지된다$.$

${\displaystyle {\begin{aligned}\Pr \left\{\lambda _{\text{max}}\left(\sum _{k}\mathbf {X} _{k}\right)\geq t\right\}&\leq d\cdot \exp \left({\frac {-t^{2}/2}{\sigma ^{2}+Rt}}\right)\\&\leq {\begin{cases}d\cdot \exp(-t^{2}/4\sigma ^{2})\quad &{\text{for }}t\leq \sigma ^{2}/R;\\d\cdot \exp(-t/4R)\quad &{\text{for }}t\geq \sigma ^{2}/R.\\end{case}\end{aigned}}}$

사각 케이스

차원 $d{\displaystyle {}_{}}$ ${\displaystyle {1\mathrm{}}_{}}$ ${\displaystyle {}_{}}$ ${\displaystyle {}_{}}$ ${\displaystyle {2\mathrm{}}_{}}$ ${\$ $\{\displaybf {Z} _{k}\}\$displaystyle $d_{1}\times d_{2$}}개의 개별 랜덤 행렬이 충족된다고 가정하십시오$.$

${\displaystyle \mathbb {E} \,\mathbf {Z} _{k}=\mathbf {0} \quad {\text{and}}\quad \vert \mathbf {Z} _{k}\leq R}$

거의 틀림없이분산 모수 정의

${\displaystyle \sigma ^{2}=\max \left\{{\bigg \Vert }\sum _{k}\mathbb {E} \,(\mathbf {Z} _{k}\mathbf {Z} _{k}^{*}){\bigg \Vert },{\bigg \Vert }\sum _{k}\mathbb {E} \,(\mathbf {Z} _{k}^{*}\mathbf {Z} _{k}){\bigg \Vert }\right\}.}$

그런 다음 모든 $t{\displaystyle }$ ${\displaystyle \ge }$ ${\displaystyle 0}$ ${\displaystyle t\geq 0}$에 대해

${\displaystyle \Pr \left\{{\bigg \Vert }\sum _{k}\mathbf {Z} _{k}{\bigg \Vert }\geq t\right\}\leq (d_{1}+d_{2})\cdot \exp \left({\frac {-t^{2}/2}{\sigma ^{2}+Rt/3}}\right)}$

쥐다^[1]

매트릭스 아즈마, 호프딩, 맥디아미드 불평등

매트릭스 아즈마

아즈마의 불평등 스칼라 버전은 스칼라 마팅게일이 평균값에 대해 정상적인 농도를 보이며, 편차에 대한 척도는 차이 시퀀스의 총 제곱 범위에 의해 제어된다고 명시한다.다음은 매트릭스 설정의 확장이다.

차원 $d{\displaystyle }$ ${\displaystyle d}$이$($가) 있는 자기 성직 행렬의$$ 유한 적응 시퀀스$X} _{k}\}\}$과($와)$ 충족되는 자기 성직 행렬의 고정$$ 시퀀스${\displaystyle }${$}{\displaystyle \{\mathbf {A}$_{k}\}\}}}}}을(와)를 고려하십시오.

${\displaystyle \mathbb {E} _{k-1}\,\mathbf {X} \quad {\text{and}\}\quad \mathbf {X}{k}^{k}^{k}}}}\preceq \mathbf {A}{{k}^2}}:$

거의 틀림없이

분산 모수 계산,

${\displaystyle \sigma ^{2}={\bigg \vert }\vert }\sum _{k}\mathbf {A} _{k}^{2}{\bigg \vert }}}}$

그런 다음 모든 $t{\displaystyle }$ ${\displaystyle \ge }$ ${\displaystyle 0}$ ${\displaystyle t\geq 0}$에 대해

${\displaystyle \Pr \왼쪽\{\lambda _{\text{max}\왼쪽(\sum_{k}\mathbf {X}_{k}\오른쪽)\geq t\right\}\leq d^{-t^{2}/8\sigma ^{2}}}$

상수 1/8은 추가 정보가 있을 때 1/2로 개선할 수 있다.각 ${\displaystyle {}_{}}$ X$$k {\$displaystyle \mathbf {$X$} _{$k}이(가) 조건부 대칭인 경우에$$ 한 가지 경우가 발생한다.${\displaystyle {}_{}}$ 예에서는 $X{\displaystyle {\mathbf{}}_{}}$ k ${\$이(가) ${\displaystyle {}_{}}$ $확실히$ A k {\$displaystyle \mathbf${A} _{$k}$와(와) 통근한다는$$ 가정을 요구한다$.$

매트릭스 호프딩

매트릭스 아즈마의 산지가 독립적이라는 추가 가정을 하면 호프딩의 불평등 행렬이 확장된다.

차원 $d{\displaystyle }$ ${\displaystyle d}$이$($가) 있는 독립, 랜덤, 자기 성직 행렬의${\displaystyle }$유한$$ 시퀀스${X} _{k$}\}\}을(를) 고려하고$,$ {$A$} {\displaystyle $\{\mathbf$ {$A}$_{k$\}\backslash \}\}\}\}\}{\displaystyle }$을(를) 고정된 자가 성직 행렬의 시퀀스로$$ 간주하십시오.각 랜덤 행렬이 만족한다고 가정해 보십시오.

${\displaystyle \mathbb{E} \mathbf {X} _{k}=\mathbf {0} \quad {\text{and}\}\quad \mathbf {X} _{k}^{k}}}\preceq \mathbf {A}_{{{}}}:{2}}:$

거의 틀림없이

그런 다음 모든 $t{\displaystyle }$ ${\displaystyle \ge }$ ${\displaystyle 0}$ ${\displaystyle t\geq 0}$에 대해

${\displaystyle \Pr \왼쪽\{\lambda _{\text{max}\왼쪽(\sum_{k}\mathbf {X}_{k}\오른쪽)\geq t\right\}\leq d^{-t^{2}/8\sigma ^{2}}}$

어디에

${\displaystyle \sigma ^{2}={\bigg \vert }\vert }\sum _{k}\mathbf {A} _{k}^{2}{\bigg \vert }}}}$

이 결과의 개선은 (Mackey et al. 2012): $모든{\displaystyle }$ t${\displaystyle 0}$ 0$[\displaystyle t\geq$0}에 대해 확립되었다.

${\displaystyle \Pr \왼쪽\{\lambda _{\text{max}\왼쪽(\sum_{k}\mathbf {X}_{k}\오른쪽)\geq t\right\}\leq d^{-t^{2}/2\sigma ^{2}}}$

어디에

${\displaystyle \sigma ^{2}={\frac {1}{2}}{\bigg \Vert }\sum _{k}\mathbf {A} _{k}^{2}+\mathbb {E} \,\mathbf {X} _{k}^{2}{\bigg \Vert }\leq {\bigg \Vert }\sum _{k}\mathbf {A} _{k}^{2}{\bigg \Vert }.}$

행렬 경계 차이(McDiarmid)

스칼라 환경에서 맥디아미드의 불평등은 아즈마의 불평등을 Dob martingale에 적용함으로써 차이를 좁히는 하나의 공통적인 방법을 제공한다.한정된 차이 불평등의 버전은 행렬 설정에 있다.

Let ${\displaystyle \{Z_{k}:k=1,2,\ldots ,n\}}$ be an independent, family of random variables, and let ${\displaystyle \mathbf {H} }$ be a function that maps ${\displaystyle n}$ variables to a self-adjoint matrix of dimension ${\displaystyle d}$. Consider a sequence ${\displaystyle \{{\mathbf{A}}_k\}}$${\displaystyle \{\mathbf {A} _{k}\}$을(를) 만족하는 고정 자가 승인 행렬

${\displaystyle \left(\mathbf {H} (z_{1},\ldots ,z_{k},\ldots ,z_{n})-\mathbf {H} (z_{1},\ldots ,z'_{k},\ldots ,z_{n})\right)^{2}\preceq \mathbf {A} _{k}^{2},}$

여기서 ${\displaystyle {각}_{}}$ 인덱스 $i{\displaystyle }$ ${\displaystyle z_$${i$$}$ 및$$ $z$ ${\displaystyle i_{}^{}}$ ${\displaystyle {}_{}^{}}$ ${\$ $z'$$_{i}$의 $가능$한 모든 ${\displaystyle {값}_{}}$에 대한 범위$$$.$ 분산 매개 변수를 계산하십시오.

${\displaystyle \sigma ^{2}={\bigg \vert }\vert }\sum _{k}\mathbf {A} _{k}^{2}{\bigg \vert }}}}$

그런 다음 모든 $t{\displaystyle }$ ${\displaystyle \ge }$ ${\displaystyle 0}$ ${\displaystyle t\geq 0}$에 대해

${\displaystyle \Pr \left\{\lambda _{\text{max}}\left(\mathbf {H} (\mathbf {z} )-\mathbb {E} \,\mathbf {H} (\mathbf {z} )\right)\geq t\right\}\leq d\cdot e^{-t^{2}/8\sigma ^{2}},}$

여기서 $z{\displaystyle \mathbf{}}$=${\displaystyle }$( ${\displaystyle {}_{}}$ ${\displaystyle {1\mathrm{}}_{}}$,${\displaystyle {}_{}}$…${\displaystyle }$, ${\displaystyle {}_{}{n}_{}}$) ${\displaystyle \mathbf$ {$z} =(Z_{1},\ldots, Z_{n$

이 결과의 개선은 (Paulin, Mackey & Tropp 2013)에서 확립되었다(Paulin, Mackey & Tropp 2016 참조): 모든 $t{\displaystyle }$ ${\displaystyle \le }$ $[\displaystyle t\geq 0}$

${\displaystyle \Pr \left\{\lambda _{\text{max}}\left(\mathbf {H} (\mathbf {z} )-\mathbb {E} \,\mathbf {H} (\mathbf {z} )\right)\geq t\right\}\leq d\cdot e^{-t^{2}/\sigma ^{2}},}$

where ${\displaystyle \mathbf {z} =(Z_{1},\ldots ,Z_{n})}$ and ${\displaystyle \sigma ^{2}={\bigg \Vert }\sum _{k}\mathbf {A} _{k}^{2}{\bigg \Vert }.}$

관련 이론 조사

이 유형의 첫 번째 경계는 (Ahlswede & Winter 2003)에 의해 도출되었다.자가 적응 행렬 가우스 및 라데마커 경계에는 위의 정리를 기억하십시오.차원 $d{\displaystyle }$ ${\displaystyle d}$이(가) 있는 고정된 자체 적응형 행렬의 유한$$ 시퀀스${\displaystyle }${$} {\displaystyle$d}$${${\displaystyle {}_{}}$$}\$$displaystyle$에 대해 독립 표준 정규 또는 독립 Rademacher 랜덤 변수의 유한$$ 시퀀스인 경우

${\displaystyle \Pr \left\{\lambda_{\text{max}\왼쪽(\sum _{k}\xi _{k}\mathbf {A}\i}\mathbf {A}_{k}\req t\cdot e^{2}/2}\sigma^{2}}}}}}}}}$

어디에

${\displaystyle \sigma ^{2}={\bigg \vert }\vert }\sum _{k}\mathbf {A} _{k}^{2}{\bigg \vert }}}}$

Ahlswede와 Winter는 같은 결과를 주었을 것이다.

${\$$AW}^{2}=\sum _{k}\lambda _{\max }\왼쪽(\$mathbf {$A} _{k}^{$2}\$오른쪽$ .

이에 비해 위의 정리에서$$ $\sigma {\displaystyle {}^{}}$ ${\displaystyle {2\mathrm{}}^{}}$ ${\$}}은$$$\sigma {\displaystyle \mathrm{}}$ ${\displaystyle \Sigma }$과 $\lambda {\displaystyle {}_{}}$ ${\displaystyle {max}_{}}$ ${\$로 통근한다. 즉, 가장 큰 고유값의 합보다 합이 가장 큰 고유값이다.앨스웨드-윈터 값(표준 삼각형 불평등 기준)보다 결코 크지 않지만 훨씬 더 작을 수 있다.따라서 위의 정리는 알스웨데-윈터 결과보다 더 엄격한 경계를 부여한다.

(Ahlswede & Winter 2003)의 주요 기여는 스칼라 체르노프 바운드(Chernoff bound# 참조)를 증명하는 데 사용되는 라플라스 변환법의 연장이었다.자가 부착 행렬의 경우 가법(절대 오차)에 대한 정리.아래 파생에서 주어진 절차.이 주제에 관한 최근의 모든 작품들은 이와 같은 절차를 따르며, 주요한 차이점들은 이후의 단계들로부터 따르게 된다.알스웨데 & 윈터 골든 사용-톰슨 부등식은 진행되나 트로프(Tropp 2010)는 리브의 정리를 사용한다.

우측을 거의 일정하게 유지하면서 시리즈 길이(n)와 행렬(d)의 치수를 변경하려고 한다고 가정합시다.그런 다음 n은 d의 로그에 따라 대략적으로 달라져야 한다.몇몇 논문이 차원에 의존하지 않고 구속을 확립하려고 시도했다.루델슨과 베르시닌(Rudelson & Vershyinn 2007)은 두 벡터의 외부 제품인 매트릭스에 대해 결과를 제공한다. (Magen & Zouzias 2010)은 하위 매트릭스에 대한 치수 의존성 없이 결과를 제공한다.원래 결과는 알스웨데-윈터 접근방식에서 독립적으로 도출되었지만 (올리베이라 2010b) 하프 오류: 목표 없음: CITREFOLIVEira2010b(도움말)는 알스웨데-윈터 접근방식을 사용하여 유사한 결과를 증명한다.

마지막으로 올리베이라(Oliviera 2010a) harv error: no target: CITREFOliviera2010a(도움말)는 알스웨데-윈터 프레임워크와는 독립적으로 매트릭스 마팅ales에 대한 결과를 증명한다.트로프(Tropp 2011)는 알스웨데-윈터 프레임워크를 사용하여 결과를 약간 개선한다.이 글에는 두 가지 결과가 모두 나와 있지 않다.

파생 및 증명

알스웨데와 겨울

(Ahlswede & Winter 2003)에서 발견된 라플라스 변환 인수는 그 자체로 중요한 결과물이다: Let $Y{\displaystyle \mathbf{}}$ ${\$은(는) 임의의 자기 적응 행렬이다$$.그러면

${\displaystyle \Pr \left\{\lambda _{\max }(Y)\geq t\right\}\leq \inf _{\theta >0}\left\{e^{-\theta t}\cdot \operatorname {E} \left[\operatorname {tr} e^{\theta \mathbf {Y} }\right]\right\}.}$

이를 증명하려면 θ> ${\displaystyle \theta >0}$을(를) 수정하십시오그러면

${\displaystyle{\begin{정렬}\Pr \left\ᆭ(\mathbf{Y})\geq t\right\}&=\Pr \left\ᆮ(\mathbf{\theta Y})\geq \theta t\right\}\\&, =\Pr \left\ᆯ(\theta \mathbf{Y})}\geq e^{\theta지}\right\}\\&, \leq e^{-\theta지}\operatorname{E}e^ᆳ(\theta \mathbf{Y})}\\&,\leq e^{-\the.분명 t}\operatorname {E} \operatorname {tr} e^{{(\teta \mathbf {Y} )}\end{arged}}}}$

두 번째에서 마지막 불평등은 마르코프의 불평등이다.The last inequality holds since ${\displaystyle e^{\lambda _{\max }\theta \mathbf {Y} }=\lambda _{\max }e^{\theta \mathbf {Y} }\leq \operatorname {tr} e^{\theta \mathbf {Y} }}$. Since the left-most quantity is independent of ${\displaystyle \theta }$, the infimum over> ${\displaystyle \theta >0}$은(는) 그것에 대한 상한으로 남아 있다.

Thus, our task is to understand ${\displaystyle \operatorname {E} \operatorname {tr} e^{\theta \mathbf {Y} }}$ Nevertheless, since trace and expectation are both linear, we can commute them, so it is sufficient to consider ${\displaystyle \operatorname {E} e^{\theta \mathbf {Y} }$$:=\mathbf {M} _{\mathbf {Y} }}(\theta$ $)\},$ 이것을 행렬 생성 함수라고 부른다.여기서 (Ahlswede & Winter 2003)와 (Tropp 2010)의 방법이 갈라진다.바로 이어지는 프레젠테이션(Alswede & Winter 2003)이 이어진다.

더 골든-톰슨 부등식은 다음을 암시한다.

${\displaystyle \operatorname {tr} \mathbf {M} _{\mathbf {X} _{1}+\mathbf {X} _{2}}(\theta )\leq \operatorname {tr} \left[\left(\operatorname {E} e^{\theta \mathbf {X} _{1}}\$$right)\left(\operatorname {E} e^{\theta \mathbf {X} _{2}}\right)\right]=\operatorname {tr} \mathbf {M} _{\mathbf {X} _{1}}(\theta )\mathbf {M} _{\mathbf {X} _{2}}(\theta )}$, where we used the linearity of expectation several times.

Suppose ${\displaystyle \mathbf {Y} =\sum _{k}\mathbf {X} _{k}}$. We can find an upper bound for ${\displaystyle \operatorname {tr} \mathbf {M} _{\mathbf {Y} }(\theta )}$ by iterating this result.${\displaystyle \mathrm{tr}}$ ${\displaystyle }$(${\displaystyle A\mathbf{}}$ ${\displaystyle \mathbf{B}}$) ${\displaystyle \le }$ ${\displaystyle \mathrm{tr}}$ (${\displaystyle A\mathbf{}}$)${\displaystyle {}_{}}$ ${\displaystyle {max}_{}}$( ${\displaystyle B\mathbf{}}$) ${\displaystyle \operatorname {tr}(\mathbf {AB}$)\$leq \operatorname {tr}(\mathbf {A} )\lambda _{\max$}(\$mathbf$ {$B} )}$ $)\}$ )}}}}}}}}}}}}}}, 그 다음.

${\displaystyle \operatorname {tr} \mathbf {M} _{\mathbf {Y} }(\theta )\leq \operatorname {tr} \left[\left(\operatorname {E} e^{\sum _{k=1}^{n-1}\theta \mathbf {X} _{k}}\right)\left(\operatorname {E} e^{\theta \mathbf {X} _{n}}\right)\right]\leq \operatorname {tr} \left(\operatorname {E} e^{\sum _{k=1}^{n-1}\theta \mathbf {X} _{k}}\right)\lambda _{\최대 }(\operatorname {E} e^{\theta \mathbf {X} _{n}).}$

이걸 반복하면

${\displaystyle \operatorname {tr} \mathbf {M} _{\mathbf {Y} }(\theta )\leq (\operatorname {tr} \mathbf {I} )\left[\Pi _{k}\lambda _{\max }(\operatorname {E} e^{\theta \mathbf {X} _{k}})\right]=de^{\sum _{k}\lambda _{\max }\left(\log \operatorname {E} e^{\theta \mathbf {X} _{k}}\right)}}$

지금까지 $우리$는 최소값의 한계를 found ${\displaystyle \theta }$에 대해 발견했다$.$ 그 결과, 이것은 한계일 수 있다.어쨌든 알스웨데-윈터 바운드가 어떻게 가장 큰 고유값의 합으로 발생하는지 알 수 있다.

트로프

(Tropp 2010)의 주요 공헌은 (Ahlswede & Winter 2003)이 황금-을 적용했던 리브의 정리 적용이다.톰슨 부등식.Tropp의 골격은 $다음$과 같다: H ${\displaystyle H}$이(가) 고정 자가 적응 행렬이고 X ${\displaystyle X}$이($가{\displaystyle }$) 임의의 자가 적응 행렬이면

${\displaystyle \operatorname {E} \operatorname {tr} e^{\mathbf {H} +\mathbf {X} }\leq \operatorname {tr} e^{\mathbf {H} +\log(\operatorname {E}{\mathbf {X}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}$

증명: Let $Y{\displaystyle \mathbf{}}$= ${\displaystyle {e\mathbf{}}^{}}$ X ${\$= e$^{\mathbf {X$ 그렇다면 Lieb의 정리로는 다음과 같은 것을 알 수 있다.

${\displaystyle f(\mathbf {Y} )=\operatorname {tr} e^{\mathbf {H} +\log(\mathbf {Y} )}}}}}}$

오목하다마지막 단계는 젠센의 불평등을 이용하여 함수 내부의 기대치를 움직이는 것이다.

${\displaystyle \operatorname {E} \operatorname {tr} e^{\mathbf {H} +\log(\mathbf {Y} )}\leq \operatorname {tr}E^{\mathbf {H} +\log(\operatorname {E} \mathbf {Y}}}}}}}}}}}}}}).$

이것은 우리에게 논문의 주요 결과를 제공한다: 매트릭스 생성함수의 로그의 하위 부가성.

로그 mgf의 하위 가독성

$X{\displaystyle {\mathbf{}}_{}}$ ${\displaystyle {}_{}}$ ${\$을(를) 독립적이고 무작위적인 자기 적응 행렬의 유한 시퀀스가 되도록$$ 한다.그런 다음 모든 $\theta {\displaystyle }$ ${\displaystyle \in }$ ${\displaystyle R\mathbb{}}${\$displaystyle \theta \in \mathb {R$

${\displaystyle \mathbf {tr} \mathbf {M} _{\sum _{k}(\theta )\leq \operatorname {tr} e^{{k}\logmathbf {M} _{\mathbf {X}}{k}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}$

증명: $\theta {\displaystyle }$= ${\displaystyle 1}$ ${\displaystyle \theta =1$ 정의를 확대하면 다음과 같은 것을 보여줄 필요가 있다.

${\displaystyle \operatorname {E} \operatorname {tr} e^{\sum _{k}\leq \operatorname {tr} e^{}{k}\log \operatorname {E} e^{\ta \mathbf {X} _{k}}}}}}}.}$

그 증거를 완성하기 위해 우리는 완전한 기대의 법칙을 사용한다.E ${\displaystyle k_{}}$ ${\$ $\operatorname$${E}$${\displaystyle }$$_{k$${\displaystyle \}\}}$에 기대 조건을 붙이십시오$$${\displaystyle {}_{}}$ X i ${\$ $\mathbf {X} _{1},\dots,\mathbf${$X} _{k}.$ 모든 ${\displaystyle {}_{}}$가 독립적이라고$$ 가정하므로,

${\displaystyle \operatorname {E} _{k-1}e^{\mathbf {X} _{k}=\mathbf {X} _{k}}}$

Define ${\displaystyle \mathbf {\Xi } _{k}=\log \operatorname {E} _{k-1}e^{\mathbf {X} _{k}}=\log \mathbf {M} _{\mathbf {X} _{k}}(\theta )}$.

마침내, 우리는

${\displaystyle{\begin{정렬}\operatorname{E}\operatorname{tr}e^{\sum_{k=1}^{n}\mathbf{X}_{k}}&=\operatorname{E}_{0}\cdots{X}_{k}+\mathbf{X}_{n}}\\& e^{\sum_{k=1}^{n-1}\mathbf, \leq\operatorname{E}_{0}\cdots{E}_{n-2}\operatorname{tr}e^{\sum_{k=1}^{n-1}\mathbf{X}\operatorname{E}_{n-1}\operatorname{tr}\operatorname._{k}+\log(\operatorname {E} _{n-1}e^{\mathbf {X} _{n}})}\\&=\operatorname {E} _{0}\cdots \operatorname {E} _{n-2}\operatorname {tr} e^{\sum _{k=1}^{n-2}\mathbf {X} _{k}+\mathbf {X} _{n-1}+\mathbf {\Xi } _{n}}\\&\vdots \\&=\operatorname {tr} e^{\sum _{k=1}^{n}\mathbf {\Xi } _{k}}\end{aligned}}}$

매 단계마다 우리는 트로프의 코롤리를 사용한다.

${\displaystyle \mathbf {H} _{m}=\sum _{m-1}^{k}\mathbf {X} _{k}+\sum _{k=m+1}^{n}}\mathbf {\Xi}}}}$

마스터 테일 바운드

이전 결과에서 바로 다음과 같다.

${\displaystyle \Pr \left\{\lambda _{\max }\left(\sum _{k}\mathbf {X} _{k}\right)\geq t\right\}\leq \inf _{\theta >0}\left\{e^{-\theta t}\operatorname {tr} e^{\sum _{k}\log \mathbf {M} _{\mathbf {X} _{k}}(\theta )}\right\}}$

위에 제시된 모든 이론들은 이 한계에서 파생된 것이다; 그 이론들은 최소를 한계로 묶기 위한 다양한 방법으로 구성된다.이 단계들은 주어진 증거보다 훨씬 간단하다.

참조

• Ahlswede, R.; Winter, A. (2003). "Strong Converse for Identification via Quantum Channels". IEEE Transactions on Information Theory. 48 (3): 569–579. arXiv:quant-ph/0012127. doi:10.1109/18.985947. S2CID 523176.
• Mackey, L.; Jordan, M. I.; Chen, R. Y.; Farrell, B.; Tropp, J. A. (2012). "Matrix Concentration Inequalities via the Method of Exchangeable Pairs". The Annals of Probability. 42 (3): 906–945. arXiv:1201.6002. doi:10.1214/13-AOP892. S2CID 9635314.
• Magen, A.; Zouzias, A. (2010). "Low-Rank Matrix-valued Chernoff Bounds and Approximate Matrix Multiplication". arXiv:1005.2724 [cs.DS].
• Oliveira, R.I. (2010). "Concentration of the adjacency matrix and of the Laplacian in random graphs with independent edges". arXiv:0911.0600 [math.CO].
• Oliveira, R.I. (2010). "Sums of random Hermitian matrices and an inequality by Rudelson". arXiv:1004.3821 [math.PR].
• Paulin, D.; Mackey, L.; Tropp, J. A. (2013). "Deriving Matrix Concentration Inequalities from Kernel Couplings". arXiv:1305.0612 [math.PR].
• Paulin, D.; Mackey, L.; Tropp, J. A. (2016). "Efron–Stein inequalities for random matrices". The Annals of Probability. 44 (5): 3431–3473. arXiv:1408.3470. doi:10.1214/15-AOP1054. S2CID 16263460.
• Rudelson, M.; Vershynin, R. (2007). "Sampling from large matrices: an approach through geometric functional analysis". J. Assoc. Comput. Mach. (4 ed.). 54. arXiv:math/9608208. Bibcode:1996math......8208R. doi:10.1145/1255443.1255449. S2CID 6054789.
• Tropp, J. (2011). "Freedman's inequality for matrix martingales". arXiv:1101.3039 [math.PR].
• Tropp, J. (2010). "User-friendly tail bounds for sums of random matrices". Foundations of Computational Mathematics. 12 (4): 389–434. arXiv:1004.4389. doi:10.1007/s10208-011-9099-z. S2CID 17735965.