랜덤 변수의 수렴 증명

이 글에는 참고문헌, 관련 독서 또는 외부 링크 목록이 수록되어 있으나 인라인 인용구가 부족하여 출처가 불분명하다. 좀 더 정밀한 인용구를 도입하여 이 기사를 개선할 수 있도록 도와주십시오.(2010년 11월) (이 템플릿 메시지를 제거하는 방법과 시기 알아보기)

이 글은 "임의변수의 수렴"에 대한 보충 자료로, 선택된 결과에 대한 증거를 제공한다.

Portmanteau 보조정리기를 사용하여 다음과 같은 몇 가지 결과를 얻을 수 있다.다음 조건 중 하나가 충족되는 경우에만 시퀀스 {X_n}이(가) X로 수렴된다.

1. E[f(X_n)] → E[f(X)] 모든 경계 연속 함수 f;
2. E[f(X_n)] → E[f(X)] 모든 경계, 립슈츠 기능 f;
3. 모든 닫힌 집합 C에 대해 림섭{Pr(X x_n C)} } Pr(X ∈ C);

수렴은 거의 확실히 확률의 수렴을 의미한다.

${\displaystyle X_{n}\\\x오른쪽 화살표 {as}\\X\quad \오른쪽 화살표 \quad X_{n}\\x오른쪽 화살표 {p}\X}$

증명: {X_n}이(가) 거의 확실히 X로 수렴되면, 점 집합 {Ω: im X_n(Ω) ) X(Ω) ≠ X(Ω)}이(가) 측정값 0을 가지고 있음을 의미하며, 이 집합 O를 나타낸다.이제 ε > 0을 수정하고 일련의 집합을 고려한다.

${\displaystyle A_{n}=\bigcup _{m\geqn}\왼쪽 X_{m}-X\right >\varepsilon \right\}}}}}$

세트의 이 순서는 감소하고 있다.A_n ⊇ A_n+1 ⊇ ... 그리고 세트 쪽으로 감소한다.

${\displaystyle A_{\put }=\bigcap _{n\geq 1}A_{n}.}$

이렇게 감소하는 사건 순서의 경우, 그 확률 또한 감소 순서가 되며, Pr_∞(A) 쪽으로 감소한다. 이제 이 숫자가 0과 같다는 것을 보여주어야 한다.현재 O의 보완점 Ω은 림 X_n(Ω) = X(Ω)이며, 이는 특정 N보다 큰 모든 n에 대해 X_n(Ω) - X(Ω) < Ω을 의미한다.따라서 모든 n ≥ N에 대해 점 Ω은 집합 A에_n 속하지 않으며, 결과적으로 A에_∞ 속하지 않는다.즉, A가_∞ O와 분리되거나 동등하게 A가_∞ O의 부분집합이므로 Pr(A_∞) = 0이라는 뜻이다.

마지막으로, 위에서부터의 연속성에 의해,

${\displaystyle \operatorname {Pr} \left(X_{n}-X >\varepsilon \right)\leq \operatorname {Pr}(A_{n})\\\underset {n\potto \}{},}},},}$

그것은 정의상_n X가 확률로 X로 수렴한다는 것을 의미한다.

확률의 수렴이 이산형 사례에서 거의 확실한 수렴을 의미하지는 않는다.

X가_n 확률 1/n과 0을 가진 값 1을 가정하는 독립 랜덤 변수인 경우_n, X는 확률상 0으로 수렴되지만 거의 확실하지는 않다.이는 보렐-칸텔리 레마(Borel-Cantelli lemmas)를 사용하여 확인할 수 있다.

확률의 수렴은 분포의 수렴을 의미한다.

${\displaystyle X_{n}\\\xrightarrow {p}\xrightarrow {p}\X\Rightarrow \quad X_{n}\\xrightarrow {d}\X,}$

스칼라 랜덤 변수의 경우에 대한 증거

보조정리. X, Y를 임의변수로 하고, a를 실수와 > > 0으로 한다.그러면

${\displaystyle \operatorname {Pr}(Y\leq a)\leq \operatorname {Pr}(X\leq a+\varepsilon )+\operatorname {Pr}(Y-X >\varepsilon)).}$

보조정리 증명:

${\displaystyle{\begin{정렬}\operatorname{Pr}(Y\leq)&,=\operatorname{Pr}(Y\leq a,\ X\leq a+\varepsilon)+\operatorname{Pr}(Y\leq X> a,\, a+\varepsilon)\\&, \leq\operatorname{Pr}(X\leq a+\varepsilon)+\operatorname{Pr}(Y-X\leq a-X,\ a-X<, -\varepsilon)\\&, \leq\operatorname{Pr}(X\leq a+\varepsilon)+\operatorname{Pr}(.Y-X<, -\varepsilon)\\&\leq \operatorname {Pr} (X\leq a+\varepsilon )+\operatorname {Pr} (Y-X<-\varepsilon )+\operatorname {Pr} (Y-X>\varepsilon )\\&=\operatorname {Pr} (X\leq a+\varepsilon )+\operatorname {Pr} ( Y-X >\varepsilon )\end{aligned}}}$

보조정리증의 짧은 증거:

우리는 가지고 있다.

${\displaystyle {\reasoned}\{{Y\leq a\}\subset \{X\leq a+\barepsilon \}\cup \{Y-X >\varepsilon \}\ended}}}}}}$

${\displaystyle Y}$ ${\displaystyle \le }$ a ${\displaystyle Y\leq a}$ 및 ${\displaystyle Y}$- X ${\displaystyle \le }$ ${\displaystyle \epsilon }$ ${\displaystyle Y-X \leq \varepsilon$ $\},$ $X{\displaystyle }$ ${\displaystyle \le }$ ${\displaystyle a}$ +${\displaystyle \epsilon }$ ${\displaystyle X\leq$ a$+\varepsilon$$}$의 경우. 따라서 결합에 의해

${\displaystyle {\begin}\operatorname {Pr}(Y\leq a)\leq \operatorname {Pr}(X\leq a+\varepsilon )+\operatorname {Pr}(Y-X >\varepsilon).\end{정렬}}}$

정리 증명:분포의 수렴을 증명하기 위해서는 F가_X 연속되는 모든 지점에서 누적 분포 함수의 순서가 F로_X 수렴된다는 것을 보여줘야 한다는 것을 상기한다.요점만 말해두려워라.선행 보조정리 때문에 ε > 0마다 다음과 같이 한다.

${\displaystyle {\begin{aligned}\operatorname {Pr} (X_{n}\leq a)&\leq \operatorname {Pr} (X\leq a+\varepsilon )+\operatorname {Pr} ( X_{n}-X >\varepsilon )\\\operatorname {Pr} (X\leq a-\varepsilon )&\leq \operatorname {Pr} (X_{n}\leq a)+\operatorname {Pr} ( X_{n}-X >\varepsilon )\end{aligned}}}$

그래서, 우리는

${\displaystyle \operatorname {Pr} (X\leq a-\varepsilon )-\operatorname {Pr} \left(\left X_{n}-X\right >\varepsilon \right)\leq \operatorname {Pr} (X_{n}\leq a)\leq \operatorname {Pr} (X\leq a+\varepsilon )+\operatorname {Pr} \left(\left X_{n}-X\right >\varepsilon \right).}$

한계치를 n → ∞으로 하여 다음을 얻는다.

${\displaystyle F_{X}(a-\barepsilon )\leq \lim _{n\infit }\operatorname {Pr}(X_{n}\leq a)\leq F_{X}(a+\barepsilon ),}}$

여기서 F_X(a) = Pr(X ≤ a)는 X의 누적분포함수다.이 함수는 가설에 의해 연속적이며, 따라서 F_X(a-ε)와 F_X(a+ε)는 모두_X⁺ ( → 0으로 F(a)에 수렴한다.이 한도를 가지고, 우리는 얻는다.

${\displaystyle \lim _{n\to \infit }\operatorname {Pr}(X_{n}\leq a)=\operatorname {Pr}(X\leq a),}$

즉, {X_n}이(가) 배포 시 X로 수렴됨을 의미한다.

일반 사례에 대한 증거

함축적 의미는 이 페이지에서 나중에 입증된 이 속성을 사용하고_n Y = X를 취함으로써 X가_n 랜덤 벡터인 경우에 따른다.

상수에 대한 분포의 수렴은 확률의 수렴을 의미한다.

${\displaystyle X_{n}\\\x오른쪽 화살표 {d}\\\c\오른쪽 화살표 \quad X_{n}\\\x오른쪽 화살표 {p}\c,}$ 제공된 c는 상수다.

교정: ε > 0. B_ε(c)를 지점 c 주변의 반경 ε의 열린 공으로 하고, B_ε(c)^c를 그 보완으로 한다.그러면

${\displaystyle \operatorname {Pr} \left(X_{n}-c \geq \varepsilon \right)=\Pr} \left(X_{n}\in B_{\varepsilon }^{c}\right)}$

portmanteau 보조정리기(Part C)에 의해, X가_n c로 분포되어 수렴되는 경우, 후자의 확률의 림섭기가 Pr(c_ε ( B(c)^c보다 작거나 같아야 하며, 이는 명백히 0과 같다.그러므로

${\displaystyle {\begin{aligned}\lim _{n\to \infty }\operatorname {Pr} \left(\left X_{n}-c\right \geq \varepsilon \right)&\leq \limsup _{n\to \infty }\operatorname {Pr} \left(\left X_{n}-c\right \geq \varepsilon \right)\\&=\limsup _{n\to \infty }\operatorname {Pr} \left(X_{n}\in B_{\varepsilon }(c)^{c}\right)\\&\leq \operatorname {Pr} \left(c\in B_{\varepsilon }(c)^{c}\right)=0\end{aligned}}}$

그것은 정의상_n X가 확률상 c로 수렴된다는 것을 의미한다.

분포에서 수렴되는 시퀀스에 대한 확률의 수렴은 동일한 분포에 대한 수렴을 의미한다.

${\displaystyle Y_{n}-X_{n}\{p}\{p}\\\ X_{n}\\\ X_{d}\\x오른쪽 화살표 \\quad \quad \quad \quad \quad \quad \quad \quad \quad \quad \quad Y_{quad}}}{quad}}}}}}}}}{{{{d}}}}}}}}\x오른쪽 화살표 {d}$

증명: 우리는 portmantau 보조정리, 파트 B를 사용하여 이 정리를 증명할 것이다.해당 보조정리기에 필요한 경우, Lipschitz인 경계 함수 f(예: f(x) ≤ M)를 고려하십시오.

${\displaystyle \exists K>0,\all x,y:\quad f(x)-f(y) \leq K x-y.}$

일부 > > 0을 취하고 E[f(Y_n)] - E[f(X_n)]라는 표현식을 다음과 같이 전공한다.

${\displaystyle {\begin{aigned}\왼쪽 \operatorname {E} \left[F_{n}\right] \e} \leq \operatorname {E} \left[\왼쪽] \ft(Y_{n}}-f)-f(X_{n}\rigined}\rigin}\rig}\rig}\riginit)\right]\&=\operatorname {E} \left[\left f(Y_{n})-f(X_{n})\right \mathbf {1} _{\left\{ Y_{n}-X_{n} <\varepsilon \right\}}\right]+\operatorname {E} \left[\left f(Y_{n})-f(X_{n})\right \mathbf {1} _{\left\{ Y_{n}-X_{n} \geq \varepsilon \right\}}\right]\\&\leq \operatorname {E} \left[K\left Y_{n}-X_{n}\right \mathbf {1} _{\left\{ Y_{n}-X_{n} <\varepsilon \right\}}\right]+\operatorname {E} \left[2M\mathbf {1} _{\left\{ Y_{n}-X_{n} \geq \varepsilon \right\}}\right]\\&\leq K\varepsilon \operatorname {Pr} \left(\왼쪽 Y_{n}-X_{n}\right <\varepsilon \right)+2M\operatorname {Pr} \left(\left Y_{n}-X_{n}\right \geq \varepsilon \right)\\&\leq K\varepsilon +2M\operatorname {Pr} \left(\left Y_{n}-X_{n}\right \geq \varepsilon \right)\end{aligned}}}$

(여기서 1은_{...} 표시기 함수를 나타낸다. 표시기 함수의 기대치는 해당 사건의 확률과 동일하다.)그러므로

${\displaystyle{\begin{정렬}\left\operatorname{E}\left[f(Y_{n})\right]-\operatorname{E}\left[f(X)\right]\right&\leq \left\operatorname{E}\left[f(Y_{n})\right]-\operatorname{E}\left[f(X_{n})\right]\right,\operatorname{E}\left[f(X_{n})\right]-\operatorname{E}\left[f(X)\right]\right \\& +\left \leq K\varepsilon +2M\operatornam.e{Pr})왼쪽(Y_{n}-X_{n} \geq \varepsilon \right)+\왼쪽 \operatorname {E} \left[f({n}\right]-\operatorname {E} \left[f(X)\right]\end.\liged}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}$

이 표현에서 한계를 n → ∞으로 본다면, {Y-X_nn}이 확률상 0으로 수렴되기 때문에 두 번째 항은 0으로 가고, 세 번째 항 역시 포트만테우 보조정리기와 X가_n 분포상 X로 수렴된다는 사실에 의해 0으로 수렴될 것이다.그러므로,

${\displaystyle \lim_{n\to \infit }\왼쪽 \operatorname {E} \left[F_{n}\right]-\operatorname {E} \left[f(X)\right]\leq K\vesilon.}$

ε은 자의적이었기 때문에, 우리는 한계는 사실상 0과 같아야 한다고 결론짓고, 따라서 E[f(Y_n)] → E[f(X)]는 다시 portmantau 보조마사에 의해 {Y_n}이(가) 분포에서 X로 수렴한다는 것을 암시한다.QED.

분포의 한 시퀀스와 상수의 다른 시퀀스의 융합은 분포의 공동 수렴을 의미한다.

${\displaystyle X_{n}\\\xrightarrow {d}\X,\ Y_{n}\\\xrightarrow {p}\c\\\\quad \rightarrow \quad \quad(X_{n})Y_{n}\\\x오른쪽 화살표 {d}\(X,c)}$ 제공된 c는 상수다.

증거: 우리는 portmantau 보조정리, 파트 A를 사용하여 이 진술을 증명할 것이다.

먼저 분포에서_n (X, c)가 (X, c)로 수렴된다는 것을 보여주고자 한다.portmanteau 보조정리법에 의해, 경계된 모든 연속함수 f(x, y)에 대해 E[f_n(X, c)] → E[F(X, c)]를 보여줄 수 있다면 이것은 사실일 것이다.그러므로 f는 임의로 경계된 연속함수가 되게 하라.이제 단일 변수 g(x) := f(x, c)의 함수를 고려한다.이것은 또한 분명히 경계되고 지속적이며, 따라서 X로 수렴되는 시퀀스 {X_n}에 대한 포트만테우 보조정리기에 의해 우리는 E[g_n(X)] → E[g(X)]를 갖게 될 것이다.그러나 후자의 표현은 "E[f(X_n, c)] → E[f(X, c)]"에 해당하므로, 이제 (X_n, c)는 (X, c)로 분포가 수렴된다는 것을 알게 되었다.

둘째, (X_n, Y_n) - (X_n, c) = Y_n - c. Y는 확률에서_n c로 수렴되기 때문에 이 표현은 확률에서 0으로 수렴된다.따라서 우리는 다음과 같은 두 가지 사실을 입증했다.

${\displaystyle {\begin{case}\왼쪽(X_{n})Y_{n}-(X_{n},c)\right \{\xrightarrow {p}\0,\\(X_{n}c)\\\\xrightarrow {d}\(X,c)\end{case}}}$

앞서 증명된 속성에 의해, 이 두 가지 사실은 (X_n, Y_n)가 (X, c)에 분포로 수렴된다는 것을 암시한다.

확률에서 두 시퀀스의 수렴은 확률의 공동 수렴을 의미한다.

${\displaystyle X_{n}\\\xrightarrow{p}\\\ Y_{p}\\xrightarrow \quad \rightarrow \quad (X_{n})Y_{n}\\\x오른쪽 화살표 {p}\(X,Y)}$

증명:

${\displaystyle {\begin{aigned}\operatorname {Pr} \왼쪽(X_{n})Y_{n})-(X,Y)\right \geq \varepsilon \right)&\leq \operatorname {Pr} \left( X_{n}-X + Y_{n}-Y \geq \varepsilon \right)\\&\leq \operatorname {Pr} \left( X_{n}-X \geq \varepsilon /2\right)+\operatorname {Pr} \left( Y_{n}-Y \geq \varepsilon /2\right)\end{aligned}}}$

여기서 마지막 단계는 비둘기 구멍 원리와 확률 측정의 하위 추가성에 따른다.오른쪽의 각 확률은 각각 X와 Y에 대한 확률의 {X_n}과(와) {Y_n}의 합치를 정의하여 n → ∞으로 0으로 수렴한다.한도를 취하면 왼쪽도 0으로 수렴되고 따라서 {(X_n, Y)} 시퀀스가 {(X, Y_n)} 확률로 수렴된다고 결론짓는다.

참고 항목

• 랜덤 변수의 수렴

참조