조건기대

Conditional expectation

확률론에서, 조건부 기대치, 조건부 기대치 또는 임의의 많은 발생 횟수에 대해 "평균"을 취할 인 임의의 "조건"이 발생하는 것으로 알려져 있는 경우, 조건부 기대치, 조건부 기대치 또는 임의 변수조건부 평균이다. 랜덤 변수가 한정된 수의 값만 취할 수 있는 경우, "조건"은 변수가 해당 값의 부분 집합만 취할 수 있다는 것이다. 좀 더 공식적으로, 무작위 변수가 이산 확률 공간에 걸쳐 정의되는 경우, "조건"은 이 확률 공간의 분할이다.

상황에 따라 조건부 기대는 랜덤 변수 또는 함수가 될 수 있다. 랜덤 변수는 조건부 확률과 유사하게 ) Y로 표시된다. 형식은 = ) Y로 표시되거나, Y) = )라는 의미와 함께 f(\= 와 같은 별도의 함수 기호가 도입된다

예 1: 주사위 굴리기

공정 다이의 롤을 고려하고 숫자가 짝수일 경우(즉, 2, 4, 6), 그렇지 않을 경우 A = 1로 두십시오. 또한 숫자가 소수(예: 2, 3, 5)인 경우 B = 1로 하고 그렇지 않은 경우 B = 0으로 한다.

1 2 3 4 5 6
A 0 1 0 1 0 1
B 0 1 1 0 1 0

The unconditional expectation of A is , but the expectation of A conditional on B = 1 (i.e., conditional on the die roll being 2, 3, or 5) is , and the expectation of A conditional on B = 0 (i.e., conditional on the die roll being 1, 4, or 6) is . Likewise, the expectation of B conditional on A = 1 is , and A = 0을 조건으로 하는 B의 기대치는 [ A= =( + )= 3/ / 이다

예제 2: 강우량 데이터

1990년 1월 1일부터 1999년 12월 31일까지 10년(3652–1일) 기간 중 매일 기상 관측소에서 수집한 일일 강우량 데이터(매일 강우량)가 있다고 가정합시다. 불특정 다일의 무조건적인 강우 예상은 3652일의 강우량 평균이다. 3월 한 달 동안 (존재 조건부)라고 알려진 다른 불특정 요일의 조건부 강우 예상은 3월에 해당하는 10년 기간의 310일 동안의 일일 강우량 평균이다. 그리고 3월 2일의 날짜를 조건으로 하는 강우량 조건부 예상은 특정 날짜와 함께 10일에 발생한 강우량의 평균이다.

역사

조건부 확률의 관련 개념은 적어도 조건부 분포를 계산한 라플레이스로 거슬러 올라간다. 1933년에 라돈-니코디름 정리를 사용하여 공식화한 사람은 안드레이 콜모고로프였다.[1] 1953년 폴 할모스[2] 조셉 L. Dob[3] 작품에서는 조건부 기대는 하위-알제브라를 사용한 현대적 정의로 일반화되었다.[4]

정의들

이벤트 조건화

A가 0이 아닌 확률을 가진 의 사건이고 X가 이산 랜덤 변수인 경우, 주어진 X의 조건부 기대치는 다음과 같다.

X의 모든 가능한 결과를 합한 경우.

( )= 인 경우 0으로 나누기 때문에 조건부 기대치가 정의되지 않는다는 점에 유의하십시오.

이산 랜덤 변수

XY이산 랜덤 변수인 경우 주어진 Y에 대한 조건부 기대치는 다음과 같다.

여기서 = , = y) XY합동 확률 질량 함수다.합계는 X의 가능한 모든 결과들을 대체한다.

이산형 랜덤 변수의 조건화는 해당 사건의 조건화와 동일하다는 점에 유의하십시오.

여기서 A{ = 집합이다

연속 랜덤 변수

Let and be continuous random variables with joint density 's density and conditional density ( ) Y 이벤트가 경우 = 대한 X 의 조건부 기대값은 다음과 같다.

분모가 0이면 식이 정의되지 않는다.

연속 랜덤 변수에 대한 조절은 이산형 케이스에서와 { Y= y 에 대한 조절과 같지 않다는 점에 유의하십시오. 자세한 내용은 확률 0의 사건 조건화를 참조하십시오. 이러한 구별을 존중하지 않는 것은 보렐-콜모고로프 역설에서 예시된 모순된 결론으로 이어질 수 있다.

L2 랜덤 변수

이 절의 모든 랜덤 변수는 정사각형 통합한 L {\ L}}에 있는 것으로 가정한다 완전한 일반성에서 조건부 기대는 이러한 가정 없이 개발된다. 하위-하위-알지브라에 대한 조건부 기대 아래의 내용을 참조한다. 그러나 L 이론은 보다 직관적으로[5] 간주되어 중요한 일반화를 인정한다. 개의 랜덤 변수의 맥락에서 조건부 기대는 회귀라고도 한다.

다음에 오는(, , ) 을 확률 공간으로 하고, : 분산 기대 평균 제곱 오차를 최소화한다.

.

X의 조건부 기대치는 단수 μ 대신 e X( y){\Let : n {\ Y은(는) 랜덤 벡터가 된다. 조건부 기대 : → R 은(는) 다음과 같은 측정 가능한 함수다.

.

와는 달리 조건부 기대 e 는 일반적으로 고유하지 않으며, 평균 제곱 오차의 최소화가 여러 개 있을 수 있다.

유니크함

예 1: Y가 항상 1인 상수 랜덤 변수인 경우를 생각해 보십시오. 그런 다음 평균 제곱 오차는 폼의 모든 함수에 의해 최소화된다.

예 2: Y가 2차원 랜덤 벡터, X) (X,인 경우를 생각해 보십시오 그렇다면 분명히

but in terms of functions it can be expressed as or or infinitely many other ways. 선형 회귀의 맥락에서 이러한 고유성의 결여를 다중 공선성이라고 한다.

조건부 기대값은 R 의 측정값 0 집합까지 고유하다 사용되는 척도는 Y가 유도한 푸시포워드 척도다.

첫 번째 예에서 푸시포워드 척도는 1에서 디락 분포다. 두 번째에서 그것은 "대각선 { y: = 2 에 집중되어 교차하지 않는 세트는 측정값 0이 된다.

존재

(( - ( Y)) 2) 에 대한 미니마이저의 존재는 비교가 되지 않는다. 라는 것을 알 수 있다.

Hilbert L ){\2}(\)}의 닫힌 하위공간이다. Hilbert 투영정리 결과, e 가 최소화제로서 필요하고도 충분한 조건은 M f ) 에 대한 조건이다[6]

- ( ), ( ) = 0 .

즉, 이 방정식은 잔존 - e ( ) Y의 모든 함수의 공간 M과 직교한다고 한다. 조건Y가 L에 있지 않은 경우에 조건부 기대치를 확장하기 위해 아래에 사용된다

회귀에 대한 연결

조건부 기대는 분석적 계산과 보간법의 어려움으로 인해 응용 수학통계에서 근사치를 이루는 경우가 많다.[7]

힐버트 아공간

위에서 정의한 것은 어떤 측정 가능한 기능보다 g의 기능적 형태를 제한함으로써 그것의 하위 집합으로 대체된다. 이러한 예로는 g단순한 함수여야 할 때 의사결정 트리 회귀 분석, g부착되어야 할 때 선형 회귀 등이 있다.

조건부 기대의 이러한 일반화는 더 이상 보유하지 않는 많은 부동산의 원가로 이루어진다. 예를 들어, MY의 모든 선형 함수의 공간이 되게 M{\{\은 이러한 일반화된 조건부 기대/ 투영을 나타내도록 한다. 이(가) 상수 함수를 포함하지 않으면 타워 속성 ⁡( ()= ( ) 이(가) 보류되지 않는다.

중요한 특별한 경우는 XY가 공동으로 정규 분포를 따르는 경우다. 이 경우 조건부 기대치가 선형 회귀와 동일하다는 것을 알 수 있다.

{ i i= 0 다변량 정규 분포#조건 분포에 설명.

하위-하위-알제브라에 대한 조건부 기대치

σ-알지브라에 대한 조건부 기대:에서 확률 공간, F, ) 르베그 측정값과의 [0,1] 구간이다. 우리는 다음과 같은 σ알게브라를 정의한다. ; is the σ-algebra generated by the intervals with end-points 0, ¼, ½, ¾, 1; and is the σ-algebra generated by the intervals with end-points 0, ½, 1. Here the conditional expectation is effectσ-algebra의 최소 집합에 대한 평균.

다음을 고려하십시오.

  • , , P) 확률 공간이다.
  • : n 는 유한한 기대치를 갖는 확률 공간의 랜덤 변수.
  • 은(는) 의 하위 교호(sub-matcalgebra)이다

Since is a sub -algebra of , the function is usually not -measurable, thus the existence of the integrals of the form , where and is the restriction of to , cannot be stated in general. 단, 국소 평균 d {\ _}은(는 조건부 기대치의 도움으로 (Ω ,, P ) P })에서 복구할 수 있다 A conditional expectation of X given , denoted as , is any -measurable function which satisfies:

에 대해[8]

토론에서 언급한 바와 같이, 는 X- E ( ) 이 표시기 함수 직교하는 것과 동등한 조건이다.

존재

The existence of can be established by noting that for is a finite measure on that is absolutely continuous with respect to . If is the natural injection from to , then is the restriction of to and is the restriction of to . Furthermore, 때문에 P ∘ h}에 대해 절대적으로 연속적이다

함축적으로 말하다

그러므로, 우리는

여기서 파생상품은 조치의 라돈-니코디엠 파생상품이다.

랜덤 변수에 대한 조건부 기대치

상기 사항 외에, 고려하십시오.

  • 측정 가능한 공간,) (Sigma
  • 임의 변수 : U

Y가 주어진 X의 조건부 기대치는 Y생성한 σ-알지브라에 위의 구조를 적용함으로써 정의된다.

X.

Dobb-Dynkin 보조정리기는 다음과 기능e : U 이(가) 존재한다.

[ = ( ) X Y.

토론

  • 이것은 건설적인 정의가 아니다; 우리는 단지 조건부 기대치가 충족시켜야 하는 필수 속성을 받았을 뿐이다.
    • ( H) H {\displaystyle H 정의와 유사할 수 있지만, 이러한 정의는 매우 다른 다. The former is a -measurable function , while the latter is an element of and for .
    • 고유성은 거의 확실하다고 보여질 수 있다. 즉, 동일한 조건부 기대의 버전은 확률 0의 집합에서만 달라질 것이다.
  • σ-알제브라 은(는) 조절의 "grandularity"를 제어한다. 더 미세한( 큰) σ-알게브라 대한 조건부 는 더 큰 유형의 사건의 확률에 대한 정보를 보존한다. 더 많은 사건에 대해 더 큰 (더 작은) σ-알지브라에 대한 조건부 기대는 평균적이다.

조건부 확률

) 의 Borel 하위 집합 B의 경우 랜덤 변수의 컬렉션을 고려할 수 있다

마르코프 커널을 형성한다는 것을 알 수 있다 즉, 거의 모든 {\omega ( ,-) {\ \{\mathcal {은 확률 측정값이다.[9]

그때 무의식적인 통계학자의 법칙은

[ ( X) = ( x) H(-, ) {) {\ {_{\ {x

이것은 조건부 기대치가 조건부 상대와 마찬가지로 조건부 측정치에 반한다는 것을 보여준다.

기본 속성

다음의 모든 공식은 거의 확실한 의미로 이해되어야 한다. H {\을(를) 임의 변수 으)로 대체할 수 있다. = ()

  • 독립 요인 추출:
    • 이(가) 와) 독립된 경우 H)= X ) .
증명

B 그러면 이(가) 와 독립적이므로, 우리는 그 결과를 얻는다

따라서 조건부 기대의 정의는 원하는 대로 일정한 랜덤 E( ) 에 의해 충족된다

    • If is independent of , then . Note that this is not necessarily the case if is only independent of Y
    • If are independent, are independent, is independent of and is independent of , then .
  • 안정성:
    • (가) -측정 가능한 경우 X )=
    • If Z is a random variable, then . In its simplest form, this says .
  • 알려진 요인을 추출하는 방법:
    • If is -measurable, then .
    • Z가 랜덤 변수인 경우 (( Z) Y Z)= ( ) ( ) Z
  • 총 기대치의 법칙: (( X )= ( ) E [10]
  • 타워 특성:
    • For sub-σ-algebras we have }}E {H위의 '안정성'으로
      • 특별한 경우는 가 H {\H}} - 측정 가능한 랜덤 변수인 경우다. Then and thus .
      • Doob martingale property: the above with (which is -measurable), and using also , gives .
    • 랜덤 변수 , Y , X 경우 (( )= ( ∣ F( Y) = ( ( ) f 가 있다
    • 랜덤 변수 , Y, , Z X 경우 ( X , Z)= ( Y) YY)}이 있다
  • Linearity: we have and for \ \mathb {R}
  • 긍정: 인 경우 E( ) { 0
  • 단조로움: If then .
  • 모노톤 수렴: If then .
  • 지배적인 수렴: If and with , then .
  • 파투의 보조정리: 만약 E<(inf와 Xn∣ H)− ∞{\displaystyle\textstyle E(\inf_{n}X_{n}\mid{{H}\mathcal})>, -\infty} 다음 E(lim inf n→ Xn∣ ∞ H) 떨어지는 급작스러n→ lim ≤ ∞ E(Xn∣ H){\displaystyle\textstyle E(\liminf_{n\to \infty}X_{n}\mid{\mathcal{H}})\leq \liminf_{n\to\infty}E(X_{n}\mid{\mathcal.{H}}.
  • 젠센의 불평등: If is a convex function, then .
  • 조건부 분산: 평균으로부터의 평균 제곱 편차로써 분산의 정의와 유사하게 조건부 분산을 정의할 수 있다.
    • 정의:
    • 분산에 대한 대수 공식:
    • 총 분산 법칙:
  • 마팅게일 수렴: For a random variable , that has finite expectation, we have , if either is an increasing series of sub-σ-algebras and or if is a decreasing series of sub-σ-algebras and = n
  • }}- 투영으로 조건부 기대: , 이(가) 정사각형 통합형 실제 랜덤 변수(제한된 두 번째 모멘트를 가진 실제 랜덤 변수)의 힐버트 공간에 있는 경우
    • H{\displaystyle{{H\mathcal} 들어 포지티브}}-measurable Y{Y\displaystyle}, 우리는)E(Y(X− E(X∣ H) 알고 있으니까=0{\displaystyle E(Y(X-E(X\mid{\mathcal{H}})))=0}조건 기대 E){E(X\mid{\mathcal{H}})\displaystyle}에 감각의 L2(P)스칼라 제품은 직교하여r 에서 선형 하위 공간으로의 분사 - 측정 가능함수 (이것은 힐버트 투영 정리에 기초하여 조건부 기대의 존재를 정의하고 증명할 수 있다.)
    • the mapping is self-adjoint:
  • Lp공간 Lp(Ω, F, P)의 → 나는 p(Ω, H, P){\displaystyle L^{p}(\Omega,{{F}}\mathcal ,P)\rightarrow L^ᆯ(\Omega,{{H}}\mathcal ,P)조절은 수축성의 투사}. ≤ E⁡(Xp){\displaystyle \operatorname{E}{\big(}\oper 즉, E=(E⁡(X∣ H)p⁡.a{\^{ 모든 p ≥ 1에 대해.
  • Dob의 조건부 독립 속성:[11] If are conditionally independent given , then (equivalently, ).

참고 항목

확률법칙

메모들

  1. ^ Kolmogorov, Andrey (1933). Grundbegriffe der Wahrscheinlichkeitsrechnung (in German). Berlin: Julius Springer. p. 46.
    • 번역:
  2. ^ Oxtoby, J. C. (1953). "Review: Measure theory, by P. R. Halmos" (PDF). Bull. Amer. Math. Soc. 59 (1): 89–91. doi:10.1090/s0002-9904-1953-09662-8.
  3. ^ J. L. Doob (1953). Stochastic Processes. John Wiley & Sons. ISBN 0-471-52369-0.
  4. ^ 올라프 칼렌베르크: 현대 확률의 기초. 2.판. 2002년 뉴욕 스프링거, ISBN 0-387-95313-2, 페이지 573.
  5. ^ "probability - Intuition behind Conditional Expectation". Mathematics Stack Exchange.
  6. ^ Brockwell, Peter J. (1991). Time series : theory and methods (2nd ed.). New York: Springer-Verlag. ISBN 978-1-4419-0320-4.
  7. ^ Hastie, Trevor. The elements of statistical learning : data mining, inference, and prediction (PDF) (Second, corrected 7th printing ed.). New York. ISBN 978-0-387-84858-7.
  8. ^ Billingsley, Patrick (1995). "Section 34. Conditional Expectation". Probability and Measure (3rd ed.). John Wiley & Sons. p. 445. ISBN 0-471-00710-2.
  9. ^ Klenke, Achim. Probability theory : a comprehensive course (Second ed.). London. ISBN 978-1-4471-5361-0.
  10. ^ "Conditional expectation". www.statlect.com. Retrieved 2020-09-11.
  11. ^ Kallenberg, Olav (2001). Foundations of Modern Probability (2nd ed.). York, PA, USA: Springer. p. 110. ISBN 0-387-95313-2.

참조

  • 윌리엄 펠러, 확률 이론과 그 적용에 대한 소개, 1950년 1권 223쪽
  • Paul A. Meyer, 확률과 잠재력, Blaisdell 출판사, 1966, 28페이지
  • Grimmett, Geoffrey; Stirzaker, David (2001). Probability and Random Processes (3rd ed.). Oxford University Press. ISBN 0-19-857222-0., 페이지 67-69

외부 링크