조건부 독립성

Conditional independence

확률론에서 조건부 독립성은 가설의 확실성을 평가할 때 관찰이 무관하거나 중복되는 상황을 설명한다. 조건부 독립성은 일반적으로 조건부 확률의 관점에서 공식화되는데, 비정보적 관측치가 주어지는 가설의 확률이 없는 확률과 동일한 특별한 경우다. 이(가) 가설이고 B 이(가) 관측치인 경우 조건부 독립성을 다음과 같이 나타낼 수 있다.

where is the probability of given both and . Since the probability of given is the same as the probability of given both C이 평등은 이(가) 의 확실성에 아무런 기여도 하지 않는다는 것을 나타낸다 이 경우 과 같이 상징적으로 주어지는 조건상 독립적이라고 한다. B.

조건부 독립성의 개념은 통계 추론의 그래프 기반 이론에 필수적이며, 조건부 문장의 집합과 그래프로이드 사이에 수학적 관계를 설정하기 때문이다.

이벤트의 조건부 독립성

을(를) 이벤트로 설정하십시오. )> (와) 을 모두 충족하는 경우에만 주어지는 조건부로 독립적이라고 한다.

이 속성은 종종 다음과 같이 쓰여진다: ) C

동등하게 조건부 독립성은 다음과 같이 명시될 수 있다.

( A, ) C A 및 B B 확률이다 이 대체 공식에는 이(가) C C독립 이벤트라고 명시되어 있다

등가정의 증명

iff (definition of conditional probability)
iff (multiply both sides by )
iff (divide both sides by )
ifff , )= ( ) C조건부 확률의 정의)

StackExchange에 대한 논의는 몇 가지 유용한 예를 제공한다. 아래를 참조하십시오.[1]

유색상자

각각의 세포는 가능한 결과를 나타낸다. B 및 Y 은(는) 빨강, 파랑, 노랑으로 각각 음영 처리된 영역으로 표시된다. 이벤트 (와) 사이의 겹침은(는) 보라색으로 음영 처리되어 있다.

These are two examples illustrating conditional independence.

이러한 사건의 확률은 전체 영역에 대한 음영 영역이다. 두 예제에서 R B 은(는) 주어진 에 조건부로 독립적이다. 이유:

[2]

그러나[ 가 아닌 이(가) 주어진 조건상 독립적이지 않음오른쪽]}:

날씨와 지연

두 사건은 A와 B가 저녁 식사 시간에 맞춰 귀가할 확률로, 세 번째 사건은 폭설이 도시를 강타했다는 사실이다. A와 B 둘 다 저녁식사 시간에 맞춰 집에 갈 확률이 낮지만, 낮은 확률은 여전히 서로 독립적일 것이다. 즉 A가 늦는다는 지식은 B의 지각 여부를 말해주지 않는다. (그들은 서로 다른 동네에 살고, 다른 거리를 여행하고, 다른 교통수단을 이용하고 있을지도 모른다.) 그러나, 만약 당신이 그들이 같은 동네에 살고, 같은 교통수단을 이용하고, 같은 장소에서 일한다는 정보를 가지고 있다면, 그 두 사건은 조건부로 독립적이지 않다.

주사위 굴리기

조건부 독립은 세 번째 사건의 성격에 따라 달라진다. 주사위를 두 개 굴리면 두 개의 주사위가 서로 독립적으로 작용한다고 가정할 수도 있다. 한 번의 주사위의 결과를 보면 두 번째 주사위의 결과를 알 수 없다. (즉, 두 주사위는 독립적이다.) 그러나 첫 번째 주사위의 결과가 3이고, 누군가가 세 번째 사건(두 가지 결과의 합이 짝수)에 대해 말해준다면, 이 추가 정보 단위는 두 번째 결과의 옵션을 홀수로 제한한다. 즉, 두 사건은 독립적일 수 있지만 조건부로 독립할 수는 없다.

키와 어휘

키와 어휘는 매우 작은 사람들이 더 기본적인 어휘로 알려진 어린이인 경향이 있기 때문에 의존적이다. 그러나 두 사람이 19세라는 것(즉, 나이를 조건으로)을 알고 있다는 것은, 키가 더 크다는 말을 듣는다면 한 사람의 어휘가 더 크다고 생각할 이유가 없다.

랜덤 변수의 조건부 독립성

개의 랜덤 변수 Y 은(는) Z 가) 주어진 조건부 확률 분포에서 독립적일 경우에만 조건부로 독립적이다. ,X X Y .이(가) 의 값을 지정하면X {\의 확률 분포가 의 모든 값에 대해 동일하고 Y의 확률 분포가 모든 값에 대해 동일한 경우에만 조건적으로 독립적이다. 의 형식

(Eq.2)

where is the conditional cumulative distribution function of and given .

두 이벤트 은(는) if-알지브라 }이가) 주어진 경우 조건부로 독립적이다.

여기서 ) 대수 A 이벤트의 지표 함수에 대한 조건부 기대치를 나타낸다

Two random variables and are conditionally independent given a σ-algebra if the above equation holds for all in and in .

개의 랜덤 변수 X Y 이() 독립 변수 경우 조건부로 독립적이며, 에 의해 생성된 generated-algebra 이것은 일반적으로 다음과 같이 기록된다.

또는

" X는) Y W "와(는 Y 과() 독립적이며, 조건화는 문장에 적용된다.

이(가) 카운트 가능한 값 집합을 가정할 경우 이는 [= ]{\ 형식의 이벤트에 대한 X와 Y의 조건부 독립성과 동등하다 두 개 이상의 사건 또는 두 개 이상의 임의 변수에 대한 조건부 독립성은 유사하게 정의된다.

다음의 두 예는 X을 보여준다. 암시하거나 암시하지 않는다. 먼저 (가) 0.5이고 그렇지 않으면 1이라고 가정하십시오. W = 0일 때 Y{\을 독립적으로 취하며 각각 0의 확률과 1의 값을 가진다. = X Y Y이(가) 다시 독립적이지만 이번에는 확률 0.99로 값 1을 취한다. ( )W 그러나 X = 0) < = 0 = 0)> 에 X {\ X}과 Y displaysty Y은(는) 종속적이다. 그 이유는 Pr(X = 0) = 0.5이지만 Y = 0이면 W = 0이고 따라서 X = 0일 가능성이 높기 때문에 Pr(X = 0 Y = 0) > 0.5이다. 두 번째 예에서는 을 가정해 보십시오. 각각 확률 0.5의 값 0과 1을 취한다 Let be the product . Then when , Pr(X = 0) = 2/3, but Pr(X = 0 Y = 0) = 1/2, so Y(는) 거짓이다. 이것은 또한 "Descusing Away"의 한 예다. 이(가) "brainy" 및 "sporty" 값을 사용하는 Kevin Murphy의 자습서를 참조하십시오.

랜덤 벡터의 조건부 독립성

Two random vectors and are conditionally independent given a third random vector = 가) 주어진 조건부 누적 분포에 독립되어 있는 경우에만 정식으로 다음을 수행하십시오

(Eq.3)

where , and 그리고 조건부 누적분포는 다음과 같이 정의된다.

베이시안 추론에서 사용

p는 다가오는 국민투표에서 "예"를 투표할 유권자의 비율이 되도록 하자. 여론조사를 할 때, 사람들은 인구에서 무작위로 n명의 유권자를 선택한다. i = 1, …, n의 경우, 선택i 유권자가 "예"를 투표할 것인지 여부에 따라 각각 X = 1 또는 0으로 한다.

통계적 추론에 대한 빈번한 접근방식에서 어떤 확률 분포를 p(어떤 사건의 발생 빈도나 일부 모집단의 비율로 어떤 확률을 해석할 수 없다면)로 귀속시키지 않을 것이며, 어떤 1 X, …, X가 독립적n 랜덤 변수라고 말할 것이다.

대조적으로, 통계적 추론에 대한 베이시안 접근방식에서, 그러한 "주파수" 해석의 비존재와 무관하게 p확률 분포를 할당하고, p가 확률이 할당된 어떤 간격에 있다는 믿음의 정도로 확률을 제약할 것이다. 이 모형에서 랜덤 변수 X1, …, Xn 독립적이지 않지만 p의 값을 고려할 때 조건부로 독립적이다. 특히 Xs의 수가 1과 같다고 관측되는 경우, 이는 관측치를 볼 때 p가 1에 가깝고 따라서 관측할 다음 X가 1과 같을 것이라는 조건부 확률이 높다는 것을 의미한다.

조건부 독립성 규칙

조건부 독립성 진술을 지배하는 일련의 규칙은 기본 정의에서 도출되었다.[4][5]

이 규칙들은 X {B {\\perp\!\!을 포함하고 있기 때문에 펄과 파즈가 "Graphoid Axioms"라고 불렀다.[6](는) "X에서 A까지의 모든 경로가 B 세트에 의해 차단된다"[7]는 의미로 해석된다.

대칭

분해

증명

  • (meaning of )
  • (ignore variable B by integrating it out)

비슷한 증거는 XB의 독립성을 보여준다.

약한 결합

증명

  • 가정으로 ( )= ( X , ) .
  • 분해 의 성질 때문이다. )= )
  • 위의 두 동등성을 결합하면 ( )= ( , B) (이 주어지며, \ B

두 번째 조건은 유사하게 증명될 수 있다.

수축

증명

This property can be proved by noticing , each equality of which is asserted by B {\ X각각 \!\ B

교차로

엄격히 양의 확률 분포의 경우 다음 항목도 포함된다.[5]

증명

가정으로 다음과 같다.

( X ) 에 적용되는 총 확률의 법칙과 함께 이 동등성을 사용하는 경우

Since and , it follows that Z


기술적 참고: 이러한 함의는 확률 공간에 존재하기 때문에 다른 변수에 대한 모든 것을 조절함으로써 하위 유니버스를 고려한다면 여전히 유지될 것이라고 K는 말한다. 예를 들어 ⇒ Y X{ { { X X은(는) K X을(를) 의미하기도 한다. K

참고 항목

참조

  1. ^ 누군가 조건부 독립성을 설명할 수 있을까?
  2. ^ 이 경우 Pr(R r BY)이 Y 영역에서 RB(자줏빛 음영 영역)가 겹칠 확률임을 깨달을 필요가 있다. 왼쪽 그림에는 RB가 Y 영역 에서 겹치는 두 개의 사각형이 있고, Y 영역은 12개의 사각형이 있기 때문에 Pr(RBY) = 2/12 = 1/6. 마찬가지로 Pr(RY) = 4/12 = 1/3이고 Pr(BY) = 6/12 = 1/2이다.
  3. ^ "Graphical Models".
  4. ^ Dawid, A. P. (1979). "Conditional Independence in Statistical Theory". Journal of the Royal Statistical Society, Series B. 41 (1): 1–31. JSTOR 2984718. MR 0535541.
  5. ^ a b J 펄, 인과관계: 모델, 추론, 그리고 추론, 2000, 캠브리지 대학 출판부
  6. ^ Pearl, Judea; Paz, Azaria (1985). "Graphoids: A Graph-Based Logic for Reasoning About Relevance Relations". {{cite web}}: 누락 또는 비어 있음 url= (도움말)
  7. ^ Pearl, Judea (1988). Probabilistic reasoning in intelligent systems: networks of plausible inference. Morgan Kaufmann. ISBN 9780934613736.

외부 링크