총 상관 관계

확률론, 특히 정보이론의 경우, 총 상관관계(와타나베 1960)는 상호 정보의 여러 가지 일반화 중 하나이다.다변량 제약(Garner 1962) 또는 다중 정보(Studenstud & Vejnavar 1999)로도 알려져 있다.그것은 n개의 랜덤 변수들 사이의 중복성 또는 의존성을 정량화한다.

정의

For a given set of n random variables ${\displaystyle \{X_{1},X_{2},\ldots ,X_{n}\}}$, the total correlation ${\displaystyle C(X_{1},X_{2},\ldots ,X_{n})}$ is defined as the Kullback–Leibler divergence from the joint distribution ${\displaystyle p(X_1,\dots ,X_n)}$$p{\displaystyle ({X1\mathrm{}}_{}}$$)$ ${\displaystyle p({}_{}}$1},\$ldots$ ,${\displaystyle {}_{}}$${n}}$의 독립적 분포에 대한$$$p$( X 1 ) p( X ${\displaystyle 2_{}}$ ) ${\displaystyle \cdots }$ $($ X n ) ${\displaysty p(X_{1}p)(X_{2$})\$cdots$ $p$$(X_{n$ .

${\displaystyle C(X_{1},X_{2},\ldots,X_{n}},\equiv \operatorname {D_{KL}}}\좌측[p(X_{1},\ldots,X_{n}}})\(X_{2}}\cdots p(X_{n}\rigotsp);{n}, 오른쪽)\}).$

이 차이는 엔트로피의 단순한 차이로 감소한다.

${\displaystyle C(X_{1},X_{2}},\ldots,X_{n}}=\좌측[\sum_{i}^{n1}^{n(X_{i}\right]-H(X_{1},X_{1},\ldots,X_{n}}}}}$

where ${\displaystyle H(X_{i})}$ is the information entropy of variable ${\displaystyle X_{i}\,}$, and ${\displaystyle H(X_{1},X_{2},\ldots ,X_{n})}$ is the joint entropy of the variable set ${\displaystyle \{X_{1},X_{2},\ldots ,X$$_{n$ 변수${\displaystyle }${${\displaystyle {}_{}}$ ${\displaystyle {1\mathrm{}}_{}}$,${\displaystyle {}_{}{}_{}}$ ${\displaystyle {2\mathrm{}}_{}}$,${\displaystyle \dots ,}$ ${\displaystyle X_{}}$ ${\displaystyle {}_{}}$ ${\displaystyle {}_{}}$ ${\displaystyle \{X_{1},X_{2},\ldots,X_{n}\}}}}}$에 대한 이산 확률 분포의 관점에서, 총 상관 관계는 다음과 같다$.$

${\displaystyle C(X_{1},X_{2},\ldots ,X_{n})=\sum _{x_{1}\in {\mathcal {X}}_{1}}\sum _{x_{2}\in {\mathcal {X}}_{2}}\ldots \sum _{x_{n}\in {\mathcal {X}}_{n}}p(x_{1},x_{2},\ldots ,x_{n})\log {\frac {p(x_{1},x_{2},\ldots ,x_{n})}{p(x_{1})p(x_{2})\cdots p(x_{n})}}.}$

총 상관관계는 집합의 변수 간에 공유되는 정보의 양이다.The sum ${\displaystyle {\begin{matrix}\sum _{i=1}^{n}H(X_{i})\end{matrix}}}$ represents the amount of information in bits (assuming base-2 logs) that the variables would possess if they were totally independent of one another (non-redundant), or, equivalently, the average code length to transmit the val각 변수가 독립적으로 코드화된 경우(최적적으로) 모든 변수의 u.$H{\displaystyle ({}_{}}$ ${\displaystyle {1\mathrm{}}_{}}$,${\displaystyle {}_{}{X\mathrm{}}_{}}$ 2${\displaystyle {}_{}}$,${\displaystyle }$… ,${\displaystyle X_{}}$ ${\displaystyle {}_{}}$) ${\displaystyle H(X_{1},X_{2},\ldots,X_{n}})$라는 용어는 변수 집합이 모든 변수의 값을 함께 코딩(최적적으로)한 경우 모든 변수의 값을 전송하기 위한 실제 코드 길이를 포함하거나 동등하게 나타내는 것이다$$.따라서 이 용어들의 차이는 주어진 변수 집합에 존재하는 절대적 중복성(비트 단위)을 나타내며, 따라서 변수 집합에 내재된 구조나 조직에 대한 일반적인 정량적 측도를 제공한다(Rothstein 1952).The total correlation is also the Kullback–Leibler divergence between the actual distribution ${\displaystyle p(X_{1},X_{2},\ldots ,X_{n})}$ and its maximum entropy product approximation ${\displaystyle p(X_{1})p(X_{2})\cdots p(X_{n})}$.

총 상관 계수는 변수 그룹 간의 의존도를 계량화한다.0에 가까운 총 상관관계는 그룹의 변수가 근본적으로 통계적으로 독립적이라는 것을 나타낸다. 한 변수의 값을 아는 것은 다른 변수의 값에 대한 단서를 제공하지 않는다는 점에서 전혀 관련이 없다.한편, 최대 총 상관관계(개별 엔트로피 $H{\displaystyle }$( ${\displaystyle {X\mathrm{}}_{}}$ ${\displaystyle {}_{}}$)${\displaystyle }$,${\displaystyle }$.${\displaystyle }$. . ,${\displaystyle }$H${\displaystyle }$( ${\displaystyle {}_{}}$ ${\displaystyle n_{}}$) ${\displaystyle H(X_{1$}), $..., H(X_{n}})$는$$에 의해 주어진다.

${\displaystyle C_{\max }=\sum _{i=1}^{n(X_{i})-\max \limits _{X_}H(X_{i}),}$

변수 중 하나가 다른 변수를 모두 결정할 때 발생한다.그런 다음 한 변수의 값을 알면 다른 모든 변수의 값에 대한 완전한 정보를 제공한다는 점에서 변수는 최대 연관성이 있으며, 한 톱니바퀴의 위치가 다른 모든 변수의 위치를 결정하는 톱니바퀴(Rothstein 1952)로 비유할 수 있다.

총 상관관계는 변수 집합 사이의 모든 중복을 계수하지만, 이러한 중복을 다양한 복잡한 방법으로 변수 집합 전체에 분산시킬 수 있다는 점에 유의해야 한다(Garner 1962).예를 들어 집합의 일부 변수는 완전히 중복될 수 있는 반면 집합의 다른 변수는 완전히 독립적일 수 있다.아마도 더 유의하게 중복성은 다양한 수준의 상호작용에서 수행될 수 있다: 변수 그룹은 쌍으로 중복되는 것은 없으나, 패리티 함수로 예시된 종류의 고차 상호작용 중복을 가질 수 있다.전체 상관관계의 구성적 중복을 위한 분해는 여러 가지 출처를 통해 탐구된다(Mcgill 1954, 와타나베 1960, 가너 1962, Studeny & Vejnarova 1999, Jakulin & Bratko 2003a, Jakulin & Bratko 2003b, Neman 2004, Margolin et al. 2008, Han 1978, Han 1980).

조건부 총 상관 관계

조건부 총 상관 관계는 총 상관 관계와 유사하게 정의되지만 각 항에 조건을 추가한다.조건부 총 상관관계는 두 조건부 확률 분포 사이의 Kullback-Leibler 차이와 유사하게 정의된다.

${\displaystyle C(X_{1},X_{2},\ldots ,X_{n} Y=y)\equiv \operatorname {D_{KL}} \left[p(X_{1},\ldots ,X_{n} Y=y)\ p(X_{1} Y=y)p(X_{2} Y=y)\cdots p(X_{n} Y=y)\right]\;.}$

위와 유사하게, 조건부 총 상관관계는 조건부 엔트로피의 차이로 감소한다.

${\displaystyle C(X_{1},X_{2},\ldots,X_{n} Y=y)=\sum _{n1}^{n(X_{i}Y)-H(X_{1},X_{2},\ldots,X_{n}Y}Y}}}$

총 상관 관계 사용

전체 상관관계에 기반한 클러스터링과 형상선정 알고리즘은 와타나베가 탐구해 왔다.알폰소 외 연구진(2010)은 수질감시망의 최적화에 총 상관관계의 개념을 적용했다.

참고 항목

• 상호정보
• 이중 총 상관 관계
• 상호작용 정보

참조

• 알폰소, L, 로브브레히트, A, 프라이스, R. (2010)정보이론, 수자원 연구, 46, W12553, 13 PP, 2010, doi:10.1029/2009WR008953을 이용한 폴더 시스템의 수위 감시 네트워크 최적화.
• 가너 W R (1962년).심리학적 개념으로서의 불확실성과 구조, 뉴욕 존윌리 & 선즈.
• Han T S (1978년).다변량 대칭 상관 관계, 정보 및 제어 36, 133–156의 음성 엔트로피 측정.
• Han T S (1980).정보 및 제어 데이터의 다중 상호 정보 및 다중 상호작용, 정보 및 제어 46, 26–45.
• Jakulin A&Bratko I (2003a)속성 종속성 분석, N Lavra\quad{c}, D Gamberger, L Todorovski & H Blockkeel, eds, Springer, Cavtat-Dubrovnik, Crogia, 페이지 229–240.
• Jakulin A&Bratko I(2003b).계수형 교호작용 수량화 및 시각화 [1]
• 마르골린 A, 왕 K, 칼리파노 A, 네멘만 I(2010년).다변량 의존성과 유전자 네트워크 추론.IET Syst Biol 4, 428.
• 맥길 W J(1954년).다변량 정보 전송, 사이코메트리 19, 97–116.
• 네멘만 1세(2004년).정보 이론, 다변량 의존성 및 유전적 네트워크 추론 [2].
• 로스테인 J(1952년).조직 및 엔트로피, 응용 물리학 저널 23, 1281–1282.
• Studený M&Vejnava J (1999년).MI Jordan, edd, Learning in Graphical Models, MIT Press, Cambridge, MA, 페이지 261–296에서 확률 의존성 측정을 위한 도구로서의 다중 정보 기능.
• 와타나베 S(1960).다변량 상관관계에 대한 정보 이론 분석, IBM Journal of Research and Development 4, 66–82.