상호 작용 정보

상호 작용 정보는 세 개 이상의 변수에 대한 상호 정보를 일반화한 것입니다.

상호 작용 정보에는 ^[1]정보의 양, 정보 상관 관계,^[2] 공동 정보,^[3] 단순한 상호 ^[4]정보 등 많은 이름이 있습니다.상호 작용 정보는 변수 집합에 묶인 정보(용장성 또는 시너지)의 양을 나타내며, 이러한 변수의 하위 집합에 존재하는 정보량을 초과합니다.상호 정보와 달리 상호 작용 정보는 양수이거나 음수일 수 있습니다.이러한 함수, 그 부정성과 최소값은 대수 위상에서 ^[5]직접 해석됩니다.

정의.

조건부 상호 정보를 사용하여 다음과 같이 유한한 수의 변수에 대한 상호 작용 정보를 유도적으로 정의할 수 있습니다.

$(\displaystyle I(X_{1};\ldots;X_{n+1})=I(X_{1};\ldots;X_{n})-I(X_{1};\ldots;X_{n}\mid X_{n+1}),}$

어디에

${\displaystyle I(X_{1};\ldots;X_{n}\mid X_{n+1}=\mathbb {E}_{X_{n+1}}{\big (}I(X_{1};\ldots;X_{n})\mid X_{n1}{big}.}$

일부^[6] 저자는 앞의 방정식에서 빼는 두 개의 항을 교환함으로써 상호작용 정보를 다르게 정의한다.이는 홀수 개수의 변수에 대해 부호를 반전시키는 효과가 있습니다.

${\displaystyle X,}$ ${\displaystyle Y,}$ ${\displaystyle Z}$의$$3가지 변수$displaystyle \{X,Y,Z$의 경우 상호작용 $정보{\displaystyle }$ I$)\displaystyle$ I$(X;Y;Z)}$는 다음과 같습니다.

${\displaystyle I(X;Y;Z)=I(X;Y)-I(X;Y\mid Z)}$

$여기$서 I$)$ {$style$ I$(X;Y)}$는 변수$$X$(\$$displaystyle$ X$)$와 변수 Y(\$displaystyle$ Y$)$ 사이의 상호 $정보$이며${\displaystyle ,}$ I(${\displaystyle X;Yz}$Z$)$ {$displaystyle$ I$(X;Y\mid$ Z$)$는 $변수{\displaystyle }$ X$(\displaystyle$$$X$)$와 $변수{\displaystyle }$ Y(\display Y) 사이의 조건부 상호 정보입니다.$스타일$ Z$\}$ 입니다.교호작용 정보는 대칭이므로 어떤 변수를 조건으로 하는지는 중요하지 않습니다.이는 상호작용 정보가 다음과 같이 엔트로피 및 관절 엔트로피의 관점에서 작성되면 쉽게 알 수 있다.

${\displaystyle\alignat}{3}I(X;Y;Z)&={\bigl (}H(X)+H(Z){\bigr}\&-{\bigl (}H(X,Y)+H(Z)+H(Y,Z)\Bigl ({\bigr})$

일반적으로 $변수{\displaystyle \mathcal{}}$ V ${\displaystyle =}$ { ${\displaystyle {}_{}{1\mathrm{}}_{}}$ , ${\displaystyle {X\mathrm{}}_{}}$2 , ${\displaystyle ...}$ , ${\displaystyle X_{}}$ n $}$ {$display$ { \$mathcal$ { V } = \ {$X$_ {1} $,$X _ {2} ,$\ldots$ , X _ {$n}$ $\backslash \}$ 의 경우 상호작용 정보는 다음과 같은 형태로 작성될 수 있습니다(커크우드 근사치 참조).

$\displaystyle I({\mathcal {V})=\sum _{\mathcal {T}\subseteq {\mathcal {V}}(-1)^{\vert {T}\right\vert -1}H({\mathcal {T})}}}}}}}.$

3개의 변수에 대해 상호 작용 정보는 $변수{\displaystyle }$Z(\$displaystyle$ Z$)$가$$X(\$displaystyle$ X$)$와$$Y(\$displaystyle$ Y${\displaystyle )<img\; alt="Y"\; aria-hidden="true"\; class="mwe-math-fallback-image-inline"\; src="https://wikimedia.org/api/rest\_v1/media/math/render/svg/961d67d6b454b4df2301ac571808a3538b3a6d3f"\; style="vertical-align:\; -0.171ex;\; width:1.773ex;\; height:2.009ex;"\; papago-attr-id="54">}$ $간$에 공유되는 정보의 양에 미치는 영향을 측정합니다. 왜냐하면 I$(X;Y;$${\displaystyle Z}$$)$라는 $용어$는 Y${\displaystyle (\backslash }$$displaystyle$ Y)보다 클 수 있기 때문입니다$.$, 상호작용 정보는 긍정적일 뿐만 아니라 부정적일 수도 있습니다.예를 들어 X$({displaystyle$ X$}$와 Y$({displaystyle$ Y$})$가 독립적이지만 $주어진{\displaystyle }$Z({$displaystyle$Z$\})$가 조건적으로 독립적이지 않은 $경우{\displaystyle }$ 발생합니다. 양의 상호 작용 정보는 $변수{\displaystyle }$Z({$displaystyle$ Z$}$가$$X 사이의 $상관{\displaystyle }$ 관계를 억제(예: 일부 설명 또는 설명)하고 있음을 나타냅니다.$\displaystyle$ X$}$ $및$ Y${displaystyle$ Y$\}$는 음의 상호 작용 정보로 변수 ${displaystyle$ Z$}$는 상관 관계를 촉진하거나 강화합니다.

특성.

상호 작용 정보는 한정되어 있습니다.세 가지 변수 사례에서, 그것은 다음과 같이 제한된다^[4].

$\displaystyle -\min\{I(X;Y\mid Z),I(Y;Z\mid X),I(Y\mid Y)\}\leq I(X;Y;Z)\leq \min\{I(X;Y;Z)\leq \leq \{I(X;Y;Z)},I(X;Z)$

3개의 변수가 마르코프 $사슬{\displaystyle }$ X ${\displaystyle \to }$ ${\displaystyle Y}$ ${\displaystyle \to }$(\$displaystyle$ X$\to$Y$)$를 $형성$하면 I${\displaystyle (X}$; $mid$ Y${\displaystyle }$) ${\displaystyle =}$ $(\displaystyle$ I$(X$${\displaystyle ;}$$Z\mid$ Y) =$0$이지만 I${\displaystyle (X}$ ;${\displaystyle Z}$ ) ${\displaystyle \ge }$ 0$(\displaystyle$ I$(X$; Z) ≥ 0$)$≥ 0($GEZ$)그러므로

${\displaystyle I(X;Y;Z)=I(X;Z)-I(X;Z\mid Y)=I(X;Z)\geq 0.}$

예

양의 상호작용 정보

양의 상호작용 정보는 그러한 설명 효과가 일반적인 원인 구조에서 전형적이라는 점에서 음의 상호작용 정보보다 훨씬 더 자연스러운 것으로 보인다.$예$를 들어 구름은 비를 유발하고 태양을 가리기 때문에 비와 어둠의 상관관계는 구름의 존재에 의해 부분적으로 설명됩니다(; ){ $displaystyle$ I ( { \$text$ { $rain$ ; { \$text${ $cloud$}$）$ 。$I({\text{rain}};{\text{dark$그 결과 양성 상호작용 $정보{\displaystyle }$I (${\displaystyle \text{rain}}$ ;${\displaystyle \text{dark}}$ ;${\displaystyle \text{cloud}}$) { $displaystyle$ I ( { \$text$ { rain } ; { \$text$ { $dark$} ; { \ $text$ { cloud$$$}$ ) 。

음의 상호작용 정보

자동차의 엔진은 배터리가 방전되거나 연료 펌프가 막혀 시동이 걸리지 않을 수 있습니다.일반적으로 배터리 방전 및 연료 펌프 막힘은 독립적인 $사건$이라고 가정합니다. I${\displaystyle (\text{연료}}$차단; ${\displaystyle \text{배터리}}$방전) $=$ $(디스플레이 스타일$ I$({\text{blocked$ fuel$};{\text{dead$ battery}}})=$0$ 그러나 차량 시동이 걸리지 않는 것을 알고 점검 결과 배터리가 정상인 것으로 확인되면 연료 펌프 블록이어야 합니다.ked I, 0$(displaystyle I({\$text{$차단연료}};{\text{dead$ battery$}})\mid(\text{engine fails}})>$ 0의 가 됩니다.

해석의 어려움

상호작용 정보의 가능한 음성이 ^[3]혼동의 원인이 될 수 있습니다.많은 저자들이 세 개 이상의 랜덤 변수가 교호작용하지 않는다는 신호로 교호작용 정보를 0으로 받아들였지만 이러한 해석은 잘못된 것입니다.^[7]

해석이 얼마나 어려운지를 확인하려면 8개의 독립된 바이너리 변수 $\{{\displaystyle {X1\mathrm{}}_{}}$ ${\displaystyle {X2\mathrm{}}_{}}$ ${\displaystyle {X3\mathrm{}}_{}}$ ${\displaystyle {X4\mathrm{}}_{}}$ ${\displaystyle {X5\mathrm{}}_{}}$ ${\displaystyle {}_{}{}_{}}$ ${\displaystyle {X7\mathrm{}}_{}}$ $displaystyle \{X_{1}, X_{2}, X_{3$}, $X_{4}, X_5}, X_6}) 세트$를 검토합니다.

$디스플레이 스타일Y_{1}&={X_{1},X_{2},X_{3},X_{4},X_{5},X_{6},X_{7}\\\Y_{2}&={X_{4},X_{5},X_{6},X_{7}\\\Y_{3}&={X_{5},X_{6},X_{7},X_{8}\}\end{aligned}}$

$(\$$i})$는 3개의 바이너리${\displaystyle {}_{}}$ {$X_{5},$ X_${6},$X_{$7$$displaystyle$$)$에서 서로 겹치기 때문에 상호 작용 $정보{\displaystyle }$ I${\displaystyle ({Y\mathrm{}}_{}}$ 1${\displaystyle {}_{}{}_{}}$ ${\displaystyle {}_{}}$가 필요합니다$.$$Y_{2};Y_{3}}$는 3$({displaystyle$3)비트와$$ $동일합니다{\displaystyle \mathrm{}}$.그러나 이제 집적된 변수를 고려해보십시오.

$디스플레이 스타일Y_{1}&={X_{1},X_{2},X_{3},X_{4},X_{5},X_{6},X_{7}\\\Y_{2}&={X_{4},X_{5},X_{6},X_{7}\\\Y_{3}&={X_{5},X_{6},X_{7},X_{8}\\\Y_{4}&={X_{7},X_{8}\}\end{aligned}}$

${\displaystyle {이러한\mathrm{}}_{}}$ 변수는 Y 4 ${\displaystyle =}$ { ${\displaystyle {X\mathrm{}}_{}{}_{}}$, ${\displaystyle {X\mathrm{}}_{}}$ 8 $}$ { $display Y$_ { 4 } = \ { $X$_ { $7$} , X _ { 8$}$ $\}$ ${\displaystyle .}$ $the{\displaystyle {}_{}}$ the as as as as as as as as as as as as as as as as as as as as as as as as as as as as as as as as as as as as as as as as = { ${\displaystyle {1\mathrm{}}_{}}$ ; ${\displaystyle {}_{}}$ ${\displaystyle {2\mathrm{}}_{}}$ ; ${\displaystyle {Y\mathrm{}}_{}}$ 2${\displaystyle {}_{}}$; ${\displaystyle {}_{}}$ 3${\displaystyle {}_{}}$; ${\displaystyle {Y\mathrm{}}_{}}$ 4${\displaystyle {}_{}}$）$display$ )$style$ these these ) ) ) （ Y _ { 1 ; Y$_$ { $4$）$$these these these these these these these these these these these these these these these these these these these these these these$Y_{2};Y_{3};$$이$ 경우 Y_${4}}$는 실제로는 +$(\displaystyle +1)$비트와${\displaystyle }$같기 때문에 용장성이 낮아집니다.이것은 라는 점에서 옳다

$디스플레이 스타일I(Y_{1};Y_{2};Y_{3};Y_{4}&=I(Y_{1});Y_{2};Y_{3}-I(Y_{1};Y_{2};Y_{3} Y_{4}\&=3-2\&=1\end{aligned}}$

하지만 해석하기는 여전히 어렵습니다.

사용하다

• Jakulin과 Bratko(2003b)는 상호작용 정보를 사용하는 기계 학습 알고리즘을 제공한다.
• Killian, Kravitz 및 Gilson(2007)은 분자 시뮬레이션에서 엔트로피 추정치를 추출하기 위해 상호 정보 확장을 사용한다.
• LeVine과 Weinstein(2014)은 분자 시뮬레이션에서 알로스테릭 커플링을 정량화하기 위해 상호작용 정보와 기타 N-체 정보 측정을 사용한다.
• 무어 등(2006), 찬다 P, 장 A, 브라조 D, 수체스턴 L, 프로이트하임 JL, 암브로손 C, 라마나단 M.(2007) 및 찬다 P, 수체스턴 L, 장 A, 브라조 D, 프로이트하임 JL, 암브로손 C.
• Pandey와 Sarkar(2017)는 대규모 환경이 은하 특성에 미치는 영향을 연구하기 위해 우주론의 상호작용 정보를 사용한다.
• n개의 변수 데이터 집합에서 모든 다변량 상호작용 또는 상호 정보, 조건부 상호 정보, 공동 엔트로피, 총 상관 관계, 정보 거리를 계산하기 위한 파이썬 패키지를 사용할 ^[8]수 있습니다.

「 」를 참조해 주세요.

• 상호 정보
• 총상관
• 이중 총 상관 관계

레퍼런스

• Baudot, P.; Bennequin, D. (2015). "The homological nature of entropy" (PDF). Entropy. 17 (5): 1–66. Bibcode:2015Entrp..17.3253B. doi:10.3390/e17053253.
• Bell, A J (2003)공동 정보 격자 [1]
• Fano, R M(1961), 정보 전송: MIT Press, 케임브리지, 매사추세츠 주, 통계통신 이론
• Garner W R(1962)심리학적 개념으로서의 불확실성과 구조(John Wiley & Sons, New York).
• Han, T S (1978). "Nonnegative entropy measures of multivariate symmetric correlations". Information and Control. 36 (2): 133–156. doi:10.1016/s0019-9958(78)90275-9.
• Han, T S (1980). "Multiple mutual information and multiple interactions in frequency data". Information and Control. 46: 26–45. doi:10.1016/s0019-9958(80)90478-7.
• 후궈틴(1962), 정보량에 대하여.이론 프로밥신청서, 7(4), 439-44PDF
• Jakulin A & Bratko I (2003a).속성 의존성 분석(N Lavra\quad{c}, D Gamberger, L Todorovski & H Blockkeel, eds, Springer, Cavtat-Dubrovnik, 2240-9페이지).
• Jakulin A & Bratko I (2003b).속성 상호작용의 수량화 및 시각화 [2].
• Margolin, A; Wang, K; Califano, A; Nemenman, I (2010). "Multivariate dependence and genetic networks inference". IET Syst Biol. 4 (6): 428–440. arXiv:1001.1681. doi:10.1049/iet-syb.2010.0009. PMID 21073241. S2CID 14280921.
• McGill, W J (1954). "Multivariate information transmission". Psychometrika. 19 (2): 97–116. doi:10.1007/bf02289159. S2CID 126431489.
• 무어 JH, 길버트 JC, 차이 CT, 치앙 FT, 홀든 T, 바니 N, 화이트 BC(2006).인간 질병 감수성의 유전자 연구에서 인식의 통계적 패턴을 검출, 특징짓고 해석하기 위한 유연한 계산 프레임워크, Journal of Theory Biology 241, 252-261.[3]
• 네멘만 1세(2004년).정보 이론, 다변량 의존성, 유전자 네트워크 추론 [4].
• Pearl, J(1988), 인텔리전트 시스템의 확률론적 추론: Morgan Kaufmann, San Mateo, 캘리포니아의 Networks of Probsible Indistion.
• 츠지시타, T(1995년), 3중 상호 정보에 관한 응용 수학의 진보 16, 269-274.
• Chanda, P; Zhang, A; Brazeau, D; Sucheston, L; Freudenheim, JL; Ambrosone, C; Ramanathan, M (2007). "Information-theoretic metrics for visualizing gene-environment interactions". American Journal of Human Genetics. 81 (5): 939–63. doi:10.1086/521878. PMC 2265645. PMID 17924337.
• Chanda, P; Sucheston, L; Zhang, A; Brazeau, D; Freudenheim, JL; Ambrosone, C; Ramanathan, M (2008). "AMBIENCE: a novel approach and efficient algorithm for identifying informative genetic and environmental associations with complex phenotypes". Genetics. 180 (2): 1191–210. doi:10.1534/genetics.108.088542. PMC 2567367. PMID 18780753.
• Killian, B J; Kravitz, J Y; Gilson, M K (2007). "Extraction of configurational entropy from molecular simulations via an expansion approximation". J. Chem. Phys. 127 (2): 024107. Bibcode:2007JChPh.127b4107K. doi:10.1063/1.2746329. PMC 2707031. PMID 17640119.
• LeVine MV, Weinstein H(2014), NbIT - 알로스테릭 메커니즘에 대한 새로운 정보 이론 기반 분석 결과 류신 운반체 LeuT에서 기초 기능을 하는 잔류물이 밝혀졌다.PLoS Computational Biology.[5]
• Pandey, Biswajit; Sarkar, Suman (2017). "How much a galaxy knows about its large-scale environment?: An information theoretic perspective". Monthly Notices of the Royal Astronomical Society Letters. 467 (1): L6. arXiv:1611.00283. Bibcode:2017MNRAS.467L...6P. doi:10.1093/mnrasl/slw250. S2CID 119095496.
• https://www3.nd.edu/~jnl/ee80653/2005년 가을/튜토리얼/sunil.pdf
• Yeung R W(1992)섀넌의 정보 측정치에 대한 새로운 전망입니다.IEEE Transactions on Information Theory(정보이론에 관한 거래)에 기재되어 있습니다.[6]