네트워크 앙상블의 엔트로피

주어진 구조적 특성을 만족시키는 일련의 네트워크는 네트워크 ^[1]앙상블로서 취급할 수 있다.2007년에 Ginestra Bianconi에 의해 제기된 네트워크 앙상블의 엔트로피는 네트워크 ^[2]앙상블의 순서나 불확실성의 수준을 측정합니다.

엔트로피는 그래프 ^[3]수의 로그입니다.엔트로피는 하나의 네트워크에서도 정의할 수 있습니다.유역 엔트로피는 1개의 부울 네트워크에서 ^[4]어트랙터의 로그입니다.

통계역학으로부터의 접근법, 네트워크의 복잡성, 불확실성 및 랜덤성은 다양한 유형의 제약을 ^[5]가진 네트워크 앙상블에 의해 설명될 수 있습니다.

깁스와 섀넌 엔트로피

통계역학과 유사하게 마이크로캐노믹 앙상블과 네트워크의 표준 앙상블이 구현을 위해 도입된다.앙상블의 분할 함수 Z는 다음과 같이 정의할 수 있다.

Z=\sum _{\mathbf {a}}\sum \left[{\vec {F}}-{\vec {C}}\right]\exp \left(\sum _ {ij}h_{ij}\) \Theta(a_{ij})+r_{ij}a_{ij}\오른쪽)

${\vec {F}}(\mathbf {a} )={\vec {C}}$ 서 F ${\vec {F}}(\mathbf {a} )={\vec {C}}$ ( ${\vec {F}}(\mathbf {a} )={\vec {C}}$ a ) ${\vec {F}}(\mathbf {a} )={\vec {C}}$ ${\vec {F}}(\mathbf {a} )={\vec {C}}$ $→$ (\ $displaystyle {F}$ (\ $mathbf {a})$ → $a_$ ${$ $ij}}$ 는 ${\vec {F}}(\mathbf {a} )={\vec {C}}$ 제약 조건이고, $a_{ij}\geq {0}$ $a_{ij}\geq {0}$ $a_{ij}$ ${\$ 0 (\ $displaystyle$ a_ ${$ }\ $geq {0$ 는 인접 행렬의 요소입니다. $a_{ij}>0$ $a_{ij}>0$ $\Theta (a_{ij})$ > $a_{ij}>0$ ( $node$ i 와 $\Theta (a_{ij})$ j 사이에 링크가 있는 경우만, node i $\Theta (a_{ij})$ node j $\Theta (a_{ij})$ 에 링크가 있는 $x>0$ 만 $a_{ij}>0$ $).$ $\Theta (a_{ij})$ { $displaystyle$ $\Theta (a_{ij}}}$ 는 $\Theta (a_{ij})$ $\Theta (a_{ij})=1$ x $x>0$ $\Theta (a_{ij})=1$ $1$ 의 $\Theta (a_{ij})=1$ $함수$ 입니다 $.$ $\Theta (a_{ij})=0$ $($ $\Theta (a_{ij})=0$ $\Theta (a_{ij})=0$ $(x$ $x=0$ 0(displaystyle $\Theta(a_{ij$ })= $0)$ 이면 $\Theta (a_{ij})=0$ 0(x = 0( $displaystyle$ x $=0$ 입니다.보조 $h_{ij}$ $h_{ij}$ j $($ $displaystyle$ h_ $h_{ij}$ { $ij$ })와 $ri j($ displaystyle r_ ${$ $ij})$ 는 $r_{ij}$ 고전 역학의 목욕과 유사하게 도입되었습니다.

단순한 무방향 네트워크의 경우 파티션 기능은 다음과 같이 단순화할^[6] 수 있습니다.

({displaystyle Z=\sum _{a_{ij}\}\sum _{k}\sum {ij}\sum {\sum }h_{ij}\sum _{ij}\alpha}\sum _{a_{ij}\alpha}\right } } } } )

$a_{ij}\in \alpha$ 서 a $a_{ij}\in \alpha$ {\ $displaystyle$ a_{ $ij}\in$ \alpha $a_{ij}\in \alpha$ $\alpha$ ${\displaystyle$ \alpha $\alpha$ }는 가중치 $\alpha$ 지수이며 단순 $\alpha =\{0,1\}$ 의 경우 α $\alpha =\{0,1\}$ { $\alpha =\{0,1\}$ , $\alpha =\{0,1\}$ $}$ { $displaystyle \alpha$ = \ { $0$ , $1$ \ } $\alpha =\{0,1\}$ } 입니다.

마이크로캐노믹 앙상블과 표준 앙상블은 단순한 무방향 네트워크로 시연됩니다.

마이크로캐논ical 앙상블의 경우 깁스 엔트로피 $\Sigma$ (\ $displaystyle \Sigma)$ 는 다음과 $\Sigma$ 같이 정의됩니다.

{\displaystyle {begin{aligned}\sigma {1}{N}}\log {\&=sigmafrac {1}{N}}\log Z _{h_{ij}(\alpha)=0\forall (i,j,\alpha}\ended}}}\log Z

${\mathcal {N}}$ 서 ${\mathcal {N}}$ N(\ $displaystyle {N})$ 은 ${\mathcal {N}}$ 앙상블의 카디널리티, 즉 앙상블의 총 네트워크 수를 나타냅니다.

$(\displaystyle$ \alpha $)$ 의 $\alpha$ 노드 i와 j 사이에 링크가 있을 확률은 다음과 같다.

(\displaystyle \pi _{ij}(\alpha)=blac {\partial {h_{ij}}(\alpha)})

표준 앙상블의 경우 엔트로피는 샤논 엔트로피의 형태로 나타납니다.

\displaystyle {S}=-\sum _{i<j}\sum _{\alpha}\pi _{ij}(\alpha)\log \pi _{ij}(\alpha)}

깁스와 섀넌 엔트로피의 관계

$네트워크$ $G(N,L)$ G $N$ $)$ ({ $displaystyle$ $G(N,L)$ N $}$ 및 $N$ $링크$ L $({$ $displaystyle$ L $L$ 와 $G(N,L)$ 그 공역-캐노니컬 $G$ p $)$ ({ $displaystyle G($ $N$ , p)}) ({displaystyle L}) $p)}$ 는 $G(N,p)$ 마이크로캐논컬 및 표준 앙상블로서 Gibbs 엔트로피 $\Sigma$ (\ $displaystyle \Sigma)$ 와 $\Sigma$ Shannon 엔트로피 S를 각각 가진다. $G(N,p)$ ( $G(N,p)$ , $G(N,p)$ ) { $displaystyle$ G $(N,p)}$ 앙상블의 $G(N,p)$ 깁스 엔트로피는 다음과 같습니다.^[7]

{N}\Sigma =\log \leftfilength\filength {\displayac {N-1)}{2}\\\L\end {matrix}}\right

G $G(N,p)$ $)$ { $displaystyle$ G $(N,p)}$ 앙상블의 $G(N,p)$ $G(N,p)$ ,

{p}_{ij}=p=sq{2L}{N(N-1)}

섀넌 ^[6]엔트로피에 $p_{ij}$ j $($ 디스플레이 $스타일 p_{ij})$ $p_{ij}$ :

\displaystyle \Sigma = S/N+{\cfrac {1}{2N}}\left[\log \left({\cfrac {N(N-1)}{2L}}\right)-\log \left({\cfrac {N(N-1)}{2}}-L\right}\right]}

이 관계는 랜덤 그래프의 Gibbs 엔트로피 $\Sigma$ (\ $displaystyle \Sigma)$ 와 $\Sigma$ 노드당 Shannon 엔트로피가 열역학 $N\to \infty$ N $N\to \infty$ δ $displaystyle$ N $\to$ \ $infty$ 에서 동일함을 나타낸다.

폰 노이만 엔트로피

폰 노이만 엔트로피는 양자 맥락에서 고전적인 깁스 엔트로피의 확장이다.이 엔트로피는 밀도행렬 $\rho$ 로 구성됩니다.이러한 밀도행렬에 대해 최초로 제안된 후보는 네트워크와 관련된 라플라시안행렬 L의 표현이었습니다.앙상블의 평균 폰 노이만 엔트로피는 다음과 ^[8]같이 계산됩니다.

{S}_{VN}=-\langle \mathrm {Tr} \rho \log(\rho)\rangle

랜덤 네트워크 $G(N,p)$ G $G(N,p)$ $)$ { $displaystyle$ G $(N,$ p $G(N,p)$ 의 경우 $S_{VN}$ $p(N-1)$ p $(N$ - $p(N-1)$ 1) $p(N-1)$ { $displaystyle$ $S_{VN}$ 와 $S_{VN}$ $p(N-1)$ S $(\displaystyle$ S $}$ 의 $S$ 관계는 모노토닉하지 않습니다.

표준 멱함수 네트워크 앙상블의 경우 2개의 엔트로피는 선형적으로 ^[6]관련되어 있습니다.

{S}_{VN}=\eta {S/N}+\beta

주어진 예상 정도 시퀀스를 가진 네트워크는 예상 정도 분포의 이질성이 각각 폰 노이만과 샤논 ^[9]엔트로피에 대응하는 네트워크의 양자 및 고전적인 기술 사이의 동등성을 내포하고 있음을 시사한다.

Von Neumann 엔트로피의 정의는 텐셔너리식^[10] 접근방식을 가진 다층 네트워크로 확장될 수 있으며 ^[11]구조적 관점에서 그들의 차원성을 감소시키는데 성공적으로 사용되어 왔다.

그러나, 엔트로피의 정의는 이론적으로 유지될 것으로 예상되는 하위 부가성(본 노이만 엔트로피의 하위 부가성 참조)의 특성을 만족시키지 못하는 것으로 나타났다.De Domenico와 Biamonte는^[12] 이러한 기본 특성을 만족시키는 보다 근거 있는 정의를 양자 유사 깁스 상태로 도입했다.

(\displaystyle \rho (\displaystyle )=frac {e^{-\display L}}{Z(\beta)}}

어디에

\displaystyle Z(\beta)=Tr[e^{-\beta L}}

는 파티션 함수의 역할을 하는 정규화

\beta

이며,

\beta

β {\

displaystyle\display}

는

\beta

다중 분해능 분석을 가능하게 하는 조정 가능한 파라미터입니다.β

(\displaystyle \beta)

가

\beta

시간 파라미터로 해석되는

\beta

, 이 밀도 매트릭스는 네트워크 상부의 확산 프로세스의 전파자에 정식으로 비례합니다.

이 기능은 복잡한 정보 역학의 통계 필드 이론을 구축하기 위해 사용되어 왔습니다.여기서 밀도 매트릭스는 노드 ^[13]간의 정보 흐름을 활성화하는 역할을 하는 스트림 연산자의 중첩 위치로 해석될 수 있습니다.이 프레임워크는 SARS-CoV-2를 포함한 바이러스-인간 인터랙텀의 단백질-단백질 상호작용 네트워크를 분석하는데 성공적으로 적용되어 후자의 감염의 체계적 특징을 현미경, 중경 및 거시적 규모로 ^[14]밝혀냈다.또, 네트워크내의 정보 플로우를 통합하기 위한 노드의 중요성과 네트워크의 ^[15]견고성에 있어서의 노드의 역할의 평가도 실시합니다.

이 접근방식은 다층 네트워크 상단에서 랜덤 워크와 같은 다른 유형의 역학을 다루기 위해 일반화되었으며,^[16] 이러한 시스템의 구조를 변경하지 않고 그러한 시스템의 치수를 줄일 수 있는 효과적인 방법을 제공한다.고전적 및 최대 엔트로피 랜덤 워크를 모두 사용하여, 대응하는 밀도 매트릭스는 인간 뇌의 네트워크 상태를 인코딩하고 ^[17]치매의 다른 단계에서 커넥텀의 정보 용량을 여러 척도로 평가하기 위해 사용되어 왔다.

「」를 참조해 주세요.

레퍼런스

^ Levin, E.; Tishby, N.; Solla, S.A. (October 1990). "A statistical approach to learning and generalization in layered neural networks". Proceedings of the IEEE. 78 (10): 1568–1574. doi:10.1109/5.58339. ISSN 1558-2256. S2CID 5254307.
^ Bianconi, Ginestra (2008). "The entropy of randomized network ensembles". EPL (Europhysics Letters). 81 (2): 28005. arXiv:0708.0153. Bibcode:2008EL.....8128005B. doi:10.1209/0295-5075/81/28005. ISSN 0295-5075. S2CID 17269886.
^ Menichetti, Giulia; Remondini, Daniel (2014). "Entropy of a network ensemble: definitions and applications to genomic data". Theoretical Biology Forum. 107 (1–2): 77–87. ISSN 0035-6050. PMID 25936214.
^ Krawitz, Peter; Shmulevich, Ilya (27 September 2007). "Entropy of complex relevant components of Boolean networks". Physical Review E. 76 (3): 036115. arXiv:0708.1538. Bibcode:2007PhRvE..76c6115K. doi:10.1103/PhysRevE.76.036115. PMID 17930314. S2CID 6192682.
^ Bianconi, Ginestra (27 March 2009). "Entropy of network ensembles". Physical Review E. 79 (3): 036114. arXiv:0802.2888. Bibcode:2009PhRvE..79c6114B. doi:10.1103/PhysRevE.79.036114. PMID 19392025. S2CID 26082469.
^ ^a ^b ^c Anand, Kartik; Bianconi, Ginestra (13 October 2009). "Entropy measures for networks: Toward an information theory of complex topologies". Physical Review E. 80 (4): 045102. arXiv:0907.1514. Bibcode:2009PhRvE..80d5102A. doi:10.1103/PhysRevE.80.045102. PMID 19905379. S2CID 27419558.
^ Bogacz, Leszek; Burda, Zdzisław; Wacław, Bartłomiej (1 July 2006). "Homogeneous complex networks". Physica A: Statistical Mechanics and Its Applications. 366: 587–607. arXiv:cond-mat/0502124. Bibcode:2006PhyA..366..587B. doi:10.1016/j.physa.2005.10.024. ISSN 0378-4371. S2CID 119428248.
^ Du, Wenxue; Li, Xueliang; Li, Yiyang; Severini, Simone (30 December 2010). "A note on the von Neumann entropy of random graphs". Linear Algebra and Its Applications. 433 (11): 1722–1725. doi:10.1016/j.laa.2010.06.040. ISSN 0024-3795.
^ Anand, Kartik; Bianconi, Ginestra; Severini, Simone (18 March 2011). "Shannon and von Neumann entropy of random networks with heterogeneous expected degree". Physical Review E. 83 (3): 036109. arXiv:1011.1565. Bibcode:2011PhRvE..83c6109A. doi:10.1103/PhysRevE.83.036109. PMID 21517560. S2CID 1482301.
^ De Domenico, Manlio; Solé-Ribalta, Albert; Cozzo, Emanuele; Kivelä, Mikko; Moreno, Yamir; Porter, Mason A.; Gómez, Sergio; Arenas, Alex (4 December 2013). "Mathematical Formulation of Multilayer Networks". Physical Review X. 3 (4): 041022. arXiv:1307.4977. Bibcode:2013PhRvX...3d1022D. doi:10.1103/PhysRevX.3.041022. S2CID 16611157.
^ De Domenico, Manlio; Nicosia, Vincenzo; Arenas, Alex; Latora, Vito (23 April 2015). "Structural reducibility of multilayer networks" (PDF). Nature Communications. 6: 6864. Bibcode:2015NatCo...6.6864D. doi:10.1038/ncomms7864. PMID 25904309. S2CID 16776349.
^ De Domenico, Manlio; Biamonte, Jacob (21 December 2016). "Spectral Entropies as Information-Theoretic Tools for Complex Network Comparison". Physical Review X. 6 (4): 041062. arXiv:1609.01214. Bibcode:2016PhRvX...6d1062D. doi:10.1103/PhysRevX.6.041062. S2CID 51786781.
^ Ghavasieh, Arsham; Nicolini, Carlo; De Domenico, Manlio (10 November 2020). "Statistical physics of complex information dynamics". Physical Review E. 102 (5): 052304. arXiv:2010.04014. Bibcode:2020PhRvE.102e2304G. doi:10.1103/PhysRevE.102.052304. PMID 33327131. S2CID 222208856.
^ Ghavasieh, Arsham; Bontorin, Sebastiano; Artime, Oriol; Verstraete, Nina; De Domenico, Manlio (23 April 2021). "Multiscale statistical physics of the pan-viral interactome unravels the systemic nature of SARS-CoV-2 infections". Communications Physics. 4 (1): 83. Bibcode:2021CmPhy...4...83G. doi:10.1038/s42005-021-00582-8.
^ Ghavasieh, Arsham; Stella, Massimo; Biamonte, Jacob; De Domenico, Manlio (10 June 2021). "Unraveling the effects of multiscale network entanglement on empirical systems". Communications Physics. 4 (1): 129. arXiv:2008.05368. Bibcode:2021CmPhy...4..129G. doi:10.1038/s42005-021-00633-0. S2CID 221104066.
^ Ghavasieh, Arsham; De Domenico, Manlio (13 February 2020). "Enhancing transport properties in interconnected systems without altering their structure". Physical Review Research. 2 (1): 13–15. arXiv:2001.04450. Bibcode:2020PhRvR...2a3155G. doi:10.1103/PhysRevResearch.2.013155. S2CID 210165034.
^ Benigni, Barbara; Ghavasieh, Arsham; Corso, Alessandra; D'Andrea, Valeria; De Domenico, Manlio (22 June 2021). "Persistence of information flow: a multiscale characterization of human brain". Network Neuroscience. 5 (3): 831–850. doi:10.1162/netn_a_00203. PMC 8567833. PMID 34746629.

[1] Levin, E.; Tishby, N.; Solla, S.A. (October 1990). "A statistical approach to learning and generalization in layered neural networks". Proceedings of the IEEE. 78 (10): 1568–1574. doi:10.1109/5.58339. ISSN 1558-2256. S2CID 5254307.

[year2007-2] Bianconi, Ginestra (2008). "The entropy of randomized network ensembles". EPL (Europhysics Letters). 81 (2): 28005. arXiv:0708.0153. Bibcode:2008EL.....8128005B. doi:10.1209/0295-5075/81/28005. ISSN 0295-5075. S2CID 17269886.

[3] Menichetti, Giulia; Remondini, Daniel (2014). "Entropy of a network ensemble: definitions and applications to genomic data". Theoretical Biology Forum. 107 (1–2): 77–87. ISSN 0035-6050. PMID 25936214.

[4] Krawitz, Peter; Shmulevich, Ilya (27 September 2007). "Entropy of complex relevant components of Boolean networks". Physical Review E. 76 (3): 036115. arXiv:0708.1538. Bibcode:2007PhRvE..76c6115K. doi:10.1103/PhysRevE.76.036115. PMID 17930314. S2CID 6192682.

[5] Bianconi, Ginestra (27 March 2009). "Entropy of network ensembles". Physical Review E. 79 (3): 036114. arXiv:0802.2888. Bibcode:2009PhRvE..79c6114B. doi:10.1103/PhysRevE.79.036114. PMID 19392025. S2CID 26082469.

[highlight-6] Anand, Kartik; Bianconi, Ginestra (13 October 2009). "Entropy measures for networks: Toward an information theory of complex topologies". Physical Review E. 80 (4): 045102. arXiv:0907.1514. Bibcode:2009PhRvE..80d5102A. doi:10.1103/PhysRevE.80.045102. PMID 19905379. S2CID 27419558.

[7] Bogacz, Leszek; Burda, Zdzisław; Wacław, Bartłomiej (1 July 2006). "Homogeneous complex networks". Physica A: Statistical Mechanics and Its Applications. 366: 587–607. arXiv:cond-mat/0502124. Bibcode:2006PhyA..366..587B. doi:10.1016/j.physa.2005.10.024. ISSN 0378-4371. S2CID 119428248.

[8] Du, Wenxue; Li, Xueliang; Li, Yiyang; Severini, Simone (30 December 2010). "A note on the von Neumann entropy of random graphs". Linear Algebra and Its Applications. 433 (11): 1722–1725. doi:10.1016/j.laa.2010.06.040. ISSN 0024-3795.

[9] Anand, Kartik; Bianconi, Ginestra; Severini, Simone (18 March 2011). "Shannon and von Neumann entropy of random networks with heterogeneous expected degree". Physical Review E. 83 (3): 036109. arXiv:1011.1565. Bibcode:2011PhRvE..83c6109A. doi:10.1103/PhysRevE.83.036109. PMID 21517560. S2CID 1482301.

[10] De Domenico, Manlio; Solé-Ribalta, Albert; Cozzo, Emanuele; Kivelä, Mikko; Moreno, Yamir; Porter, Mason A.; Gómez, Sergio; Arenas, Alex (4 December 2013). "Mathematical Formulation of Multilayer Networks". Physical Review X. 3 (4): 041022. arXiv:1307.4977. Bibcode:2013PhRvX...3d1022D. doi:10.1103/PhysRevX.3.041022. S2CID 16611157.

[11] De Domenico, Manlio; Nicosia, Vincenzo; Arenas, Alex; Latora, Vito (23 April 2015). "Structural reducibility of multilayer networks" (PDF). Nature Communications. 6: 6864. Bibcode:2015NatCo...6.6864D. doi:10.1038/ncomms7864. PMID 25904309. S2CID 16776349.

[12] De Domenico, Manlio; Biamonte, Jacob (21 December 2016). "Spectral Entropies as Information-Theoretic Tools for Complex Network Comparison". Physical Review X. 6 (4): 041062. arXiv:1609.01214. Bibcode:2016PhRvX...6d1062D. doi:10.1103/PhysRevX.6.041062. S2CID 51786781.

[13] Ghavasieh, Arsham; Nicolini, Carlo; De Domenico, Manlio (10 November 2020). "Statistical physics of complex information dynamics". Physical Review E. 102 (5): 052304. arXiv:2010.04014. Bibcode:2020PhRvE.102e2304G. doi:10.1103/PhysRevE.102.052304. PMID 33327131. S2CID 222208856.

[14] Ghavasieh, Arsham; Bontorin, Sebastiano; Artime, Oriol; Verstraete, Nina; De Domenico, Manlio (23 April 2021). "Multiscale statistical physics of the pan-viral interactome unravels the systemic nature of SARS-CoV-2 infections". Communications Physics. 4 (1): 83. Bibcode:2021CmPhy...4...83G. doi:10.1038/s42005-021-00582-8.

[15] Ghavasieh, Arsham; Stella, Massimo; Biamonte, Jacob; De Domenico, Manlio (10 June 2021). "Unraveling the effects of multiscale network entanglement on empirical systems". Communications Physics. 4 (1): 129. arXiv:2008.05368. Bibcode:2021CmPhy...4..129G. doi:10.1038/s42005-021-00633-0. S2CID 221104066.

[16] Ghavasieh, Arsham; De Domenico, Manlio (13 February 2020). "Enhancing transport properties in interconnected systems without altering their structure". Physical Review Research. 2 (1): 13–15. arXiv:2001.04450. Bibcode:2020PhRvR...2a3155G. doi:10.1103/PhysRevResearch.2.013155. S2CID 210165034.

[17] Benigni, Barbara; Ghavasieh, Arsham; Corso, Alessandra; D'Andrea, Valeria; De Domenico, Manlio (22 June 2021). "Persistence of information flow: a multiscale characterization of human brain". Network Neuroscience. 5 (3): 831–850. doi:10.1162/netn_a_00203. PMC 8567833. PMID 34746629.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]

[15]

[16]

[17]

Search

네트워크 앙상블의 엔트로피

네임스페이스

더

목차

깁스와 섀넌 엔트로피

깁스와 섀넌 엔트로피의 관계

폰 노이만 엔트로피

「」를 참조해 주세요.

레퍼런스

Search

네트워크 앙상블의 엔트로피

깁스와 섀넌 엔트로피

깁스와 섀넌 엔트로피의 관계

폰 노이만 엔트로피

「 」를 참조해 주세요.

레퍼런스

「」를 참조해 주세요.