인자 그래프

인자 그래프는 함수의 인자화를 나타내는 초당적 그래프다. 확률 이론과 그 적용에서 요인 그래프는 확률 분포 함수의 인자화를 나타내기 위해 사용되며, 합계 산출물 알고리즘을 통한 한계 분포의 계산과 같은 효율적인 계산을 가능하게 한다. 인자 그래프와 총제품 알고리즘의 중요한 성공 사례 중 하나는 LDPC와 터보 코드와 같이 용량에 근접하는 오류 수정 코드의 디코딩이다.

요인 그래프 제약 조건 그래프를 일반화하십시오. 값이 0 또는 1인 요인을 제약 조건이라고 한다. 제약 조건 그래프는 모든 요인이 제약 조건인 요인 그래프입니다. 인자 그래프의 최대 제품 알고리즘은 제약조건 처리를 위한 아크 정합성 알고리즘의 일반화로 볼 수 있다.

정의

인자 그래프는 함수의 인자화를 나타내는 초당적 그래프다. 함수 $g{\displaystyle ({}_{}}$ ${\displaystyle {1\mathrm{}}_{}}$,${\displaystyle {}_{}{X\mathrm{}}_{}}$ 2${\displaystyle {}_{}}$,${\displaystyle }$… ,${\displaystyle X_{}}$ ${\displaystyle {}_{}}$)의 인자화가 주어지면, ${\displaystyle g(X_{1},X_{2},\dots ,X_{n$

${\displaystyle g(X_{1},X_{2},\dots,X_{n}}=\prod _{j=1}^{m}f_{j}(S_{j}),}$

where ${\displaystyle S_{j}\subseteq \{X_{1},X_{2},\dots ,X_{n}\}}$, the corresponding factor graph ${\displaystyle G=(X,F,E)}$ consists of variable vertices ${\displaystyle X=\{X_{1},X_{2},\dots ,X_{n}\}}$, factor vertices ${\displaystyle }$${\displaystyle F}$=${\displaystyle }${ ${\displaystyle {}_{}}$ ${\displaystyle {1\mathrm{}}_{}}$,${\displaystyle {}_{}}$f ${\displaystyle {2\mathrm{}}_{}}$,${\displaystyle \dots ,}$ ${\displaystyle f_{}}$ ${\displaystyle {}_{}}$ ${\displaystyle$ F$=\{f_{1},f_{2},\dots,f_{m$ 그리고 $가장자리{\displaystyle }$ E ${\displaystyle E$ 가장자리는 다음과 같은 요인화에 따라 달라진다: X ${\displaystyle k_{}}$ ${\displaystyle {}_{}}$ S ${\displaystyle j_{}}$ ${\$ $f_{j}}$와 변수 꼭지점 ${\displaystyle X_{}}$ k ${\$ $X_{k}\in S_{j$ 함수는 $\mathb$ {R$}$에서 $g{\displaystyle }$( ${\displaystyle {}_{}}$ ${\displaystyle {1\mathrm{}}_{}}$,${\displaystyle {}_{}{}_{}}$ ${\displaystyle {2\mathrm{}}_{}}$,${\displaystyle }$…${\displaystyle }$, ${\displaystyle {}_{}{n}_{}}$ )${\displaystyle }$∈ ${\displaystyle R\mathbb{}}$ ${\$in \mathb {$R$ .

요소 그래프를 메시지 전달 알고리즘과 결합하여 한계 분포와 같은$$함수 $g{\displaystyle ({}_{}}$ ${\displaystyle {1\mathrm{}}_{}}$,${\displaystyle {}_{}{X\mathrm{}}_{}}$ ${\displaystyle {}_{}{}_{}}$,${\displaystyle }$… ,${\displaystyle }$X${\displaystyle {}_{}{n}_{}}$ ) ${\displaystyle g(X_{1},X_{2},\dots ,X_{n}}}$의 특정 특성을 효율적으로 계산할 수 있다.

예

다음과 같이 인수하는 함수를 고려하십시오.

${\displaystyle g(X_{1},X_{2},X_{3})=f_{1}(X_{1})f_{2}(X_{1},X_{2})f_{3}(X_{1},X_{2})f_{4}(X_{2},X_{3})}$,

오른쪽에 표시된 해당 인자 그래프와 함께. 요인 그래프에 주기가 있는지 확인하십시오. $f{\displaystyle {}_{}}$ ${\displaystyle {2\mathrm{}}_{}}$( ${\displaystyle {}_{}}$ ${\displaystyle {1\mathrm{}}_{}}$,${\displaystyle {}_{}}$X ${\displaystyle {2\mathrm{}}_{}}$) f ${\displaystyle {3\mathrm{}}_{}}$( X 1,${\displaystyle {}_{}}$X ${\displaystyle {}_{}}$) f 3 ( ${\displaystyle {}_{}}$ ${\displaystyle {1\mathrm{}}_{}}$ , ${\displaystyle {X\mathrm{}}_{}}$ 2 ) ${\displaystyle f_{2}(X_{1},X_{2$})$f_{3}(X_{1},X_{2}})$을 단일 인자로 병합하면 결과 인자 그래프가 트리가 된다. 이는 메시지 전달 알고리즘이 나무의 경우 정확하지만 사이클이 있는 그래프에 대해서만 근사하기 때문에 중요한 구별이다.

인자 그래프에 메시지 전달

인자 그래프에서 인기 있는 메시지 전달 알고리즘은 함수의 개별 변수의 모든 여백을 효율적으로 계산하는 총생산 알고리즘이다. 특히 변수 $X{\displaystyle {}_{}}$ ${\displaystyle k_{}}$ ${\$의 한계치는 다음과 같이 정의된다$$.

${\displaystyle g_{k}(X_{k})=\sum _{X_{\bar{k}g(X_{1},X_{2},\dots ,X_{n}}}}}}$

$여기$서 X $'{\$라는 표기법은 $X{\displaystyle {}_{}}$ ${\displaystyle k_{}}$ ${\$를 제외한 모든 변수를 합한 값을 의미한다$.$ 총제품 알고리즘의 메시지는 정점에서 개념적으로 계산되어 가장자리를 따라 전달된다. 변수 정점으로부터 또는 변수의 정점으로의 메시지는 항상 특정 변수의 함수다. 예를 들어, 변수가 2진수일 때, 해당 정점에 도달한 가장자리 위의 메시지는 길이 2의 벡터로 나타낼 수 있다. 첫 번째 항목은 0으로 평가된 메시지, 두 번째 항목은 1로 평가된 메시지다. 변수가 실수의 영역에 속할 경우 메시지는 임의의 기능이 될 수 있으며, 그 표현에 각별한 주의가 필요하다.

실제로, g${\displaystyle ({}_{}}$ ${\displaystyle {1\mathrm{}}_{}}$,${\displaystyle {}_{}{X\mathrm{}}_{}}$ 2${\displaystyle {}_{}}$,${\displaystyle }$… ,${\displaystyle X_{}}$ ${\displaystyle {}_{}}$ ${\displaystyle {}_{}}$에 의해 총생산 알고리즘이 사용되는데, 여기서 $(X_{1},X_{2},\dots,X_{n})$는 공동$$ 분포 또는 공동우도함수이며, 인수화는 변수들 사이의 조건부 독립성에 따라 달라진다.

해머슬리-클리포드 정리에서는 베이지안 네트워크와 마르코프 네트워크와 같은 다른 확률론적 모델을 요인 그래프로 나타낼 수 있다는 것을 보여준다; 후자의 표현은 믿음 전파를 사용하여 그러한 네트워크에 대한 추론을 수행할 때 자주 사용된다. 반면에 베이시안 네트워크는 모델의 인과관계를 직접 나타낼 수 있기 때문에 생성 모델에 더 자연적으로 적합하다.

참고 항목

• 믿음 전파
• 베이시안 추론
• 베이시안 프로그래밍
• 조건부 확률
• 마르코프 네트워크
• 베이시안 네트워크
• 해머슬리-클리퍼드 정리

외부 링크

• Loeliger, Hans-Andrea (January 2004), "An Introduction to Factor Graphs]" (PDF), IEEE Signal Processing Magazine, 21 (1): 28–41, Bibcode:2004ISPM...21...28L, doi:10.1109/MSP.2004.1267047
• MATLAB에서 요인 그래프를 작성하고 해결하기 위한 오픈 소스 도구를 축소한다.
• Loeliger, Hans-Andrea (2008), An introduction to Factor Graphs (PDF)

참조

• Clifford (1990), "Markov random fields in statistics", in Grimmett, G.R.; Welsh, D.J.A. (eds.), Disorder in Physical Systems, J.M. Hammersley Festschrift (postscript), Oxford University Press, pp. 19–32, ISBN 9780198532156
• Frey, Brendan J. (2003), "Extending Factor Graphs so as to Unify Directed and Undirected Graphical Models", in Jain, Nitin (ed.), UAI'03, Proceedings of the 19th Conference in Uncertainty in Artificial Intelligence, Morgan Kaufmann, pp. 257–264, arXiv:1212.2486, ISBN 0127056645
• Kschischang, Frank R.; Frey, Brendan J.; Loeliger, Hans-Andrea (2001), "Factor Graphs and the Sum-Product Algorithm", IEEE Transactions on Information Theory, 47 (2): 498–519, CiteSeerX 10.1.1.54.1570, doi:10.1109/18.910572.
• Wymeersch, Henk (2007), Iterative Receiver Design, Cambridge University Press, ISBN 978-0-521-87315-4