잡음 채널 부호화 정리

정보 이론에서 노이즈 채널 코딩 정리(때로는 섀넌의 정리 또는 섀넌의 한계)는 통신 채널의 잡음 오염 정도에 대해 채널을 통해 계산 가능한 최대 속도까지 거의 오류 없이 이산 데이터(디지털 정보)를 통신할 수 있음을 확립합니다. 이 결과는 1948년 클로드 섀넌에 의해 발표되었으며 부분적으로 해리 나이퀴스트와 랄프 하틀리의 초기 연구와 아이디어에 기초했습니다.

통신 채널의 섀넌 한계(Shannon limit) 또는 섀넌 용량(Shannon capacity)은 링크가 특정 노이즈 레벨에 대해 랜덤 데이터 전송 오류의 영향을 받는 경우 이론적으로 채널을 통해 전송될 수 있는 무오류 데이터의 최대 속도를 의미합니다. 샤넌(Shannon, 1948)에 의해 처음 기술되었으며, 얼마 지나지 않아 샤넌과 워렌 위버(Warren Weaver)가 "의사소통의 수학적 이론(The Mathematical Theory of Communication, 1949)"이라는 제목의 책에서 출판되었습니다. 이것은 정보 이론의 현대적 학문을 확립했습니다.

개요

1948년 클로드 섀넌(Claude Shannon)이 언급한 이 정리는 노이즈 간섭 및 데이터 손상 수준 대비 오류 수정 방법의 최대 가능한 효율성을 설명합니다. 섀넌의 정리는 통신과 데이터 저장 모두에 광범위한 응용 분야를 가지고 있습니다. 이 정리는 현대 정보 이론 분야에서 기본적으로 중요합니다. 섀넌은 증거의 개요만 설명했습니다. 이산 사례에 대한 최초의 엄격한 증거는 (Feinstein 1954)에 제시되어 있습니다.

섀넌 정리는 채널 용량 C와 속도 R로 전송되는 정보가 있는 잡음 채널이 주어지면 R $R<C$ < $R<C$ ${\display$ R<C $}$ 이면 수신기에서 오류가 발생할 확률을 임의로 작게 할 수 있는 코드가 존재한다는 $R<C$ 것을 말합니다. 이는 이론적으로 제한 속도 C 미만의 속도로 거의 오류 없이 정보를 전송할 수 있음을 의미합니다.

그 반대도 중요합니다. $R>C$ > $R>C$ ${\displaystyle R> C$ 인 경우 임의로 작은 오차 확률은 달성할 수 없습니다. 모든 코드는 특정 양의 최소 수준보다 큰 오류 확률을 가지며, 이 수준은 비율이 증가함에 따라 증가합니다. 따라서 채널 용량을 초과하는 속도로 채널을 통해 정보가 안정적으로 전송되는 것을 보장할 수 없습니다. 이 정리는 속도와 용량이 동일한 드문 상황을 다루지 않습니다.

채널 용량 $C$ $C$ 는 샤넌-하틀리 정리를 사용하여 가우스 노이즈가 있는 대역 제한 채널의 경우 채널의 물리적 특성에서 계산할 수 있습니다 $C$ .

"3번 메시지를 보내고 사본이 다를 경우 3번 중 2번 투표 방식을 사용"과 같은 간단한 방식은 비효율적인 오류 수정 방법으로 데이터 블록이 오류 없이 전달될 수 있음을 점근적으로 보장할 수 없습니다. 리드-솔로몬 코드, 최근에는 저밀도 패리티 검사(LDPC) 코드 및 터보 코드와 같은 고급 기술은 이론적인 섀넌 한계에 훨씬 근접하지만 계산 복잡성이 높은 비용이 듭니다. 이러한 매우 효율적인 코드와 오늘날의 디지털 신호 프로세서의 컴퓨팅 능력을 사용하면 이제 섀넌 한계에 매우 근접할 수 있습니다. 실제로 LDPC 코드는 섀넌 한계(이진 가산 백색 가우시안 노이즈(AWGN) 채널의 경우 블록 길이가 매우 긴)의 0.0045dB 이내에 도달할 수 있는 것으로 나타났습니다.^[1]

수학문

통신 시스템의 기본적인 수학 모델은 다음과 같습니다.

{\xrightarrow[{\text{Message}}]{W}}{\begin{array}{ c}\hline {\text{Encoder}}\\f_{n}\hline \end{array}}{\xrightarrow[{\mathrm {Encoded \atop sequence}}]{\begin{array}{ c}\hline {\text{Channel}\p(y x)\\hline \end{array}}{\xrightarrow[{\mathrm {Received \atop sequence}}}]{\xrightarrow[{\mathrm {Received \atop sequence}}]Y^{n}}}{\begin{array}{c}\hline {\text{Decoder}}\\g_{n}\hline \end{array}}{\xrightarrow[{\mathrm {Estimated \atop message}]{\hat {W}}

메시지 W는 부호화 및 복호화 기능을 이용하여 잡음 채널을 통해 전송됩니다. 인코더는 W를 길이가 n인 채널 심볼의 미리 정의된 시퀀스로 매핑합니다. 가장 기본적인 모델에서 채널은 이러한 각 심볼을 다른 심볼과 독립적으로 왜곡합니다. 수신된 시퀀스인 채널의 출력은 시퀀스를 메시지의 추정치로 매핑하는 디코더에 입력됩니다. 이 설정에서 오류 확률은 다음과 같이 정의됩니다.

P_{e}={\text{Pr}}\left\{{\hat {W}}\neq W\right\}

정리(Shannon, 1948):

1. 모든 이산 메모리 없는 채널에 대해 상호 정보

I(X;Y)

I(X;Y)

{\displaystyle I(X;

Y

)}

로 정의되는 채널 용량은 다음과

I(X;Y)

같습니다.

\ C=\sup _{p_{X}}I(X;Y)

^[2]

는 다음과 같은 속성이 있습니다. 임의의

\epsilon >0

ϵ > 0

{\displaystyle \epsilon

>

R<C

및

R<C

R < C

{\displaystyle

R<C}의 경우

,

충분히

큰 N

{\

displaystyle

N}에 대해

길이

N {\

displaystyle

N}

\geq R

및

\geq R

≥ R

{\displaystyle

\geq R}의 코드와 디코딩 알고리즘이 있습니다. 블록 오류의 최대 확률이

≤

ϵ

{\displaystyle \leq

\leq \epsilon

epsilon}이 되도록 합니다.

2. 비트 오류

p_{b}

{\

의 확률이

p_{b}

허용되는 경우

R(p_{b})

R

R(p_{b})

)

R(p_{b})

{\

displaystyle

R(

p_{b})}

의 속도를 달성할

R(p_{b})

수 있습니다. 여기서

R(p_{b})={\frac {C}{1-H_{2}(p_{b})}}.

H_{2}(p_{b})

H_{2}(p_{b})

(

H_{2}(p_{b})

H_{2}(p_{b})

)

H_{2}(p_{b})

는

H_{2}(p_{b})

이진 엔트로피 함수입니다.

H_{2}(p_{b})=-\left[p_{b}\log _{2}{p_{b}}+(1-p_{b})\log _{2}({1-p_{b}})\right]

3.

p_{b}

의

p_{b}

{\

의 경우

p_{b}

R(p_{b})

{\displaystyle

R

(p_{b})}

보다 큰 속도를 달성할 수 없습니다

R(p_{b})

.

(MacKay (2003), p. 162; cf Gallager (1968), ch. 5; Cover and Thomas (1991), p. 198; Shannon (1948) thm. 11)

증명개요

정보 이론의 다른 여러 주요 결과와 마찬가지로 잡음 채널 코딩 정리의 증명에는 달성 가능성 결과와 일치하는 역 결과가 포함됩니다. 이 두 구성 요소는 이 경우 잡음 채널을 통해 통신할 수 있는 가능한 속도 집합을 바인딩하는 역할을 하며, 매칭은 이러한 경계가 엄격한 경계임을 보여주는 역할을 합니다.

다음 개요는 정보 이론 텍스트에서 연구할 수 있는 다양한 스타일의 한 세트일 뿐입니다.

이산 메모리 없는 채널에 대한 달성 가능성

달성 가능성에 대한 이 특정 증명은 점근 등분화 속성(AEP)을 사용하는 증명 스타일을 따릅니다. 또 다른 스타일은 오류 지수를 사용하는 정보 이론 텍스트에서 찾을 수 있습니다.

두 가지 유형의 증명 모두 채널에서 사용되는 코드북이 무작위로 구성되는 랜덤 코딩 인수를 사용합니다. 이는 채널 용량 미만의 데이터 속도에서 원하는 낮은 오류 확률을 충족하는 코드의 존재를 증명하면서 분석을 단순화하는 역할을 합니다.

AEP 관련 인수를 통해 채널, 소스 심볼 X 1 $X_{1}^{n}$ ${\$ 의 길이 $n$ $n$ 문자열 $n$ , $X_{1}^{n}$ 채널 출력 $Y_{1}^{n}$ $Y_{1}^{n}$ $Y_{1}^{n}$ ${\$ 의 길이 $n$ $n$ 문자열을 $n$ 다음과 같이 정의할 수 있습니다 $Y_{1}^{n}$

A_{\varepsilon}^{(n)}=\{(x^{n},y^{n})\in {\mathcal {X}}^{n}\times {\mathcal {Y}}^{n

2^{-n(H(X)+\varepsilon )}\leq p(X_{1}^{n})\leq 2^{-n(H(X)-\varepsilon )}

2^{-n(H(Y)+\varepsilon )}\leq p(Y_{1}^{n})\leq 2^{-n(H(Y)-\varepsilon )}

{2^{-n(H(X,Y)+\varepsilon )}}\leq p(X_{1}^{n},Y_{1}^{n})\leq 2^{-n(H(X,Y)-\varepsilon )}\}

저희는 위에서 정의한 공동 일반 집합에 있는 두 시퀀스 X ${X_{1}^{n}}$ ${X_{1}^{n}}$ ${\$ 및 ${X_{1}^{n}}$ $Y_{1}^{n}$ $Y_{1}^{n}$ $Y_{1}^{n}$ ${\$ 가 공동 일반적이라고 $Y_{1}^{n}$ 말합니다.

스텝스

랜덤 코딩 인수 스타일에서는 확률 분포 Q에서 $2^{nR}$ n의 2 $2^{nR}$ $2^{nR}$ ${\$ 코드워드를 $2^{nR}$ 무작위로 생성합니다.
이 코드는 발신자와 수신자에게 공개됩니다. 또한 사용 중인 채널에 대한 $p(y|x)$ 전이 $p(y|x)$ p $p(y|x)$ x $p(y|x)$ ${\displaystyle p(y$ x $)}$ 를 알고 있다고 가정합니다.
코드워드들의 집합에 대한 균일한 분포에 따라 메시지 W가 선택됩니다. 즉, $Pr(W=w)=2^{-nR},w=1,2,\dots ,2^{nR}$ = w $Pr(W=w)=2^{-nR},w=1,2,\dots ,2^{nR}$ ) = $Pr(W=w)=2^{-nR},w=1,2,\dots ,2^{nR}$ 2 $Pr(W=w)=2^{-nR},w=1,2,\dots ,2^{nR}$ - $Pr(W=w)=2^{-nR},w=1,2,\dots ,2^{nR}$ $Pr(W=w)=2^{-nR},w=1,2,\dots ,2^{nR}$ w = $1$ , 2, …, 2 n R {\displaystyle Pr(W = w) = 2^{-nR}, w = 1, 2,\dots, 2^{nR}입니다.
W 메시지는 채널을 통해 전송됩니다.
수신기는 $P(y^{n}|x^{n}(w))=\prod _{i=1}^{n}p(y_{i}|x_{i}(w))$ $P(y^{n}|x^{n}(w))=\prod _{i=1}^{n}p(y_{i}|x_{i}(w))$ $P(y^{n}|x^{n}(w))=\prod _{i=1}^{n}p(y_{i}|x_{i}(w))$ $P(y^{n}|x^{n}(w))=\prod _{i=1}^{n}p(y_{i}|x_{i}(w))$ = ∏ $P(y^{n}|x^{n}(w))=\prod _{i=1}^{n}p(y_{i}|x_{i}(w))$ = 1 $P(y^{n}|x^{n}(w))=\prod _{i=1}^{n}p(y_{i}|x_{i}(w))$ $P(y^{n}|x^{n}(w))=\prod _{i=1}^{n}p(y_{i}|x_{i}(w))$ (y $P(y^{n}|x^{n}(w))=\prod _{i=1}^{n}p(y_{i}|x_{i}(w))$ i $(w$ )) $P(y^{n$ x^{n}(w))에 따른 시퀀스를 수신합니다. $=\prod _{i=1}^{n}p(y_{i} x_{i}(w))}$
이러한 코드워드를 채널을 통해 전송하면 $Y_{1}^{n}$ $Y_{1}^{n}$ ${\$ 을 수신하고 $Y_{1}^{n}$ Y와 공동으로 일반적인 코드워드가 하나만 존재하는 경우 일부 소스 시퀀스로 디코딩합니다. 공동으로 사용되는 코드워드가 없거나 둘 이상일 경우 오류가 선언됩니다. 디코딩된 코드워드가 원래 코드워드와 일치하지 않는 경우에도 오류가 발생합니다. 이를 일반적인 세트 디코딩이라고 합니다.

이 방식의 오류 확률은 두 부분으로 나뉩니다.

첫째, 수신된 Y 시퀀스에 대해 공동으로 전형적인 X 시퀀스가 발견되지 않으면 오류가 발생할 수 있습니다.
둘째, 잘못된 X 시퀀스가 수신된 Y 시퀀스와 공동으로 전형적인 경우 오류가 발생할 수 있습니다.

코드 구성의 무작위성에 의해, 우리는 모든 코드에 대해 평균적인 오류 확률이 전송된 인덱스에 의존하지 않는다고 가정할 수 있습니다. 따라서 일반성을 잃지 않고 W = 1이라고 가정할 수 있습니다.
합동 AEP로부터 n이 커짐에 따라 합동으로 전형적인 X가 존재하지 않을 확률이 0이 된다는 것을 알 수 있습니다. 이 오류 확률을 $\varepsilon$ ε $\varepsilon$ displaystyle \varepsilon}으로 바인딩할 수 있습니다.
또한 조인트 AEP로부터 W = 1에서 나온 특정 $X_{1}^{n}(i)$ $X_{1}^{n}(i)$ $X_{1}^{n}(i)$ ( $X_{1}^{n}(i)$ $X_{1}^{n}(i)$ 및 $Y_{1}^{n}$ $Y_{1}^{n}$ $Y_{1}^{n}$ ${\displayY_{1}^{n}}$ 이 조인트 전형일 확률은 $\leq 2^{-n(I(X;Y)-3\varepsilon )}$ $\leq 2^{-n(I(X;Y)-3\varepsilon )}$ - n $\leq 2^{-n(I(X;Y)-3\varepsilon )}$ ( $\leq 2^{-n(I(X;Y)-3\varepsilon )}$ ( $\leq 2^{-n(I(X;Y)-3\varepsilon )}$ $\leq 2^{-n(I(X;Y)-3\varepsilon )}$ ) $\leq 2^{-n(I(X;Y)-3\varepsilon )}$ - $\leq 2^{-n(I(X;Y)-3\varepsilon )}$ ε) ${\displaystyle \leq 2^{-n$ (I(X; Y)- $3\$ varepsilon $\leq 2^{-n(I(X;Y)-3\varepsilon )}$ )}입니다.

정의: $E_{i}=\{(X_{1}^{n}(i),Y_{1}^{n})\in A_{\varepsilon }^{(n)}\},i=1,2,\dots ,2^{nR}$ = $E_{i}=\{(X_{1}^{n}(i),Y_{1}^{n})\in A_{\varepsilon }^{(n)}\},i=1,2,\dots ,2^{nR}$ { $E_{i}=\{(X_{1}^{n}(i),Y_{1}^{n})\in A_{\varepsilon }^{(n)}\},i=1,2,\dots ,2^{nR}$ 1 n $E_{i}=\{(X_{1}^{n}(i),Y_{1}^{n})\in A_{\varepsilon }^{(n)}\},i=1,2,\dots ,2^{nR}$ ( $i ),$ Y 1 n ) ∈ A ε (n ) }, i = 1, 2, …, 2 n R {\displaystyle E_{i}=\{(X_{1}^{n}(i), $Y_{1}^{n})\in A_{\varepsilon }^{(n)}\},i=1,2,\dots ,2^{nR}}$

메시지 i가 메시지 1이 전송될 때 수신되는 시퀀스와 공동으로 전형적인 경우로서.

{\begin{aligned}P({\text{error}})&{}=P({\text{error}} W=1)\leq P(E_{1}^{c})+\sum _{i=2}^{2^{nR}}P(E_{i})\\&{}\leq P(E_{1}^{c})+(2^{nR}-1)2^{-n(I(X;Y)-3\varepsilon )}\\&{}\leq \varepsilon +2^{-n(I(X;Y)-R-3\varepsilon )}.\end{align}}

$n$ $n$ 이 무한대로 $n$ 갈 때 채널에 대해 $R<I(X;Y)$ $R<I(X;Y)$ < $R<I(X;Y)$ ( $R<I(X;Y)$ ${\displaystyle$ R < $I (X; Y)}$ 이면 오류 확률은 0이 된다는 것을 알 수 있습니다.

마지막으로, 평균 코드북이 "좋음"으로 표시되는 것을 감안할 때, 우리는 평균보다 성능이 더 좋은 코드북이 존재한다는 것을 알고 있으므로 잡음 채널을 통해 통신하는 임의로 낮은 오류 확률에 대한 우리의 요구를 충족시킵니다.

이산 메모리 없는 채널에 대한 약한 역방향

$2^{nR}$ R {\ $displaystyle$ 2 $^{nR}$ 코드워드의 코드를 가정합니다 $.$ 이 집합 위에서 W를 지수로 균일하게 그리자. $X^{n}$ ${\$ 및 $X^{n}$ $Y^{n}$ ${\$ Y $^{n}}$ 를 $Y^{n}$ 각각 송신 코드워드 및 수신 코드워드라고 합니다.

$H$ $I$ (W;Y $^{n})}$ 엔트로피와 상호 정보를 포함하는 항등식을 사용합니다 $nR=H(W)=H(W|Y^{n})+I(W;Y^{n})$ .
${\displaystyle \leq$ $I(X^{n}(W);$ $X$ 가 $\leq H(W|Y^{n})+I(X^{n}(W);Y^{{n}})$ W의 함수이므로 Y $^{n}}$
${\displaystyle \leq$ Fano의 부등식을 이용한 $\leq 1+P_{e}^{(n)}nR+I(X^{n}(W);Y^{n})$ Y $^{n}}$
$\leq 1+P_{e}^{(n)}nR+nC$ + $\leq 1+P_{e}^{(n)}nR+nC$ ( n ) n $\leq 1+P_{e}^{(n)}nR+nC$ + $\leq 1+P_{e}^{(n)}nR+nC$ $\leq 1+P_{e}^{(n)}nR+nC$ $\leq 1+P_{e}^{(n)}nR+nC$ 용량이 상호 정보를 최대화한다는 사실로 인해 $\leq 1+P_{e}^{(n)}nR+nC$

$P_{e}^{(n)}\geq 1-{\frac {1}{nR}}-{\frac {C}{R}}$ 단계의 결과는 $P_{e}^{(n)}\geq 1-{\frac {1}{nR}}-{\frac {C}{R}}$ ( $P_{e}^{(n)}\geq 1-{\frac {1}{nR}}-{\frac {C}{R}}$ ≥ 1 $P_{e}^{(n)}\geq 1-{\frac {1}{nR}}-{\frac {C}{R}}$ - $P_{e}^{(n)}\geq 1-{\frac {1}{nR}}-{\frac {C}{R}}$ n R $P_{e}^{(n)}\geq 1-{\frac {1}{nR}}-{\frac {C}{R}}$ - $CR$ {\ $displaystyle P_{e$ }^{( $n)}\geq$ 1- ${\frac$ {1 $}{nR}-{\frac$ {C $P_{e}^{(n)}\geq 1-{\frac {1}{nR}}-{\frac {C}{R}}$ R}}입니다. 블록 $길이$ n ${\displaystyle$ n}이 무한대로 이동함에 따라, $P_{e}^{(n)}$ 는 R이 C보다 $P_{e}^{(n)}$ 크면 Pe (n) ${\displaystyle P_$ {e}^{(n $)}}$ 가 $P_{e}^{{(n)}}$ 0과 경계를 이룬다는 $P_{e}^{(n)}$ 것을 얻습니다. R이 C보다 작은 경우에만 임의로 낮은 오류율을 얻을 수 있습니다.

이산 메모리 없는 채널을 위한 강력한 컨버스

1957년 울포위츠에 의해 증명된 강력한 역 ^[3]정리는 다음과 같습니다.

P_{e}\geq 1-{\frac {4A}{n(R-C)^{2}}}-e^{-{\frac {n(R-C)}{2}}}

어떤 유한 양의 상수 $A$ ${\displaystyle$ $A$ $}$ 에 대하여 $A$ 약한 역수는 $n$ ${\displaystyle$ n $}$ 이 무한대로 갈수록 $n$ 오차 확률이 0에서 떨어진다고 말하지만, 강한 역수는 오차가 1이 된다고 합니다. $따라서$ C $C$ 는 $C$ 완벽하게 신뢰할 수 있는 통신과 완전히 신뢰할 수 없는 통신 사이의 급격한 임계값입니다.

비고정 메모리 채널에 대한 채널 코딩 정리

우리는 채널이 메모리가 없다고 가정하지만, 그것의 전이 확률은 송신기와 수신기에서 알려진 방식으로 시간에 따라 변합니다.

그런 다음 채널 용량은 다음과 같습니다.

C=\lim \inf \max _{p^{(X_{1)}}, p^{(X_{2)}, ...}{\frac {1}{n}}\sum _{i=1}^{n}I(X_{i};Y_{i}).

각 채널의 분포를 달성하는 용량에서 최대치를 달성합니다. 즉, $C=\lim \inf {\frac {1}{n}}\sum _{i=1}^{n}C_{i}$ = $C=\lim \inf {\frac {1}{n}}\sum _{i=1}^{n}C_{i}$ $C=\lim \inf {\frac {1}{n}}\sum _{i=1}^{n}C_{i}$ ∑ $C_{i}$ = 1 n $Ci$ {\ $displaystyle$ C=\lim \inf {\frac {1}{n}}\sum _{i=1}^{n}C_{i}} 여기서 Ci {\display C_{i}}는 i번째 채널의 용량입니다.

증명의 개요

이 증명은 채널 코딩 정리와 거의 동일한 방식으로 진행됩니다. 달성 가능성은 해당 채널에 대한 분포를 달성하는 용량에서 무작위로 선택된 각 기호를 사용하여 무작위 코딩을 수행합니다. 일반성 인수는 점근 등분할 속성 문서에 정의된 비정규 소스에 대한 일반적인 집합의 정의를 사용합니다.

${\frac {1}{n}}\sum _{i=1}^{n}C_{i}$ ${\frac {1}{n}}\sum _{i=1}^{n}C_{i}$ ∑ i = 1 $n$ Ci {\displaystyle {\frac {1}{n}}\sum _{i=1}^{n}C_{i}가 수렴되지 않을 때 림핀의 기술력이 발휘됩니다.

참고 항목

메모들

^ Sae-Young Chung; Forney, G. D.; Richardson, T.J.; Urbank, R. (February 2001). "On the Design of Low-Density Parity-Check Codes within 0.0045 dB of the Shannon Limit" (PDF). IEEE Communications Letters. 5 (2): 58–60. doi:10.1109/4234.905935. S2CID 7381972.
^ "sup" 기능에 대한 설명은 Supremum을 참조하십시오.
^ Gallager, Robert (1968). Information Theory and Reliable Communication. Wiley. ISBN 0-471-29048-3.

참고문헌

Aazhang, B. (2004). "Shannon's Noisy Channel Coding Theorem" (PDF). Connections.
Cover, T.M.; Thomas, J.A. (1991). Elements of Information Theory. Wiley. ISBN 0-471-06259-6.
Fano, R.M. (1961). Transmission of information; a statistical theory of communications. MIT Press. ISBN 0-262-06001-9.
Feinstein, Amiel (September 1954). "A new basic theorem of information theory". Transactions of the IRE Professional Group on Information Theory. 4 (4): 2–22. Bibcode:1955PhDT........12F. doi:10.1109/TIT.1954.1057459. hdl:1721.1/4798.
Lundheim, Lars (2002). "On Shannon and Shannon's Formula" (PDF). Telektronik. 98 (1): 20–29.

MacKay, David J.C. (2003). Information Theory, Inference, and Learning Algorithms. Cambridge University Press. ISBN 0-521-64298-1. [온라인 무료]
Shannon, C. E. (1948). "A Mathematical Theory of Communication". Bell System Technical Journal. 27 (3): 379–423. doi:10.1002/j.1538-7305.1948.tb01338.x.
Shannon, C.E. (1998) [1948]. A Mathematical Theory of Communication. University of Illinois Press.
Wolfowitz, J. (1957). "The coding of messages subject to chance errors". Illinois J. Math. 1 (4): 591–606. doi:10.1215/ijm/1255380682.

[1] Sae-Young Chung; Forney, G. D.; Richardson, T.J.; Urbank, R. (February 2001). "On the Design of Low-Density Parity-Check Codes within 0.0045 dB of the Shannon Limit" (PDF). IEEE Communications Letters. 5 (2): 58–60. doi:10.1109/4234.905935. S2CID 7381972.

[2] "sup" 기능에 대한 설명은 Supremum을 참조하십시오.

[3] Gallager, Robert (1968). Information Theory and Reliable Communication. Wiley. ISBN 0-471-29048-3.

[1]

[2]

[3]

Search