통신채널에서의 전송속도에 관한 정보이론
전기 공학 , 컴퓨터 과학 및 정보 이론에서 채널 용량은 통신 채널 을 통해 정보 를 안정적으로 전송할 수 있는 속도의 엄격한 상한 입니다.
노이즈 채널 부호화 정리에 따라 특정 채널 의 채널 용량은 임의의 작은 오차 확률로 달성할 수 있는 최고 정보 레이트(단위시간당 정보 단위)이다.[1] [2]
클로드 E에 의해 개발 된 정보 이론. 1948년 Shannon은 채널 용량의 개념을 정의하고 이를 계산할 수 있는 수학적 모델을 제공한다.주요 결과는 위에서 정의한 바와 같이 채널의 용량이 채널의 입력과 출력 사이의 상호 정보 최대값 에 의해 제공된다는 것입니다. 여기서 최대화는 입력 분포에 관한 것입니다. [3]
채널 용량의 개념은 채널 용량에 의해 약속된 한계에 매우 근접한 성능을 달성한 새로운 오류 정정 부호화 메커니즘의 등장으로 현대 유선 및 무선 통신 시스템의 개발에 있어 중심이었습니다.
형식적 정의 통신 시스템의 기본적인 수학적 모델은 다음과 같습니다.
→ 메세지 W 인코더 f n → E n c o d e d s e q u e n c e X n 채널. p ( y x ) → R e c e i v e d s e q u e n c e Y n 디코더 g n → E s t i m a t e d m e s s a g e W ^ {\displaystyle {\text {Message}}{ W}}{\begin{array}{c }\hline {Encoder}\f_{n}\\hline \end{array}{xrightarrow}{\mathrm {Encoded \atop sequence}}}{X^{n}}{\begin{array}\h}{xtext}xtexty}{p}\h} Y^{n}}{\begin{array}{c }\hline{text{Decoder}\g_{n}\\hline\end{array}{xrightarrow[{\mathrm {예상 \atop message}}}}}}{\hat {W}}}}}}}}} 여기서:
W (\displaystyle W) 는 전송되는 메시지입니다. X (\displaystyle X) 는 채널 입력 기호입니다( Xn (\displaystyle X^{n })는 알파벳 X (\displaystyle {X }) 로 표시되는 n개의 기호 시퀀스 입니다). Y (\displaystyle Y) 는 채널 출력 기호입니다(Yn (\ displaystyle Y^{n }) 는 알파벳 Y (\displaystyle {Y }) 로 표시되는 n개의 기호 시퀀스 입니다). W ^(\ displaystyle {W}) 는 전송된 메시지의 추정치입니다. f n { display style f _ { n } n 、 n { display style n } 블록 부호화 함수입니다. p ( y x ) = p Y X ( y x ){ displaystyle p(y x)=p_{Y X}(y x)}는 조건부 확률 분포 로 모델링된 노이즈가 많은 채널입니다. g n { displaystyle g _ { n } g 、 n \ displaystyle n } 블록의 디코딩 함수입니다. X(디스플레이 스타일 X) 와 Y(디스플레이 스타일 Y) 를 랜덤 변수로 모델링합니다.또한 통신채널의 고유고정특성인 X(\displaystyle X) 를 Y(\displaystyle p_{Y X}(y x)) 의 조건부 확률분포함수로 한다 .다음 으로 한계분포 p X ( x ){displaystyle p_{X}(x)} 의 선택에 따라 동일성에 따라 접합분포 p X, Y (x , y ){displaystyle p_{X,Y}(x,y)} 가 완전히 결정됩니다.
p X , Y ( x , y ) = p Y X ( y x ) p X ( x ) \ displaystyle \ p_{X,Y}(x,y)=p_{YX}(y x),p_{X}(x)} 결과적으로 상호 정보 I( X ; Y ) {displaystyle I(X;Y )} 을 유도합니다. 채널 용량은 다음과 같이 정의됩니다.
C = 셧 p X ( x ) I ( X ; Y ) {\displaystyle\C=\sup_{X}(x)} I(X;Y),} 여기 서 p X ( x )(\displaystyle p_{X}(x )} 의 모든 가능한 선택지를 수상이 됩니다.
채널 용량 추가 채널 용량은 독립 [4] 채널보다 추가됩니다. 즉, 2개의 독립된 채널을 조합하여 사용하는 것은 그것들을 독립적으로 사용하는 것과 동일한 이론적인 용량을 제공합니다. 보다 형식적으로 p1({ displaystyle p_{1}) 과 p2 ({ displaystyle p_{2}) 는 위와 같이 모델화된2개의 독립된 채널입니다.p 1({displaystyle p_{1 })은 입력 알파벳 X 1 ({displaystyle {X}_{1}) 과 출력 알파벳 Y 1 ({ displaystyle {Y}_1}) 입니다. p2 의 경우 ({displaystyle p_{ 2}). 제품 채널p 1 × p 2 ({displaystyle p_{1}\times p_{2 })는, 「(x 1, x 2)」, 「(x 1, X 2)」, 「(x 1, Y 2)」, 「( x 1, Y2)」( x 2 ) 로 정의합니다. x 1 ) p 2 ( y 2 x 2 ) { displaystyle \forall (x_{1 },x_{2}\in ({\mathcal { X}}_{1},{\mathcal {X}_{ 2}),\in (\mathcal {Y1},y_{2}),\ in (\mathcal {\ mathcal {\cal {\} _1},{2 })
이 정리는 다음과 같이 기술한다.
C ( p 1 × p 2 ) = C ( p 1 ) + C ( p 2 ) \displaystyle C(p_{1}\times p_{2})=C(p_{1}+C(p_{2})}
증명 먼저 C ( p 1 × p 2) c C ( p 1 ) + C ( p 2 ){ display style C ( p _ {1} \ times p _ {2}\ geq C ( p _ {1} ) + C ( p _ {2} } q that 。
X 1({ displaystyle X_{1}) 과 X 2({displaystyle X_{2}) 를 독립된 랜덤 변수라고 합니다.Y 1({ displaystyle Y_{1}) 을 채널p 1({style p_{1 }) 경유 X 1 ({ style X_{1}) 및 X 2 ({ displaystyle X_ {2 }) ~ p 2 ({displaystyle p_2 }) 의 출력에 대응하는 랜덤 변수라고 합니다.
정의 C ( p 1 × p 2 ) = sup p X 1 , X 2 ( I ( X 1 , X 2 : Y 1 , Y 2) ( \ displaystyle C ( p _ {1} \ times p_ {2} = \ sup _ { p _ { X _ { 1 } , X _ {2} ( X _ 2 ) : { X _ { 2 } ) 。Y_{1}, Y_{2}}, ).
X1 ({ displaystyle X_{1}) 과 X2 ({ displaystyle X_{2}) 는 독립적 이므로 p1 ({ displaystyle p_{ 1})과 p2 ({ displaystyle p_{2 }) 는 독립적 입니다( X_{ 1 }, Y_ { 1}). Y_{2 }. 상호정보의 속성 을 적용할 수 있습니다. I ( X 1, X 2 : Y 1, Y 2 ) = I ( X 1 : Y 1 ) + I ( X 2 : Y 2 ) ( \ display style I ( X _ { 1 , X _ 2 ) 。Y_{1}, Y_{2}= I(X_{1}): Y_{1}+I(X_{2}): Y_{2}}
현시점에서는 I ( X1 , X2 : Y1 , Y2 ) i I( X1 : Y1 ) + I (X2 : Y2 ) 의 분포 pX1 , X2 (\ displaystyle p_{ 1}, X_{2}) 만 찾으면 됩니다. Y_{1},Y_{2}\geq I(X_{1}): Y_{1}+I(X_{2}): Y_{2 }. 실제로 § 1 (\displaystyle \pi _{ 1 })과 § 2 (\ displaystyle \pi _{2 }) 는 C(\displaystyle C(p_1 })와 C(\ displaystyle C ) 를 실현하는 X1 과 X2 (\displaystyle X_{2 }})의 2개의 확률 분포 입니다.
C ( p 1 × p 2 ) ≥ I ( X 1 , X 2 : Y 1 , Y 2 ) = I ( X 1 : Y 1 ) + I ( X 2 : Y 2 ) = C ( p 1 ) + C ( p 2 ) \displaystyle C(p_{1}\times p_{2}\geq I(X_{1},X_{2}): Y_{1}, Y_{2}= I(X_{1}): Y_{1}+I(X_{2}): Y_{2}=C(p_{1})+C(p_{2})} 즉, C ( p 1 × p 2 ) c C ( p 1 ) + C ( p 2) \ displaystyle C ( p _ {1} \ times p _ {2} \ geq C ( p _ {1} ) + C ( p _ {2} )
다음 으로 C ( p 1 × p 2) c C ( p 1 ) + C ( p 2) \ displaystyle C ( p _ {1} \ times p _ { 2} \leq C ( p _ {1} ) + C ( p _ {2} ) 를 나타냅니다.
§ 12 ({ displaystyle \pi _ { 12}) 는 채널 p 1 × p 2(X 1, X 2 )를 정의하는 {\displaystyle (X_ {1}, X_ {2 }) 및 대응 하는 출력(Y1 , Y2) 에 대한 분포입니다. {X}_{1}} 는 X1 의 알파벳 입니다.Y1 의 경우 Y1 ({ displaystyle X_{1 }), Y1의 경우 Y1 ({ displaystyle Y_{ 1 }), X2 ({ displaystyle {X}_ {2}} 및 Y2의 알파벳 입니다.
상호 정보의 정의에 따라, 우리는
I ( X 1 , X 2 : Y 1 , Y 2 ) = H ( Y 1 , Y 2 ) − H ( Y 1 , Y 2 X 1 , X 2 ) ≤ H ( Y 1 ) + H ( Y 2 ) − H ( Y 1 , Y 2 X 1 , X 2 ) 디스플레이 스타일 I(X_{1},X_{2}): Y_{1}, Y_{2}&=H(Y_{1}, Y_{2})-H(Y_{1}, Y_{2} X_{1}\&\leq H(Y_{1}+H(Y_{2})-H(Y_{1})-H(Y_{2})-H(Y_{1}-{2})-H(Y_{2})-H(Y_{2})-)-H(Y_{2})-(Y_{2})-)-H(Y)-(Y_{1}-)-(Y_1-)-)-)-(Y_
엔트로피의 마지막 항을 다시 써 봅시다.
H ( Y 1 , Y 2 X 1 , X 2 ) = ∑ ( x 1 , x 2 ) ∈ X 1 × X 2 P ( X 1 , X 2 = x 1 , x 2 ) H ( Y 1 , Y 2 X 1 , X 2 = x 1 , x 2 ) {\displaystyle H(Y_{1},Y_{2} X_{1},X_{2}=\sum _{(x_{1},x_{2})\in {mathcal {X}_{1}\times {X}_{2}\mathbbb {P}(X_1},X_{2}},{1},{1},{1},{1}},{1},{1},{1}},{1},{1}},{1}}},{1}},{1}},{1}},{1}},{1}}},{1}}, H(Y_{1},Y_{2} X_{1},X_{2}=x_{1},x_{2})}
제품 채널의 정의에 따라 P(Y 1, Y2 = y1 , Y2 X1 , X2 = x1 , x2 ) = P (Y1 = y1 X1 = x1 ) P (Y2 = Y2 = X2 = x2 ) {\ style \mathbp {Y} ({1}) b {P}(Y_{ 2}=y_{2} X_{ 2}=x_{ 2}). 지정된 쌍(x 1 , x 2)(x_{1}, x_{2 }) 에 대해 H (Y 1, Y 2 X 1, X 2 = x 1, x 2 )를 다시 쓸 수 있습니다.
H ( Y 1 , Y 2 X 1 , X 2 = x 1 , x 2 ) = ∑ ( y 1 , y 2 ) ∈ Y 1 × Y 2 P ( Y 1 , Y 2 = y 1 , y 2 X 1 , X 2 = x 1 , x 2 ) 로그. ( P ( Y 1 , Y 2 = y 1 , y 2 X 1 , X 2 = x 1 , x 2 ) ) = ∑ ( y 1 , y 2 ) ∈ Y 1 × Y 2 P ( Y 1 , Y 2 = y 1 , y 2 X 1 , X 2 = x 1 , x 2 ) [ 로그. ( P ( Y 1 = y 1 X 1 = x 1 ) ) + 로그. ( P ( Y 2 = y 2 X 2 = x 2 ) ) ] = H ( Y 1 X 1 = x 1 ) + H ( Y 2 X 2 = x 2 ) {\displaystyle {\begin{1}, Y_{2} X_{1}, X_{2}=x_{1}, x_{2}=\sum _{{1}, y_{2}\in {\mathcal {Y}}_{1}\times {\mathcal {Y}{2}Y}\mathBBBB} \&=\sum _{(y_{1},y_{2}\in {mathcal {Y}}_{1}\times {mathcal {Y}}_{2}\mathbb {P}(Y_{1}=y_{2} X_{1},X_2}_{1},{1},{1},{1},{1},{1},{1},{1},{1}},{1},{1},{1}},{1},\mathcal {1},\mathbbbbbbbbbbbbbbbbb}}}}}
전체 (x 1 , x 2) {displaystyle (x_{1}, x_{2 }) {\ displaystyle (x_ {1 }, x_ { 2}) = H (Y 1 X 1 ) + H (Y 2 X 2) {\displaystyle H(Y_1}, Y_{2}) {1} {1}, X } 를 구합니다.
이제 상호 정보에 대한 상한을 지정할 수 있습니다.
I ( X 1 , X 2 : Y 1 , Y 2 ) ≤ H ( Y 1 ) + H ( Y 2 ) − H ( Y 1 X 1 ) − H ( Y 2 X 2 ) = I ( X 1 : Y 1 ) + I ( X 2 : Y 2 ) 디스플레이 스타일 I(X_{1},X_{2}): Y_{1}, Y_{2}&\leq H(Y_{1})+H(Y_{2})-H(Y_{1}-H(Y_{1})-H(Y_{2} X_{2}\&=I(X_{1}): Y_{1}+I(X_{2}): Y_{2}\end {aligned}}
이 관계는 최상위에 보존되어 있다. 그러므로
C ( p 1 × p 2 ) ≤ C ( p 1 ) + C ( p 2 ) \displaystyle C(p_{1}\times p_{2}\leq C(p_{1}+C(p_{2})}
우리가 증명한 두 부등식을 조합하여 정리 결과를 얻는다.
C ( p 1 × p 2 ) = C ( p 1 ) + C ( p 2 ) \displaystyle C(p_{1}\times p_{2})=C(p_{1}+C(p_{2})}
그래프의 섀넌 용량 G가 무방향 그래프일 경우 심볼이 그래프 정점인 통신채널을 정의하기 위해 사용할 수 있으며, 각 위치의 심볼이 같거나 인접한 경우 두 개의 코드워드가 서로 혼동될 수 있다. 이러한 채널의 섀넌 용량을 찾는 계산 복잡성은 여전히 열려 있지만, 또 다른 중요한 그래프 불변량인 Lovasz [5] 숫자에 의해 상한을 설정할 수 있다.
노이즈 채널 부호화 정리 노이즈 채널 부호화 정리에서는 에러 확률 θ> 0 및 채널캐퍼시티 C보다 작은 전송 레이트R 에 대해서, 충분히 큰 블록 길이에 대해서, 에러 확률이 θ 미만인 레이트 R 로 데이터를 송신하는 부호화 및 복호화 방식이 존재하는 것을 나타내고 있습니다.또, 채널 용량보다 큰 레이트에 대해서는, 블록 길이가 무한대로 되면, 수신측의 에러 확률은 0.5가 됩니다.
적용 예 BHz 대역폭과 신호 대 잡음비 S/N 을 가진 가산 백색 가우스 노이즈(AWGN) 채널에 채널 용량 개념을 적용하는 것이 섀넌-하틀리 정리 입니다.
C = B 로그. 2 ( 1 + S N ) {\displaystyle C=B\log _{2}\left(1+{\frac {S}{N}}\right)\} C 는 B가 헤르츠 단위 라고 가정 하고, 로그 가 베이스 2에서 취해진 경우 초당 비트 수로 측정 되며, 신호 및 노이즈 파워 S 및 N은 선형 전력 단위(와트 또는2 볼트 등)로 표시됩니다.S/N 수치는 종종 dB 단위로 인용되기 때문 에 변환이 필요할 수 있습니다. 예를 들어 신호 대 잡음비가 30dB이면 10 30 / 10 = 10 3 = 1000 {\display 10^{30/10 } = 10^{3 }=1000 } 의 선형 전력비에 해당합니다.
무선 통신 채널 용량 여기에서는[6] 단일 안테나 포인트 투 포인트시나리오에 초점을 맞춥니다 여러 안테나를 탑재한 시스템의 채널 용량에 대해서는 MIMO 관련 문서를 참조하십시오.
대역제한 AWGN 채널 AWGN 채널 용량(전력 제한 영역 및 대역폭 제한 영역 포함) 여기 서 P n N 0 = 1 { displaystyle { frac { P } } { N _ { 0 } = 1 ;B 및 C는 다른 값에 비례하여 스케일링할 수 있습니다. 평균 수신전력이 Pµ({ displaystyle {P}}[ W]), 총 대역폭 이 W(Hz ), 노이즈 파워 스펙트럼 밀도가 N 0({ displaystyle N_{0}) 인 경우 AWGN 채널의 용량은 다음과 같습니다.
C AWGN = W log 2 ( 1 + P n N 0 W ){ display C_{\text { AWGN}}=W\log _{2}\left(1+{\frac {P}}{N_{0}) W}}\right)} [비트/초], 여기 서 P n N 0 W(\style\frac {P}}{N_{0}) W}} 는 수신 신호 대 잡음비(SNR)입니다.이 결과는 섀넌-하틀리 [7] 정리 라고 알려져 있다.
SNR이 클 경우(SNR 0 0 dB), capacity C w W log 2 p P n N 0 W \ display C \ about W \ log _ { 2 } { \ frac { P } { N _ { 0 } W}} 은 (는) 검정력 로그이며 대역폭은 거의 선형입니다. 이를 대역폭 제한 체제라고 합니다.
SNR이 작을 경우(SNR 0 0 dB), capacity C p P ln N 0 ln 22 { displaystyle C\ about \ frac { \ frac { P } { N _ { 0 } \ ln 2 }}는 전력은 선형이지만 대역폭에는 영향을 받지 않습니다. 이것은 권력 제한 체제라고 불립니다.
이 그림에 대역폭 제한 체제와 전력 제한 체제를 나타냅니다.
주파수 선택형 AWGN 채널 주파수 선택 채널의 용량은 소위 물 채우기 전력 할당에 의해 주어진다.
C N c = ∑ n = 0 N c − 1 로그. 2 ( 1 + P n ∗ h ¯ n 2 N 0 ) , {\displaystyle C_{N_{c}=\sum _{n=0}^{n}-1}\log _{2}\left(1+{\frac {P_{n}^{*}{n}^{2}}{N_{0}\right} 여기 서 P n = max { ( 1 - - N 0 h ¯ n 2 ) , 0 } { display style P_{n }^*} = \ max \ left \ { \ left \ frac { 1 } { \ frac { N _ 0 } } - { { \ barh } ^ { n } \ right } } 、tyle n. 전력 제약 조건을 충족하기 위해 "\displaystyle\displayda" 를 선택합니다.
저속 페이딩 채널 지연요건 보다 간섭시간이 큰 저속 페이딩 채널 에서는 채널에서 지원되는 신뢰성 높은 통신의 최대 레이트가 log 2 µ (1 + h 2 S N R ){ displaystyle \log _{2}(1+h ^{2}SNR )} 이므로 확실한 캐퍼시티는 없습니다 .aystyle h ^{2 }}: 트랜스미터가 인식하지 않습니다.송신기가 R({displaystyle R}[ bits/s/Hz]) 속도 로 데이터를 인코딩하는 경우, 디코딩 오류 확률을 임의로 낮출 수 없는 가능성이 0이 아닙니다.
p o t = P ( log ( ( 1 + h 2 S N R ) < R ) \ display p _ { out } = \ mathbb { P } ( \ log ( 1 + h^ { 2} SNR ) < R ) , 이 경우 시스템이 정지된 것으로 알려져 있습니다. 채널이 딥페이드 상태일 확률이 0이 아닐 경우, 엄밀한 의미에서 저속페이드 채널의 캐퍼시티는 제로입니다. 단, 정지확률 p o t {\displaystyle p_{out} 이 (가) {\ {\displaystyle \epsilon } 미만일 경우 R {\displaystyle R} 의 최대값을 결정할 수 있으며, 이 값을 {\ {\displaystyle \epsilon } -outage capacity라고 합니다.
고속 페이딩 채널 레이텐시 요건이 코히렌스 시간보다 크고 코드워드 길이가 많은 코히렌스 기간에 걸쳐 있는 패스트페이드 채널에서는 다수의 코히렌스 시간 간격에 걸쳐 부호화함으로써 다수의 독립된 채널 페이드에서 평균을 낼 수 있다. 따라서 E(log 2 µ ( 1 + h 2 S N R )의 신뢰성 높은 통신 레이트를 달성할 수 있습니다.\display \mathbb {E}(\log _{2 }(1+ h ^{2}SNR)), [bits/s/Hz]를 고속 페이딩 채널의 캐퍼시티로 하는 것은 의미가 있습니다.
「 」를 참조해 주세요. 고도의 커뮤니케이션 토픽 외부 링크
레퍼런스 ^ Saleem Bhatti. "Channel capacity" . Lecture notes for M.Sc. Data Communication Networks and Distributed Systems D51 -- Basic Communications and Networks . Archived from the original on 2007-08-21. ^ Jim Lesurf. "Signals look like noise!" . Information and Measurement, 2nd ed . ^ Thomas M. Cover, Joy A. Thomas (2006). Elements of Information Theory . John Wiley & Sons, New York. ISBN 9781118585771 . ^ Cover, Thomas M.; Thomas, Joy A. (2006). "Chapter 7: Channel Capacity". Elements of Information Theory (Second ed.). Wiley-Interscience. pp. 206–207. ISBN 978-0-471-24195-9 . ^ 를 클릭합니다Lovász, László (1979), "On the Shannon Capacity of a Graph", IEEE Transactions on Information Theory , IT-25 (1): 1–7, doi :10.1109/tit.1979.1055985 . ^ David Tse, Pramod Viswanath (2005), Fundamentals of Wireless Communication , Cambridge University Press, UK, ISBN 9780521845274 ^ The Handbook of Electrical Engineering . Research & Education Association. 1996. p. D-149. ISBN 9780878919819 .