섀넌-하틀리 정리

정보이론
엔트로피 미분 엔트로피 조건부 엔트로피 관절 엔트로피 상호정보 조건상호정보 상대 엔트로피 엔트로피 레이트 이산형 점의 밀도 제한
점증적 설비 특성 비율-분산 이론
섀넌의 소스 코딩 정리 채널 용량 노이즈 채널 코딩 정리 섀넌-하틀리 정리
v t

정보 이론에서 섀넌-하틀리 정리는 소음이 존재하는 경우 특정 대역폭의 통신 채널을 통해 정보가 전송될 수 있는 최대 속도를 알려준다. 가우스 노이즈의 대상이 되는 연속 시간 아날로그 통신 채널의 원형 케이스에 노이즈 채널 코딩 정리를 적용한 것이다. 이 정리는 그러한 통신 링크에 대한 섀넌의 채널 용량을 설정하며, 신호 파워가 경계되고 가우스 소음 프로세스가 kn으로 특징지어진다고 가정하고, 소음 간섭이 있는 상태에서 특정 대역폭으로 전송될 수 있는 시간 단위당 최대 무오류 정보의 양에 대한 경계를 설정한다.자체 전력 또는 전력 스펙트럼 밀도 이 법은 Claude Shannon과 Ralph Hartley의 이름을 따서 지어졌다.

정리명세서

섀넌-하틀리 정리에는 채널 $용량{\displaystyle }$ C ${\displaystyle C}$이(가) 명시되어 있는데$,$ 이는 부가 휘의 대상이 되는 아날로그 통신 채널을 통해$$ 평균 수신 신호 전력 $S{\displaystyle }$ ${\displaystyle S}$을 사용하여 임의로 낮은 오류율로 통신할 수 있는 데이터의 정보 속도에 대해 이론적으로 가장 엄격한 상한선을 의미한다.전원 $N{\displaystyle }$ ${\displaystyle N}$의 가우스 노이즈(AWGN$):$

어디에

• ${\displaystyle C}$ ${\displaystyle C}$은(는) 초당 비트 단위의 채널 용량으로, 오류 수정 코드를 제외한 순 비트 전송률(정보 속도, 때로는 I ${\displaystyle I}$으로 표시됨$)$의 이론적 상한이다.
• ${\displaystyle B}$ ${\displaystyle B}$은(는) 채널의 대역폭(대역 통과 신호의 경우 대역폭)이다.
• ${\displaystyle S}$ ${\displaystyle S}$은 대역폭에 대한 평균 수신 신호 전력(통신사 변조 패스밴드 전송의 경우, 흔히 C로 표시됨)이며$$ 와트(또는 볼트 제곱)로 측정된다.
• ${\displaystyle N}$ ${\displaystyle N}$은 대역폭에 대한 노이즈 및 간섭의 평균 전력이며 와트(또는 볼트 제곱)로 측정된다.
• ${\displaystyle S}$/ ${\displaystyle N}$ ${\displaystyle S/N}$은 수신기의 잡음 및 간섭에 대한 통신 신호의 신호 대 잡음 비(SNR) 또는 반송파 대 잡음 비(CNR)이다$$(로가리듬 데시벨이 아닌 선형 전력 비로 표시).

역사적 발전

1920년대 후반에 해리 나이키스트와 랄프 하틀리는 특히 통신 시스템으로서 전신의 맥락에서 정보의 전송과 관련된 몇 안 되는 기본적인 사상을 개발했다. 당시 이러한 개념들은 개별적으로 강력한 돌파구였지만 종합 이론의 일부가 아니었다. 1940년대에 클로드 섀넌은 부분적으로 나이키스트와 하틀리의 사상을 바탕으로 채널 용량 개념을 발전시킨 후, 완전한 정보이론과 그 전달 이론을 공식화했다.

나이키스트 레이트

1927년 나이키스트는 단위 시간 당 전신 채널을 통해 투입될 수 있는 독립 펄스 수가 채널 대역폭의 2배로 제한된다고 판단했다. 기호 표기법에서는

${\displaystyle f_{p}\leq 2B}$

여기서 $f{\displaystyle {}_{}}$ ${\displaystyle p_{}}$ ${\$는 펄스 주파수(초당 펄스 단위), B ${\displaystyle B}$은 대역폭($Hz$ 단위)이다. 이후$$ 수량 $[\디스플레이$ 스타일 $2B}$는 나이키스트 속도라고 불리게 되었고, 나이키스트 속도에서 신호 전달으로서 $초당{\displaystyle \mathrm{}}$ $[\디스플레이$ 스타일 $2B}$의 제한 펄스 속도로 전송된다. 나이키스트는 1928년 자신의 논문 "전신전송 이론의 확실한 주제"의 일환으로 그의 연구 결과를 발표했다.^[1]

하틀리의 법칙

1928년 동안, Hartley는 정보와 그것의 회선 속도(초당 데이터 신호 전송 속도 R 비트라고도 한다)^[2]를 정량화하는 방법을 공식화했다. 나중에 하틀리의 법칙으로 알려진 이 방법은 섀넌의 채널 용량에 대한 보다 정교한 개념의 중요한 선구자가 되었다.

하틀리는 통신 채널을 통해 신뢰성 있게 전송 및 수신할 수 있는 구별 가능한 펄스 레벨의 최대 수는 신호 진폭의 동적 범위와 수신자가 진폭 레벨을 구별할 수 있는 정밀도에 의해 제한된다고 주장했다. 구체적으로, 송신 신호의 진폭이 [-A ... +A]V의 범위로 제한되고 수신기의 정밀도가 ±ΔV인 경우, 다음과 같이 최대 고유 펄스 M의 개수가 주어진다.

${\displaystyle M}$= ${\displaystyle 1}$+ ${\displaystyle A\frac{}{}}$ ${\displaystyle \frac{\Delta \mathrm{}}{}}$ ${\displaystyle \frac{V}{}}$ ${\$ V$\}\}\}$

비트/펄스 단위로 펄스당 정보를 취하여 전송할 수 있는 개별 메시지 M 수의 베이스-2 로그가 되도록 하틀리는^[3] 다음과 같이 라인 레이트 R의 측정을 구성했다.

${\displaystyle R=f_{p}\log _{2}(M),}$

여기서 $f{\displaystyle {}_{}}$ ${\displaystyle p_{}}$ ${\$는 기호$$/초 또는 보로 기호 속도라고도 하는 펄스 속도다.

그런 다음 Hartley는 위의 정량화를 $대역폭{\displaystyle }$ B {\$displaystyle B}$ Hertz의 채널을 통해 넣을 수 있는 독립 펄스 $수$가 ${\displaystyle \mathrm{초당}}$ 2 B$[\displaystyle 2B}$개라는$$ 나이키스트의 관측과 결합하여 달성 가능한 회선 속도에 대한 정량적 측정에 도달했다.

Hartley의 법칙은 때때로 헤르츠에서 아날로그 대역폭인 $B{\displaystyle }$ ${\displaystyle B$과 오늘날 디지털 대역폭이라고 $불리는{\displaystyle }$ R ${\displaystyle R$ 사이의 비례성에 불과한 것으로 인용되기도 한다.^[4] $다른{\displaystyle }$ 경우에는 R ${\displaystyle R}$비트의$$ 달성 가능한 회선 속도에 따라 이러한 정량적 형태로 인용된다.^[5]

${\displaystyle R\leq 2B\log _{2}(M).}$

Hartley는 숫자 M이 채널의 소음 통계에 어떻게 의존해야 하는지 또는 개별 기호 펄스를 M 레벨과 신뢰성 있게 구별할 수 없는 경우에도 통신이 신뢰할 수 있게 이루어질 수 있는 방법을 정확히 파악하지 못했다. 가우스 소음 통계량을 통해 시스템 설계자는 $M{\displaystyle }$ ${\displaystyle$]의 매우 보수적인 값을 선택해야 했다.$낮은$ 오류율을 달성하려면$$ M$}.$

오류 없는 용량의 개념은 정보의 로그 측정에 대한 하틀리의 관찰과 대역폭 제한의 영향에 대한 나이키스트의 관찰을 바탕으로 구축된 클로드 섀넌을 기다렸다.

하틀리의 속도 결과는 초당 ${\displaystyle 2}$ B$[\displaystyle 2B}$ 기호의$$ 오류 없는 M-ary 채널 용량으로 볼 수 있다. 어떤 저자들은 그것을 역량으로 언급한다. 그러나 그러한 오류 없는 채널은 이상화되며, 만약 M을 소음이 많은 채널을 거의 오류가 없을 정도로 작게 선택한다면, 그 결과는 반드시 대역폭 $B$의 소음이 많은 채널의 섀넌 용량$([\displaystyle$ B$\})$보다 적으며, 이는 나중에 이어진 하틀리-샤논 결과인 것이다.

노이즈가 많은 채널 코딩 정리 및 용량

클로드 섀넌이 제2차 세계대전 중 정보이론을 발전시킨 것은 시끄러운 채널을 통해 얼마나 많은 정보가 안정적으로 전달될 수 있는지를 이해하는 다음 큰 단계를 제공했다. 하틀리의 기초 위에 세워진 섀넌의 노이즈 채널 코딩 정리(1948)는 오류 수정 방법 대 소음 간섭 및 데이터 손상 수준의 최대 가능 효율을 설명한다.^[6][7] 정리의 증거는 임의로 구성된 오류 수정 코드가 기본적으로 가능한 최상의 코드만큼 좋다는 것을 보여준다; 정리는 그러한 무작위 코드의 통계를 통해 증명된다.

섀넌의 정리는 채널의 통계적 설명으로부터 채널 용량을 계산하는 방법을 보여주고, $용량{\displaystyle }$ C ${\displaystyle C}$과 선율 $R{\displaystyle }$ ${\displaystyle R}$에서 전송되는 정보를 제공하는 것을 확립한다$.$

$R<C}$

수신기의 오류 확률을 임의로 작게 만드는 코딩 기법이 존재한다. 이는 이론적으로 초당 $C{\displaystyle }$ ${\displaystyle C}$비트의$$ 거의 한계까지 오류 없이 정보를 거의 전송할 수 있다는 것을 의미한다.

역행도 중요하다. 만약

$(\displaystyle R>C)$

속도가 증가함에 따라 제한 없이 수신기의 오류 확률이 증가한다. 그래서 채널 용량을 넘어서는 어떤 유용한 정보도 전송될 수 없다. 그 정리는 비율과 능력이 같은 희귀한 상황을 다루지 않는다.

섀넌-하틀리 정리는 가우스 노이즈의 영향을 받는 유한대역폭 연속시간 채널에 대한 채널 용량이 무엇인지 설정한다. 하틀리의 결과를 섀넌의 채널 용량 정리와 신호 대 잡음 비 측면에서 하틀리의 라인 레이트 공식에 M을 명시하는 것과 동등한 형태로 연결하지만, 신뢰성 있게 구별할 수 있는 펄스 레벨을 통해서가 아니라 오류 보정 코딩을 통해 신뢰성을 달성한다.

만약 노이즈가 없는 아날로그 채널과 같은 것이 있다면, 시간 단위당 무오류 무오류 데이터를 무제한으로 전송할 수 있다(주: 무한대역 아날로그 채널은 무오류 무오류 데이터를 무제한으로 전송할 수 없다는 점에 유의한다). 그러나 실제 채널은 유한 대역폭과 0이 아닌 노이즈에 의해 부과되는 제한의 대상이 된다.

대역폭과 노이즈는 아날로그 채널을 통해 정보가 전송될 수 있는 속도에 영향을 미친다. 대역폭 제한만으로 최대 정보 속도에 제한을 가하지 않는데, 신호는 각 기호 펄스에서 서로 다른 전압 레벨의 무한정 많은 수를 차지할 수 있고, 각 레벨마다 다른 의미나 비트 시퀀스가 할당되기 때문이다. 그러나 노이즈와 대역폭의 한계를 모두 고려했을 때, 정교한 다단계 인코딩 기법을 사용했을 때에도 한정된 전력의 신호에 의해 전송될 수 있는 정보의 양에는 한계가 있다.

섀넌-하틀리 정리가 고려한 채널에서 소음과 신호는 추가에 의해 결합된다. 즉, 수신기는 원하는 정보를 인코딩하는 신호의 합과 동일한 신호와 노이즈를 나타내는 연속 랜덤 변수를 측정한다. 이 추가는 원래 신호의 값에 대한 불확실성을 생성한다. 수신기가 소음을 발생시키는 무작위 프로세스에 대한 정보를 가지고 있는 경우, 소음 프로세스의 가능한 모든 상태를 고려하여 원칙적으로 원래 신호의 정보를 복구할 수 있다. 섀넌-하틀리 정리의 경우, 소음이 알려진 분산을 가진 가우스 공정에 의해 발생하는 것으로 가정한다. 가우스 공정의 분산이 그 힘과 같기 때문에, 이러한 분산을 소음력이라고 부르는 것은 관습적이다.

그러한 채널을 가우스 노이즈 채널이라고 하는데, 신호에 가우스 노이즈가 추가되기 때문이다. "흰색"은 채널 대역폭 내의 모든 주파수에서 동일한 양의 노이즈를 의미한다. 이러한 소음은 에너지의 무작위 공급원과 송신자와 수신자의 코딩 및 측정 오류에서 각각 발생할 수 있다. 독립 가우스 랜덤 변수의 합은 그 자체로 가우스 랜덤 변수이기 때문에, 이러한 오류 출처도 가우스적이고 독립적이라고 가정한다면, 이것은 분석을 편리하게 단순화한다.

Implications of the theorem

Comparison of Shannon's capacity to Hartley's law

Comparing the channel capacity to the information rate from Hartley's law, we can find the effective number of distinguishable levels M:^[8]

${\displaystyle 2B\log _{2}(M)=B\log _{2}\left(1+{\frac {S}{N}}\right)}$

${\displaystyle M={\sqrt {1+{\frac {S}{N}}}}.}$

The square root effectively converts the power ratio back to a voltage ratio, so the number of levels is approximately proportional to the ratio of signal RMS amplitude to noise standard deviation.

This similarity in form between Shannon's capacity and Hartley's law should not be interpreted to mean that ${\displaystyle M}$ pulse levels can be literally sent without any confusion. More levels are needed to allow for redundant coding and error correction, but the net data rate that can be approached with coding is equivalent to using that ${\displaystyle M}$ in Hartley's law.

Frequency-dependent (colored noise) case

In the simple version above, the signal and noise are fully uncorrelated, in which case ${\displaystyle S+N}$ is the total power of the received signal and noise together. A generalization of the above equation for the case where the additive noise is not white (or that the ${\displaystyle S/N}$ is not constant with frequency over the bandwidth) is obtained by treating the channel as many narrow, independent Gaussian channels in parallel:

${\displaystyle C=\int _{0}^{B}\log _{2}\left(1+{\frac {S(f)}{N(f)}}\right)df}$

where

• ${\displaystyle C}$ is the channel capacity in bits per second;
• ${\displaystyle B}$ is the bandwidth of the channel in Hz;
• ${\displaystyle S(f)}$ is the signal power spectrum
• ${\displaystyle N}$( ${\displaystyle f}$) ${\displaystyle N(f)}$은(는) 소음 전력 스펙트럼이다.
• ${\displaystyle f}$ ${\displaystyle f}$은(는) 주파수(Hz).

참고: 이 정리는 가우스 정지 공정 노이즈에만 적용된다. 이 공식의 주파수 의존적 소음 도입 방식은 모든 연속 시간 소음 프로세스를 설명할 수 없다. 예를 들어, 진폭이 1 또는 -1인 임의의 파장과 그러한 파형을 소스 신호에 추가하는 채널을 추가하는 노이즈 프로세스를 고려해 보십시오. 그러한 파동의 주파수 성분은 의존도가 높다. 그러한 노이즈가 높은 출력을 가질 수 있지만, 기본 노이즈가 각 주파수 대역에서 독립적인 노이즈의 합계였다면 필요한 것보다 훨씬 적은 전력으로 연속 신호를 전송하는 것은 상당히 쉽다.

근사치

신호 대 잡음 비율이 크거나 작거나 일정한 경우 용량 공식은 대략 다음과 같이 추정할 수 있다.

대역폭 제한 사례

SNR이 클 때(S/N ≫ 1) 로그는 다음과 같이 근사치된다.

${\displaystyle \log _{2}\left(1+{\frac {S}{N}}\right)\approx \log _{2}{\frac {S}{N}}={\frac {\ln 10}{\ln 2}}\cdot \log _{10}{\frac {S}{N}}\approx 3.32\cdot \log _{10}{\frac {S}{N}}}$,

이 경우 용량은 전원이 로그이고 대역폭이 약 선형인 경우(N은 대역폭과 함께 증가하여 로그 효과를 부여하므로 그다지 선형적이지 않음). 이것을 대역폭 제한 정권이라고 한다.

${\displaystyle C\ 약 0.332\cdot B\cdot \mathrm {SNR\(in\dB)}}$

어디에

${\displaystyle \mathrm {SNR\ (in\dB)} =10\log _{10}{S \over N}}$

전력 제한 케이스

마찬가지로 SNR이 작을 경우(${\displaystyle S}$/ N ${\displaystyle \ll }$ ${\displaystyle 1}$ ${\displaystyle S/N\ll 1}),$ 로그에 근사치를 적용:$$

${\displaystyle \log _{2}\left(1+{\frac {S}{N}}\right)={\frac {1}{\ln 2}}\cdot \ln \left(1+{\frac {S}{N}}\right)\approx {\frac {1}{\ln 2}}\cdot {\frac {S}{N}}\approx 1.44\cdot {S \over N}}$;

그러면 용량은 선형으로 출력된다. 이를 권력 제한 정권이라고 한다.

${\displaystyle C\ 약 1.44\cdot B\cdot {S \over N}}$

이 낮은 SNR 근사치에서 용량은 노이즈가 흰색일 경우 대역폭과 무관하며, 스펙트럼 $밀도{\displaystyle {}_{}}$ ${\displaystyle {N\mathrm{}}_{}}$ 0 ${\$ 헤르츠당 와트$$(총 소음 출력은 $N{\displaystyle }$=${\displaystyle {}_{}}$ = ${\displaystyle {N\mathrm{}}_{}}$ =$B$ = $B\cdot N_{0$

${\displaystyle C\ 약 1.44\cdot {S \over N_{0}}}$

예

1. 0dB(신호 전력 = 노이즈 전력)의 SNR에서 용량(비트/초)은 대역폭(헤르츠)과 동일하다.
2. SNR이 20dB이고 사용 가능한 대역폭이 4kHz인 경우, 전화 통신에 적합한 경우, C = 4000 log₂(1 + 100) = 4000₂ log(101) = 26.63 kbit/s. S/N = 100의 값은 20dB의 SNR과 동일하다는 점에 유의한다.
3. 50 kbit/s로 전송해야 하고 10 kHz의 대역폭을 사용하는 경우, 필요한 최소 S/N이 50000 = 10000 log₂(1+S/N)로 제공되므로 C/B = 5 다음 S/N = 2⁵ - 1 = 31, 즉 14.91 dB(10 x log₁₀(31)의 SNR에 해당한다.
4. -30dB의 SNR로 수신된 1MHz 대역폭의 신호에 대한 채널 용량은? 그것은 소음에 깊이 파묻힌 신호를 의미한다. -30 dB는 S/N = 10을⁻³ 의미한다. 10⁶ log₂(1 + 10⁻³) = 1443 bit/s의 최대 정보 속도로 이어진다. 이러한 값은 일반적으로 GPS의 수신 범위 지정 신호의 대표적인 것으로, 내비게이션 메시지가 50비트/초(특정 S/N의 채널 용량 이하)로 전송되며, 전송 전 사이비 노이즈 곱셈에 의해 대역폭이 약 1 MHz로 전파된다.
5. 위에서 설명한 바와 같이 채널 용량은 채널의 대역폭과 SNR의 로그에 비례한다. 즉, 고정된 SNR 요건이 주어진 채널 대역폭을 증가시키거나 고정된 대역폭을 사용하여 매우 높은 SNR이 필요한 고차변조를 사용하여 채널 용량을 선형적으로 증가시킬 수 있다. 변조 속도가 증가함에 따라 스펙트럼 효율은 향상되지만 SNR 요건은 비용이 든다. 따라서 16QAM 또는 64QAM을 채택할 경우 SNR 요건은 기하급수적으로 상승하지만(: 4차 진폭 변조 참조) 스펙트럼 효율은 개선된다.

참고 항목

• 니키스트-샤논 샘플링 정리
• Eb/N0

메모들

참조

• Herbert Taub, Donald L. Schilling (1986). Principles of Communication Systems. McGraw-Hill.
• John M. Wozencraft and Irwin Mark Jacobs (1965). Principles of Communications Engineering. New York: John Wiley & Sons.

외부 링크

• 온라인 교과서: 데이비드 맥케이에 의한 정보 이론, 추론, 학습 알고리즘은 시끄러운 채널 코딩 정리의 두 가지 증거를 포함하여 섀넌 이론을 재미있고 철저하게 소개한다. 본문에서는 저밀도 패리티 체크 코드와 같은 코딩 이론부터 터보 코드까지 최첨단 방법에 대해서도 논의한다.
• 섀넌 리미트에 관한 MIT 뉴스 기사