정보 이론

이 문서에는 무차별, 과도 또는 무관한 예가 포함될 수 있습니다. 설명문을 더 추가하고 관련성이 낮은 예시를 삭제하여 기사를 개선해 주십시오. 더 나은 문서를 작성하려면 Wikipedia의 가이드를 참조하십시오.(2020년 5월)

정보 이론
엔트로피 미분 엔트로피 조건부 엔트로피 관절 엔트로피 상호 정보 조건부 상호 정보 상대 엔트로피 엔트로피율 이산점 밀도 제한
점근 등분할 특성 속도 왜곡 이론
섀넌의 소스 부호화 정리 채널 용량 노이즈 채널 부호화 정리 섀넌-하틀리 정리
v t

정보이론은 디지털 ^[1]정보의 수량화, 저장, 통신에 대한 과학적 연구이다.이 분야는 1920년대 해리 나이키스트와 랄프 하틀리, 1940년대 ^{[2]: vii} 클로드 섀넌의 작품에 의해 근본적으로 확립되었다.이 분야는 확률론, 통계학, 컴퓨터 공학, 통계 역학, 정보 공학, 전기 공학이 교차하는 지점에 있습니다.

정보 이론의 핵심 척도는 엔트로피입니다.엔트로피는 랜덤 변수의 값 또는 랜덤 프로세스의 결과에 관련된 불확실성의 양을 수량화합니다.예를 들어 공정코인 플립의 결과(두 가지 가능성이 동일한 결과)를 식별하는 것은 주사위 굴림의 결과(두 가지 가능성이 동일한 결과)를 지정하는 것보다 적은 정보(엔트로피 감소)를 제공한다.정보 이론에서 다른 중요한 척도는 상호 정보, 채널 용량, 오차 지수, 상대 엔트로피입니다.정보 이론의 중요한 하위 분야에는 소스 코딩, 알고리즘 복잡도 이론, 알고리즘 정보 이론 및 정보 이론 보안이 포함됩니다.

정보 이론의 기본 주제 적용에는 소스 코딩/데이터 압축(ZIP 파일의 경우) 및 채널 코딩/오류 감지 및 수정(DSL의 경우)이 포함된다.그 영향은 깊은 우주로의 보이저 미션의 성공, 콤팩트 디스크의 발명, 휴대 전화의 실현 가능성, 그리고 인터넷의 발전에 결정적이었다.그 이론은 또한, 이는 통계적인 inference,[3]암호, neurobiology,[4]perception,[5]언어학, evolution[6], 분자적 코드의 function[7](생물 정보학), 열 physics,[8]분자 dynamics,[9]양자 컴퓨팅, 블랙 홀, 정보 검색, 정보 수집과 plagiari 분야에 응용을 발견했다.sm 가볍게 두들기는 사람 detection,[10]n 인식, 이상 검출^[11], 예술 창작까지 가능.

개요

정보이론은 정보의 전송, 처리, 추출 및 활용을 연구한다.추상적으로, 정보는 불확실성의 해결이라고 생각할 수 있다.잡음이 많은 채널을 통한 정보 전달의 경우, 이 추상적인 개념은 1948년 클로드 섀넌에 의해 "통신의 수학적 이론"이라는 논문에서 공식화 되었다. 이 이론에서는 정보가 가능한 메시지 집합으로 생각되며, 목표는 잡음이 많은 채널을 통해 이러한 메시지를 보내고 수신자를 다시 탐색하는 것이다.채널 노이즈에도 불구하고 오류 가능성이 낮은 메시지를 처리합니다.섀넌의 주요 결과인 노이즈 채널 코딩 정리는 많은 채널 사용의 한계에서 점근적으로 달성 가능한 정보의 속도는 단순히 메시지가 ^[4]전송되는 채널의 통계에 의존하는 채널 용량과 같다는 것을 보여주었다.

코딩 이론은 노이즈가 많은 채널을 통한 데이터 통신의 효율을 높이고 에러율을 채널 용량에 가깝게 줄이기 위해 코드라고 불리는 명시적 방법을 찾는 것과 관련이 있습니다.이러한 코드는 데이터 압축(소스 부호화) 및 오류 수정(채널 부호화) 기술로 크게 나눌 수 있습니다.후자의 경우, 섀넌의 연구가 가능하다는 것을 증명하는 방법을 찾는데 많은 시간이 걸렸다.

정보 이론 코드의 세 번째 클래스는 암호 알고리즘(코드 및 암호 모두)입니다.부호화 이론과 정보 이론의 개념, 방법 및 결과는 암호학 및 암호 해석에 널리 사용된다.이력 적용에 대해서는 기사 금지(단위)를 참조하십시오.

이력

정보 이론의 규율을 확립하고 그것을 전 세계에 즉시 알려준 획기적인 사건은 Claude E의 출판이었다.1948년 7월과 10월에 벨 시스템 테크니컬 저널에 실린 섀넌의 고전 논문 "소통의 수학적 이론".

이 논문 이전에는 Bell Labs에서 제한된 정보 이론 아이디어가 개발되었으며, 모두 암묵적으로 동일한 확률의 사건을 가정했다.Harry Nyquist의 1924년 논문, 전신 속도에 영향을 미치는 특정 요인(Secific Factors Affecting Telegraph Speed)은 통신 시스템에 의해 전송될 수 있는 "지능"과 "회선 속도"를 수량화하는 이론적 섹션을 포함하고 있으며, 여기서 W는 지능의 전송 속도이고, m은 di의 수이다.각 시간 스텝에서 선택할 수 있는 구심 전압 레벨이며 K는 상수입니다.Ralph Hartley의 1928년 논문, Transmission of Information은 하나의 기호 시퀀스를 다른 기호와 구별할 수 있는 수신자의 능력을 반영하여 H = logⁿ S = n log S로 정보를 수량화하며, 여기서 S는 가능한 기호 수, n개의 기호로 전송한다.따라서 정보의 단위는 십진수였고, 그 이후로는 정보의 단위, 척도 또는 척도로서 그를 기리기 위해 종종 하틀리라고 불렸다.1940년 앨런 튜링은 독일의 2차 세계 대전 에니그마 암호 해독에 대한 통계 분석의 일부로 유사한 생각을 사용했다.

다른 확률의 사건들을 가진 정보 이론 뒤에 있는 수학의 대부분은 루드비히 볼츠만과 윌러드 깁스에 의해 열역학 분야를 위해 개발되었다.1960년대 롤프 란다우어의 중요한 공헌을 포함한 정보이론 엔트로피와 열역학 엔트로피 사이의 연관성은 열역학 및 정보 이론의 엔트로피에서 탐구된다.

Shannon의 혁신적이고 획기적인 논문에서 Shannon은 1944년 말까지 Bell Labs에서 실질적으로 완성되었으며, 처음으로 정보 이론의 기초가 되는 통계 프로세스로서 의사소통의 질적 및 양적 모델을 도입하였습니다.

"통신의 근본적인 문제는 한 지점에서 정확히 또는 대략적으로 다른 지점에서 선택된 메시지를 재생하는 것입니다.

그 결과 라는 생각이 들었다.

• 선원의 정보 엔트로피와 중복성 및 선원 부호화 정리를 통한 관련성
• 잡음 채널 부호화 정리에 의해 주어진 완벽한 무손실 통신을 포함한 잡음 채널의 상호 정보 및 채널 용량
• 가우스 채널의 채널 용량에 대한 섀넌-하틀리 법칙의 실제 결과
• 비트: 정보의 가장 기본적인 단위를 보는 새로운 방법입니다.

정보의 양

정보 이론은 확률 이론과 통계에 기초한다.정보 이론은 종종 랜덤 변수와 관련된 분포의 정보 척도와 관련이 있습니다.정보의 중요한 양은 단일 랜덤 변수의 정보 척도인 엔트로피와 두 랜덤 변수 간의 공통 정보 척도인 상호 정보입니다.전자의 수량은 랜덤 변수의 확률 분포의 속성이며 주어진 분포를 가진 독립 표본에 의해 생성된 데이터가 안정적으로 압축될 수 있는 속도에 대한 제한을 제공합니다.후자는 2개의 랜덤 변수의 공동분포 특성으로, 채널 통계가 공동분포에 의해 결정되는 경우 긴 블록 길이의 제한에 있는 노이즈가 많은 채널을 통한 신뢰할 수 있는 최대 통신 속도입니다.

다음 공식에서 로그 베이스를 선택하면 사용되는 정보의 엔트로피 단위가 결정됩니다.정보의 일반적인 단위는 바이너리 로그를 기반으로 한 비트입니다.다른 단위로는 자연대수를 기반으로 하는 nat과 일반대수를 기반으로 하는 십진수가 있습니다.

다음 예에서 p log p 형식의 표현은 p = 0일 때마다 0과 같은 것으로 간주됩니다.이는 모든 로그 베이스에 대해 ${\displaystyle \underset{}{lim}}$ p ${\displaystyle \underset{}{\to 0}}$ + ${\displaystyle p}$ log${\displaystyle \theta }$ p ${\displaystyle =}$ { $displaystyle \lim$_ {$p\rightarrow$ 0$+}p\log$ p$=0}$이므로 정당화됩니다.

정보원의 엔트로피

통신하는 각 소스 심볼의 확률 질량 함수에 근거하여 샤논 엔트로피 H는 비트 단위(심볼당)로 주어진다.

$\displaystyle H=-\sum _{i}p_{i}\log _{2}(p_{i})$

여기서_i p는 소스 기호의 i번째 가능한 값의 발생 확률입니다.이 방정식은 기저 2의 대수를 사용하기 때문에 "비트" 단위로 엔트로피를 나타내며, 이 기저 2의 엔트로피 척도는 때때로 그를 기리기 위해 섀넌이라고 불립니다.엔트로피는 또한 일반적으로 자연 로그(기본값 e, 여기서 e는 오일러의 수)를 사용하여 계산되는데, 이는 기호당 nats 단위의 엔트로피를 측정하며, 때때로 공식에 추가 상수를 포함할 필요성을 피함으로써 분석을 단순화합니다.다른 베이스도 사용할 수 있지만 일반적으로는 사용되지 않습니다.예를 들어, 로그 값이⁸ 2 = 256이면 기호당 바이트 단위로 측정되고, 로그 값이 10이면 기호당 십진수(또는 하트리) 단위로 측정됩니다.

직관적으로 이산 랜덤 변수 X의 엔트로피_X H는 분포만 알고 있을 때 X의 값과 관련된 불확실성의 양을 측정하는 것입니다.

독립적이고 동일한 분포(iid)의 N개 기호 시퀀스를 방출하는 소스의 엔트로피는 N µH 비트(N개 기호 메시지당)입니다.소스 데이터 기호가 동일하게 분포되어 있지만 독립적이지 않은 경우 길이 N의 메시지의 엔트로피는 N µ H보다 작습니다.

1000비트(0 및 1s)를 송신하고, 이러한 각 비트의 값이 송신전에 수신기에 인식되고 있는 경우(확실히 특정의 값을 가지는 경우), 정보는 송신되지 않는 것이 명확합니다.단, 각 비트가 독립적으로0 또는 1이 될 가능성이 높은 경우 1000개의 정보(더 자주 비트라고 불립니다)가 송신되었습니다.이 두 극단 사이에서 정보는 다음과 같이 수량화할 수 있습니다.X$(\$가 X일 수 있는 모든 메시지 {x₁, ..., x_n}의 세트이고 p(x)가 일부 $(\$ x$\in \mathbb {X$의 확률인 $경우{\displaystyle \mathbb{}}$ X의 엔트로피, H가 ^[12]정의됩니다.

$\displaystyle H(X)=\mathbb {E}_{X}[I(x)]=-\sum _{x\in \mathbb {X} }p(x)\log p(x).}$

(여기서 I(x)는 개별 메시지의 엔트로피 기여인 자기 정보이며, ${\displaystyle {}_{}}$ X$(\$는 기대치입니다.)엔트로피의 특성은 메시지 공간 내의 모든 메시지가 적합 p(x) = 1/n일 때, 즉 가장 예측 불가능한 경우, 즉 H(X) = log n일 때 최대화된다는 것이다.

두 가지 결과를 갖는 랜덤 변수에 대한 정보 엔트로피의 특별한 경우는 이진 엔트로피 함수이며, 이는 보통 로그 베이스 2에 적용되며, 따라서 섀넌(Sh)을 단위로 한다.

${\displaystyle H_{\mathrm {b} }(p)=-p\log _{2}p-(1-p)\log _{2}(1-p).}$

관절 엔트로피

두 개의 이산 랜덤 변수 X와 Y의 결합 엔트로피는 단지 그 쌍의 엔트로피일 뿐이다: (X, Y).이것은 만약 X와 Y가 독립적이라면, 그들의 관절 엔트로피는 그들의 개별 엔트로피의 합이 된다는 것을 암시한다.

예를 들어 (X, Y)가 체스 피스의 위치를 나타내는 경우(X 행과 Y 열), 피스 행과 피스 열의 결합 엔트로피가 피스 위치의 엔트로피가 됩니다.

$\displaystyle H(X,Y)=\mathbb {E}_{X,Y}[-\log p(x,y)]=-\sum _{x,y}p(x,y)\log p(x,y),}$

비슷한 표기법에도 불구하고, 관절 엔트로피는 교차 엔트로피와 혼동해서는 안 된다.

조건부 엔트로피(등위)

X의 조건부 엔트로피 또는 조건부 불확실성(Y에 대한 X의 애매모호라고도 함)은 ^[13]Y에 대한 평균 조건부 엔트로피입니다.

$\displaystyle H(X Y)=\mathbb {E} '{Y}[H(X y)]=-\sum _{y\in X}p(y)\sum p(x y)=-\sum _{x,y}p(x,y)\log y(x)}$

엔트로피는 랜덤 변수 또는 랜덤 변수가 특정 값일 때 조정될 수 있기 때문에 조건 엔트로피의 이 두 정의를 혼동하지 않도록 주의해야 합니다.조건 엔트로피는 보다 일반적으로 사용됩니다.이 조건부 엔트로피의 기본 특성은 다음과 같습니다.

$({displaystyle H(X Y)=H(X,Y)-H(Y)}$

상호 정보(변환)

상호 정보는 다른 변수를 관찰하여 한 랜덤 변수에 대해 얻을 수 있는 정보의 양을 측정합니다.송신 신호와 수신 신호 사이에 공유되는 정보의 양을 최대화하기 위해서 사용할 수 있는 것은, 통신에 있어서 중요합니다.Y에 대한 X의 상호 정보는 다음과 같이 구한다.

$\displaystyle I(X;Y)=\mathbb {E}_{X,Y}[SI(x,y)]=\sum _{x,y}p(x,y)\log {frac {p(x,y)}{p(x,y)}}}$

여기서 SI(특정 상호 정보)는 포인트별 상호 정보입니다.

상호 정보의 기본 속성은 다음과 같습니다.

$({displaystyle I(X;Y)=H(X)-H(X Y)},$

즉, Y를 알고 있으면 Y를 모르는 경우와 비교하여 X를 인코딩할 때 평균 I(X; Y) 비트를 절약할 수 있습니다.

상호 정보는 대칭입니다.

$({displaystyle I(X;Y)=I(Y;X)=H(X)+H(Y)-H(X,Y)},$

상호 정보는 Y 값이 주어진 X의 후방 확률 분포와 X의 이전 분포 사이의 평균 쿨백-라이블러 발산(정보 이득)으로 표현될 수 있다.

${\displaystyle I(X;Y)=\mathbb {E} _{p(y)}[D_{\mathrm {KL} }(p(X Y=y)\p(X)]}$

즉, 이것은 평균적으로 Y 값이 주어지면 X에 대한 확률 분포가 얼마나 변화하는지 나타내는 측정값입니다.이는 종종 한계분포의 곱에서 실제 공동분포로의 차이로 재계산된다.

$({displaystyle I(X;Y)=D_{\mathrm {KL}}(p(X,Y)\p(Y)}).}$

상호 정보는 분할표와 다항 분포의 맥락에서 로그 우도 비율 검정과 밀접하게 관련되어 있으며 피어슨의 § 검정과² 밀접하게 관련되어 있다. 상호 정보는 변수 쌍 간의 독립성을 평가하기 위한 통계로 간주될 수 있으며 점근 분포가 잘 명시되어 있다.

Kullback-Leibler 발산(정보 게인)

Kullback-Leibler divergence($또는$ 정보 다이버전스, $정보$ 게인 또는 상대 엔트로피$)$는 두 가지 분포를 $비교$하는 방법입니다.$Q$${\displaystyle (}$ ${\displaystyle X}$)$。$데이터를 다음과 같이 압축하는 ${\displaystyle \mathrm{경우}}$($X{\displaystyle }$ ) 。$${\$displaystyle$q($X)}$는 일부 데이터의 기초가 되는 분포입니다.실제로 p$)$ {$displaystyle$ p$(X)}$가 $올바른{\displaystyle }$ 분포일 경우 Kullback-Leibler divergence는 압축에 필요한 데이터당 평균 추가 비트 수입니다.이렇게 정의되어 있다.

${\displaystyle D_{\mathrm {KL}(p(X)\q(X)}=\sum _{x\in X}-p(x)\log {q(x)},-,\sum _{x\in X}-p(x)=\sum _x\in xPRAC(x)$

KL 분기는 때로 '거리 측정'으로 사용되기는 하지만 대칭이 아니며 삼각 부등식(반준준준준준준계)을 충족하지 않기 때문에 진정한 측정 기준이 아니다.

KL의 차이에 대한 또 다른 해석은 '불필요한 놀라움'입니다.수치 X가 $확률분포{\displaystyle }$ p${\displaystyle (}$$)\displaystyle$ p$(x$displaystyle p(x)\$displaystyle$ p$($)\displaystyle p($x$displaystyle p$($x)\x$)\$를 갖는 이산 집합에서 무작위로 추출된다고 가정해 보겠습니다.이전) 분포가 q ${\displaystyle (x}$) {$displaystyle$q($x$이면 평균적으로 Bob은 Alice보다 X 값을 보고 더 놀랄 것입니다.KL 발산 값은 Bob의 (객관적) 놀라움 값에서 Alice의 놀라움 값을 뺀 값으로, 로그가 base 2에 있는 경우 비트 단위로 측정됩니다.이런 식으로, 밥의 사전이 "잘못"된 정도를 얼마나 "불필요하게" 놀랄 것으로 예상되는 지로 수량화할 수 있습니다.

기타 수량

다른 중요한 정보 이론 수량은 레니 엔트로피(엔트로피의 일반화), 미분 엔트로피(지속적인 분포에 대한 정보량의 일반화), 조건부 상호 정보를 포함한다.

부호화 이론

코딩 이론은 정보 이론의 가장 중요하고 직접적인 응용 프로그램 중 하나입니다.소스 코딩 이론과 채널 코딩 이론으로 나눌 수 있습니다.데이터에 대한 통계적 기술을 사용하여 정보 이론은 데이터를 기술하는 데 필요한 비트 수를 수량화합니다. 이는 소스의 정보 엔트로피입니다.

• 데이터 압축(소스 코딩):압축 문제에는 다음 두 가지 공식이 있습니다.
  • 무손실 데이터 압축: 데이터를 정확하게 재구성해야 합니다.
  • 손실 데이터 압축: 왜곡 함수에 의해 측정된 지정된 충실도 수준 내에서 데이터를 재구성하는 데 필요한 비트를 할당합니다.이 정보 이론의 서브셋을 속도 왜곡 이론이라고 부릅니다.
• 오류 수정 코드(채널 코딩):데이터 압축은 가능한 한 많은 용장성을 제거하지만 오류 수정 코드는 노이즈가 많은 채널을 통해 데이터를 효율적이고 충실하게 전송하기 위해 필요한 적절한 종류의 용장성(즉, 오류 수정)을 추가합니다.

압축 및 전송에 대한 부호화 이론의 이러한 분할은 많은 맥락에서 정보의 범용 통화로서 비트를 사용하는 것을 정당화하는 정보 전송 이론 또는 소스 채널 분리 이론으로 정당화된다.다만, 이러한 이론은, 송신 유저가 1명의 수신 유저와 통신하고 싶은 경우에만 유효합니다.복수의 송신기(멀티 액세스)채널), 복수의 수신기(브로드캐스트채널), 또는 중간 「헬퍼」(릴레이 채널), 또는 복수의 범용 네트워크가 있는 시나리오에서는, 압축 후에 송신하는 것이 최적이 되지 않게 되는 경우가 있습니다.

근원론

연속되는 메시지를 생성하는 프로세스는 모두 정보의 소스로 간주할 수 있습니다.메모리리스 소스는 각 메시지가 독립적이고 균등하게 분포된 랜덤 변수인 반면 에르고디시티와 스테이션리티의 속성은 덜 제한적인 제약을 가하는 소스입니다.그러한 모든 원천은 확률적이다.이 용어들은 정보 이론의 바로 밖에서 잘 연구되고 있다.

평가하다

정보 속도는 기호당 평균 엔트로피입니다.메모리 없는 소스의 경우, 이것은 단지 각 기호의 엔트로피인 반면, 정지 확률 과정의 경우, 그것은

${\displaystyle r=\lim _{n\to \infty }H(X_{n} X_{n-1},X_{n-2},X_{n-3},\ldots};}$

즉, 이전에 생성된 모든 기호가 주어진 기호의 조건부 엔트로피입니다.공정이 반드시 정상적일 필요는 없는 보다 일반적인 경우 평균 비율은 다음과 같습니다.

$({displaystyle r=\lim _{n\to \infty }{\frac {1}{n}}H(X_{1},X_{2},\dots X_{n});}$

즉, 기호당 관절 엔트로피의 한계입니다.정상 소스의 경우 이 두 식은 동일한 ^[14]결과를 제공합니다.

정보 레이트는 다음과 같이 정의됩니다.

${\displaystyle r=\lim _{n\to\infty}{\frac {1}{n}I(X_{1},X_{2},\dots X_{n};Y_{1}, Y_{2},\dots Y_{n};}$

정보 이론에서 언어의 "속도" 또는 "엔트로피"에 대해 말하는 것은 일반적이다.예를 들어, 정보의 출처가 영어 산문일 때 이것은 적절하다.정보원의 속도는 정보의 용장성 및 소스 코딩의 대상인 정보원의 압축 정도와 관련이 있습니다.

채널 용량

채널을 통한 통신은 정보 이론의 주요 동기입니다.단, 채널은 신호의 정확한 재구성에 실패하는 경우가 많습니다.노이즈, 무음 기간 및 기타 형태의 신호 손상으로 인해 품질이 저하되는 경우가 많습니다.

개별 채널을 통한 통신 프로세스를 검토합니다.프로세스의 간단한 모델을 다음에 나타냅니다.

${\displaystyle {\text {Message}}{W}}{\begin{array}{c }\hline {Encoder}\f_{n}\\hline \end{array}{xrightarrow}{\mathrm {Encoded \atop sequence}}}{X^{n}}{\begin{array}\h}{xtext}xtexty}{p}\h}Y^{n}}{\begin{array}{c }\hline{text{Decoder}\g_{n}\\hline\end{array}{xrightarrow[{\mathrm {예상 \atop message}}}}}}{\hat {W}}}}}}}}}$

여기서 X는 송신된 메시지의 공간을 나타내고 Y는 채널 상에서 단위 시간 동안 수신된 메시지의 공간을 나타냅니다.p(y x)를 X가 주어진 Y의 조건부 확률 분포 함수라고 하자.p(y x)는 통신 채널의 고유한 고정 특성(채널 노이즈의 성질을 나타냄)으로 간주합니다.다음으로 X와 Y의 공동분포는 채널과 f(x)의 선택에 따라 완전히 결정됩니다.f(x)는 채널을 통해 송신하도록 선택한 메시지의 한계분포입니다.이러한 제약 조건 하에서, 우리는 채널을 통해 통신할 수 있는 정보, 즉 신호의 속도를 극대화하고 싶습니다.이에 대한 적절한 척도는 상호 정보이며, 이 최대 상호 정보는 채널 용량이라고 하며 다음과 같이 제공됩니다.

${\displaystyle C=\max _{f}I(X;Y).\!}$

이 용량에는 정보 레이트 R(일반적으로 R은 기호당 비트)로 통신하는 것과 관련된 다음과 같은 속성이 있습니다.어느 정보 레이트 R < C 및 부호화 오류 > 0에 대해서도 충분히 큰 N에 대해 길이 N 및 레이트 R의 코드와 복호화 알고리즘이 존재하며, 블록 에러의 최대 확률이 θ가 된다.즉, 임의의 작은 블록 에러로 송신할 수 있다.또, R > C 의 레이트에 관계없이, 임의의 작은 블록 에러로 송신할 수 없습니다.

채널 코딩은 노이즈가 많은 채널을 통해 데이터를 전송하기 위해 사용할 수 있는 거의 최적의 코드를 찾는 것과 관련이 있습니다.채널 용량에 가까운 속도로 작은 코딩 오류가 발생합니다.

특정 채널 모델의 용량

• 가우스 노이즈의 영향을 받는 연속 시간 아날로그 통신 채널. 섀넌-하틀리 정리를 참조하십시오.
• 크로스오버 확률이 p인 바이너리 대칭 채널(BSC)은 입력 비트를 확률 p로 플립하는 바이너리 입력 바이너리 출력 채널입니다.BSC의 용량은 채널 사용당 1_b - H(p) 비트입니다. 여기서_b H는 2진수 로그의 2진수 엔트로피 함수입니다.

• 소거확률이 p인 2진수 소거채널(BEC)은 2진수 입력 3진수 출력채널이다.가능한 채널 출력은 0, 1 및 소거라고 하는 세 번째 기호 'e'입니다.삭제는 입력 비트에 대한 정보가 완전히 손실되었음을 나타냅니다.BEC의 용량은 채널 사용당 1 - p 비트입니다.

메모리 및 지시된 정보가 있는 채널

실제로는 많은 채널에 메모리가 있습니다.즉, $채널$은 조건부$$${\displaystyle }$$확률{\displaystyle }$ P${\displaystyle (y_{}}$ ${\displaystyle i{}_{}{}_{}}$ ${\displaystyle x_{}}$i$,$ ${\displaystyle x_{}}$i -${\displaystyle {}_{}{1}_{}}$, ${\displaystyle {x\mathrm{i}}_{}}$- 2 ,${\displaystyle }$. ,${\displaystyle {}_{}{x\mathrm{}}_{}}$ ${\displaystyle 1_{}}$,${\displaystyle {}_{}{\mathrm{y}}_{}}$i - ${\displaystyle 1_{}}$,${\displaystyle {}_{}}$y ${\displaystyle {\mathrm{i}}_{}}$-${\displaystyle {}_{}}$ , . , y${\displaystyle {}_{}{1\mathrm{}}_{}}$ ${\displaystyle )}$에 의해 지정됩니다$.{$ $display style$P($y$_ { i $}x$_ { $i }$ ,$x$ _ 1 , x _ { i - 1 } , { x _ { x$$_ 1 $}$ 。$\}.$ 보통 x ${\displaystyle {}_{}{}^{}=}$ (${\displaystyle {}_{}{x}_{}}$ i ,${\displaystyle {}_{}{x}_{}}$ i${\displaystyle {}_{}}$- ${\displaystyle {}_{}}$,${\displaystyle {}_{}}$x ${\displaystyle {\mathrm{i}}_{}}$- 2${\displaystyle }$,${\displaystyle }$. ,${\displaystyle {}_{}{x\mathrm{}}_{}}$ 1$$) ($x_{i$} $= (x_{$$i-1$$}, x_{i-2$},$x_{$1$$}) 라고 ${\displaystyle {표기}^{}}$하면${\displaystyle {}_{}}$은 P$($ ${\displaystyle {}^{,}}$ ${\displaystyle y^{}}$- ${\displaystyle {\mathrm{i}}^{})}$가 됩니다$.$$\}.$ 이 경우, 이용 가능한 피드백이 없을 때는 상호정보율, 피드백이^[15][16] 없을 때는 유도정보율(피드백이 없을 경우 유도정보j는 상호정보와 동일)로 용량을 부여한다$.$

다른 필드에 응용 프로그램

인텔리전스 사용 및 기밀성 응용 프로그램

정보 이론의 개념은 암호학 및 암호 해석에 적용됩니다.튜링의 정보 단위인 '금지'는 울트라 프로젝트에 사용되어 독일의 에니그마 기계 코드를 깨고 유럽에서 제2차 세계대전의 종식을 앞당겼다.섀넌 자신은 현재 단일성 거리라고 불리는 중요한 개념을 정의했다.평문의 용장성에 근거해, 독자적인 판독성을 확보하기 위해서 필요한 최소한의 암호문을 제공하려고 합니다.

정보 이론은 우리가 비밀을 유지하는 것이 처음 나타날 때보다 훨씬 더 어렵다고 믿게 만든다.무차별 포스 공격은 비대칭 키 알고리즘 또는 블록 암호와 같이 가장 일반적으로 사용되는 대칭 키 알고리즘(비밀 키 알고리즘이라고도 함)에 기반한 시스템을 손상시킬 수 있습니다.현재 이러한 모든 방법의 보안은 알려진 어떤 공격도 실질적인 시간 내에 이를 파괴할 수 없다는 가정에서 비롯됩니다.

정보 이론적인 보안이란 원타임패드 등의 방법으로 이러한 무차별적인 공격에 취약하지 않은 것을 말합니다.이 경우, 평문과 암호문(키에 조건부여) 사이의 양의 조건부 상호 정보는 적절한 전송을 보장하고, 평문과 암호문 사이의 무조건적인 상호 정보는 제로인 채로 유지되므로, 통신이 지극히 안전해진다.즉, 도청자는 암호문에 대한 지식을 얻음으로써 평문에 대한 추측을 개선할 수 없을 것이다.그러나 다른 암호화 시스템과 마찬가지로 이론적으로 안전한 정보라도 올바르게 적용하기 위해서는 주의를 기울여야 합니다.Venona 프로젝트는 주요 물질의 부적절한 재사용으로 인해 소련의 일회성 패드를 깨트릴 수 있었습니다.

의사 난수 생성

의사 난수 생성기는 컴퓨터 언어 라이브러리와 응용 프로그램에서 널리 사용할 수 있습니다.그것들은 현대의 컴퓨터 기기나 소프트웨어의 결정론적 특성을 회피하지 않기 때문에, 거의 일반적으로 암호 사용에 적합하지 않습니다.개량된 난수 생성기의 클래스는 암호학적으로 안전한 의사난수 생성기라고 불리지만, 이들조차도 의도한 대로 작동하려면 소프트웨어 외부의 랜덤시드가 필요합니다.이러한 정보는 신중하게 수행할 경우 추출기를 통해 얻을 수 있습니다.추출기에서 충분한 무작위성의 척도는 최소 엔트로피이며, 이는 Rennyi 엔트로피를 통한 Shannon 엔트로피와 관련된 값이다. Rennyi 엔트로피는 암호화 시스템의 무작위성 평가에도 사용된다.관련성이 있지만, 이들 측정치의 차이는 섀넌 엔트로피가 높은 랜덤 변수가 추출기에서 사용하기에 반드시 만족스러운 것은 아니라는 것을 의미한다.

지진 탐사

정보이론의 초기 상업적 응용은 지진 석유 탐사 분야였다.이 분야의 연구를 통해 원하는 지진 신호에서 불필요한 소음을 제거하고 분리할 수 있었다.정보 이론과 디지털 신호 처리는 이전의 아날로그 ^[17]방식보다 해상도와 화상의 선명도가 크게 향상되었습니다.

기호학

기호생물학자 도이드 노타와 윈프리드 노트는 찰스 샌더스 피어스가 기호학에 ^{[18]: 171 [19]: 137} 관한 그의 저작에서 정보의 이론을 창조했다고 생각했다.Nauta는 기호 정보 이론을 "코딩, 필터링, 정보 ^{[18]: 91} 처리의 내부 과정"의 연구로 정의했다.

중복성과 코드 제어와 같은 정보 이론의 개념은 움베르토 에코와 Ferruccio Rossi-Landi와 같은 기호학자에 의해 사용되어 왔다. 지배적인 사회 계층은 하나의 메시지 중 오직 하나의 메시지만 해독될 정도로 높은 중복성을 보이는 신호를 사용하여 메시지를 방출하는 메시지 전송의 한 형태로서 이데올로기를 설명한다.경쟁 제품의 ^[20]선정

신경정보 통합 프로세스 구성

양적 정보 이론 방법은 인지 신경과학에서 ^[21]결합 문제의 맥락에서 신경 정보의 통합된 프로세스 구성을 분석하기 위해 인지 과학에 적용되어 왔다.이러한 맥락에서 "기능 클러스터"(G.M. Edelman's 및 G)와 같은 정보 이론 측정.Tononi의 "기능 클러스터링 모델" 및 "동적 핵심 가설(DCH)"^[22] 또는 "유효한 정보"(G. Tonononi's and O)입니다.Sporn의“의식 정보 통합 이론(ITT)”[23][24][25](또한 보"통합 정보 이론")),(요각 과정 조직을 토대로 막을 뉴런 집단 그룹 사이 신경 생리학적 활동의 동기화 데려간), 또는“자유 에너지”의 최소화의 ofst에 근거하여 조치 정의된다matisticalethods (K.J. Friston의 "자유 에너지 원리(FEP)"는 자기 조직화된 시스템의 모든 적응적 변화가 "자유 에너지"의 최소화로 이어진다는 정보 이론 측정법이며 "베이지안 뇌 가설"^{[26][27][28][29][30]}이다.

기타 응용 프로그램

정보이론은 도박, 블랙홀, 생물정보학에도 적용된다.

「 」를 참조해 주세요.

적용들

역사

• 하틀리, R.V.L.
• 정보 이론의 역사
• 섀넌, C.E.
• 정보 이론의 연대표
• 요키, H.P.

이론.

개념

레퍼런스

추가 정보

고전적인 작품

기타 저널 기사

정보 이론 교과서

기타 서적

정보이론에 관한 대규모 오픈 온라인 코스

• 레이먼드 W.Yeung, "정보론" (홍콩중문대학교)

외부 링크

라이브러리 리소스 정보 정보 이론

라이브러리의 리소스 다른 라이브러리의 리소스

• "Information", Encyclopedia of Mathematics, EMS Press, 2001 [1994]
• 램버트 F. L.(1999), "혼란된 카드, 지저분한 책상, 그리고 난잡한 기숙사 방 - 엔트로피 증가의 예들? 말도 안 돼!) 화학 교육 저널
• IEEE 정보이론 학회와 ITSOC의 논문, 조사 및 리뷰