更新时间 2021-10-03
Introduction 介绍 The recent development of various methods of modulation such as PCM and PPM which exchange bandwidth for signal-to-noise ratio has intensified the interest in a general theory of communication. 最近，对于调制的多种方法的开发，例如 PCM 和 PPM，在通信的一般理论中，他们增强了对
更新时间 2021-09-29
一些定义 信息：可以降低不确定性的东西 信源：信息的发送方 信宿：信息的接收方 信道：信息从发送方到接收方的传输途径 基础问题和概念 信息论解答了通信理论中的两个基本问题： 临界数据压缩的值 / 熵 HH 临界通信传输速率 / 信道容量 CC 奥卡姆剃刀原则： 如非必要，勿增实体 最简约的解释最佳 科尔莫戈罗夫复杂度：一组数据串的复杂度可以定义为 计算该数据串所需最短二进制程序的长度。 自信息 - 随机事件的概率 定义：考虑可能输出为 x_i, i=1, 2, \cdots, nx_i,