更新时间 2021-09-29
一些定义 信息：可以降低不确定性的东西 信源：信息的发送方 信宿：信息的接收方 信道：信息从发送方到接收方的传输途径 基础问题和概念 信息论解答了通信理论中的两个基本问题： 临界数据压缩的值 / 熵 HH 临界通信传输速率 / 信道容量 CC 奥卡姆剃刀原则： 如非必要，勿增实体 最简约的解释最佳 科尔莫戈罗夫复杂度：一组数据串的复杂度可以定义为 计算该数据串所需最短二进制程序的长度。 自信息 - 随机事件的概率 定义：考虑可能输出为 x_i, i=1, 2, \cdots, nx_i,