UpdateTime 2021-10-03

Introduction 介绍 The recent development of various methods of modulation such as PCM and PPM which exchange bandwidth for signal-to-noise ratio has intensified the interest in a general theory of communication. 最近,对于调制的多种方法的开发,例如 PCM 和 PPM,在通信的一般理论中,他们增强了对

UpdateTime 2021-09-29

一些定义 信息:可以降低不确定性的东西 信源:信息的发送方 信宿:信息的接收方 信道:信息从发送方到接收方的传输途径 基础问题和概念 信息论解答了通信理论中的两个基本问题: 临界数据压缩的值 / 熵 HH 临界通信传输速率 / 信道容量 CC 奥卡姆剃刀原则: 如非必要,勿增实体 最简约的解释最佳 科尔莫戈罗夫复杂度:一组数据串的复杂度可以定义为 计算该数据串所需最短二进制程序的长度。 自信息 - 随机事件的概率 定义:考虑可能输出为 x_i, i=1, 2, \cdots, nx_i,