本章核心内容 #
- 信息的度量方法
- 离散信道及容量
- 连续信源、信道及容量（文档未展开，暂略）
- 信源编码的基本概念与方法（文档未展开，暂略）
- 信道编码的基本概念与方法（文档未展开，暂略）
- 率失真理论（文档未展开，暂略）
4.1 引言：信息论的起源与核心概念 #
1. 信息论的诞生 #
1948年，美国科学家香农（Claude Shannon）发表论文《通信的数学理论》，奠定信息论的理论基础。
2. 消息与信息的区别 #
| 概念 | 定义 | 关系 |
|---|---|---|
| 消息 | 由符号、文字、数字、语音或图像组成的序列 | 消息是信息的载体，信息是消息的内涵 |
| 信息 | 消除"不确定性"的东西 | 消息可能含信息，也可能不含（如重复消息） |
3. 通信的本质（香农论点） #
- 形式化：通信的核心是在接收端"形式上恢复"发送端的消息，不负责理解消息内容。
- 非决定论：消息和噪声均为随机变量（接收者无法预先确定消息内容，噪声干扰随机）。
- 不确定性：通信前接收者对消息内容"不确定"，通信后"不确定性消除"——信息量 = 通信前后不确定性的消除量。
4.2 信息的度量 #
4.2.1 信息量的核心要求 #
信息量需满足3个条件：
- 是概率的函数（不确定性与事件发生概率相关）；
- 具有可加性（独立事件的信息量可叠加）；
- 概率越小，信息量越大（小概率事件发生时，消除的不确定性更多）。
4.2.2 离散信源的信息量 #
1. 离散信源的概率场 #
设离散信源含$N$种符号$X = \\{x\_1, x\_2, ..., x\_N\\}$，其概率场需满足： $$ p(X) = \{p(x_1), p(x_2), ..., p(x_N)\}, \quad \sum_{i=1}^N p(x_i) = 1 $$ （所有符号概率和为1，符合概率公理）
2. 单个符号的信息量公式 #
基于上述要求，单个符号$x\_i$的信息量定义为： $$ I(x_i) \triangleq \log \frac{1}{p(x_i)} = -\log p(x_i) $$
- 物理意义：概率$p(x\_i)$越小，$I(x\_i)$越大（如"地震"比"晴天"信息量更大）。
- 单位：
- $\log$以2为底：单位为比特（bit）（默认单位）；
- $\log$以$e$为底：单位为奈特（nit）；
- $\log$以10为底：单位为哈特（hart）。
3. 符号序列的信息量 #
若符号序列中各符号统计独立，则序列$S = x\_{i1}x\_{i2}...x\_{ik}$的信息量为各符号信息量之和： $$ I(S) = \sum_{m=1}^k I(x_{im}) = -\sum_{m=1}^k \log p(x_{im}) = \log \frac{1}{p(S)} $$ （其中$p(S) = \prod\_{m=1}^k p(x\_{im})$为序列发生概率）
示例：离散信源信息量计算 #
已知信源概率场：$X: \\{0,1,2,3\\}$，$p(X): \\{3/8, 1/4, 1/4, 1/8\\}$
- 单个符号信息量：
- $I(x\_0) = -\log\_2(3/8) \approx 1.415\ \text{bit}$
- $I(x\_1) = -\log\_2(1/4) = 2\ \text{bit}$
- $I(x\_2) = 2\ \text{bit}$ 同$x\_1$
- $I(x\_3) = -\log\_2(1/8) = 3\ \text{bit}$
- 序列$S = "113200"$的信息量： $$ I(S) = 2I(x_1) + I(x_3) + I(x_2) + 2I(x_0) = 2×2 + 3 + 2 + 2×1.415 = 11.83\ \text{bit} $$
4.2.3 离散信源的平均信息量——熵（Entropy） #
1. 熵的定义 #
熵是信源每个符号的平均信息量（统计意义上的平均），反映信源的整体不确定性。定义为： $$ H(X) \triangleq \sum_{i=1}^N p(x_i) I(x_i) = -\sum_{i=1}^N p(x_i) \log p(x_i) $$
- 单位：比特/符号（bit/symbol）。
- 物理意义：熵越大，信源输出单个符号携带的平均信息量越多，信源不确定性越高。
2. 熵的计算示例 #
沿用上述信源$p(0)=3/8, p(1)=1/4, p(2)=1/4, p(3)=1/8$： $$ \begin{align*} H(X) &= -\left[ \frac{3}{8}\log_2\frac{3}{8} + \frac{1}{4}\log_2\frac{1}{4} + \frac{1}{4}\log_2\frac{1}{4} + \frac{1}{8}\log_2\frac{1}{8} \right] \\ &\approx -\left[ \frac{3}{8}×(-1.415) + \frac{1}{4}×(-2) + \frac{1}{4}×(-2) + \frac{1}{8}×(-3) \right] \\ &\approx 1.906\ \text{bit/符号} \end{align*} $$
3. 用熵估计序列总信息量 #
若序列长度为$L = \sum\_{i=1}^N n\_i$（$n\_i$为符号$x\_i$出现次数），则总信息量可近似为： $$ I \approx L × H(X) $$
- 示例：序列含23个0、14个1、13个2、7个3，总长度$L=57$： $$ I \approx 57 × 1.906 \approx 108.62\ \text{bit} $$
4.2.4 最大熵定理 #
1. 前置概念：凸集与凸函数 #
- 凸集：对任意$vec{x}\_i, \vec{x}\_j \in \mathbb{R}^n$和$0 \leq \alpha \leq 1$，有$\alpha\vec{x}\_i + (1-\alpha)\vec{x}\_j \in \text{凸集}$（直观：集合内任意两点连线仍在集合内）。
- 凸函数分类：
- 上凸函数（∩型）：$f(\alpha\vec{x}\_i + (1-\alpha)\vec{x}\_j) \geq \alpha f(\vec{x}\_i) + (1-\alpha)f(\vec{x}\_j)$，存在最大值；
- 下凸函数（∪型）：$f(\alpha\vec{x}\_i + (1-\alpha)\vec{x}\_j) \leq \alpha f(\vec{x}\_i) + (1-\alpha)f(\vec{x}\_j)$，存在最小值。
2. 熵函数的凸性 #
熵函数$H(X)$是概率向量$p(x\_1), p(x\_2), ..., p(x\_N)$的上凸函数，因此存在最大值。
3. 最大熵定理（核心） #
定理4.2.6：当离散信源的所有符号等概分布时，其熵达到最大值： $$ H_{\text{max}}(X) = \log N $$ （$N$为信源符号总数）
- 物理意义：等概时信源不确定性最高，单个符号携带的平均信息量最大。
- 示例：二元信源（$N=2$）：
- 若$p(0)=p(1)=1/2$，则$H\_{\text{max}} = \log\_2 2 = 1\ \text{bit/符号}$；
- 若$p(0)=0.9, p(1)=0.1$，则$H(X) \approx 0.469\ \text{bit/符号} < 1$。
4.2.5 联合熵与条件熵 #
当存在两个随机变量$X$（信源1）和$Y$（信源2）时，需引入联合熵和条件熵描述其关联性。
1. 联合熵（Joint Entropy） #
- 定义：描述两个随机变量联合分布的平均不确定性，公式为： $$ H(XY) \triangleq -\sum_{i=1}^M \sum_{j=1}^N p(x_i y_j) \log p(x_i y_j) $$ $p(x\_i y\_j)$为$X=x\_i$且$Y=y\_j$的联合概率，满足$\sum\_{i,j} p(x\_i y\_j) = 1$
- 性质：
- 若$X$与$Y$统计独立（$p(x\_i y\_j) = p(x\_i)p(y\_j)$），则$H(XY) = H(X) + H(Y)$；
- 若$X$与$Y$相关，则$H(XY) < H(X) + H(Y)$（关联性降低总不确定性）。
2. 条件熵（Conditional Entropy） #
- 定义：已知一个随机变量的情况下，另一个随机变量的平均不确定性。公式为：
- 已知$Y$时$X$的条件熵：$H(X/Y) \triangleq -\sum\_{i,j} p(x\_i y\_j) \log p(x\_i / y\_j)$
- 已知$X$时$Y$的条件熵：$H(Y/X) \triangleq -\sum\_{i,j} p(x\_i y\_j) \log p(y\_j / x\_i)$ （$p(x\_i / y\_j)$为条件概率，满足$p(x\_i / y\_j) = \frac{p(x\_i y\_j)}{p(y\_j)}$）
- 性质：$H(X/Y) \leq H(X)$，$H(Y/X) \leq H(Y)$（已知一个变量后，另一个变量的不确定性降低）。
4.3 离散信道及容量 #
4.3.1 离散信道模型 #
1. 信道的定义 #
- 狭义信道：物理传输介质（如无线信道、光纤、电缆）；
- 广义信道：包含信号处理过程的传输系统（如"编码-传输-解码"过程）。
2. 离散无记忆信道（DMC） #
- 核心特性：输出仅与当前输入相关，与历史输入无关（无"记忆"）。
- 转移概率矩阵：描述输入符号$x\_i$到输出符号$y\_j$的概率，是DMC的核心参数。矩阵形式为： $$ [p(Y/X)] = \begin{bmatrix} p(y_1/x_1) & p(y_2/x_1) & ... & p(y_N/x_1) \\ p(y_1/x_2) & p(y_2/x_2) & ... & p(y_N/x_2) \\ ... & ... & ... & ... \\ p(y_1/x_M) & p(y_2/x_M) & ... & p(y_N/x_M) \end{bmatrix} $$ 其中$p(y\_j/x\_i)$为"输入$x\_i$时输出$y\_j$“的概率，满足每行和为1（$\sum\_{j=1}^N p(y\_j/x\_i) = 1$）。
3. 后验概率矩阵 #
描述"已知输出$y\_j$时，输入为$x\_i$“的概率，矩阵形式为： $$ [p(X/Y)] = \begin{bmatrix} p(x_1/y_1) & p(x_2/y_1) & ... & p(x_M/y_1) \\ p(x_1/y_2) & p(x_2/y_2) & ... & p(x_M/y_2) \\ ... & ... & ... & ... \\ p(x_1/y_N) & p(x_2/y_N) & ... & p(x_M/y_N) \end{bmatrix} $$ 其中$p(x\_i/y\_j) = \frac{p(x\_i y\_j)}{p(y\_j)} = \frac{p(x\_i)p(y\_j/x\_i)}{\sum\_{k=1}^M p(x\_k)p(y\_j/x\_k)}$（贝叶斯公式）。
示例：二元离散无记忆信道 #
输入$X=\\{0,1\\}$，输出$Y=\\{0,1\\}$，正确接收概率$p(0/0)=p(1/1)=0.99$，错误概率$p(1/0)=p(0/1)=0.01$，则转移概率矩阵为： $$ [p(Y/X)] = \begin{bmatrix} 0.99 & 0.01 \\ 0.01 & 0.99 \end{bmatrix} $$
4.3.2 互信息量（Mutual Information） #
1. 定义 #
互信息量描述"接收输出$y\_j$后，输入$x\_i$的不确定性消除量”，定义为： $$ I(x_i; y_j) = I(x_i) - I(x_i/y_j) $$
- 其中$I(x\_i/y\_j) = \log \frac{1}{p(x\_i/y\_j)}$为"已知$y\_j$时$x\_i$的剩余不确定性”。
2. 等价公式（推导） #
利用条件概率公式，可推导出： $$ I(x_i; y_j) = \log \frac{p(x_i/y_j)}{p(x_i)} = \log \frac{p(x_i y_j)}{p(x_i)p(y_j)} = \log \frac{p(y_j/x_i)}{p(y_j)} $$
3. 核心性质 #
- 对称性：$I(x\_i; y\_j) = I(y\_j; x\_i)$（输入对输出的信息量 = 输出对输入的信息量）；
- 取值范围：
- 若$p(x\_i/y\_j) = 1$（已知$y\_j$则确定$x\_i$）：$I(x\_i; y\_j) = I(x\_i)$；
- 若$p(x\_i/y\_j) = p(x\_i)$（$X$与$Y$独立）：$I(x\_i; y\_j) = 0$；
- 若$p(x\_i) < p(x\_i/y\_j) < 1$（正相关）：$0 < I(x\_i; y\_j) < I(x\_i)$；
- 若$0 < p(x\_i/y\_j) < p(x\_i)$（负相关）：$I(x\_i; y\_j) < 0$（实际通信中少见）。
4.3.3 平均互信息量 #
1. 定义 #
平均互信息量是信道每传输一个符号，接收端获得的平均信息量，公式为： $$ I(X; Y) \triangleq \sum_{i=1}^M \sum_{j=1}^N p(x_i y_j) I(x_i; y_j) $$
2. 核心性质 #
- 非负性：$I(X; Y) \geq 0$（统计意义上，接收端至少能获得0信息量，不会丢失）；
- 与熵的关系（核心公式）： $$ I(X; Y) = H(X) - H(X/Y) = H(Y) - H(Y/X) $$ （物理意义：平均互信息量 = 信源熵 - 条件熵，即"消除的不确定性"）；
- 独立与相关的极端情况：
- 若$X$与$Y$独立：$I(X; Y) = 0$，$H(X/Y) = H(X)$，$H(Y/X) = H(Y)$；
- 若$X$与$Y$完全相关（如无噪声信道）：$I(X; Y) = H(X) = H(Y)$，$H(X/Y) = H(Y/X) = 0$。
4.3.4 离散信道的容量 #
1. 信道容量的定义 #
信道容量是信道的最大信息传输速率，即通过调整信源概率分布$p(x\_i)$，使单位时间内传输的平均信息量最大。公式为： $$ C = \max_{p(x_i), i=1..M} R_I = \max_{p(x_i)} \left[ I(X; Y) × R_S \right] $$
- $R\_S$：符号传输速率（符号/秒，Symbol/s）；
- $I(X; Y)$：平均互信息量（比特/符号）；
- $C$：信道容量（比特/秒，bit/s）。
2. 匹配信源 #
能使$I(X; Y)$达到最大值$I\_{\text{max}}$的信源，称为"匹配信源"（其概率分布$p\_m(x\_i)$为最优分布）。
3. 匹配信源的求解步骤（拉格朗日极值法） #
已知信道转移概率$p(y\_j/x\_i)$，求解匹配信源分布$p\_m(x\_i)$的步骤：
- 构造拉格朗日函数： $$ F[p(x_1),...,p(x_M)] = I(X; Y) - \lambda \left( \sum_{i=1}^M p(x_i) - 1 \right) $$ （$\lambda$为拉格朗日乘数，约束条件为$\sum p(x\_i) = 1$）；
- 求偏导并令其为0： $$ \frac{\partial F}{\partial p(x_i)} = 0 \implies \sum_{j=1}^N p(y_j/x_i) \log \frac{p(y_j/x_i)}{p(y_j)} = \lambda + \frac{1}{\ln 2} $$
- 求解$\beta\_j$与$I\_{\text{max}}$：
- 令$\beta\_j = I\_{\text{max}} + \log p(y\_j)$，代入上式解得$\beta\_j$；
- 由$I\_{\text{max}} = \log \left( \sum\_{j=1}^N 2^{\beta\_j} \right)$求最大平均互信息量；
- 求输出概率$p(y\_j)$： $$ p(y_j) = 2^{\beta_j - I_{\text{max}}} $$
- 求匹配信源分布$p\_m(x\_i)$： 由$p(y\_j) = \sum\_{i=1}^M p(y\_j/x\_i) p\_m(x\_i)$解方程组，得$p\_m(x\_i)$。
示例：信道容量计算 #
已知信道转移概率矩阵： $$ [p(Y/X)] = \begin{bmatrix} 1/2 & 1/4 & 0 & 1/4 \\ 0 & 1 & 0 & 0 \\ 0 & 0 & 1 & 0 \\ 1/4 & 0 & 1/4 & 1/2 \end{bmatrix} $$
- 求解$\beta\_j$：得$\beta\_1=-2, \beta\_2=0, \beta\_3=0, \beta\_4=-2$；
- 计算$I\_{\text{max}}$： $$ I_{\text{max}} = \log_2 \left( 2^{-2} + 2^0 + 2^0 + 2^{-2} \right) = \log_2 (5/2) \approx 1.32\ \text{bit/符号} $$
- 若$R\_S = 1000\ \text{符号/秒}$，则信道容量： $$ C = I_{\text{max}} × R_S = 1.32 × 1000 = 1320\ \text{bit/s} $$
4.3.5 离散无记忆对称信道（DMSC） #
1. 定义 #
转移概率矩阵满足各行、各列元素集相同的信道（如二元对称信道、三元对称信道）。例如： $$ [p(Y/X)] = \begin{bmatrix} a & b & b \\ b & a & b \\ b & b & a \end{bmatrix} $$ （每行均为$\\{a, b, b\\}$，每列均为$\\{a, b, b\\}$）
2. 核心特性 #
- 条件熵$H(Y/X)$仅由信道决定： 因各行元素相同，$\sum\_{j=1}^N p(y\_j/x\_i) \log p(y\_j/x\_i)$为常数，故： $$ H(Y/X) = -\sum_{j=1}^N p(y_j/x_i) \log p(y_j/x_i) $$ （与信源分布$p(x\_i)$无关）；
- 输入等概则输出等概： 若$p(x\_i) = 1/M$（$M$为输入符号数），则： $$ p(y_j) = \sum_{i=1}^M p(x_i)p(y_j/x_i) = \frac{1}{M} \sum_{i=1}^M p(y_j/x_i) = \frac{1}{N} $$ （$N$为输出符号数，输出等概）。
3. DMSC的信道容量 #
由$I(X; Y) = H(Y) - H(Y/X)$，因$H(Y/X)$为常数，最大化$I(X; Y)$等价于最大化$H(Y)$。而$H(Y)$的最大值为$\log N$（输出等概时），故： $$ C = \left( \log N - H(Y/X) \right) × R_S $$
- 关键结论：DMSC的匹配信源为等概分布（输入等概时，输出等概，$H(Y)$最大，进而$I(X; Y)$最大）。
