⬅ 返回教材目录

第7章 信源和信源编码：香农信息熵

信息熵 H = -Σ pᵢ log₂(pᵢ) | 逐步计算过程演示
📐 信息熵 H（平均） -- bit/符号
🎯 最大熵（每个符号） -- bit/符号
📊 冗余度 -- %
⚡ 平均信息量 -- bit/符号
✅ 等概率分布 → 熵最大，不确定性最高，信息量最大。
📐 熵的计算公式：H = - Σ pᵢ · log₂(pᵢ)
🔵 左图：符号概率分布条形图 📐 右图：熵的逐步计算过程 📌 每个符号贡献 -p·log₂(p)，求和得总熵

💡 信息熵的物理意义

信息熵是信息论的核心概念，由克劳德·香农在1948年提出：

$$ H = -\sum_{i=1}^{n} p_i \log_2 p_i $$

物理意义：

  • 确定性事件 (p=1) → H=0，不产生信息
  • 等概率分布 → 熵最大，不确定性最高
  • 熵越大 → 信息量越大，压缩难度越大

计算示例： 对于二元信源，H(p) = -p log₂(p) - (1-p) log₂(1-p)

⚙️ 工程应用

信息熵是现代通信和数据压缩的理论基础：

  • 🗜️ 数据压缩： 熵编码（霍夫曼编码、算术编码）逼近香农熵极限。
  • 📡 通信系统： 信源编码理论确定理论最小比特率。
  • 🔒 密码学： 评估密钥的随机性和不确定性。
  • 📊 机器学习： 决策树算法中的信息增益、交叉熵损失函数。
  • 🧬 生物信息学： 分析 DNA 序列的信息含量。