信息理论基础.4离散信道及其容量3解题.ppt

第4章 离散信道及其容量 4.1 信道的数学模型及其分类 4.2 离散无记忆信道 4.3 离散无记忆扩展信道 4.4 信道的组合 4.5 信道的容量 4.1 信道的数学模型及其分类 信道模型 4.1 信道的数学模型及其分类 信道分类 （按照输入输出事件的事件特性和输入输出集的特点） 4.1 信道的数学模型及其分类 信道分类（按照信道的输入和输出个数） 4.1 信道的数学模型及其分类 信道分类（按照信道的统计特性） 4.1 信道的数学模型及其分类 信道分类（按照信道的记忆特性） 4.2 离散无记忆信道 4.2.1 离散信道的数学模型 4.2.2 单符号离散信道 信道的疑义度 平均互信息 4.2.5 各种量之间的关系 4.2.1 离散信道的数学模型.0 随机变量 利用概率刻画信道 一基本概念 离散信道的数学模型（广义） 一基本概念 离散无记忆信道（定义4.2.1） 一基本概念 离散无记忆信道定义的解释 一基本概念 离散无记忆信道定义的解释 一基本概念 平稳（或恒参）的离散无记忆信道（定义4.2.2） 与时间无关 二无扰（无噪）信道 无扰（无噪）信道的定义 两者有一一对应的关系 三有无扰无记忆信道 有无扰无记忆信道的定义 就是DMC。 由于信道中随机噪声或者干扰的存在，使得输入和输出之间具有统计关系 四有无扰无记忆信道 有无扰有记忆信道 实际信道的情况 4.2.2 单符号离散信道 只考虑N=1 特殊情况：单个符号 一单符号离散信道的定义 单符号离散信道的定义 标志性公式 一单符号离散信道的定义 信道的传递概率（转移概率） 信道的传递概率（转移概率） 一单符号离散信道的定义 信道矩阵 输入集 输出集 一单符号离散信道的定义 信道矩阵（续） 二二元对称信道 二元对称信道（BSC） 二二元对称信道 二元对称信道（BSC）的信道矩阵 对称矩阵 三二元删除信道 二元删除信道 三二元删除信道 二元删除信道的信道矩阵 三二元删除信道 二元删除信道的分析 四二元对称消失信道 二元对称消失信道 四二元对称消失信道 二元对称消失信道的信道矩阵 四二元对称消失信道 二元对称消失信道分析 五几个相关概念 前向概率（即信道传递概率，转移概率） 输入 输出 五几个相关概念 后向概率（即后验概率） 输入 输出 五几个相关概念 输出符号概率 分布情况？ 五几个相关概念 输出符号概率（续） 全概率公式 五几个相关概念 输出符号概率（续） 五几个相关概念 输出符号概率（续） 信道疑义度 在随机事件Y发生的条件下，X的不确定程度 一信道疑义度的概念 信道疑义度（定义） 输出端收到全部符号之后（Y），对输入端X的平均不确定程度 由信道干扰造成 一信道疑义度的概念 特例：无干扰信道的信道疑义度 一信道疑义度的概念 特例：无干扰信道的信道疑义度（续） 信道疑义度为零，不存在不确定的因素 一信道疑义度的概念 信道疑义度的性质 输出端收到Y后，总是要消除一些关于X的不确定性 二二元删除信道的信道疑义度 二元删除信道的信道疑义度 二二元删除信道的信道疑义度 二元删除信道的信道疑义度（续） 信道矩阵 二二元删除信道的信道疑义度 二元删除信道的信道疑义度（续） 二二元删除信道的信道疑义度 二元删除信道的信道疑义度（续） 二二元删除信道的信道疑义度 二元删除信道的信道疑义度（续） 二二元删除信道的信道疑义度 二元删除信道的信道疑义度（续） 二二元删除信道的信道疑义度 二元删除信道的信道疑义度（续） 三信道的平均互信息 信道的平均互信息定义（定义） 输出端接收到符号集后， 平均每个符号获得的关于输入端的信息量 三信道的平均互信息 定理4.2.1 对于固定信道，平均互信息量I(X;Y)是信源概率分布P(X) 的上凸函数 证明略 三信道的平均互信息 定理的解释 常数：固定信道 与信源有关 三信道的平均互信息 例4.2.5 三信道的平均互信息 例4.2.5（续） 三信道的平均互信息 例4.2.5（续） 三信道的平均互信息 例4.2.5（续） 三信道的平均互信息 例4.2.5（续） 三信道的平均互信息 例4.2.5（续） 三信道的平均互信息 例4.2.5（续） 三信道的平均互信息 例4.2.5（续） 三信道的平均互信息 例4.2.5（续） 三信道的平均互信息 例4.2.5（续） 定义的量 三信道的平均互信息 例4.2.5（续） 信道固定，此为常数 三信道的平均互信息 例4.2.5（续） 三信道的平均互信息 例4.2.5（续） 信道固定（信道转移概率为常数）时， 平均互信息量时信源符号分布的上凸函数。 此时，随信源符号分布的不同，接收端接收到的每个符号所获得的平均信息量也不同，当信源符号等概率分布时，接收端每个符号所得到的关于信源状态的信息量最大