第6章 连续信源与连续信道.ppt

X和N相互独立时，信源X取均值m=0、方差 的高斯分布，信宿Y也满足高斯分布，其均值m=0、方差为 根据平均功率受限下的最大相对熵定理，当信宿Y取均值m=0、方差 的高斯分布时具有最大相对熵 高斯加性信道的信道容量 8、高斯加性信道的最大信息传输速率 当所传输信号的有效带宽为B时，根据采样定理，只要采样频率取为2B，符号序列即可保留时间连续消息的全部信息。 平均不失真传输一条消息(符号)所需时间为T=1/2B，相应最大信息传输速率 该式称为香农公式。 香农公式的意义： 最大信息传输速率与所传输信号的有效带宽成正比 最大信息传输速率与信噪功率比基本呈对数关系，且信噪功率比小于1时最大信息传输速率仍大于0 最大信息传输速率一定时，增大所传输信号的有效带宽，可以降低对信噪功率比的要求，反之亦然 当所传输信号的有效带宽趋于无穷时，最大信息传输速率趋于有限值 已知高斯加性信道所传输信号的带宽B=3kHz，最大信息传输速率Ct=1.5×104bps，求信噪功率比；如果将信噪功率比降低到-3dB，求保持同样最大信息传输速率所需的带宽。 例1 习题：(P99-102)3.18 3.19 3.20 连续信源与连续信道 * 信息论导论 通信与信息工程学院 杨海芬 第6章 连续信源与连续信道 掌握时不变连续信源相对熵的定义及其意义，相对熵的计算和性质； 掌握连续系统平均互信息量的定义、计算和性质； 掌握加性信道的特点，高斯加性信道最大信息传输速率计算式（香农公式）的导出、意义和计算。 一、连续信源及其相对熵 1、时不变连续信源 定义 如果任何时刻信源发出的消息都是单一符号，而这些符号的取值是连续的，则该信源为时不变连续信源。 表示 信源符号X取值于集合[a , b] 式中，p(x)为连续消息的概率密度函数 例1 例2 假定概率密度函数p(x)如图所示 2、时不变连续信源的熵 连续消息落在第i个区域的概率为 根据中值定理，有 p(x) x b a a+(i-1)Δx a+iΔx ①绝对熵 相对熵不能作为连续信源的信息度量。 定义相对熵的目的： ②相对熵 表示 与离散信源的熵在形式上统一 熵差具有信息度量的意义 ①均匀分布信源的相对熵 几种连续信源的相对熵 ②高斯分布信源的相对熵 ③指数分布信源的相对熵 ①不具有非负性 例如，当b-a1时，均匀分布信源的相对熵 ② 严格上凸性 4、相对熵的主要性质 5、最大相对熵定理 连续信源没有一般意义下的最大相对熵，只有限制条件下的最大相对熵。 通常讨论三种限制条件： 取值范围受限 平均功率受限 均值受限 如果连续消息取值范围被限定在[a,b]，该限定域内的均匀分布信源具有最大相对熵，该最大相对熵Hc(X)max=log(b-a) ①取值范围受限下的最大相对熵定理 设p(x)是限定域[a,b]内的任何概率密度函数 ②平均功率受限下的最大相对熵定理 如果连续消息的平均功率被限定为P，均值为零、方差为该平均功率的高斯分布信源具有最大相对熵，该最大相对熵Hc(X)max=log(2πeP)/2 设p(x)是任何概率密度函数，且 如果非负连续消息的均值被限定为m，均值为该限定值的指数分布信源具有最大相对熵，该最大相对熵Hc(X)max=log(em) ③均值受限下的最大相对熵定理 设p(x)是非负域的任何概率密度函数，且 二、连续信道及信道容量 1、时不变连续信道 定义 对应于时不变连续信源和时不变连续信宿的信道为时不变连续信道。 表示 信源符号X取值于集合[a , b] 信宿符号Y取值于集合[c , d] 2、时不变连续信道的噪声熵 X p(y/x) Y p(y/x)为信道转移概率密度函数 ①绝对噪声熵 ②相对噪声熵 表示 3、平均互信息量 平均互信息量 虽然相对熵不能作为信息度量，但平均互信息量是熵差，具有信息度量的意义。 ① 非负性 平均互信息量的主要性质 ② 对称性 ③ 严格凸函数性 信道固定时，I(X;Y)是信源概率密度函数p(x)的严格上凸函数 信源固定时，I(X;Y)是信道转移概率密度函数p(y/x)的严格下凸函数 5、信道容量与最大信息传输速率 信道固定时，平均互信息量是信源概率密度函数p(x)的严格上凸函数，总能找到一种信源概率密度函数p(x) ，使通过信道的平均互信息量达到最大。 连续信道一般考虑信道在单位时间内平均互信息量的最大值。 6、加性信道 信道中噪声对信号的作用表现为线性叠加的称为加性噪声，相应的信道为加性信道。 其中，X的概率密度函数为p(x)，Y的概率密度函数为p(y)，噪声N的概率密度函数为p(n)。 X Y=X+N N X和N相互独立时，加性信道的转移概率密度函数p(y/x)=p(n) 设坐标变换 相应的雅可比行列式 7、高斯加性信道的信道容量