信息论第2章信道模型及信道容量.ppt

* * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * 输入和输出随机变量、随机序列的取值都是连续的信道。 根据噪声形式的不同可被分为： 加性噪声信道/乘性噪声信道 根据噪声统计特性的不同又可分为： 高斯噪声信道/白噪声信道/ 高斯白噪声信道色噪声信道。 连续信道 模型 噪声与输入X统计独立 噪声以相加形式出现 加性(连续)信道 ? X Y=X+N N (1) p(y/x) = p(n)——信道的条件概率密度 =噪声的概率密度 (2) Hc(Y/X) = Hc(N)——噪声熵=噪声信源的熵 加性(连续)信道的重要性质 单维连续信道的信道容量： 连续信道容量 多维连续信道的信道容量： （比特/自由度） （比特/N自由度） 加性噪声信道的信道容量 加性高斯噪声信道 加性噪声信道的信道容量 （续1） 平均功率受限信源 连续信道容量 加性信道中，信道转移概率密度就是噪声的概率密度函数 多维连续信道的信道容量： 所以加性信道： 求加性信道的信道容量就是求某种发送信号的概率密度函数使接收信号的熵 最大。 多维加性高斯信道的信道容量 比特 / n自由度 波形信道容量 p(y/x) {x(t)} {y(t)} 在限频F、限时T的条件下可将波形信道转化为多维连续信道。在时间T内将随机过程{x(t)}和{y(t)}离散化为N维随机序列 和 。因此可得波形信道的平均互信息： =X1X2… Xk ….XN =Y1Y2… Yk ….YN 波形信道容量 对波形信道而言，一般都是研究单位时间内的信息传输率 ： 波形信道的信道容量： 一般加性波形信道的信道容量： （比特/秒） （比特/秒） （比特/秒） 假设: 噪声为高斯白噪声，平均功率为N0； 信道为矩形带宽B，噪声与信号同带宽； 输入信号零均值，平均功率受限P； 为了使H(Y)最大，输入随机序列应为彼此统计独立的高斯分布。 也就是说信源输入信号x(t)为零均值，平均功率P的高斯白噪声的特性，这时达到信道容量。 n=2BT 波形信道容量 波形信道容量 例：模拟电话通信中，一般电话信号的带宽3300HZ， 若信噪比为20dB（即 ），求模拟电话信道的信道容量。 比特/秒 波形信道容量 结论： 在假设条件下，信道容量与信道带宽及输入信噪比成正比。 高斯白噪声对信道容量的破坏最大。 输入信号为高斯分布时，信道的传信率可达到理论上的极限——信道容量。 Shannon公式的物理意义与用途 它给出了决定信息传输率R的是三个信号物理参量之间的辩证关系。 三者的乘积是一个“可塑”性体积（三维）。 扩频通信 用频带换取信噪比 2013 * * * * * * * * * * * * * 令 则 一般离散信道的信道容量 信源符号 对输出端平均提供的互信息。 其中 可得 一般离散信道的信道容量 一般离散信道的信道容量 定理2.3 设有一般离散信道，它有r个输入符号，s个输出符 号，其平均互信息 达到最大值的充要条件是输入概 率分布 满足 任意非零概率信源符号 对输出端平均提供的互信息都相等。 一般离散信道的信道容量 定理2.3 的充要条件： 由于： 可改写为： 一般离散信道的信道容量 定理2.3结论： 当信道平均互信息达到信息容量时，输入信源符号集中每一个信源符号 对输出端Y 提供相同的互信息，只是概率为零的符号除外。 但当提高 时， 必然减小。 若xi对输出Y 提供平均互信息高于其他符号，则直观上想可通过提高 的方法可增大总的平均互信息 一般离散信道的信道容量 定理2.3只给出了达到信道容量时，最佳输入概率分布应满足的条件，并没有给出输入符号的概率分布值，因而也没有给出信道容量的数值； 另外，定理本身也隐含着达到信道容量的最佳分布并不一定是惟一的。 只要是输入概率分布满足要求，并使 最大，它们都是信道的最佳分布。 在某些条件下采用求解方程组式的方法可以计算C： 令 一般离散信道的信道容量 这是一个含有s个未