信息论基础总复习.pptVIP

* * ? 信 息 理 论 基 础 ?复习 公式 * * ? 信 息 理 论 基 础 ?复习 公式 * * ? 信 息 理 论 基 础 ?复习 公式 I(X;Y)=H(X)-H(X|Y)=H(Y)-H(Y|X)=H(X)+H(Y)-H(XY) 维拉图 * * ? 信 息 理 论 基 础 ?复习 离散信道容量公式 具有一一对应关系的无损无噪声信道 logr 具有扩展性的无损失信道(有噪无损信道) logr 具有归并性的无噪声信道（有损无噪信道） logs 强对称离散信道的信道容量 C=logr-H(ε)-εlog(r-1) 对称信道的信道容量 特例： 二元对称信道容量 C=1-H(?) N次扩展信道的信道容量 CN=NC 信源与信道的匹配 准对称信道的信道容量 * * 如果信道矩阵Q的列可划分成若干个互不相交的子集Bk，即由Bk为列组成的矩阵Qk是对称矩阵，则称信道矩阵Q所对应的信道为准对称信道。 其中r是输入符号集的个数, (p1’, p2’,…, ps’)为准对称信道矩阵中的行元素。设矩阵可划分成n个互不相交的子集。Nk是第k个子矩阵Qk中行元素之和，Mk是第k个子矩阵Qk中列元素之和。 * * ? 信 息 理 论 基 础 ?复习 一般离散信道的信道容量 一般离散信道的平均互信息I(X;Y)达到极大值（即等于信道容量）的充要条件是输入概率分布{pi}满足 这时C就是所求的信道容量。 1 1/2 1/2 1 X Y b1 b2 a1 a2 a3 * * ? 信 息 理 论 基 础 ?复习 无失真数据压缩极限值（无论等长和变长编码） 无失真信源编码 连续信源熵与信道容量 、熵功率 Huffman算法和费诺算法 * * ? 信 息 理 论 基 础 ?复习 信息率失真函数R(D) 及确定达到Dmin和Dmax的实验信道。 * * ? 信 息 理 论 基 础 ?复习 单位问题 I(xi):比特 H(X):比特/信源符号, 互信息量I(X;Y): 比特 信道容量C: 比特/秒 平均码长L:信道码符号/信源符号， 如果有N次扩展，L=LN/N（信道码符号/信源符号）。 速率： 编码前：信源符号速率R1=信源符号/秒 信源传信率 R2=R1*H(X)（比特/秒） 编码后：信源信息率R3=L*logr(比特/信源符号) Rt=R1*R3（比特/秒） 信道码符号速率R4=H(X)/L （比特/信道码符号） Rt=Ct 才能无失真传输。 * * ? 信 息 理 论 基 础 ?复习 集中答疑时间和地点 5月8日 上午 9:00-17:00 SY902 考试时间：5月10日 上午10:00-12:00 地点：SX106，SX107 未提交小组作业论文的同学请尽快提交，截止时间5月8日24:00。 不定选择（10%）、填空（10%）、判断（10%）计算题（70%）。 一定要带计算器，答案写卷子上。 考试时一定要严格要求自己，杜绝作弊。 预祝大家取得好成绩！