第二部分2.pptVIP

解： 5、自由度 定义：如果一类函数中的任何特殊函数都由N个实数确定，则称此类函数具有N个自由度。 限时限带信号的自由度约为2WT *限时信号采用傅氏级数展开时，通常有无穷个系数， 第i次谐波频率为|i/T|，若再限带，满足|i/T|≤W的系数不为零，共2WT+1≈2WT个，其它系数为零。 *限带信号采用抽样函数展开时，通常有无穷个系数， 第i个抽样时刻为i/(2W)，若再限时，满足i/(2W)≤|T/2|的系数不为零，共2WT+1≈2WT个，其它系数为零。 二、信源及信源编码 6、K-L展开 *展开系数 的相关性 如果x(t)是功率谱为 的高斯白噪声，则有 高斯白噪声正交展开后 展开系数不相关 展开系数独立 二、信源及信源编码 *K-L展开 对于函数x(t)，如果选取正交归一化函数集 ，满足 称为K-L展开，其展开后系数是不相关的，即 且有 平均功率 二、信源及信源编码 四、波形信源的熵速率和熵功率 0 t X(t) a b 0 t X(t) a b 1、波形信源的特点： ①、信源输出时间上连续、取值连续； ②、在任意时刻t，随机变量X(t)具有相同分布特性； ③、信源输出带宽为W。 0 t X(t) a b 二、信源及信源编码 2、波形信源的熵速率——单位时间内输出信息量 熵速率：波形信源X(t)的熵速率定义为单位时间内输出的信息量，简称熵率，即 释：(1)波形信源离散成N维时间离散的连续信源； (2)通常采用正交展开离散处理； (3)离散不是唯一的。 二、信源及信源编码 3、波形信源的熵功率——偏离高斯信源程度 对于平均功率为P的信源，当信源具有高斯分布时，信源熵最大，为 释： ①、对于平均功率为P的信源，当信源具有非高斯分布时，信源熵H(X)小于具有相同平均功率的高斯信源的熵Hmax(X)。 ②、信源熵H(X)偏离Hmax(X)的程度描述了信源偏离高斯信源的程度，能否仅通过功率来衡量这种偏离程度？——熵功率。 二、信源及信源编码 熵功率：如果一个信源熵为H(X)，称 为信源的熵功率，H(X)计算用ln，单位是nat。 释： ①、任意信源的熵功率 小于等于其平均功率P ； ②、高斯信源的熵功率 等于平均功率P ； ③、熵功率 是产生熵H(X)的高斯信源所需要的平均功率。 二、信源及信源编码 4、限带高斯白噪声信源的熵和熵率(熵速率) 信源X(t)是带宽为W的高斯白噪声，功率谱为 ， 当 时，有 所以，对x(t)按1/(2W)间隔的采样值x[i/(2W)]不相关，由于信源是高斯的， x[i/(2W)]是独立的。 在时间(-T/2,T/2)间隔内，等价于N=2WT维独立的离散时间信源，其熵率为 二、信源及信源编码 二、信源及信源编码 5、限带高斯信源的熵和熵率 信源X(t)是带宽为W的高斯信源，功率谱为 ，其熵率为 二、信源及信源编码 带宽为W 、功率谱密度N0/2=1的白高斯信源X(t)，通过时不变 后输出Y(t)的熵率为 Bits/每秒自由度 (1)在(-T/2,T/2)间隔内傅氏级数展开，等价成N=2WT个独立信道并联，展开系数构成线性变换； (2)计算N维随机矢量线性变换后的熵率； (3)令T趋近于无限大，即得到上式。 二、信源及信源编码 (1)在(-T/2,T/2)间隔内傅氏级数展开： 二、信源及信源编码 则 令 二、信源及信源编码 (2)N维随机矢量线性变换后的熵和熵速率(符号熵)： 则 Bits/2WT自由度 二、信源及信源编码 (3)令T趋近于无限大，代入上式： Bits/每自由度 Bits/每秒每自由度 2.3 无失真信源编码（冗余度压缩编码、保熵编码） §5.1 编码器 §5.2 分组码 §5.3 定长码 §5.4 变长码 §5.5 变长编码方法(分组码) — 香农(Shannon)编码 — 霍夫曼(Huffman)编码 — 费诺(Fano)编码 二、信源及信源编码 一、定长编码定理 1、简单信源S 信源S存在唯一可译定长码的条件为： 其中，q是信源符号个数； r是码符号集中码符号个数； l是简单信源S定长编码的码长。 释： 表明唯一可译定长码的最短码长为 二、信源及信源编码 2、信源S的N次扩展信源 N次扩展信源SN存在唯一可译定义码的条件为： 其中，qN是扩展信源符号个数； L是扩展信源SN定长编码的码长。 释： ①、l