信息论第4章(波形信源和波形信道).ppt

设连续平稳信源输出的是N维连续型随机矢量,将它送入信息处理网络，其输出为另一个N维随机矢量Y和X之间的变换关系如下：在离散信源中，若有确定的对应变换关系，变换后信源熵是不变的。问：在连续信源中，输出的消息经过变换后，其熵（差熵）会不会发生改变？下面我们将讨论这个问题。从数学上讲，这可归纳为坐标变换的问题。坐标变换后概率密度函数的变化05-06学年上ElementsofInformationTheory*已知Y和X之间有一一对应关系,则X也可以表示位Y的单值连续函数。引入雅可比行列式05-06学年上ElementsofInformationTheory*01定义：02证明可得经分析可得坐标变化后新旧概率密度函数的关系为：结论：除非雅可比行列式等于1，否则，在一般情况下，连续型随机变量通过变化后其概率密度函数会发生变化。坐标变换后差熵的变化05-06学年上ElementsofInformationTheory*经过计算可得变换后连续信源的差熵为：4.5熵速率和熵功率05-06学年上ElementsofInformationTheory*熵速率：信源在单位时间内输出的熵称为信源的熵速率。1若信源是时间连续、信号带宽为F的连续信源，根据随机信号的抽样定理，可用2F的速率对信源进行采样。因此，连续信源的熵速率为：2当信号平均功率受限时，高斯分布信源的熵最大。令其平均功率为P，则其熵为：若另一信号Y的平均功率也为P，但不是高斯分布，那它的熵一定比上式计算的小，即：ElementsofInformationTheoryElementsofInformationTheoryElementsofInformationTheoryElementsofInformationTheory05-06学年上ElementsofInformationTheory*信息论

Elementsof

InformationTheory蒋青TEL4、波形信源和波形信道05-06学年上ElementsofInformationTheory*4.1波形信源的统计特性和离散化4.2连续信源和波形信源的信息测度4.3具有最大熵的连续信源4.4熵功率4.5连续信源熵的变换4.6连续信道和波形信道的分类4.7连续信道和波形信道的信息传输率4.8连续信道和波形信道的信道容量4.1波形信源的统计特性和离散化05-06学年上ElementsofInformationTheory*随机变量随机过程随机矢量05-06学年上ElementsofInformationTheory*表4.1消息(信号)取值的集合消息(信号)取值时刻的集合信源种类离散离散离散信源(Discretesource)/数字信源(Digitalsource)连续连续波形信源Waveformsource/模拟信源(Analogsource)连续离散连续信源(Continuoussource)离散连续4.2连续信源和波形信源的信息测度05-06学年上ElementsofInformationTheory*连续信源的数学模型并满足一维概率密度函数一维概率分布函数条件概率密度函数联合概率密度函数DCAB假定连续信源X的概率密度函数p(x)如右图所示。我们把取值区间分割成n个等宽的小区间。X处于第i区间的概率为这样，连续变量X就可用取值为xi的离散变量Xn来近似。连续信源X被量化成离散信源。这时离散信源Xn的熵是当n?∞,△?0，离散随机变量Xn趋于连续随机变量X，而离散信源的熵H(Xn)的极限值就是连续信源的信息熵：连续信源的差熵05-06学年上ElementsofInformationTheory*ABC又称为差熵、微分熵、相对熵。两随机变量的联合熵和条件熵：定义连续信源的熵为：连续信源差熵的性质05-06学年上ElementsofInformationTheory*可加性：凸状性和极值性：差熵H(X)是输入概率密度函数p(x)的凸函数。即：对于某一概率密度函数，可以得到差熵的最大值。差熵可为负值。例如，若概率密度函数为则例：设有一连续随机变量，其概率密度函数为05-06学年上ElementsofInformationTheory*1又有2试求这