信号论填空汇总资料.doc

香农信息论中定义的信息是“事物运动状态和存在方式不确定性的描述”。 消息是信息的载体。构成消息的两个条件是能被通信双方所理解和可以在通信中传递和交换。 信源编码的作用是根据失真度准则对信源的输出消息进行编码，用码字表示消息。 信息论研究的主要问题是如何提高信息传输系统的有效性和可靠性。 如果信源输出的消息的随机变量，可以在某一离散集合内取值，也可以在某一连续区间内取值，相应的信源就分别称为 和 。——[答案：1.连续信源 离散信源] 当条件概率分布p（y∣x）给定时，平均互信息量I（X;Y）是输入概率分布p(x)的 。 ——【上凸函数】 八进制脉冲的平均信息量为 ，八进制脉冲所含信息量是二进制脉冲信息量的 倍。 ——【3 3】 熵函数的数学特性有 、 、 、确定性、可加性、极值性、上凸性。——【对称性 非负性 扩展性】 平均互信息量I（X;Y）与信源熵和条件熵之间的关系是 。 【I（X;Y）=H（X）—H(X/Y)】 设信源X包含 4个不同的离散信息，当且仅当X中各个信息出现的概率为 时，信源熵达到最大值为 ，此时各个信息的自信息量为 。【1/4 2 2】 自信息量表征信源中各个符号的不确定度，信源符号的概率越大，其自信息量越 。【小】 信源的冗余度来自两个方面，一是信源符号之间的 ，二是信源符号分布的 。【相关性 不均匀性】 离散信道是 输入和输出的随机变量的取值都是离散的信道。 信道可依据输入输出的随机变量类型分成离散信道、连续信道、半离散或半连续信道。 单符号离散信道的输入符号是X，取之于｛a1、a2…… an｝;输出符号为Y,取值为｛b1、b2、……bn｝，并有条件概率P(Y=bj/X=ai)=P(bj/ai)(i=1、2……m)，这一组条件概率称为信道的传递概率或转移概率。 由香农公式可知：提高信噪比S/N能提高信道容量C 若输入概率为P(X=ai)=P(ai)称为输入符号的先验概率，此时，对应地把P(ai/bj)称为输入符号的后验概率。 若离散信道对任意长为N上的输入和输出符号序列有则称它为离散无记忆信道简记DMC。 准对称信道的性质：每一行都是第一行的置换，每一列都是第一列的置换。 实现准对称离散无记忆信道的信道容量的输入分布为等概率分布。 信道剩余度定义为：信道剩余度=C-I(x,y)。 信道容量又称为最大的信息传输率。 信道组合有两大基本方式：级联信道和并联信道 信源编码是研究在不失真或允许一定失真的条件下，如何用尽可能少的符号来传送信源信息，以便提高信息传输率。 码字含有的码符号个数都相同的码叫 等长码, 码中含有的所有码字都不相同的码叫 非奇异码。 对于二进制等长唯一可译码，共有q个符号需要被编码，每个信源符号至少需要用log q个码符号来变换。 等长编码定理表述了，只要码字传输的信息量大于信源序列携带的的信息量，总能实现几乎无失真编码。 香农第一定理的物理意义：对离散信源进行适当的变换，使变换后新的码符号信源尽可能等概率分布，使新信源的每个码符号平均所含的信息量达到最大,从而使信息传输速率达到信道容量。 信息传输的效率取决于平均码长。 在译码时无需参考后续的码符号就能立即做出判断的码称为即时码。 信源编码解决的是通信系统的有效性。 编码定理，又称___香农第二定律__，主要研究怎样使消息通过__有噪信道___传输后发生的错误最少，即研究通信的____可靠性__问题。 信道的统计特征可由__信道的传递矩阵___来描述。 在有噪信道中，传输的平均错误概率与各种编、译码方法有关。在___最大似然译码准则__下，使错误概率减小的编码方法就是使___码间的最小距离_____增大。 在确定译码规则F(bj)=ai后，若信道输出端接受的符号为bj，发送的不是ai，就认为有错误，那么错误概率P（e| bj）称为____条件错误概率______。 已知信道矩阵 b1 b2 b3 a1 0.5 0.3 0.2 a2 0.2 0.3 0.5 a3 0.3 0.3 0.4 根据最大似然译码准则可得信道平均错误概率最小为：__0.567____。 费诺不等式解释了PE与信道疑义度H(X|Y)是有一定关系的，其关系是：_____________ H(X|Y) ≦H(PE)+ PElog(r-1)____