第二章基本信息论平均互信息量.pptVIP

2.2 平均互信息量 [例] 某二元通信系统，它发送1和0的概率分别为：p(1)=1/4，p(0)=3/4，由于信道中有干扰，通信不能无差错地进行。即有1/6的1在接收端错成0，1/2的0在接收端错成1。问信宿收到一个消息后，获得的平均信息量是多少？ 解：根据题意，信源概率分布： 思考：1）互信息量有正有负说明什么？ 2）平均互信息量必为正，为什么？ 二、平均互信息量的物理意义 * * 一、平均互信息量的定义 互信息量 在联合概率空间上的数学期望 Y对X的平均互信息量： 计算过程： 1）收到yj后，从yj中获得关于xi的非平均信息量 2）收到yj后，从yj中获得关于集合X的平均信息量 3）收到集合Y后，从Y中获得关于集合X的平均信息量 X 对Y的平均互信息量： 5/6 1/6 1/2 1/2 y1=1 p(y1) y2=0 p(y2) p(x1)=1/4 x1=1 p(x2)=3/4 x2=0 X空间 Y空间 分析：已知信源概率分布：p( xi ) 信道转移概率： p( yj / xi ) 求平均互信息量：I ( X; Y ) 计算步骤： 1）计算联合概率： 2）计算信宿端概率分布： 3）计算后验概率： 4）计算互信息量： 5）计算平均互信息量： 信道转移概率p( yj / xi )： 1）计算联合概率： 2）计算信宿端概率分布： 3）计算后验概率： 4）计算互信息量： 5）计算平均互信息量： 因此，信宿收到一个消息后，获得的平均信息量是0.067比特/消息 称为信道疑义度/可疑度（损失熵） 信宿收到信源发出的消息Y后，对信源X仍存在的平均不确定度 通信过程中信息在信道中的损失量 1、 Y对X的平均互信息量 信源X的先验平均不确定度–观察到Y后对信源X尚存的后验平均不确定度 信宿接受消息Y前后关于X的平均不确定性消除的程度 收到消息集合Y后获得关于信源X的平均信息量 H(X)经信道损失了H(X/Y)后信宿获得的净信息量 信宿每收到一个消息所获得的平均信息量 表示信道输入信号由于信道中的噪声干扰而在信宿端表现的散步范围，称为散布度（噪声熵） 由于信道噪声的干扰，信源发出消息后无法判断信宿是否正确收到消息 信源发出消息X后，对信宿Y仍存在的平均不确定度 2、 X对Y的平均互信息量 信宿Y的先验平均不确定度–信源发出消息X后对信宿Y尚存的后验平均不确定度 信源发出消息X前后关于信宿Y的平均不确定性的消除程度 为联合熵，表示信源信宿双方通信后整个系统仍存在的平均不确定度 3、 平均互信息量 信源X的先验平均不确定度+信宿Y的先验平均不确定度–信源、信宿双方通信后整个系统尚存的后验平均不确定度 通信前后关于整个系统平均不确定性消除的程度 5/6 1/6 1/2 1/2 y1=1 p(y1)=7/12 y2=0 p(y2)=5/12 p(x1)=1/4 x1=1 p(x2)=3/4 x2=0 X空间 Y空间 [例] 某二元通信系统，它发送1和0的概率分别为：p(1)=1/4，p(0)=3/4，由于信道中有干扰，通信不能无差错地进行。即有1/6的1在接收端错成0，1/2的0在接收端错成1。问信宿收到一个消息后，获得的平均信息量是多少？ 信源熵： 信宿熵： 平均互信息量： 1）损失熵： 平均互信息量： 2）噪声熵： 平均互信息量： 3）联合熵： 平均互信息量： 三、平均互信息量的性质 1、对称性 2、非负性 3、极值性