第二讲：背景知识.PDF

第二讲：背景知识 沈聪 2016年秋季学期 congshen@ Announcement •  课程主页： – /~congshen/mimo.html •  答疑 – 时间：每周四晚7:30至8:30 – 地点：西区实验楼西楼715 •  本周四课停上 – 下周一和周四的课分别延长一节 Slide 2 继续复习 •  信息论基础 •  检测与估值 Slide 3 信息论基础知识 •  熵 •  条件熵 •  互信息 •  相互关系，chain rule, etc… Slide 4 Noisy Channel Coding Theorem •  考虑一个离散无记忆信道 (Discrete Memoryless Channel, DMC)，输入符号x，输出符号y •  此信道容量为： •  [Shannon 1948]论文的证明使用了随机编码方法， 证明了至少存在一个编码方法可以获得上述信道容 量 •  一个不严格但是较为直观的理解如下… Slide 5 信道容量计算 •  练习题： – BSC – BEC Slide 6 连续分布下的信道容量 •  微分熵 •  条件微分熵 •  互信息 •  信道容量定理 •  输入限制 Slide 7 AWGN信道容量 •  加性 A •  白色 W •  高斯 G •  噪声 N •  实输入输出模型：y x+w – x:输入符号，实数 2 – Cost function：c(x) = x ,发送功率受限 2 – w ：AWGN，符合实高斯分布 N(μ,σ) •  直观的说，w的均值是否影响发送接收质量(信道容 量)？ Slide 8 AWGN信道容量 •  I(x;y) = h(y)-h(y|x) 2 •  h(y|x) = h(w) = 1/2 log(2πeσ ) – h(w)与均值无关 •  因此，剩下的问题是如何在cost constraint下，寻 找一个x的分布来最大化h(y) •  解法： 2 – 给定限制条件 RV x,E[x ]≤A,那么最大化微分熵的分布 是高斯