信号处理入门：若干分水岭.ppt

* * Mean=expectation=MMSE estimation * * 1975，在美国普林斯顿大学攻读研究生，并于21岁时获得博士学位。年仅24岁时他就成为加州大学洛杉矶分校的终身数学教授。31（2006），33（2008） 俄罗斯数学家佩雷尔曼 信号处理入门：若干分水岭 （1）统计分布：从拉普拉斯到高斯再到拉普拉斯 （2）信息采样：从拉格朗日到耐奎斯特、香农到压缩采样 （3）优化准则：从条件期望到最小均方误差、最小二乘到稀疏约束 （4）吝啬原理：线性与非线性、凸与非凸 （5）…… 针对即将开题的2010级硕士研究生 * * 内容 从几个问题开始 稀疏信号处理模型、问题描述、基本原理 稀疏信号处理常用算法、软件工具 稀疏信号处理的例子 一些问题讨论 * * 一、从几个问题开始 高斯分布凭什么无所不在？ MMSE是最优的？ 吝啬原则：免费的午餐？ 分辨率受孔径限制？ 机器学习：支持向量是稀疏的？ 什么是多维标度问题? * * 谱的概念最初是从哪里得来的呢？ 谱是信号处理中最重要的概念之一。 信号处理经常要在时域与频域之间的转换，这种转换称为傅里叶变换，也常叫做频谱分析。 在信号处理中，经常会遇到频谱、功率谱、能量谱、幅度谱、相位谱等各式各样的关于谱的概念。 * * 牛顿：1666年，科学史上的奇迹年 1642年出生在英国，是世界近代科学技术史上伟大的物理学家、天文学家和数学家。 1666年，23岁的牛顿为了躲避瘟疫，回到乡下的老家度假。 在那段日子里，他一个人独立完成了几项开天辟地的工作，包括发明了微积分（流数），完成了光分解的实验分析，以及对于万有引力定律的开创性思考。 * * 光学 公元1669年，牛顿刚刚成为剑桥大学卢卡斯席位的特聘教授。也许是这个席位与生俱来的贵族传统，也许是牛顿的声名太显赫，这个教授席位在日后的科学史中，不仅是剑桥的荣耀、英国科学家的荣耀，更记载着人类对自然探索的光荣。 牛顿开始的第一项研究即是光学，为此甚至不惜推后对微积分理论的进一步完善。实际上，不管是光学，还是微积分，基础都来源于他1665至1666年在老家躲避瘟疫的开创性工作。而对于光学，最开始是因为他发现了一种几乎是完美的研磨透镜的新方法。 * * 色差现象 利用这些透镜，他发现当白光通过透镜的时候会产生很多颜色的光，也就是色差现象。如何来解释这一现象呢？ 牛顿自己的理论是白光由各种颜色的光组成，透镜本身并不能产生颜色，仅仅是将光的组成部分进行了分解。 但是在严格的实验验证之前，他还不能贸然发表他的这些观点。上述实验或许将证明他的理论。 * * 实验 主要实验设备是两个三棱镜：一个用于将白光分解为各种不同颜色的光，另一个希望能将各种颜色的光恢复成白光。 他已经非常仔细地研磨这些三棱镜，保证即便实验不成功也不会是棱镜的原因。 他举起光源，将其对准第一个三棱镜：在两个棱镜之间是七色的彩虹，在第二个棱镜之后，又是白光。 又经过多次的反复实验，每次都得到了预想的结果。于是他确信，对这个实验，即便是皇家学会那些最挑剔的批评者也将无话可说了。 * * 谱（spectrum）的由来 牛顿认识到，白光包含了各种颜色的光。 他将这些通常用肉眼看不见的各种种颜色的光，看做是幽灵一般。 于是，在他的拉丁文手稿中用了specter这个词。后来，经过逐步的演化，人们用spectrum来表示谱：意思是彩虹中的各种颜色。这就是谱（spectrum）的由来。 * * 停步不前 牛顿的下一步工作本来应该是去深入认识这些不同颜色的光源于其频率的不同。 然而很遗憾的是，即便是那个时代最杰出的科学家牛顿，也终于没能迈出这一步。 主要原因：他坚信光的粒子性而不是波动性。 * * 频谱的概念 在此之后，光的波/粒大战还将延续几百年，并深刻影响着物理学的进程，这已经是题外话了。 将频率与谱联系并统一起来，才构筑了信号处理中我们通常所说的频谱的概念。 * * 高斯分布：An equation is for eternity The fundamental nature of this distribution and its main properties were derived by Laplace (1781) when Gauss was six years old. The distribution itself had been found by de Moivre (1733) before Laplace was born. * * 高斯的问题(1809) 最简单 最优 * * 高斯的推导 (1809) 什么情况下样本均值是最大似然估计问题的解？ * * 若解是样本均值，则应满足： any real number can be a