大数据的机遇与挑战.ppt

结合典型领域，验证并展示所发展的新理论与新方法的有效性，形成相应领域基于数据科学发现的方法论：主要研究内容4：大数据决策分析与结果真伪评价基于大数据分析决策的逻辑基础大数据科学发现的可证实性方法与验证方法典型领域的基于大数据的科学发现：4社会安全（基于多源数据融合的群体监测与事件发现）医疗健康（医疗影像数据分析处理、医保与体检数据分析）电力调控（市场环境下电网运营、运行、调度策略）高铁安全（高铁运行监控、安全态势评估等）大数据关键科学问题:内涵解决若干统计学基础、计算理论基础方面的关键问题；提出一批新概念、新理论和新方法，形成数据科学基础理论体系。创立大数据算法设计方法学，提出大数据分析与处理的系列基础算法，形成具有独立自主知识产权的核心技术族。选择2－3个国家重大需求牵引的典型领域，提出大数据问题解决系统方案并在应用上取得突破，形成领域相关的科学发现新模式与行业应用核心技术。大数据分析基础大数据处理算法大数据应用示范大数据关键科学问题（期望突破）提出大数据相关性新度量;提出并发展稀疏性超高维统计推断和检验新理论;建立伪相关判定准则和基于内生性的超高维统计建模理论;提出流数据、分布数据情形下的可解性与难解性理论及方法。在异构分布式计算模式下，系统建立聚类、分类、回归、相关性分析、大规模线性代数问题求解等大数据处理基础算法。在国家安全、医疗健康、电力调控、高铁安全等国家重大需求领域，应用大数据技术取得突破性成果，形成领域相关的科学发现新模式与行业应用核心技术。大数据分析基础大数据处理算法大数据应用示范大数据关键科学问题（期望突破）目录第一部分大数据及其面临的挑战第二部分大数据分析与处理中的关键科学问题第三部分关于若干大数据科学问题的研究第四部分结语关于若干大数据科学问题的研究大数据分析与处理是传统统计学分析、智能信息处理（机器学习、数据挖掘）、数据库技术的延伸和发展。在这些领域，国内己经形成了一批优势的研究群体，并取得一批国际领先/先进水平的研究成果。马志明院士徐宗本院士鄂维南院士李国杰院士高文院士李未院士关于若干大数据科学问题的探索西安交大课题组的研究超高维问题：稀疏建模理论与方法大数据算法问题：方法论与分布式计算非结构化信息处理问题：视觉模拟算法关于超高维问题大数据超高维问题大数据超高维问题：“决策要素（）伴随大数据规模(n)呈现更高量级”所引起的解的不适定性与经典统计推断失效问题。经典统计学：np;高维问题：pn;大数据高维问题：p=O(exp(n)),n-∞.线性模型:数据：基本科学问题如何补足信息使问题可解?高维统计推断超高维数据的低维特征表示研究热点：利用稀疏性先验（压缩感知、低秩分解、高阶与非线性稀疏）关于高维问题的研究（稀疏性先验）（典则）稀疏性：信息表示的普遍属性。意指：一个观测中感兴趣的信息单元在整个单元中仅占少数部分的性质。通常用表示向量x的非零元素个数刻画。稀疏信号稀疏图像稀疏SAR场景(线性)变换稀疏性：信息表示中更为普遍的属性，指在某个线性变换A下，Ax具有典则稀疏性。(用来刻画)关于高维问题的研究（稀疏性先验）社交网络语义分析结构稀疏性：以某种结构方式所呈现的稀疏性。主要用于刻画属性间的相依关系，是处理多视角、多通道信息融合的重要工具之一。结构稀疏度量：组间稀疏(q范数)，组内合作(p范数)特征提取基因序列分析[Jenatton2010]关于高维问题的研究（稀疏性先验）关于高维问题的研究（稀疏性先验）非线性稀疏性:线性变换（表示）稀疏性向非线性的推广，即在某个非线性变换T下，T(x)具有稀疏性（用刻画）。稀疏神经元响应(Barlow,1979;Roland,1993)响应稀疏性非线性变换稀疏压缩感知图像处理特征提取机器学习地震信号处理……稀疏信息处理：涉及具有稀疏性的信息源的信息处理。稀疏性问题：一个与大量疑似要素相关但本质上仅由少量要素决定的问题。稀疏性问题模型:关于高维问题的研究（稀疏性问题）特殊情形信息获取模型L0框架L1框架（S.Mallat(1993),J.A.TroppD.Needell(2007,2009)等）挑战与问题只在很严格的条件下才有L1/L0等价性（Donoho,2006）；