王宏志大数据问题求解算法与系统.pdf

海量数据计算研究中心 Massive Data Computing Lab @ HIT 大数据问题求解: 算法与系统 哈尔滨工业大学 王宏志 wangzh@ /pages/wang 2015-07-22@北京 提纲 • 大数据问题求解 • 从算法角度求解大数据问题 • 从系统角度求解大数据问题 • 结论 什么是大数据？  至今没有公认的定义  定义1 (Kusnetzky, Dan. What is Big Data?) 所涉及的数据量规模巨大到无法通过人工，在合理时间内达到截取、 管理、处理、并整理成为人类所能解读的信息 请各位评审老师提出宝贵建议！  定义2 (维克托 ·迈尔-舍恩伯格、肯尼斯 ·库克耶. “大数据时代”) 不用随机分析法（抽样调查）这样的捷径，而采用所有数据的方法 谢谢！  定义3 ( “大数据”（Big data）研究机构Gartner) “大数据”是需要新处理模式才能具有更强的决策力、洞察发现力 和流程优化能力的海量、高增长率和多样化的信息资产。 处处皆是大数据 移动设备 社交网络 科学仪器 请各位评审老师提出宝贵建议！ 传感网 谢谢！ 医疗数据 商业数据 计算机艺术 大数据的特点 请各位评审老师提出宝贵建议！ 谢谢！ 大数据上问题求解计算问题的过程 计算问题 可计算否？ 资源 约束 时间 数据量 能行可计算否 约束 请各位评审老师提出宝贵建议！ 谢谢！ 算法设计与分析 算法实现 计算系统 7 提纲 • 大数据问题求解 • 从算法角度求解大数据问题 • 从系统角度求解大数据问题 • 结论 大数据算法  大数据算法的定义  在给定的资源约束下，以大数据为输入，在给定时间约束内可以生成 满足给定约束结果的算法。  大数据算法可以不是： 和“算法设计与分析”  精确算法 课程中算法大不相同 请各位评审老师提出宝贵建议！  内存算法  串行算法 谢谢！