tipdm大数据云服务实验室建设方案.pdf

TipDM 大数据云服务实验室建 设方案 广州泰迪智能科技有限公司 2016 年4 月 一、背景 1.1 大数据挖掘行业背景和发展趋势 移动互联网、电子商务以及社交媒体的快速发展使得企业需要面临的数据量成 指数增长。根据 IDC 《数字宇宙》(Digital Universe)研究报告显示，2020 年全 球新建和复制的信息量已经超过 40ZB，是 2012 年的 12 倍;而中国的数据量则会 在 2020 年超过 8ZB，比 2012 年增长 22 倍。数据量的飞速增长带来了大数据技 术和服务市场的繁荣发展。IDC 亚太区(不含日本)必威体育精装版关于大数据和分析(BDA)领 域的市场研究表明，大数据技术和服务市场规模将会从 2012 年的 5.48 亿美元增 加到 2017 年的 23.8 亿美元，未来 5 年的复合增长率达到 34.1%。该市场涵盖 了存储、服务器、网络、软件以及服务市场。数据量的增长是一种非线性的增长速 度。 据 IDC 分析报道，最近一年来，亚太区出现了越来越广泛的大数据和分析领 域的应用案例。在中国，从互联网企业，到电信、金融、政府这样的传统行业，都 开始采用各种大数据和分析技术，开始了自己的大数据实践之旅;应用场景也在逐 渐拓展，从结构化数据的分析，发展到半结构化、非结构化数据的分析，尤其是社 交媒体信息分析受到用户的更多关注。用户们开始评估以 Hadoop、数据库一体机 以及内存计算技术为代表的大数据相关新型技术。 必威体育精装版调研结果显示，提高竞争优势，降低成本以及吸引新的客户是中国用户对 大数据项目最期望的三大回报。目前现有的大数据项目主要集中在业务流程优化以 及提高客户满意度方面的应用。IDC 发现很多用户希望大数据能够为企业带来业务 创新，并且开始使用高级分析的解决方案以管理复杂的数据环境。过去一年中用户 对社交数据的收集和分析应用的关注度增加明显。未来，地理位置信息分析将会增 长迅速，这也会推动用户对大数据安全和隐私管理的关注。在亚太区，澳大利亚和 新加坡的用户对大数据的相关投资主要在咨询服务方面，更关注如何根据新的最佳 实践需求设计和实施方案。中国和印度在大数据领域的硬件投资则非常明显，更倾 向于数据中心相关的基础架构的投资。 在传统的数据分析与商业数据挖掘中，人们通常遵循二八原则。也就是任务 20%的用户提供了 80%的价值，因此利用优势资源用户对于少数用户的服务。随着 1 互联网的发展，越来越多的低价值用户进入到商业体系中，这部分用户成为商业企 业竞争的目标。比如电商行业，大量顾客都是传统意义上的低价值客户，数据表明 对于这部分用户价值的挖掘可以改变二八原则，甚至可达到价值的几乎均匀分布。 并且由于计算技术的发展，对于大数据的分析也成为了可能。 1.2 大数据挖掘实验室建设的必要性 数据挖掘与大数据分析是以计算机基础为基础，以挖掘算法为核心，紧密面向 行业应用的一门综合性学科。其主要技术涉及概率论与数理统计、数据挖掘、算法 与数据结构、计算机网络、并行计算等多个专业方向，因此该学科对于实验室具有 较高的专业要求。实验室不仅要提供基础的开发环境，还要提供大数据的运算环境 以及用于实验的实战大数据案例。这些实验素材的准备均需专业的大数据实验室作 为支撑。 目前，在我国高校的专业设置上与数据挖掘与大数据分析实验相关的学 科专业包括：计算机科学与技术、信息管理与信息系统、统计学、经济、金融、贸 易、生物信息以及公共卫生等。这些专业的学生需要分别从原理、技术与应用等不 同的角度掌握大数据分析的理论与分析方法。学生要很好地掌握这些课程，除了课 堂学习，通过实验来加深理解和提高实际应用操作能力也是主要途径。调查表明， 数据挖掘与大数据分析实验所需要的算法、计算环境以及数据等，都无法在我国高 校现有的实验室中完成。因此，建设专门的数据挖掘与大数据分析实验室就显得非 常重要。 二. 实验室设计理念 数据挖掘与大数据分析实验室的设计全面落实“产、学、研”一体化的思想和 模式，从教学、实践、科研和使用多方面注重专业人才和特色人才的培养。 本实验室建设方案融合数据挖掘与大数据分析专业教学、实训、实战等各层次 实践教学，能够从