云计算、大数据培训技术.ppt

随着企业的发展和竞争逐渐加剧，传统的IT管理模式在时效性和灵活性上已不能满足日新月异的市场需求，客观上需要一种灵活、动态的，能够为企业提供实时支持的IT管理模式。 多数企业特别是中小型企业在信息化过程中面临一下几点问题： 昂贵的基础设施建设 持续不断的维护成本 平台运行过程中的各种问题 问题1——昂贵的基础设施建设 昂贵的基础设施建设，使企业无法承担由此带来的风险，使得企业信息化建设可望而不可及 需要搭建企业内部的网络,如果是跨区域的公司，还需要搭建独立的外网系统 购买符合公司个性化的信息管理软件 1、购买服务器硬件 2、购买操作系统及数据库服务系统 问题2——持续不断的维护成本 1、服务器硬件定期检修 2、操作系统及数据库服务系统定期检修 3、服务器性能监控 4、服务器故障排查 1、服务器网络流量监测 2、服务器网络安全检测 3、服务器网络故障排查及修复 1、软件升级 2、软件功能完善 3、软件BUG修复 信息化平台的维护不但需要维持不断变化的成本,也需要有IT技术专业人员的投入,这往往是中小企业不具备的 问题3——平台运维中的各种问题 突然断电、服务器过热、服务器故障、网络状态等都会影响到信息平台的稳定性 信息平台的不稳定直接关系到其可用性，如可用性受到影响，则企业日常业务将会受到严重影响 包括数据安全性与网络安全性；由于缺乏有效的安全维护计划及措施，使得企业数据都裸露在外，企业信息毫无安全性可言 随着企业不断发展，而差扩展性的信息化平台，再加上维护跟不上，使得企业当前的信息平台将会成为企业发展的绊脚石 不稳定、不可用、不安全及差扩展，这些问题最终使得企业信息化平台“天折” 问题3——平台运维中的各种问题 突然断电、服务器过热、服务器故障、网络状态等都会影响到信息平台的稳定性 信息平台的不稳定直接关系到其可用性，如可用性受到影响，则企业日常业务将会受到严重影响 包括数据安全性与网络安全性；由于缺乏有效的安全维护计划及措施，使得企业数据都裸露在外，企业信息毫无安全性可言 随着企业不断发展，而差扩展性的信息化平台，再加上维护跟不上，使得企业当前的信息平台将会成为企业发展的绊脚石 不稳定、不可用、不安全及差扩展，这些问题最终使得企业信息化平台“天折” 实际案例—西湖云计算服务平台 根据文件精神和对西湖区电子商务产业发展现状的分析，为促进西湖区电子商务产业健康持续快速发展，打造全国电子商务中心的核心区，2010年9月文三路电子信息街区管委会与浙江工商大学、东华大学、上海联合电子商务研究所、IBM中国开发中心开始共同推进电子商务行业云计算公共服务平台建设。 大数据基础知识介绍 数据的前世今生 4 step 2 step 1 step 纸质数据 文件系统 数据库 管理系统 数据仓库和 数据挖掘 大数据时代 3 step 5 step 数据库管理系统 常见的数据库管理系统 MySQL、ORACLE、 ACCESS、Visual Foxpro、MS SQL Server Informix、 PostgreSQL、SYBASE、DB2 数据仓库和数据挖掘 数据库 数据仓库 不可知的价值 提取数据 数据挖掘 ?示例：“尿布与啤酒”的故事 总部位于美国阿肯色州的世界著名商业零售连锁企业沃尔玛（Wal?Mart）拥有世界上最大的数据仓库系统。为了能够准确了解顾客在其门店的购买习惯，沃尔玛利对其顾客的购物行为进行购物篮分析，想知道顾客经常一起购买的商品有哪些。沃尔玛数据仓库里集中了其各门店的详细原始交易数据。在这些原始交易数据的基础上，沃尔玛利用NCR数据挖掘工具对这些数据进行分析和挖掘。一个意外的发现是：“跟尿布一起购买最多的商品竟是啤酒！”?? ??这是数据挖掘技术对历史数据进行分析的结果，反映数据内在的规律。那么这个结果符合现实情况吗？是否是一个有用的知识？是否有利用价值？???? ????于是，沃尔玛派出市场调查人员和分析师对这一数据挖掘结果进行调查分析。经过大量实际调查和分析，揭示了一个隐藏在尿布与啤酒背后的美国人的一种行为模式：在美国，一些年轻的父亲下班后经常要到超市去买婴儿尿布，而他们中有30%?～40%的人同时也为自己买一些啤酒。产生这一现象的原因是：美国的太太们常叮嘱她们的丈夫下班后为小孩买尿布，而丈夫们在买尿布后又随手带回了他们喜欢的啤酒。????既然尿布与啤酒一起被购买的机会很多，于是沃尔玛就在其一个个门店将尿布与啤酒并排摆放在一起，结果是尿布与啤酒的销售量双双增长。????按常规思维，尿布与啤酒风马牛不相及，若不是借助数据挖掘技术对大量交易数据进行挖掘分析，沃尔玛是不可能发现数据内在这一有价值的规律的。? 大数据的特征 数据量大（Vo