Google计算机大数据技术.pdf

Google的大数据技术 杨文川 2014.2 主要内容  Google云环境下的大数据背景  分布式文件系统GFS  并行数据处理模型MapReduce 云计算的分类 专 将软件作为服务 如：Salesforce online CRM 用 SaaS (Software as a Service) 将平台作为服务 如：Google App Engine PaaS (Platform as a Service) Microsoft Windows Azure 通 将基础设施作为服务 如：Amazon EC2/S3 用 IaaS (Infrastructure as a Service) 云计算的分类 50年：计算的回归  计算形式以螺旋式上升的形式完成了轮回 巨型机时代 PC时代 云计算时代 • Many People vs. • One Person vs. • Many People vs. One Computer One Computer “One Computer in Cloud” 云计算时代与巨型机时代有何不同？ 云不是巨型机模式的简单回归  云的本质是分布式计算，但有集中管理某些特征  优点 更好的性能价格比，你不要花几十万美元就能获得高效 能计算 多数应用是分布式的。 高可靠性：现代分布式系统具有高度容错机制。 可扩展性：买一台性能更高的大型机，或者再买一台性 能相同的大型机的费用都比添加几台PC的费用高得多。 高度灵活性：能够兼容不同硬件厂商的产品，兼容低配 置机器和外设而获得高性能计算 安全问题是云的关键  安全 病毒响应更及时 体积更小、查杀病毒能力更强 轻量级客户端适合于移动设备 查杀“未知”病毒，保障用户彻底安全 Google与Microsoft的战争 冲突之源  Google和微软之间日益激烈的对立将是一场史诗般 的企业战争，将对两家公司的成功和发展产生重要 影响，并规定着消费者和企业如何工作、购物、通 讯，以及“他们过的数字生活”  Google认为这一切将发生在遥远的数据中心中的服 务器，用户可以通过许多有线和无线设备访问这些 服务，这就是所谓的“云计算”  微软也认为未来在于Web，但它的重心仍然是其桌面 PC软件 Google的观点  90%计算任务都能够通过“云计算”技术完成  桌面软件正在向Web软件转型  云计算是开放标准 ，业界不会有公司独裁  中小企业、大学、消费者会相对迅速地转向基于 Web的“云计算”技术  新的赢利模式 ◦ 低廉的云计算给Google带来更多的流量，进而带来更多的 广告收入  承认“云计算”不会在一夜之间普及 ◦ 大公司通常会慢慢地改变自己的习惯 ◦ 其它问题，例如“飞机问题”，以及在不能上网时用户如 何工作。