GOOGLE分布式技术的研究.pptx

GOOGLE分布式技术研究Google成功的重要因素 ——采用基于云计算分布式技术为核心IT架构十几年前，谷歌（Google）只是一个只有十几个员工的小企业，短短十几年时间，它成为了全球市值最高的互联网公司。其品牌价值已经超过麦当劳、可口可乐，成为世界第一品牌，而且比起其他世界名牌每年几亿美元的广告投入，它没有打一分钱的广告。Google凭什么世界第一? 调研机构comScore公布的数据显示，今年2月份，美国市场谷歌、雅虎和微软网站的访问量分别排名前三位感受云计算的力量优兴咨询的必威体育精装版调查显示，最受年轻人青睐的雇主为谷歌。这份面向10306名大学生的调查，让受调查者从150个雇主中挑选五个最理想的雇主，约有25%的大学生选了谷歌，位列第一。Google的技术架构——核心技术为GFS, BigTable, MapreduceCRM技术规范google分布式技术的重要借鉴意义——解决业务支撑系统当前瓶颈的重要参照分布式架构居高不下的系统建设成本源于现有的解决方案小型机+oracle数据库。采用类似Google基于x86服务器的分布式架构的解决方案，可有效降低投资成本BigTable系统规模越来越大，业务响应越来越慢，越来越受限于关系型数据库的性能BigTable分布式数据库出色的扩展性能使系统不受规模限制，无限扩展。GFS 几何级数增加的海量数据，如何存储，如何快速查询，如何管理。Gfs分布式文件系统可以使用廉价的磁盘，存储海量的数据，并提供快速的查询与高安全性，并能自动扩展海量数据规模的限制Mapreduce应用软件的稳定性，扩展性都受到挑战，单点故障频发。使用Mapreduce并行编程模型去改造应用软件，可以提高系统可靠性，消除单点故障GFS的技术特点——高性能，高吞吐，高可靠性，高安全，高扩展性部件错误不再被当作异常，而是将其作为常见的情况加以处理。大部分文件的更新是通过添加?新数据完成的，而不是改变已存在的数据。所有文件都有副本存在另外机器中，通常可以设置2个副本。文件系统不用担心数据丢失。客 户和chunkserver都不缓存文件数据，不缓存可以简化客户程序与整个系统。文件块规模较大，可以减少master与chunkserver的通信，也可以减少master上的数据规模。Master服务器负责数据破坏时的恢复，以及删除文件后的数据清理（不是立即删除,因此误删除可以恢复）。?GFS分布式文件系统性能随着客户端的数量几乎线性增加某实验室对GFS的小规模基准测试。测试环境：我们在一个包含1台Master服务器，2台Master服务器复制节点，16台Chunk服务器和16个客户机组成的GFS集群上测量性能。 GFS与传统的文件系统的比较特征传统文件系统分布式文件系统资源透明性一般好并发访问较好好高可用性一般 好数据冗余差好软/硬件异构差好一致性好一般安全性一般较好高效性一般好GFS对于业务支撑系统的借鉴意义——低成本，高收益的解决方案得以实施小型机+磁盘阵列+物理DBX86服务器+分布式文件系统详单存储与查询账单的存储与查询X86+分布式文件系统短信内容信息的存储与查询上网轨迹的存储与查询文件服务器ETL数据抽取与分析业务记录的存储与查询BigTable的技术特点——海量数据存储， 适用性广泛、可扩展、高性能和高可用多维M AP——行，列族，时间戳。非强一致性，提高系统可用性分布式的部署，可自管理的灵活扩展。Tablet服务采用缓存技术。提高系统性能。BigTable与关系型数据库的比较——在很多方面优于关系型数据库特征传统关系数据库分布式数据库软件结构灵活性好好硬件要求高低操作系统很多单一（linux)数据结构开发不支持join数据处理支持SQL暂不支持SQL扩放方法代价较高操作简单，代价低可靠性较差较好应用的普适度较差较好BigTable对于业务支撑系统的借鉴意义数据探索平台报表工具OLAP工具挖掘工具BigTable数据语义层封装服务信息有哪些信誉好的足球投注网站服务大规模的海量数据存储。多维度的数据分析与汇总要求支持数据容量快速增加特定数据的抽取速度要求较高知识的生成与提炼（标签生成与数据挖掘）数据仓库平台详单数据子库非结构化数据子库核心数据仓库可以采用类似BigTable分布式数据库的MPP架构的数据库系统作为核心数据仓库解决方案。库外ETL处理业务系统业务系统业务系统业务系统业务系统…WEB文档BASSBigtable对于BOMC系统借鉴意义——分布式数据库可尝试替换关系数据库ORACLE，实现低成本，高收益。BOMC的业务特点BOMC的功能框架数据高安全要求BOMC非OLTP系统，数据之间关系弱可以用分布式数据库替换采集数据量较大，以写入为主MAPREDUCE的技术特点——将任务切分成多个等大可以单独计算的小任务。Initial dat