有哪些信誉好的足球投注网站- 1、本文档共55页，可阅读全部内容。
- 2、有哪些信誉好的足球投注网站（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。
- 3、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
of
50
1
第六章大数据处理技术
谁来
“第一个”吃
NumberOne
呢？
of
50
3
6.1大数据处理技术概述
1.什么叫云？知道哪些云？用过哪些云？
2.你听说过IBM？Orcale?EMC？
第六章大数据处理技术
Question？
of
50
4
6.1大数据处理技术概述
集中式是指由一台或多台主计算机组成中心节点，数据集中存储于这个中心节点中，并且整个系统的所有业务单元都集中部署在这个中心节点上，系统的所有功能均由其集中处理。集中式架构案例是IOE（IBM，Oracle，EMC）提供的计算设备、数据库技术和存储设备共同组成的系统。
分布式系统就是一群独立计算机集合共同对外提供服务，但对系统用户来说，就像是一台计算机在提供服务一样。分布式意味着可采用更多普通计算机（相对于昂贵的大型机）组成分布式集群对外提供服务。
第六章大数据处理技术
1．集中式与分布式计算架构
of
50
5
6.1大数据处理技术概述
第六章大数据处理技术
1．集中式与分布式计算架构
大型主机诞生于20世纪60年代，通常是指System/360开始的一系列IBM计算机及其兼容系统，一般使用专用的处理器指令集、操作系统和应用软件，因此是一个硬件和专属软件的有机整体。
集中式数据计算架构包括大型主机和超级计算机
超级计算机，又称巨型机，运算速度大都可以达到每秒1太万亿(Trillion)次以上，被用于各个领域的计算密集型任务中，包括量子力学、天气预报、气候研究、石油和天然气勘探、分子建模、核武器爆炸和核聚变模拟。巨型机的研制水平是国家综合国力和科技水平的具体反映。
天河二号
神威•太湖之光
（1）集中式数据计算架构
of
50
6
6.1大数据处理技术概述
第六章大数据处理技术
1．集中式与分布式计算架构
分布式计算架构是把需要进行大量计算的数据分区成小块，由多台计算机分别计算，再上传运算结果，将结果统一合并，得出数据结论。分布式计算中的数据存储、任务处理是分布在网络中的不同机器上。每台机器都是一个独立的系统，都有自己的中央处理器、终端、数据库等，它们在物理上是分散的，在逻辑上属于同一系统。与集中式计算相比，分布式计算有如下优点：
（2）分布式计算架构
高度的可靠性
均衡负载
高性价比
扩展性好
处理能力强
of
50
7
6.1大数据处理技术概述
1.大数据处理流程？
2.想没想过搭建（开发）大数据计算平台？
第六章大数据处理技术
Question？
of
50
8
6.1大数据处理技术概述
第六章大数据处理技术
2．大数据处理平台架构
大数据处理平台架构可划分为四个层次：数据采集层、数据存储层、数据处理层、服务封装层
of
50
9
6.1大数据处理技术概述
第六章大数据处理技术
3．典型的大数据计算平台
大数据类型
批量大数据：静态的大体量数据
流式大数据：动态数据
大规模图数据：大规模的图结构数据
大数据分布式计算平台Hadoop、Spark
计算模型：离线批处理、图并行计算、交互式处理、流计算、内存计算
of
50
10
6.1大数据处理技术概述
第六章大数据处理技术
Disscussion？
of
50
11
of
50
12
（1）什么是Hadoop
6.2Hadoop分布式计算平台
Hadoop是开源社区Apache基金会下用Java语言开发的一个开源分布式计算平台，适合分布式海量数据存储和处理的大数据存储和计算引擎；以分布式文件系统HDFS(HadoopDistributedFileSystem)、分布式计算框架MapReduce和和资源管理系统YARN为核心。
Hadoop实现了从单一的服务器扩展到成千上万的机器，提供了在分布式环境下处理海量数据的能力，为用户提供了底层细节透明的分布式基础设施，被公认为行业大数据标准开源软件。
第六章大数据处理技术
1．Hadoop概述
of
50
13
（2）Hadoop起源
发起人-DougCutting，负责lucene项目开发。
Lucene：用Java设计的高效能全文索引引擎，用它可以开发有哪些信誉好的足球投注网站引擎。
Nutch（DougCutting负责）：原来是有哪些信誉好的足球投注网站，现在是爬虫。
开源网站有哪些信誉好的足球投注网站引擎
基于Lucene开发
具有爬虫功能
无法扩展支持数十亿网页的网络，遇到了大量网站资料存储和处理的需求。
Google2003年和2004年发表论文，介绍了他们的技术：GFS和Mapreduce
DougCutting受此启发，成立了Hadoop（孩子给棕黄色大象起的名字）开源项目。2006年，DougCutting加入雅虎，成立团队，支持项目开发。
2008年，hadoop成为Apache顶级项目，成为最快的
文档评论（0）