有哪些信誉好的足球投注网站- 1、本文档共195页，可阅读全部内容。
- 2、有哪些信誉好的足球投注网站（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。
- 3、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
- 5、该文档为VIP文档，如果想要下载，成为VIP会员后，下载免费。
- 6、成为VIP后，下载本文档将扣除1次下载权益。下载后，不支持退款、换文档。如有疑问请联系我们。
- 7、成为VIP后，您将拥有八大权益，权益包括：VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 8、VIP文档为合作方或网友上传，每下载1次， 网站将根据用户上传文档的质量评分、类型等，对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
第二章
大数据离线处理开发实践
C
O目1.大数据离线批处理技术栈
N
T2.分布式文件系统HDFS
E录
N3.分布式计算框架MapReduce
T
S4.分布式资源管理组件YARN
5.分布式内存计算框架Spark
6.金融行业“羊毛党”识别案例实践
2.1大数据离线批处理技术栈
早期离线批处理技术架构
•大部分企业早期建设的大数据系统一般均用于面向海量数据的离线批处理场景
•组合使用了Hadoop的HDFS、MapReduce、Hive、Pig、HBase、Mahout，来满足对海量数据离线处理的不
同业务需求
面向经营分析报表计算场景的大数据系统架构图（早期）
基于MapReduce的离线批处理方案
•初期大数据离线批处理是以Hadoop体系中的MapReduce为核心，采用批处理模式，以此满足离线处理场
景需求，实现大规模数据集的并行运算
•狭义的Hadoop生态包括HadoopCommon、HDFS、MapReduce和YARN等
•广义的Hadoop生态包括ZooKeeper、Hive、HBase等
•它们共同构成了初期大数据离线批处理方案
基于MapReduce的离线批处理方案
基于Spark框架的离线批处理方案
•基于内存计算的Spark框架，支持有向无环图（DirectedAcyclicGraph，DAG）的分布式并行计算的编程
框架，因为减少了迭代过程中的数据落地，提高了数据处理效率
•Spark提供多种数据集操作，包括转换操作map、filter、flatmap、sample、groupByKey、reduceByKey、
union、join、cogroup、mapvalues、sort和partionby等；以及行动操作包括collect、reduce、lookup和save等
。用户可以命名实体、物化计算结果，控制各个处理节点之间中间结果的存储、分区等
基于Spark的离线批处理方案
基于Flink框架的流计算与批处理计算的双模式方案
•Flink因其能够支持流处理和批处理两种解决方案，而逐渐取代MapReduce与Spark在Hadoop生态中的地位
•Flink与传统流处理和批处理的解决方案不同，它将流处理看成无界输入数据的任务，而将批处理看成有
界输入数据的任务，然后将二者统一起来，形成一个以任务为驱动的双模式处理框架
基于Flink的流计算与批处理计算的双模式方案
第二章
大数据离线处理开发实践
C目
O录1.大数据离线批处理技术栈
N
T2.分布式文件系统HDFS
E
N3.分布式计算框架MapReduce
T
S4.分布式资源管理组件YARN
5.分布式内存计算框架Spark
6.金融行业“羊毛党”识别案例实践
2.2分布式文件系统HDFS
高可用
高效率
大容量
•应对数据存储扩容问题，存在两种方案：纵向扩展（scale-up）和横向扩展（scale-out）
•纵向扩展：通过增加单个服务器的处理能力来提高系统的性能和容量，包括增加服务器的CPU、内
存、存储容量等硬件资源，或者升级现有的硬件组件
•横向扩展：通过增加更多的服务器节点来提高系统
文档评论（0）