分布式计算、云计算与大数据 第2版 课件 第9章 大数据技术与编程.ppt

流式计算典型流式计算系统–S4系统S4系统架构客户端驱动TCP/IP协议栈对等式架构用户服务请求流式计算典型流式计算系统–Kafka系统Kafka系统架构Kafka系统是由Linkedin支持开发的分布式、高吞吐量、开源的发布订阅消息系统，能够有效处理活跃的流式数据，侧重于系统吞吐量。消息发布者Producer缓存代理Broker订阅者Consumermessage状态管理、负载均衡流式计算典型流式计算系统–Kafka系统根据消息源的类型将其分为不同的主题topic，每个topic包含一个或多个partition消息发布者按照指定的partition方法，给每个消息绑定一个键值，保证将消息推送到相应的topic的partition中，每个partition代表一个有序的消息队列缓存代理将消息持久化到磁盘，设置消息的保留时间，系统仅存储未读消息。订阅者订阅了某一个主题topic，则从缓存代理中拉取该主题的所有具有相同键值的消息。Kafka系统消息处理流程优势：不足:可扩展性低延时性可快速处理大量流数据，适合吞吐量高的工作负载仅支持部分容错代理缓存没有副本节点流式计算典型流式计算系统--总结性能指标SparkStreamingStorm系统S4系统Kafka系统系统架构主从式架构主从式架构对等式架构主从式架构开发语言JavaClojure,JavaJavaScala数据传输方式拉取拉取推送推送拉取容错机制作业级容错作业级容错部分容错部分容错负载均衡支持不支持不支持部分支持资源利用率高高低低状态持久化支持不支持支持不支持编程模型纯编程纯编程编程+XML纯编程提纲9.1 大数据背景与概述9.2 大数据处理关键技术9.3 大数据计算模式9.4基于Hadoop的大数据编程实践9.5基于Spark的大数据编程实践Hadoop环境的搭建单机伪分布环境搭建环境要求：Linux操作系统Centos7发行版，Java环境（1.8版本的JDK）。第一步：下载Hadoop压缩包并解压到任意目录，由于权限问题建议解压到当前用户的主目录（home）。（下载地址：/apache/hadoop/common/hadoop-2.10.0/hadoop-2.10.0.tar.gz）。Hadoop环境的搭建单机伪分布环境搭建环境要求：Linux操作系统Centos7发行版，Java环境（1.8版本的JDK）。第二步：修改Hadoop的配置文件：etc/hadoop/hadoop-env.sh、etc/hadoop/hdfs-site.xml、etc/hadoop/core-site.xml。（如果只是部署HDFS环境只需要修改这三个文件，如需配置MapReduce环境请参考相关文档）#conf/core-site.xml修改如下：configurationpropertyname/namevalueHDFS://localhost:9000/value/property/configuration#conf/HDFS-site.xml修改如下（这里只设置了副本数为1）：configurationpropertynamedfs.replication/namevalue1/value/property/configuration#etc/hadoop/Hadoop-env.sh中修改了JAVA_HOME的值exportJAVA_HOME=/home/Hadoop/jdkHadoop环境的搭建单机伪分布环境搭建环境要求：Linux操作系统Centos7发行版，Java环境（1.8版本的JDK）。第三步：配置ssh自动免密码登录。1、运行ssh-keygen命令并一路回车使用默认设置，产生一对ssh密钥。2、执行ssh-copy-id-i~/.ssh/id_rsa.publocalhost把刚刚产生的公钥加入到当前主机的信任密钥中，这样当前使用的用户就可以使用ssh无密码登录到当前主机。第四步：第一次启动HDFS集群时需要格式化HDFS，在master主机上执行hadoopnamenode-format进行格式化。如果格式化成功后，则在Hadoop所在的目录执行sbin/start-dfs.sh开启HDFS服务。查看HFDS是否正确运行可以执行jps命令进行查询。Hadoop环境的搭建多节点全分布搭建本实例中，每个节点都需要使用固定IP并保