大数据平台搭建与运维综合实训指导书.docxVIP

重庆水利电力职业技术学院 2021～2022学年第一学期 大数据平台搭建与运维 综合实训 指 导 书 学 院： 普天大数据学院 专 业： 大数据技术与应用 班 级： 19级大数据1-3班 指导老师： 吴积嵩 教研室主任（签字）： 2019年05月 一、综合实训的目的及意义 《大数据平台搭建与运维综合实训》是一门技术性、应用性很强的专业实训课程，实训教学是它的一个极为重要的环节。在大数据时代主要解决爆炸性的数据存储和数据运算问题，目前主要以Hadoop生态圈等开源技术栈和Spark技术为主，而大数据领域涉及的技术繁多，在构建大数据平台的过程中我们不仅需要精通单个技术组件的知识，还需要拥有横向整合拉通Hadoop体系技术栈的能力。在企业大数据应用中都需要搭建大数据存储、计算和分析平台，涉及的大数据技术、版本、兼容性都比较复杂，在实际应用中通常都会用到大数据平台如CDH、HDP进行平台的搭建和维护。 《大数据平台搭建与运维综合实训》课程的目的在学生掌握Hadoop生态圈及Spark基础上，将分布式、集群基本概念进一步进行理解，将ZooKeeper分布式生态系统、Hive仓库工具、HBase分布式数据库、Sqoop数据转移工具、Flume、Spark等大数据平台技术统一使用Apache下的开源Ambari大数据平台搭建和维护工具完成大数据平台的搭建、管理和监控功能。提供对大数据平台以指引式方式安装、配置；提供集群主要大数据服务启动、停止功能；同时还提供所有组件及服务的健康运行状态和预警功能，从而达到对大数据平台的简易、高效、安全的进行管理和维护。 二、综合实训题目 《基于Ambari大数据平台的搭建》。 项目实现 项目需求 使用Apache的开源产品Ambari Web工具快速完成基于HDP的大数据平台的搭建、维护、监控： 熟练掌握Ambari产品的设计架构和原理； 熟练使用基于Ambari大数据平台的相关环境的常规操作； 掌握使用Ambari和HDP搭建大数据平台的常规一般步骤； 根据业务需求能合理进行集群规划以及节点对应的服务规范； 熟练掌握虚拟机、linux操作系统、SSH/FTP常规工具的使用； 熟练掌握yum源本地仓库的配置和搭建以及常规yum命令的使用； 掌握常规软件如MySQL、JDK、网络配置、防火墙设置等基础环境安装和配置； 根据配置的本地yum源和httpd web服务完成Ambari Web管理工具搭建； 在完成Ambari Web工具的基础上完成基于HDP2.6的Hadoop集群搭建； 熟练使用Ambari管理后台功能完成对集群的操作、管理、监控； 在安装和使用过程中根据系统的监控功能和日志信息完成问题的定位和排查。 设计思路 Ambari介绍 Apache Ambari是一种基于Web的工具，支持Apache Hadoop集群的快速搭建、管理和监控。Ambari已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop和Hcatalog等，是顶级Hadoop管理工具之一。详细主要功能如下： 安装Hadoop集群：提供了以向导指引的方式安装一个集群，可以在任意的主机上安装Hadoop服务，提供了对Hadoop服务的配置功能。 管理Hadoop集群：提供了启动、停止等集群管理功能。 监控Hadoop集群：提供了一个用于监控Hadoop集群健康状态的仪表盘，提供了一套健康指标体系来收集监控数据，提供了一套预警框架，可以结合预定的监控指标实现通知预警。 Ambari设计 Ambari使用的Master/Slaves架构（主/从架构，由一个Ambari-Server和多个Agent组成），它通过一个Server主进程来实现集群的管理和操作命令的发送，而具体的管理动作则由安装在每台目标主机上的Agent进程进行执行。例如通过Ambari启动HDFS服务的时候，首先会由Ambari-Server向安装了HDFS服务所在主机的Agent进程发送启动指令，然后再由相关Agent进程执行其所在主机的本地命令脚本来启动HDFS的相应服务。 Ambari架构 集群中的服务器分类为主控、存储与计算、监控与认证、协同管理与其他四类角色： 主控节点 Hadoop生态圈的服务组件秉承分而治之的设计思想，使用分布式的方式将数据的存储分散到多台服务器，将数据的计算分摊到多台服务器，同时通过集群的方式保证服务的高可用和负载均衡。在一个典型的分布式与集群的架构设计中，需要有这样一类服务程序，它们不承担具体的数据存储或计算工作，而是负责全局统筹的任务分配、资源调配或是平衡集群负载这样的工