Spark大数据分析 课件 2.1 集群环境准备.pptx

集群环境准备

目录/Contents01系统环境配置02JDK安装03Hadoop集群部署04ZooKeeper集群部署05Scala安装

系统环境配置01

系统环境配置1.安装linux系统：Centos关于系统的安装这里不做详细的介绍，本次安装的系统为centos7，可以在阿里镜像镜像网站（/centos/7/isos/x86_64/）或者官网（/download/）下载镜像。使用的软件：VMwareWorkstation系统安装要求：无桌面版最小化安装网络连接方式：NAT内存2G及以上磁盘大小30G及以上CPU1核以上2.网络环境配置在系统安装完成后需要配置虚拟机的网卡信息。(1)NAT信息查看①打开VMware②找到菜单栏中的“编辑”，选择“虚拟网络编辑器”③选择VMnet8，NAT设置(2)打开虚拟机命令行界面，修改网卡信息

系统环境配置3.配置防火墙CentOS7默认使用的是firewall作为防火墙。firewall操作：#servicefirewalldstatus;#查看防火墙状态（disabled表明已经禁止开启启动enable表示开机自启，inactive表示防火墙关闭状态activated（running）表示为开启状态）4.主机名修改vi与vimvi编辑器是所有Unix及Linux系统下标准的编辑器，他就相当于windows系统中的记事本一样，它的强大不逊色于任何必威体育精装版的文本编辑器。他是我们使用Linux系统不能缺少的工具。由于对Unix及Linux系统的任何版本，vi编辑器是完全相同的，学会它后，你将在Linux的世界里畅行无阻。vim具有程序编辑的能力，可以以字体颜色辨别语法的正确性，方便程序设计，因为程序简单，编辑速度相当快速。

JDK安装02

JDK安装1.面向对象编程语言——JavaJava是一门面向对象编程语言，不仅吸收了C++语言的各种优点，还摒弃了C++里难以理解的多继承、指针等概念，因此Java语言具有功能强大和简单易用两个特征。Java语言作为静态面向对象编程语言的代表，极好地实现了面向对象理论，方便程序员以面向对象的思维方式进行复杂的编程。Java具有简单性、面向对象、分布式、健壮性、安全性、平台独立与可移植性、多线程、动态性等特点。Java可以编写桌面应用程序、Web应用程序、分布式系统和嵌入式系统应用程序等。

Storm2.JDKJDK(JavaDevelopmentKit)是Java语言的软件开发工具包，主要用于移动设备、嵌入式设备上的Java应用程序。JDK是整个Java开发的核心，它包含了Java的运行环境（JVM+Java系统类库）和Java工具。JDK包含的基本组件包括：javac：编译器，将源程序转成字节码。jar：打包工具，将相关的类文件打包成一个文件。javadoc：文档生成器，从源码注释中提取文档。jdb：debugger，查错工具。java：运行编译后的Java程序（.class后缀的）。appletviewer：小程序浏览器，一种执行HTML文件上的Java小程序的Java浏览器。Javah：产生可以调用Java过程的C过程，或建立能被Java程序调用的C过程的头文件。Javap：Java反汇编器，显示编译类文件中的可访问功能和数据，同时显示字节代码含义。Jconsole:Java进行系统调试和监控的工具。

JDK安装3.JREJRE（JavaRuntimeEnvironment）Java运行环境，包括两部分：JavaRuntimeEnvironment和JavaPlug-in。JRE是可以在其上运行、测试和传输应用程序的Java平台。它包括JVM（Java虚拟机）、Java核心类库和支持文件。它不包含开发工具（JDK）——编译器、调试器和其它工具。JRE需要辅助软件（JavaPlug-in）以便在浏览器中运行applet。JRE可以支撑Java程序的运行，包括JVM虚拟机（java.exe等）和基本的类库（rt.jar等），JDK可以支持Java程序的开发，包括编译器（javac.exe）、开发工具（javadoc.exe、jar.exe、keytool.exe、jconsole.exe）和更多的类库（如tools.jar）等。

Storm4.JDK安装Hadoop采用的开发语言是Java，所以搭建Hadoop集群的前提是先安装JDK。本书选择的JDK版本是Oracle官方的JDK8，这里使用的是tar.gz安装包（/technetwork/java/javase/do