Spark大数据分析 课件 2.1 集群环境准备.pptxVIP

集群环境准备

系统环境配置

JDK安装

Hadoop集群部署

ZooKeeper集群部署

Scala安

装

0

1

0

2

0

4

0

5

03

系统环境配置

○

应

1

·关于系统的安装这里不做详细的介绍，本次安装的系统为

centos7,可以在阿里镜像镜像网站

(/centos/7/isos/x8

6_64/)或者官网

(/download/)下载镜像。

·使用的软件：VMwareWorkstation

·系统安装要求：

·无桌面版最小化安装

·网络连接方式：NAT

·内存2G及以上

·磁盘大小30G及以上

·CPU1核以上

·在系统安装完成后需要配置虚拟机的网卡信息。

·(1)NAT信息查看

·①打开VMware

·②找到菜单栏中的“编辑”,选择“虚拟网络编辑器”·③选择VMnet8,NAT设置

(2)打开虚拟机命令行界面，修改网卡信息

2.网络环境配置

系统环境配置

1.安装linux系统：Centos

·vi与vim

·vi编辑器是所有Unix及Linux系统下标准的编辑器，

他就相当于windows系统中的记事本一样，它的强大不逊色于任何必威体育精装版的文本编辑器。他是我们使用Linux系统不能缺少的工具。由于对Unix及Linux系统的任何版本，vi编辑器是完全相同的，学会它后，你将在Linux的世界里畅行无阻。

·vim具有程序编辑的能力，可以以字体颜色辨别语法的正确性，方便程序设计，因为程序简单，编辑速度相当快速。

·CentoS7默认使用的是firewall作为防火墙。

·firewall操作：

·#servicefirewalldstatus;#查看防火墙状态

·(disabled表明已经禁止开启启动enable表示开机自启，inactive表示防火墙关闭状态activated

(running)表示为开启状态)

3.配置防火墙

4.主机名修改

系统环境配置

JDK安装

应

Java是一门面向对象编程语言，不仅吸收了C++语言的各种优点，还摒弃了

C++里难以理解的多继承、指针等概念，因此Java语言具有功能强大和简单易用两个特征。Java语言作为静态面向对象编程语言的代表，极好地实现了面向对象理论，方便程序员以面向对象的思维方式进行复杂的编程。Java具有简单性、面向对象、分布式、健壮性、安全性、平台独立与可移植性、多线程、动态性等特点。Java可以编写桌面应用程序、Web应用程序、分布式系统和嵌入式系统应用程序等。

1.面向对象编程语言—Java

JDK安装

JDK(JavaDevelopmentKit)是Java语言的软件开发工具包，主要用于移动设备、

嵌入式设备上的Java应用程序。JDK是整个Java开发的核心，它包含了Java

的运行环境(JVM+Java系统类库)和Java工具。JDK包含的基本组件包括：

javac:编译器，将源程序转成字节码。

jar:打包工具，将相关的类文件打包成一个文件。

javadoc:文档生成器，从源码注释中提取文档。

jdb:debugger,查错工具。

java:运行编译后的Java程序(.class后缀的)。

appletviewer:小程序浏览器，一种执行HTML文件上的Java小程序的Java

浏览器。

Javah:产生可以调用Java过程的C过程，或建立能被Java程序调用的C过程

的头文件。

Javap:Java反汇编器，显示编译类文件中的可访问功能和数据，同时显示字节代码

含义。

Jconsole:Java进行系统调试和监控的工具。

2.JDK

Storm

)—编译器、调试器和其它工具。JRE需要辅助软件(JavaPlug-in)以便在浏览器中运

行applet。

JRE可以支撑Java程序的运行，包括JVM虚拟机(java.exe等)和基本的类库(

rt.jar等),JDK可以支持Java程序的开发，包括编译器(javac.exe)、开发工具(

javadoc.exe、jar.exe、keytool.exe、jconsole.exe)和更多的类库(如

tools.jar)等。

3.JRE

JRE(Java

Runtime

Environment)Java运行环