大数据项目开发综合实训指导书.pdfVIP

⼤数据项⽬开发综合实训指导书 开发流程 1. 安装JDK(win/linux) ； 2. 安装关系型数据库MySQL(linux 参考 mysql安装.docx ) ； 3. 安装⼤数据软件Hadoop(linux 参考 第⼆章⼤数据处理架构Hadoop.docx) ； 4. 安装⼤数据软件Spark(linux 参考第1章 Spark概述.docx ) ； 5. 安装TomCat(win/linux); 6. 安装开发⼯具IntelliJ IDEA(win)； 7. 在MySQL数据库中创建数据库、表和视图； 8. 使⽤IDEA⼯具开发Spark程序进⾏数据分析(IntelliJ 编译代码打包-linux Spark 数据分析) ； 9. 使⽤ IntelliJ 编译 war 包 SpringMVC框架开发⽹⻚应⽤实现可视化分析。 1 安装JDK win/linux 没装JDK 的才装 Oracle | Integrated Cloud Applications and Platform Services 向下拉 Java SE - Downloads | Oracle Technology Network | Oracle Java SE Development Kit 8 - Downloads () (win) 选择安装⽬录 win环境变量 JAVA_HOME ⾃⼰安装⽬录 CLASSPATH .;%JAVA_HOME%lib;%JAVA_HOME%\lib\tools.jar 验证成功 (Linux) 解压⽂件 = /usr/local/ tar -zxvf jdk-8u301-linux-x64.tar.gz -C /usr/local/ linux环境变量 # vi /etc/profile export JAVA_HOME=/usr/local/jdk1.8 export PATH=$JAVA_HOME/bin:$PATH export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar 执⾏修改⽂件,⽴即⽣效 # source /etc/profile 5 安装TomCat(win/linux) web server Apache Tomcat® - Welcome! (win) 有zip和exe两种格式的，zip （64-bit Windows zip(pgp,md5,sha1)）是免安装版的，exe （32-bit/64-bit Windows Service installer(pgp,md5,sha1)）是安装版。同时观察⾃⼰的电脑是64位系统还是32位系统。 此处选择下载zip版： 下载后直接解压，⽬录bin下的startup.bat，启动Tomcat ；shutdown.bat ：关闭Tomcat 。 启动 .\shutdown.bat 关闭 .\shutdown.bat Tomcat环境变量配置 – 安装完成后，右击“我的电脑” ，点击“属性” ，选择“⾼级系统设置，点击“环境变量” ； – 在“系统变量” 中添加系统变量 CATALINA_BASE ，CATALINA_HOME ； 变量名：CATALINA_BASE 变量值：D:\tomcat8 安装⽬录 变量名：CATALINA_HOME 变量值：D:\tomcat8 安装⽬录 在Path的变量值中加⼊：%CATALINA_HOME%\bin 验证 点击“开始”-“运⾏” ，键⼊“cmd” （或快捷键win+R）；键⼊命令: ，出现以下信息，说明环境变量配置成功； 如果打印的⽇志出现乱码，解决如下： 打开cd到tomcat/conf/ ⽬录下，修改perties 找到java.util.logging.ConsoleHandler.encoding = utf-8 这⾏ 更改为java.util.logging.ConsoleHandler.encoding = GBK (linux) wget /tomcat/tomcat-8/v8.5.70/bin/apache-tomcat-8.5.70.tar.gz 解压 =/use/locar/ tar -zxvf apache-tomcat-8.5.70.tar.gz -C /use/locar/ 环境变量 # vi /etc/profile 添加环境变量 export HADOOP_HOME=