大数据技术架构手册.pdf

2021-12-15 大数据技术架构手册 -基础组件篇 基础组件篇 版本 模块 完善度 作者 创建时间 修改时间 备注 第一版 Hive 98% 进击吧大数据 2021-12-15 第一版 Spark 80% 进击吧大数据 2021-12-15 第一版 Flink 50% 进击吧大数据 2021-12-15 第一版 Zookeeper 100% 进击吧大数据 2021-12-15 第一版 ElasticSearch 70% 进击吧大数据 2021-12-15 第一版 Azkaban 100% 进击吧大数据 2021-12-15 第一版 Kafka 0% 进击吧大数据 第一版 HBase 0% 进击吧大数据 第一版 Clickhouse 0% 进击吧大数据 第一版 Doris 0% 进击吧大数据 第一版 Flume 100% 进击吧大数据 2021-12-15 第一版 Hadoop 10% 进击吧大数据 2021-12-15 第一版 Yarn 0% 进击吧大数据 一、Hive Hive Wiki 1.0、 源码编译 该文涉及到的所有软件包均已上传云盘，自行下载 链接：/s/1_fg4p-_Ch5_WAmcPbBqAvg 提取码：hi68 1.0.1、环境准备 、maven 安装 .1、下载软件包 1 .2、配置环境变量 .3、调整maven 仓库 打开$MAVEN_HOME/conf/settings.xml 文件，调整 maven 仓库地址以及镜像地 址 settings xmlns=/SETTINGS/1.0.0 xmlns:xsi=/2001/XMLSchema-instance xsi:schemaLocation=/SETTINGS/1.0.0 /xsd/settings-1.0.0.xsd localRepository你自己的路径/localRepository mirrors mirror idalimaven/id namealiyun maven/name url/nexus/content/groups/public//url mirrorOfcentral/mirrorOf /mirror /mirrors /settings 、cywin 安装 该软件安装主要是为了支持 windows 编译源码涉及到的基础环境包 .1、下载软件包 .2、安装相关编译包 需要安装 cywin，gcc+相关的编译包 2 binutils gcc gcc-mingw gdb 、源码包下载 /hive/hive-2.3.9/ 、JDK 安装 .1、下载软件包 .2、配置环境变量 .2.1、创建 JAVA_HOME 系统变量 .2.2、创建 CLASSPATH 系统变量 3 .2.3、追加到 Path 变量中 、Hadoop 安装 .1、下载软件包 .2、配置环境变量 4 创建 HADOOP_HOME 系统变量，然后将该变量追加到 Pat