王家林的云计算分布式大数据Hive数据仓库最佳实践 .pdfVIP

王家林的云计算分布式大数据Hive数据仓库最佳实践

一:课程简介:

或许Hive会是数据仓库的终结者……

作为企业Hadoop应用的核心产品，Hive承载着FaceBook、淘宝等大佬95%以

上的离线统计，很多企业里的离线统计甚至全由Hive完成.

Hive可以让你轻松的在Hadoop中存储、查询和分析海量数据。

二:课程特色

1，深入浅出中动手实作;

2，对Hive深入浅出的剖析;

3，掌握Hive的优化技术;

4，Hive和亚马逊云计算

三:适合对象:

软件工程师;

数据库开发人员;

网络后台开发人员;

运维人员;

四:基础要求

了解Linux系统;

了解网络;

了解Java;

五:讲师简介

王家林:

Hadoop源码级专家，曾负责某知名公司的类Hadoop框架开发工作，专注于

Hadoop一站式解决方案的提供，同时也是云计算分布式大数据处理的最早实践者

之一，Hadoop的狂热爱好者，不断的在实践中用Hadoop解决不同领域的大数据的

高效处理和存储，现在正负责Hadoop在有哪些信誉好的足球投注网站引擎中的研发中国电信的多次Hadoop

培训，花旗银行的Hadoop内训，金立手机的Hadoop内训等，著有《云计算分布式

大数据Hadoop实战高手之路从零开始》《云计算分布式大数据Hadoop实战高

手之路高手崛起》《云计算分布式大数据Hadoop。实战高手之路高手之

巅》等;

Android架构师、高级工程师、咨询顾问、培训专家;

通晓Android、HTML5、Hadoop，迷恋英语播音和健美;

致力于Android、HTML5、Hadoop的软、硬、云整合的一站式解决方案;

国内最早(2007年)从事于Android系统移植、软硬整合、框架修改、应用程序

软件开发以及Android

系统测试和应用软件测试的技术专家和技术创业人员之一。

HTML5技术领域的最早实践者(2009年)之一,成功为多个机构实现多款自定义

HTML5浏览器，参

与某知名的HTML5浏览器研发;

超过10本的IT畅销书作者;

六:培训内容

时间内容备注

第1个主题:云计算的四大核心技术

1.HDFS

2.MapReduce

3.HBase

4.Hive

第2个主题:Hive集群与管理

1、Hadoop集群的搭建

2、Hadoop集群的监控

3、Hadoop集群的管理

4、集群下运行MapReduce程序

5、安装并启动Hive

6、测试Hive

第3主题:Hive的命令、数据类型和文件格式

1.Hive的CLI

第一天2.Hive的集合数据类型

3(编码和模式

第4主题:开发Hive

1.连接Java调试器到Hive

2.通过Eclipse来开发Hive代码

3.Hive的单元测试

第5题:HQL

1.HQL的数据定义

2.使用HQL操作数据

3.深入HQL查询

第6题:HQL的视图和索引

1.HQL的视图:降低查询的复杂度和限定特定的条件

2.HQL的索引:索引的创建和管理、定制索引

时间内容备注

第1个主题:Hive中的函数

1.使用Hive中已有的函数

2.自定义聚合函数

3.自定义表生成函数

4.在自定义函数中访问缓存

第2个主题:Hive的存储过程

1、为何需要Hive中的存储过程

2、在后台中运行的存储过程

3、HiveStorageHandler

4、存储过程的具体编写和使用

第3个主题:Hive架构优化

1、降低IO负载

2、表的分区、动态分区

3、压缩

4、分布式缓存

第4个主题:彻底优化HQL

1、HQL优化的具体策略和方式

2、Map和Reduce

3、数据倾斜

4，执行计划

第5个主题:在AWS上使用Hive

第二天1.使用并管理EMRHive集群

2.EMR集群的详细配置

3(持久层、元数据

4.集群中的HDFS和S3(配置、日志等)

第6个主题:Hive的Thrift

1.配置、启动、