Hadoop构建数据仓库平台.pptVIP

Hive1.0 架构 Hadoop2.0 和平台化 Hive2.0 平台化架构 思考 使用方法 add FILE db_mapper.py; SELECT TRANSFORM [](ip,port, user, passwd) USING python db_mapper.py movie_db AS (userid, movieid, rating, weekday) FROM u_data; [需求] -- [展现] -- [分析逻辑] -- [数据结构] 变化可能 ----- 越到底层越少 修改成本 ----- 越到底层越高 [数据 构建思路 ] [抽象分析] -- [总结归纳] -- [数据结构] -- [各类逻辑] -- [业务需求] 保留全部可能性 -- 总结需求的组成基本变量 -- 总结固定逻辑和结构 -- 设计满足各类需求的系统 1. 数据公式:[4w+r = 2h] 2. 实时汇总:[js--nginx+perl-- syslog-ng/scribe -- Hadoop/Hive -- ETL -- db] 3. 存储格式:[一日一表,一日一分区] 4. 统计方法:[2sql 方法] 5. 图表展现:[模板引擎] 1. 外部表 一日一个表结构 (一日一表,一日一分区) 2. 表结构 [Log txt] 3. 无需索引 4. 使用LZO压缩工具 压缩率 3/1 5. 举例: search_logclick_logRedHadoop 管理界面 视频图像处理流程(Video MapReduce) V-MapReduce-人脸识别效果截图 平台规划 界面规划 功能改进 AppStore 功能进阶 将Ambari汉化，构建适合国内用户应用平台 构建易用、高效的Hadoop平台 打造以Hadoop为核心的，应用商店 为开发者提供Api和自动构建工具 专注于企业级大数据 我们的软件产品 企业级RedHadoop大数据自助 DAAS平台 RedHadoop基础平台 ETL工具 报表工具 调度系统 权限管理平台 基于Hbase+Hive+Phoenix 支持OLAP+OLTP的数据库 Hadoop平台 游戏 移动APP 网站 Amazon 阿里云(aliyun) 使用盛大云服务器 采用xshell工具登陆三台服务器 Centos6.2 64位 三台服务器有相同的登陆用户root及相同的登陆密码 内网ip为(使用 ifconfig 查询内网ip)： 06 83 02 Linux 远程访问工具：Xshell、Xftp,或者（putty、flashfxp） RedHadoop安装流程 同步服务器时间： /usr/sbin/ntpdate 配置无密码连接 ssh-keygen chmod 600 .ssh/authorized_keyschmod 700 .ssh cat id_rsa.pub authorized_keys scp authorized_keys root@hostname:/root/.ssh/ 测试是否成功： ssh SNDA-172-17-14-183 .ssh/id_rsa .ssh/id_rsa.pub ambari-server setup (开始初始化) Customize user account for ambari-server daemon [y/n] Do you accept the Oracle Binary Code License Agreement [y/n] (y)? Enter advanced database configuration [y/n] (n)? 1 - PostgreSQL (Embedded)（默认1） 2 – Oracle Database Name (ambari): Username (ambari): Enter Database Password (bigdata): 7：8080 管理界面 专注于企业级大数据 提纲 数据开放,数据云服务平台(DAAS)时代 Hadoop平台在数据云平台(DAAS)上的天然优势 数据云平台(DAAS 平台)思想和组成部分 互联网公共数据大云(DAAS)案例 Hadoop构建构建游戏云(Web Game Daas)平台 专注于企业级大数据 数据分析师 ETL开发工程师 模型架构师 运营 程序员 数据化运营 商业决策 产品设计 理解业务 文档化业务和需求 BI产品设计 PD 业务分析师/数据PD 卖家 买家 数据产品PD 店铺经营 购买决策 行业分析 分析、挖掘用户需求 数据产品设计 数据模型建模 架构师 技术框架设计 平台与工具的实