叶-中期答辩-20140713(ye).ppt

校园用户识别模型，通俗的讲就是通过一些技术手段、采用统计学的原理，精准的识别出学生用户，给移动运营商做精准营销 * * 校园用户主题模型，是根据本地用户行为的实际情况，采用统计学的基本原理，搭建校园市场的判断模型，来分析校园用户的使用情况。模型分为本网学生用户判定和竞争对手学生用户判定两大部分，每部分有基础用户判定和日程序两套程序。模型的思路是，以稳定的三个月的用户为基础，运行基础用户判定，得到相对稳定、准确的学生用户的基础数据。得到基础数据后，每日运行日程序，对学生用户的新增、离网、到达情况进行判定。 * * 校园用户主题模型，是根据本地用户行为的实际情况，采用统计学的基本原理，搭建校园市场的判断模型，来分析校园用户的使用情况。模型分为本网学生用户判定和竞争对手学生用户判定两大部分，每部分有基础用户判定和日程序两套程序。模型的思路是，以稳定的三个月的用户为基础，运行基础用户判定，得到相对稳定、准确的学生用户的基础数据。得到基础数据后，每日运行日程序，对学生用户的新增、离网、到达情况进行判定。 * 因为我们这套模型采用了新型的MPP架构数据库 * 复制表： create table dim_pub_city ( city_id smallint , city_name varchar(20) ) replicated 临时表： create temporary table pg_dw_sc_call_dt ( op_time date , user_id varchar(20) , call_counts bigint , call_duration_m bigint , campus_id varchar(32) ) * 行存数据库由于以行为单位进行数据组织，在进行压缩时，只能采用通用的算法，压缩比很低。而MPP架构的GBase8a是列式存储，除了能提升数据查询统计分析性能之外，还能够大大提升数据的压缩性能。对于列存数据库来说，每一列的数据类型都是相同的，可以根据不同的数据类型（如整数型、字符串、日期等）选择不同的压缩算法，压缩比远高于传统行存数据库。 根据当前的校园主题业务模型，从表的角度考虑，将不常用的表（如月表，历史话单表）采用（1,3）压缩，能够达到最高的压缩比，有效的减少使用空间，提升I/O性能。将常用的表（如维表、用户资料表）采用（5,5）压缩，使其查询时有更好的性能。从字段的使用考虑，常用的字段不压缩，不常用的字段根据不同的数据类型选择不同的压缩算法。 * 10亿条信令数据（signal_1001关联6000条数据，通过两字段关联，无法利用hash键，性能很差(2小时以上) 改造前sql: select ... from signal_1001 a, ods_sc_bts_info_ds_modify b where a.cell_id = b.cell_id and a.lac_id = b.lac_id ; 将cell_id和lac_id合成一个字段cell_lac_id,并设为hash键，性能提升10倍(2分钟) 改造后的sql： select ... from signal_1001 a, ods_sc_bts_info_ds_modify b where a.cell_lac_id = b.cell_lac_id * * * * * * 学 生： 学 号： 导 师： 新型MPP架构数据库在移动经营分析系统中的研究与应用 2014.07 硕士论文中期答辩 1.课题来源 2.课题背景 一、课题概述 山东移动经营分析系统云化改造项目 全球信息化的迅速发展，数据量成倍递增，对数据管理技术提出了全新的要求 中国移动运营商面临日趋激烈的市场竞争对经营分析系统数据处理能力提出新的需求 一、课题概述 3.新型MPP架构数据库国内外研究现状 国外一些企业对MPP架构数据库的研究相对比较成熟，在过去的几年里，形成了多个数据库产品。国内发展相对较慢，目前国内MPP数据库阵营中只有南大通用的GBase 8a一款商用产品。 一、课题概述 4.中国电信行业数据库应用现状 Oracle DB2 SQLserver TD 中国移动、联通、电信的经营分析 系统 中国移动、联通、电信的BOSS系统 山东移动率先引入基于新型MPP架构的Gbase 8a数据库，低成本，高性能，满足大数据处理的需求 答辩内容 课题主要内容 查阅 各类与MPP架构数据库相关资料，学习MPP架构数据库