《数据业务的用户行为分析研究》开题报告.doc

中国移动集团级重点研发项目（含联合项目） 开题报告 一、项目编号及名称： 2012_LH_34 数据业务的用户行为分析研究 二、项目组： 三、课题背景和意义 移动互联网业务的快速发展推动了市场环境的深刻变革。增值业务数量急剧增长，OTT服务商加入竞争，中国移动业务优势已经荡然无存。在行业内部，业务已经不再是企业的核心竞争力，用户的争夺成为已经逐渐成为企业竞争的核心。在行业之间，移动互联网提供了高速的接入通道，造就了大批OTT服务商，运营商面临变成“哑管道”的风险。 面对如此情况，爱力总强调：“客户的协约和我们签订，客户的属性在我们的数据库中，客户的行为由我们的网络承载。只有基于对客户的充分认知，我们才能准确的提供符合客户需求的业务和服务，才有可能打造中国移动主导的生态圈，才有可能创造更大的价值。要做到充分认知，就必须实现用户可区分、业务可识别、资源可管理、服务可分级、流量可控制。” 根据领导的指示，本项目重点开展对用户行为的分析和挖掘，进而支撑流量运营、智能管道等重点应用。 四、课题研究目标 本课题针对用户行为进行深入分析，为业务平台、省公司提供用户层面的信息支撑。本项目主要从底层平台、分析能力及模型、业务应用三个层面开展研究，为增值业务运营提供用户层面自底向上的全面支撑方案。 五、课题研究内容（包括研究总体框架、难点及解决方案、主要技术方案和关键技术等） 5.1 研究总体框架 本项目从三个层面展开研究： 底层平台。重点研究针对增值业务的海量数据、非结构化数据的存储及分析平台。着重关于采用云计算为主的分布式技术的研究。为支撑互联网类分析应用，构建爬虫分析平台，利用分词及文本挖掘技术对用户互联网行为继续深度解析； 分析功能及模型。扩充用户画像等内容构成的用户基础信息，进而构建用户偏好、用户关联、用户社交等各类分析模型；构建业务周期、业务特征等各类业务特征模型，实现对增值业务运营应用的统一支撑； 重点应用。开展智能管道监控、终端运营、流量运营等重点应用方案研究。同时进行用户离网、用户社交轨迹等专项分析应用研究。 5.2 难点及解决方案 集中化分析模型与实际落地场景结合： 【主要难点】：项目重点研究了集中化分析模型及分析能力对各省公司、业务平台等提供服务的方式和手段。集中化的分析模型更多是基于各省公司及业务平台的共性需求构建，不能够有效的体现出各省公司及业务平台的具体实际情况。如何保障集中化分析能力与实际落地场景的有效结合，是项目研究的难点，也是重点。 【解决方案】：在模型构建阶段，注意结合业务知识的应用，通过参数等方式对模型留有调控接口，方便根据实际情况的不同对模型进行相应的调整。模型建立智能引导机制，采用引导流程辅助省公司和业务平台的实际使用人员根据实际情况对模型进行调整。分析模型定期根据实际应用的情况进行优化。 用户标签体系 【主要难点】：项目研究建立用户标签体系及数字内容标签体系。目前尚不存在对标签体系的统一认识，对于标签、标签分类等也存在多种不同的理解。例如在用户偏好分析过程中，应该分析哪些方向偏好能够更好的对用户进行定位难于确定；在数字内容的标签分类中，不同领域存在多种不同的分类方式，也无法统一。 【解决方案】：综合利用互联网领域、AppStore等已有的标签及标签分类体系，充分借鉴淘宝、eBay等电商网站对用户行为把握的手段，结合中国移动自有业务的特点，进行用户行为的分析和标签的构建。 海量复杂数据的存储和分析及数据质量问题 【主要难点】：接入用户各类行为数据，尤其是用户互联网行为数据的接入，导致数据海量且业务分类复杂的特性，同时互联网数据可能具有不完整性等数据质量问题。 【解决方案】：对分布式计算平台进行深入研究，充分利用现有存储设备，实现对海量数据的有效存储。关注数据库领域等必威体育精装版的技术，研究非结构化数据分析的解决方案。可此信令监测系统等辅助DPI解析，保障用户互联网数据的完整性。 5.3 主要技术方案和关键技术 本项目主要技术方案和关键技术如下： 分布式平台研究。本项目重点研究针对与增值的云计算平台可行性，及Hadoop方式与传统数据库方式混搭方案。实现对海量数据的有效存储和集中分析，为上层分析应用提供基础计算能力； 爬虫平台建设。利用互联网爬虫技术，配合中文分词、文本挖掘技术建立爬虫分析平台。集中对用户网络行为中的URL进行解析分类，建立有效的URL分类体系，用于辅助对用户偏好的分析及精准定位； DPI、DFI技术研究。建设以DPI、DFI技术为主导的互联网分析技术，实现对Gn口数据等内容的准确解析，精确客户用户互联网行为。 用户及业务分析模型研究。本项目重点根据用户的业务行为及互联网行为等进行用户偏好、用户关联等各类模型及算法的研究。同时对业务周