基于大数据的用户行为分析技术个性化推送服务技术.doc

基于大数据的用户行为分析技术、个性化推送服务技术 天津大学机械工程学院机械工程专业2013级硕士 摘要：本文介绍了大数据的背景，概念，特点，产生的来源，通过对用户行为的分析等，基于用户产生的大量的数据进行个性化的推送服务技术等。最后通过分析对大数据的应用前景和展望进行了分析。 关键词：大数据 用户行为分析 个性化 展望 1 大数据的产生背景 从硅谷到北京，大数据的话题正在被传播。随着智能手机以及“可佩带”计算设备的出现，我们的行为、位置，甚至身体生理数据等每一点变化都成为了可被记录和分析的数据。如今，一个大规模生产、分享和应用数据的时代正在开启。我们所了解的大数据的真实价值如冰山一角，所以有待我们去挖掘。 1.1 大数据概念 大数据(big data)，或称巨量资料，指的是所涉及的资料量规模巨大到无法通过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。 1.2 大数据的特点 大数据的4个“V”，或者说特点有四个层面：第一，数据体量巨大。从TB级别，跃升到PB级别；第二，数据类型繁多。前文提到的网络日志、视频、图片、地理位置信息等等。第三，价值密度低，商业价值高。以视频为例，连续不间断监控过程中，可能有用的数据仅仅有一两秒。第四，处理速度快。1秒定律。最后这一点也是和传统的数据挖掘技术有着本质的不同。业界将其归纳为4个“V”——Volume（大量）、Velocity（高速）、Variety（多样）、Value（价值）。 1.3 大数据的产生来源 与传统数据的来源不同，大数据的来源不再仅仅局限于ERP、CRM等业务数据，还包括机器生成数据和社交数据。机器生成数据包括电话呼叫数据、各类服务器日志、传感器数据等，随着物联网的不断发展和传感器设备的普及，可获取的传感器数据变得越来越多。社交数据则指在Web 2.0网络中用户参与的微博、社交网络、用户反馈等数据。 根据IDC的研究报告，人类社会的信息量每两年就会翻一番，2011年新产生和复制的数据总量达到1.8ZB（1.8万亿GB），其中75%的数据是个人产生的。人们日常生活中使用的网络、手机或其他电子设备，每天都在不停地产生大量新的数据，超出了以往系统所能分析的能力。然而大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。 由于大数据的来源和类型多样，分析大数据时必须能同时处理结构化和半结构化，甚至是原始格式的数据。因此这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据必然无法用单台的计算机进行处理，必须采用分布式计算架构。它必须依托云计算的分布式处理、分布式数据库、云存储和虚拟化技术。 云计算为我们打开大数据的宝藏提供了钥匙，突破了数据处理的瓶颈。因此基于大数据的用户行为分析技术、个性化推送服务技术的研究将翻开崭新的一页。 2 用户行为分析与个性化推送服务技术 大数据的一大应用是对用户行为进行分析和进行个性化推送服务，而分析的关键就在于搞清三个关键问题：什么是用户行为分析；为什么分析用户行为；如何分析用户行为。基于对用户行为的分析，再设计个性化的推送服务。 什么是用户行为分析：用户行为分析就是根据用户历来的行为来分析用户的需求或即将要做的事情。一般我们分析用户行为离不开数据，这些数据可以来自于数据库也可以来自于用户操作日志。比如武汉播思的Hugetable系统就是一个很好的用户行为分析系统平台。 为什么分析用户行为：探究用户的行为，并采用某些技术手段分析这些行为，最终提供给营销人员基于真实用户行为的参考数据。例如，通过对各资费档次用户使用特征的比较，获得高资费用户上网的特征，找到目标用户，通过业务引导、资费策略等方式使用户想高资费转移。再例如，通过对政企客户使用业务种类的特征分析，向大客户营销商务领航系列产品。 如何分析用户行为：基于数据的用户个性化分析的核心思想就是事先根据用户的事件，分析出一些典型的行为，再通过采集用户的事件来匹配这些行为。由于行为的发生会再影响到用户的个性化的标签，标签匹配度会由于行为的不同有增有减，而不是一旦赋予终身不变，这符合人性变化的特点，经过一段时间的数据积累，我们将逐渐清楚用户各方面的特征。 基于用户行为分析并进行个性化推送服务成功的案例已经有很多，例如亚马逊，谷歌，农夫山泉等等，下面以亚马逊为例具体解释基于大数据的用户行为分析技术和个性化推送服务所带来的不同结果。 全球电子商务创始者亚马逊（A），它在利润并不丰厚的图书行业竞争中取胜的根本原因在于对数据的战略性认识和使用，通过传统门店无法比拟的互联网手段，空