基于复杂网络的电信大数据处理研究.docxVIP

?

?

基于复杂网络的电信大数据处理研究

?

?

张瑞

〔摘要〕文章针对目前电信运营商在大数据处理中的实际需求，全面分析研究了关于复杂网络在大数据处理中的关键技术和具体应用，深入讨论了复杂网络在静态数据、动态数据和社团挖掘等方面的实用，为目前电信大数据的处理提供了一种比较实用的方法。

〔关键词〕复杂网络；电信大数据；静态数据；动态数据；社团划分

〔〕G434〔〕A〔〕1008-0821（2014）06-0066-04

大数据是继云计算、物联网之后信息通信技术产业界又一次颠覆性的技术变革。对于整个产业而言，大数据市场是块等待挖掘的“金矿”，因此，如何充分利用大数据，并使其进一步发展壮大，也成为整个业界共同探究的热点话题。在大数据领域探索中，相较于其他企业，电信运营商由于在数据资源、基础资源、平台资源上拥有先天优势，因此对于大数据的探索需求更为深入。但目前电信业在经历近十年来的变革后，各种商业模式被打破。尽管电信运营商一直积极地推进4G网络建设，但网络的持续扩容与升级并未给电信运营商带来十分可观的收入，并且，更为严峻的是，在大数据时代，电信运营商还面临着来自数据、管理方面的巨大挑战。海量的半结构化和非结构化的数据大大降低了数据处理的效率，给运营商带来了巨大的数据存储和读写压力。如若不能缩短数据处理的周期，很多数据的价值都会被极大地稀释。此外，庞大的数据规模和复杂的数据种类也给运营商带来了管理层面的难题。

1电信运营商大数据应用及系统框架

电信运营商关于大数据的应用主要包括以下4种类型。首先，是基本的语音数据分析，运营商可以利用自动语音识别数据对自身的产品进行服务，并通过用户偏好分析，及时、准确进行业务推荐，强化客户关怀，这样就可以不断改善用户体验，增加用户的信息消费；其次，网络流量分析，主要指通过大数据分析网络的流量、流向变化趋势，及时调整资源配置，还可以分析网络日志，进行全网络优化，不断提升网络质量和网络利用率；第三，在企业经营层面，可以通过业务、资源、财务等各类数据的综合分析，快速准确地确定公司经营管理和市场竞争策略；第四，在业务创新层面，可以在确保用户隐私不被侵犯的前提下，对数据进行深度加工，对外提供信息服务，为企业创造新的价值。这样，大数据将帮助运营商实现从网络服务提供商，向信息服务提供商的转变。

结合电信运营商的业务情况以及目前大数据的挑战，业界提出了针对电信运营商大数据管理总体系统框架模型，其核心主要包括4层，即物理层、数据层、模型层和应用层。其中数据层是整个运营商大数据管理的核心部分，为上层应用提供数据支持（如图1所示）。

2电信大数据解决方案与需求分析

目前，中国移动采用ApacheHadoop软件的英特尔分发版来消除数据访问瓶颈和发现用户使用习惯，开展更有针对性的营销利用，同时利用Hadoop分布式数据库（HadoopHBase）扩展存储。中国联通也是利用Hadoop来实现对大数据的存储和分析，构建了基于Hadoop的结构化访问数据库，还采用数据仓库技术，针对海量数据进行高性能查询和分析工作。但海量数据的出现、数据结构的改变，也给运营商的大数据管理及分析带来了挑战。主要表现在：一是由于多种业务的发展、市场需求的变化和网络规模的扩大使得运营商大数据迅速的增加，这增加了运营商大数据存储和处理的难度，使得现有数据仓库无法线性扩容，这表明传统的数据仓库无法有效存储日益增长的业务数据；二是由于新型大数据服务不同于传统通信业务分析特点，需要对内容等非结构化、大容量信息进行多用户、多应用、实时有效的分析，传统的架构和数据仓库处理已不能满足新的信息服务需求。因此，运营商需要建立新型大数据中心，来存储、分析和处理海量数据。电信运营商采用的传统数据挖掘方法主要包括描述和预测两个方向，具体方法包括关联分析、分类和聚类等，这些方法较多应用于关系数据库系统，而目前电信运营商所面对的数据越来越多样化，复杂化程度不断增加，非结构化数据占据的比重不断攀升，传统的数据挖掘办法已经不能跟上电信业大数据处理的实际需求。自从1998年Watts和Strogatz在Nature杂志上发表文章，引入了小世界网络模型之后，国内外学界注意到了复杂网络研究的趋势，开始展开深入的研究。复杂网络研究的内容主要包括：网络的几何性质，网络的形成机制，网络演化的统计规律，网络上的模型性质，以及网络的结构稳定性，网络的演化动力学机制等问题。上述复杂网络的研究内容恰恰与电信运营商目前所拥有的大数据内容和处理需求紧密地结合在一起，为电信运营商的大数据处理开辟了一条崭新的方向。

3基于复杂网络大数据处理

针对电信运营商大数据处理的第一步是数据预处理及准备，以发生最多、数据量最大的客户通话行为为例，它和用户通话行为直接相关，其中涵盖的具体内容如表1所示，如通话时长，基站