基于云边协同架构的内容洞察平台实现方式研究.pdf

电信工程技术与标准化系统与方案

基于云边协同架构的内容洞察平台实现方式研究

陈国，张春，夏倩倩，洪文静，鲍向津，肖杰

（中移动信息技术有限公司，北京100033）

摘要近几年，互联网、5G、大数据的发展为企业提供了海量数据资源，也带来了数据管理和分析的挑战。为了更好地

利用这些数据，对用户的上网行为进行判断和识别，运营商构建了基于云边协同架构的内容洞察平台，对互联网

中海量的内容信息进行采集和解析，对用户的上网行为进行判断和识别。本文从云边协同架构、数据模型架构以

及云边协同能力、数据采集能力、解析能力和内容分发能力等方面详细论述了内容洞察平台的实现方式，为运营

商提供更好的数据服务能力。

关键词内容解析；云边协同；大数据；数据模型

中图分类号TN915文献标识码A文章编号1008-5599（2024）01-0081-06

随着当今互联网行业的蓬勃发展，网络内容及相关的需求，需要基于业务特点将部分功能下沉至离用户更

资源呈现碎片化和无序化。用户在网络中的行为和兴趣近的节点进行数据的采集和初加工，形成所谓的“边缘

导向越来越难以捕捉。如何客观衡量哪些内容是好内容，节点”。与各“边缘节点”对应的是对数据进行汇总和

如何让好内容的生产经验被系统性沉淀下来并持续反哺深加工的“中心节点”。依靠“云边协同”架构可以高

到后续的内容生产中，继而持续优化内容体验已成为目效实现海量数据的内容洞察。

前需要解决的首要问题。为解决上述问题，各大电信及

信息服务运营商急需正确合理地引导用户上网行为和监1内容洞察平台的架构

测网上内容导向。

传统电信运营商为了保障自有业务的健康持续发展1.1整体架构

以及减缓自身被管道化的进程，可以有效复制和学习互内容洞察平台的系统架构包括数据采集和存储、数

联网行业业务和内容营销模式，以便有针对性地了解用据处理、数据开放3个部分，如图1所示。

户对业务和内容的偏好、用户上网浏览内容的习惯等，为(1)数据采集和存储。实现全国互联网上网日志和

自有业务的改进和营销内容的更新提供有力的依据。因此，爬虫数据的采集。具体需要对接不同的数据接口，通过

运营商可以建立一套针对用户行为的内容洞察系统，用以数据共享、主动爬取和接口机交换等方式实现批流融合

正确合理地引导用户上网行为和监测网上内容导向。采集并进行存储，以备接下来的数据处理和分析所用。

但面对用户产生的海量行为数据，单纯依靠一个或(2)数据处理。由DPI解析平台、规则管维一体化

几个大数据节点已经无法满足数据的采集、存储和分析平台、实时内容分发中心的功能构成。其中DPI解析平

收稿日期：2023-11-28

81

2024年1月第1期（第37卷总第319期）月刊

系统与方案电信工程技术与标准化

缘节点的模型和算子。

数据能力共享引擎共建模型共享数据共享传统架构需要大量储算

开放