基于人工智能的实时舆情监管系统设计与研究.pdfVIP

基于人工智能的实时舆情监管

系统设计与研究

谢红韬曹扬严增勇/文

流批一体的计算框架为实时舆情监管系统

提供了高效处理实时数据流的能力，而先进的

人工智能审核算法则赋予系统更为智能的舆情

分析能力。

2024年2月第1期总第106期《中国自动识别技术》61

NDUSTRYOBSERVATION

I产业观察

随着互联网的普及和社交媒体的兴起，舆情监各个服务模块具备如下功能：

管成为社会治理中一项极为重要的任务。舆情的媒体管理

传播渠道之多、速度之快、影响之深，使得监管工作媒体管理服务分为媒体基本信息管理和媒体

变得更为复杂和迫切。为了应对上述需求及挑战，渠道信息管理，媒体基本信息后续用于支撑预警信

舆情监管系统的设计和研究成为大数据领域的一息的推送，媒体渠道信息用于支撑分布式大数据采

大热点。传统的舆情监管研究方法存在评估方式集平台的采集数据源获取。

表浅和获取信息滞后等缺陷，由于部分待监管媒体数据采集

并不会对监管机构开放数据，因此，在数据方面，越分布式舆情大数据采集平台依据媒体管理中

来越多的系统基于爬虫技术实现对媒体数据的获的媒体基本信息，自动生成数据采集任务，采集媒

取。同时，为了追求更加准确且深层次的媒体监管体发布的新闻数据。

评估，基于指标体系计算的量化评估研判体系成为实时计算

当前舆情评估的主流。Kafka新闻消息中间件作为采集平台与实时计

本文提出的实时舆情监管系统的设计理念是算平台的数据桥梁，由采集平台实时发布采集到的

通过建立全面的指标体系，对媒体信息进行综合评新闻数据，由计算平台实时消费新闻数据进行

估。流批一体的计算框架为系统提供了高效处理计算。

实时数据流的能力，而先进的人工智能（AI）审核算算法人员在AI平台上部署错别字识别、“标题

法则赋予系统更为智能的舆情分析能力。这一系党”识别、违禁词识别、内容审核、情感倾向分析等

统在提高监管效率的同时，也注重降低人工审核的算法，并以API方式对外提供服务。

工作负担，为监管部门提供了一种更为先进、精准基于Flink的流批一体实时计算平台作为整个

的手段。实时舆情监管系统的设计和研究过程包系统的计算基座，在其之上开发通用算法算子，接

括流批一体计算框架下指标实时计算的实现、指标入AI算法API进行实时计算，得出每篇文章的审核

体系的建立以及人工智能审核算法的整合。通过结果。再由指标评估算子对审核结果与指标扣分

在贵州某监管部门的实际应用，该系统在舆情管项进行加权计算，得到媒体的评估扣分值。

理、信息采集和实时评估方面的显著优势得以证指标评估

明，为舆情监管领域的进一步研究和实践提供有价指标评估模块主要用于指标管理及计算结果

值的参考。的展示及推送，包含指标和扣分项的管理、违规内