AI多媒体技术在内容审核场景实践探索-2024.07-33正式版.doc

AI多媒体技术在内容审核场景实践探索

马金龙趣丸科技（TT语音）

个人介绍

马金龙多年媒体算法开发经验，涉及音视频图

像文本，负责过音频前后端处理，弱网优化，音

视频质量提升，智能内容安全审核“T网”，内容

理解“T悟”等大型项目。曾作为“灵声讯”创始

人，参与智能媒体技术自媒体运营和推广。

01

内容审核目前现状与挑战

02

AI多媒体技术实践之路

03

智能内容审核平台案例

04

AIGC内容风控实践

05

未来展望

1.内容审核目前现状与挑战

现状

?政府监管越来越严

?用户内容层出不穷

?违规种类繁杂

?AIGC内容不可控

挑战

?【实时性】需要紧跟政府管控要求

?【准确性】对花样变体不漏杀不误杀

?【多样性】违规种类需不同算法解决

?【未知性】AIGC生成内容不确定且存在知识“幻觉”

2.AI多媒体技术实践之路

自建OR第三方？

2.AI多媒体技术实践之路

自建优势：

可管可控极速响应生态保障

高效定制

具备数据血源追踪、问题实时

监控、技术辅助运营等风控能

力

针对安全，时效等方面推出高

响应审核，让内容审核安全高

效

通过机审结果多样化处置、账

号违规处置等多种手段，保障

平台生态安全

推出特殊时期/突发事件的相

关定制化，快速响应国家政府

的紧急要求

2.AI多媒体技术实践之路

T网是一个通过人工智能的算法打造一站式内

2.1语音识别

2.2NLP文本审核

容安全机器审核的平台，帮助公司审核团队实

现语音，文本，图像，小视频等风险管控的能

力。

2.3多模态识别

对于此项目的目的可总结如下：

2.4音频事件检测

?贯彻国家网信办有关网络内容安全的各项规

2.5小语种识别

定

2.6歌曲识别

2.7声纹识别

?低成本高效率的加强内容风险管控

?构建智能审核技术护城河，为公司内容生态

保驾护航

2.8违规图像识别

?探索内容审核新方法，践行公司的社会责任

2.1ASR-技术方案

技术目标

用户产生的语音数据输入ASR模型，模型输出

该语音的文字内容，以供下一环节NLP检查是

否包含违规词，或违规内容。

模型总体逻辑

使用深度学习模型Transformer/Conformer(如

图中SharedEncoder)提取输入音频中的特征

使用CTC解码得到若干候选文本。图1.T网-ASR端对端方案

2.1ASR架构

EfficientConformer

?Convolutionneuralnetworks和transformers

models组合

?EfficientConformer设计

?结合量化剪枝和蒸馏技术，压缩模型大小

?提供CPU和GPU，支持高吞吐量识别

图2.T网-ASR支持的功能

图3.ASR中Efficientconformer技术方案

2.1ASR-效果

图4T网-ASR优化后的推理速度

图5.ASR测试报告(CER)和模型大小

2.2NLP算法总体框架

NLP算法模型：

?Bert算法

?Prompt算法

?Fasttext算法

?AIGC语料生成算法

?文本表情复杂表示的多模态识别算法

?关键词挖掘算法

图6.T网-NLP总体框架

2.2NLP内容审核的困难与挑战

纯文本审核面临的问题与挑战：

我们的成功案例：

?变体关键词的多样化

?构建变体关键词挖掘系统

?文字与表情包的结合的复杂表达

?构建文本表情字母多模态识别系统

?文字与字母或字母缩写结合的复杂表达

?特定场景语料不足与稀疏性

?AIGC语料生成系统

?特定关键词词的隐晦表达

?异常关键词大数据监测系统

?正常词与关键词相同，但不同上下文上

语义不同

?多层次语义分析系统

2.2NLP内容审核-效果呈现

违规标签精确率

辱骂94.45%

色情95.03%

涉政91.31%

广告90.96%

违禁92.98%

图7.NLP关键词挖掘示意图图8.NLP文本审核效果

2.2文本未成年人识别

关键词匹配分析框架，支持多种匹配方式、多种过滤条件，并支持自定义特殊标记，及支持特定动作行

为，将未成年人识别实现模组化的流程分析。未成年识别精确率99%+；

图9.T网文本未成年人审核技术框架

2.3多模态算法原理

项目背景

?单模态审核特征不全面，多模态结合语气和语义信息可提高处罚有效率。

?人工审核量级大，需要对不同类型的违规进行灵活处置。

建模算法

?Transformer跨模态多头注意力机制；

?随机森林；

模态α模态β

图10.Transformer跨模态多头注意力机制

图11.随机森林

2.3多模态高准召回

模型指标

?多模态算法上线处罚有