AI多媒体技术在内容审核场景实践探索-2024.07-33正式版.ppt

AI多媒体技术在内容审核场景实践探索马金龙趣丸科技（TT语音）

个人介绍马金龙多年媒体算法开发经验，涉及音视频图像文本，负责过音频前后端处理，弱网优化，音视频质量提升，智能内容安全审核“T网”，内容理解“T悟”等大型项目。曾作为“灵声讯”创始人，参与智能媒体技术自媒体运营和推广。

0102030405内容审核目前现状与挑战AI多媒体技术实践之路智能内容审核平台案例AIGC内容风控实践未来展望

1.内容审核目前现状与挑战现状?政府监管越来越严?用户内容层出不穷?违规种类繁杂?AIGC内容不可控挑战?【实时性】需要紧跟政府管控要求?【准确性】对花样变体不漏杀不误杀?【多样性】违规种类需不同算法解决?【未知性】AIGC生成内容不确定且存在知识“幻觉”

2.AI多媒体技术实践之路自建OR第三方？

2.AI多媒体技术实践之路自建优势：极速响应生态保障高效定制可管可控具备数据血源追踪、问题实时监控、技术辅助运营等风控能力针对安全，时效等方面推出高响应审核，让内容审核安全高效通过机审结果多样化处置、账号违规处置等多种手段，保障平台生态安全推出特殊时期/突发事件的相关定制化，快速响应国家政府的紧急要求

2.AI多媒体技术实践之路T网是一个通过人工智能的算法打造一站式内容安全机器审核的平台，帮助公司审核团队实现语音，文本，图像，小视频等风险管控的能力。2.1语音识别2.2NLP文本审核2.3多模态识别2.4音频事件检测2.5小语种识别2.6歌曲识别对于此项目的目的可总结如下：?贯彻国家网信办有关网络内容安全的各项规定?低成本高效率的加强内容风险管控?构建智能审核技术护城河，为公司内容生态保驾护航2.7声纹识别2.8违规图像识别?探索内容审核新方法，践行公司的社会责任

2.1ASR-技术方案技术目标用户产生的语音数据输入ASR模型，模型输出该语音的文字内容，以供下一环节NLP检查是否包含违规词，或违规内容。模型总体逻辑使用深度学习模型Transformer/Conformer(如图中SharedEncoder)提取输入音频中的特征使用CTC解码得到若干候选文本。图1.T网-ASR端对端方案

2.1ASR架构EfficientConformer?Convolutionneuralnetworks和transformersmodels组合?EfficientConformer设计?结合量化剪枝和蒸馏技术，压缩模型大小?提供CPU和GPU，支持高吞吐量识别图2.T网-ASR支持的功能图3.ASR中Efficientconformer技术方案

2.1ASR-效果图4T网-ASR优化后的推理速度图5.ASR测试报告(CER)和模型大小

2.2NLP算法总体框架NLP算法模型：?Bert算法?Prompt算法?Fasttext算法?AIGC语料生成算法?文本表情复杂表示的多模态识别算法?关键词挖掘算法图6.T网-NLP总体框架

2.2NLP内容审核的困难与挑战纯文本审核面临的问题与挑战：我们的成功案例：?变体关键词的多样化?构建变体关键词挖掘系统?构建文本表情字母多模态识别系统?AIGC语料生成系统?文字与表情包的结合的复杂表达?文字与字母或字母缩写结合的复杂表达?特定场景语料不足与稀疏性?特定关键词词的隐晦表达?正常词与关键词相同，但不同上下文上语义不同?异常关键词大数据监测系统?多层次语义分析系统

2.2NLP内容审核-效果呈现违规标签辱骂精确率94.45%95.03%91.31%90.96%92.98%色情涉政广告违禁图7.NLP关键词挖掘示意图图8.NLP文本审核效果

2.2文本未成年人识别关键词匹配分析框架，支持多种匹配方式、多种过滤条件，并支持自定义特殊标记，及支持特定动作行为，将未成年人识别实现模组化的流程分析。未成年识别精确率99%+；图9.T网文本未成年人审核技术框架

2.3多模态算法原理项目背景?单模态审核特征不全面，多模态结合语气和语义信息可提高处罚有效率。?人工审核量级大，需要对不同类型的违规进行灵活处置。建模算法?Transformer跨模态多头注意力机制；?随机森林；模态α模态β图11.随机森林图10.Transformer跨模态多头注意力机制

2.3多模态高准召回模型指标?多模态算法上线处罚有效率为99%+；?如右图，每日占总机审违规样本约17%；模型价值?提高对违规样本的召回，减少单模态的漏召；?提供高准标签运用在灵活处置：a.提高处罚响应速度；b.提升人工审核效率；图12.多模态辱骂命中数量及占比

2.4声音事件检测（SoundEve