AI算法数据管理评测集成化平台.pdf

01平台框架

目

C

O

N

02关键能力

T

E

N

录T

S

03优化方向

01平台框架

1.1AI手机特征

1.1算法测试类型

大模型语音类

多模态

视觉类自然语言

1.2算法测试的痛点

数据管理Ø数据孤岛、重复建设、安全隐私

数据标注Ø效能低、培训难、质检难

质量评估Ø真实性、多样性、开放性

主观执行Ø可获得性差、参与方式差、质量监控难

客观执行Ø工具冗余、技能建设重复

数据分析Øbadcase泛化不足、分析难、可视化效果差

1.3业务流程

上传

数据收集数据平台

原始数据属性读取基本属性分层逻辑

粗筛数据集

公有|私有原子能力集特征向量

数据管理

GT数据

数据清洗数据标注

测试集

数据集制作

前

端主观评测主观结果数据汇集

入DB

口客观评测

选择被测算法算法服务Table_1

性能测试……

Table_n

客观结果数据汇集

真机压测

配置管理自有/竞品

插件|资源|指令APK|SDK|云端API功耗测试