企业数字化转型数据中台解决方案.ppt

30 数据中台能力介绍 2.3、数据挖掘能力 ▉ AI Station：面向机器学习集群，支持多种机器学习框架，能够快速部署机器学习训练环境，对计算集群的CPU及GPU资源进行统一的管理、调度 及监控，有效的提高计算资源的利用率和生产率 。 硬件层 GPU服务器训 练 CPU服务器训 练 万兆/IB 网络 共享存储 系统 系统层 OS(RHEL/CENTOS/FEDORA……) Container caffe2 Container Caffe-MPI Container TensorFlow Container Sk-learn Container MXnet 管理服务层 Web Service Docker Torque 计算资源管理 GPU/CPU调度 GPU/CPU监控 资源统计及分析 31 数据中台能力介绍 2.3、数据挖掘能力 ▉ AI Station：硬件统一管理，框架一键部署。 资源管理 GPU资源智能化调度 自动调度性能最优GPU组 单卡多任务，释放资源 负载均衡，公平共享 资源监控 资源监控 性能监控 故障监控 资源使用情况监控 实时监控应用运行性能 环境构建 一键部署机器学习容器环境 GPU计算资源+深度学习框架 按需部署：容器数量，容器配置 弹性伸缩：动态添加或删除容器 镜像管理：公有镜像，私有镜像 性能分析/优化 系统性能分析及瓶颈优化 深度学习框架镜像优化 GPU配额策略：负载均衡，公平共享 优化多机多卡并行，优化框架 优化数据读取流程，及数据缓存 优化GPU分配策略，独享/共享 32 数据中台能力介绍 2.3、数据挖掘能力 ▉ AI Station：硬件统一管理，框架一键部署。 GPU资源分配 硬件性能可视化 机器学习环境一键部署 集群资源监控 实时性能分析 算法分析 33 数据中台能力介绍 2.3、数据挖掘能力 ▉ AI标注：通过标注平台可以对文本、图像、知识进行标注，并且对标注质量进行自动、人工审核，保证数据质量 标注质检 智能处理 自动质检 人工质检 协同众包 任务分派 权限管理 版本管理 分包质检 …… 知识标注 实体标注 事件标注 属性标注 关系标注 …… 视频标注 候选物标注 跟踪标注 视频分割 视频审核 多形状选择 …… 图片标注 分类标注 标框标注 区域标注 描点标注 …… 文本标注 词典编辑 语料处理 语料基线 分词词性 分类标注 关键词标注 …… 数据源 TXT WORD 图片 网页 34 数据中台能力介绍 2.3、数据挖掘能力 ▉ AI标注：通过标注平台可以对文本、图像、知识进行标注，并且对标注质量进行自动、人工审核，保证数据质量 全流程数据标注 客户提交原始数据和需求描述，第一时间定制开发标 注工具并实施数据标注，标注结果经质检人员核验后 进行交付 数据隔离方案 将数据资源调用、标注前端模块部署至内网环境，严 密的数据访问策略保证数据安全。平台把控项目进度， 保障数据标注质量 私有化部署 为客户本地化部署具有自己的兼具需求管理、自主创 建标注工具、标注任务管理、人员管理、众包管理等 功能的数据标注平台 可为特殊需求免费定制化设计医用模板 平台完成全流程，用户无需分担经历 数据不出用户环境,，保证数据安全 标注项目全程面管理 标注平台免开发 可自主运营和管理项目人员 35 数据中台能力介绍 2.3、数据挖掘能力 ▉ AI标注：通过标注平台可以对文本、图像、知识进行标注，并且对标注质量进行自动、人工审核，保证数据质量 词典创建/管理 语料管理 预处理/打基线 任务众包/审核 知识实体标注 关联标注 36 数据中台能力介绍 2.3、数据挖掘能力 ▉ AI训练：旨在降低机器学习使用门槛，提供可视化的操作界面实现模型的训练、评估和预测过程，无缝衔接数据分析和预测应用，降低机器学习模 型的生命周期管理难度，为用户的数据挖掘分析业务提供易用、高效、高性能的平台服务 工作台UI 服务/模型管理 模型发布 模型分享 模型存储 服务管理 训练流程设计 可视化编排 流程解析引擎 AutoML NoteBook 会话 任务监控 模型服务 数据集管理 数据导入 数据预览 TensorFlow TensorFlow 算法组件库 TensorFlow TensorFlow TensorFlow TensorFlow caffe2 MXNet 计算框架 SK-Learn MLib …… 37 数据中台能力介绍 2.3、数据挖掘能力 ▉ AI训练：是强大且便捷的机器学习和深度学习建模平台，同时提供模型生产化能力，平台的开放性也可以让用户更容易扩展算法、迁