大数据平台通用能力解决方案（30页）.pptxVIP

大数据平台通用能力解决方案

a目录1大数据架构3大数据运营流程2大数据功能介绍

1.大数据专区架构大数据平台统一门户生产专区沙箱离线计算实时计算大数据资源管理（Yarn）容器资源管理（Docker+K8S）运营管理数据管理采集汇聚数据加工挖掘建模应用开发数据地图数据管理数据采集数据同步数据下发数据交换离线开发实时开发可视化建模编程式建模数据可视化模板化建模WebIDE可视化报表多维分析运营分析运维监控容器服务统一调度智能问答对外服务流媒体能力开放联邦学习深度学习框架数据稽核数据服务服务封装应用市场提供大数据一站式开发服务，涉及存储、计算、容器、数据地图、数据管理、开发工具、统一调度和数据挖掘等20+产品提供决策树、线性回归、逻辑回归、贝叶斯、KNN近邻、神经网络、卷积神经网络等70余种ML/AI主流算法。部署在3个集群：面向集团部门为主的核心生产集群面向31省、专业公司为主的专区集群面向全网考试、培训的沙箱集群

a目录1大数据架构集团大数据平台架构3大数据运营流程2大数据功能介绍

2.1大数据专区功能介绍：用户管理租户、项目、用户组三层组织架构，自主、灵活、快速支撑各种类型数据开发团队，人员高效协同；同时资源按需分配，有效解决资源不足问题。租户河北分公司项目第二卡槽单宽转融单C转融用户组(角色)开发角色运维角色用户(Web账号)BACEDGF省租户管理员项目管理员集团集团运营管理员内蒙分公司异网策反位置数据营销开发角色运维角色BADCEHG省租户管理员资源CPU（200vCore）存储（10TB）CPU（200vCore）存储（10TB）项目管理员

2.2大数据专区功能介绍：整体流程专区为用户提供一站式大数据解决方案，涵盖租户开通、项目管理、数据管理、数据采集、数据探索、数据开发、挖掘建模、服务封装、服务订阅与调用、统一调度、运营监控等全流程。6租户开通：1：MSS统一认证，账号无需注册；2：租户入驻（综调流程）：对外系统权限开通流程；3：申请流程（专区流程）：个人工作台申请成为租户；项目管理：1：新建项目2：新增角色3：添加成员4：产品管理一、准备工作数据采集上传：1：采集配置2：数据采集监控3：数据上传数据探索：1：数据地图总览、检索2：元数据信息查看3：数据订阅，专区内无所需数据，综调流程：内部经营数据需求流程；数据管理：1：创建私有表2：数据检索二、数据采集订阅数据开发：1：脚本开发2：任务编排与发布3：数据账期查看挖掘建模：1：挖掘模板、2：可视化挖掘、3：脚本挖掘统一调度：1：调度配置2：调度监控三、数据加工挖掘数据下发：1：专区发起数据下发，触发综调流程：自动创建“内部经营数据需求流程”工单。API服务：1：原子服务封装、第三方服务接入，触发综调流程：自动创建“内部经营数据需求流程”工单；2：服务订阅与调用：申请流程（综调流程）：内部经营数据需求流程；报表开发：1：新增数据源2：报表设计3：报表发布4：报表订阅使用四、能力开放运营监控：1：任务监控2：租户资源监控3：采集任务监控4：Yarn任务监控五、运营监控

2.3大数据专区功能介绍：租户管理员（1/4）–项目管理7项目管理流程：组织架构确认：项目管理员及项目成员用MSS手机号或者人力账号直接登录专区，在个人工作台-个人设置-基础信息中确认组织架构，需要和当前租户保持一致，如有问题，请自行修改。新建项目：租户管理员新建项目，通过有哪些信誉好的足球投注网站姓名或人力账号指定项目管理员，并为项目分配存储资源和数据资源。新建角色：项目管理员分配产品权限、数据资源。邀请成员：项目管理员通过有哪些信誉好的足球投注网站姓名或人力账号邀请项目成员到项目组，并分配到对应工作组租户管理员可以按需进行项目管理员变更、计算资源调整、数据资源调整、删除项目等针对项目的管理操作。使用要求与建议：新建项目需要设置功能菜单，默认是不勾选的。需要项目管理员自行设置3、新建角色4、邀请成员1、组织架构确认2、新建项目

2.3.大数据专区功能介绍：租户管理员（2/4）–数据采集下发8提供结果数据的SFTP文件方式下发服务能力界面化的下发服务配置采集任务监控能力数据下发服务能力数据专区采集能力134支持SFTP接口机方式、批量文件采集界面化采集配置数据采集能力提供统一的运维监控能力，包括界面化配置、界面化运维、界面化监控。实现数据采集任务执行情况的查询和监控。2仅租户管理员，非租户申请数据管理员。如需开通数据采集（SFTP）功能，需要向平台管理员申请开通配置。数据采集规范

2.3.大数据专区功能介绍：租户管理员（3/4）–数据订阅9数据订阅步骤：数据地图：可视化展现元数据信息，方便快速定位表单表订