大数据治理平台总体架构、技术架构、功能架构及数据应用解决方案.pptx

大数据治理平台总体架构、技术架构、

功能架构及数据应用解决方案;一、大数据解决方案概述

;

大数据解决方案概述;二、大数据治理平台总体架构

;;三、数据采集平台;

大数据治理平台总体架构-数据采集平台;;

数据存储;;

平台提供数据源组件，

处理组件，终端组件选择，用户可通过拖拽将需要的组件拖入工作流画布中连线后完成工作流;四、智能调度;;

图形化工作界面

用户可通过产品界面进行图形化任务创建及管理，操作多以拖拽及连线方式，大大降低操作难度，及使用大数据平台的门槛

组件式按需配置

产品松耦合，提供各类通用型数据组件，各个组件可自由插拔组合，用户可根据实际应用场景配置，更提供定制化组件开发服务，为用户量身订造自有组件

多租户空间资源隔离

本产品与我司的多租户权限管理相结合，可实现租户间资源隔离及存储空间隔离，既保证了平台资源的合理分配及使用，也保障了用户私有信息的安全;;

智能调度;五、数据总线;;

数据总线;

提供可视化数据建模挖掘工作台，依托大数据集群强大的计算能力，进一步提升租户对于海量数据的建模挖掘能力，提高开发效率。;六、人工智能平台;;

“傻瓜化”建模

?将复杂建模过程，“傻瓜化”、流程化、插件化，在建模过程，只要拖拽插件，就能构建模型。

?降低技术门槛，使得非技术人员，也能操作建模

?开发源组件、预处理组件、特征工程组件、算法组件和模型评估组件

模型可复用

?将算法模型插件化，序列化和持久化，创建共享机制，用户可以调用已有的模型，避免重复建设。

?将昂贵的生产资源，转化成公共基础设施

?数据预处理、特征工程等工作复用

开源算法补充

集成多种开源算法

?Tenserflow、MXNet、Pytorch、Caffe2、Sklearn、Numpy/Scipy;

人工智能服务能力介绍;;

◆提供标准化的流程引导，把高大上的算法生产变成流程化操作

◆提供算法开发插件接，提供面向不同业务场景的建模开发工具，快速构建模型;

知识图谱构建：

将通过互联网爬取的不同类型、不同结构的信息进行，基于不同行业

的??数据(Metadata)，基于基于深度学习构建领域知识图谱和通用知识图谱，有效提升多源数据整合之上的对象刻画能力，深入揭示对象之间的关系。;七、数据治理平台;;

数据治理的总体目标是理解企业的信息需求，规范数据的生成，持续改进数据质量，实现数据最大价值。;

数据标准监控：

?稽核规则录入：系统将标准规范提供给数据标准接口，同时对标准稽核规则进行配置，放入稽核规则库中。

?前向稽核校验：对接口数据进行记录条数和长度等的前向规则稽核效验，并对稽核效验结果通过错误文件记录的方式反馈给数据开发者。

?后向稽核校验：通过规则库的后向质量稽核规则去发现数据标准规范中字段质量的相关问题，同时进行数据标准质量的稽核告警。

?稽核反馈：根据稽核结果，当有稽核错误发生时系统提供告警功能，向数据开发者发出警示。通过稽核后则数据进行存储，供共享使用;

单系统数据质量检查

?支持对质量检查的规则进行配置，支持按照不同源业务系统进行配置；

?提供按照数据质量规则进行数据检查功能；

?提供数据检查结果展示功能；

?提供数据检查结果分析统计功能。

跨系统数据质量检查

?提供对一致性的检查规则进行配置；

?提供按照数据一致性检查规则进行数据质量检查功能；

?提供数据检查结果展示功能；

?提供数据检查结果进行分析统计功能。

数据质量预警告警

?支持对一定时间段内的数据质量告警/预警信息进行列表显示；

?告警/预警信息应包括数据质量审核问题单相关信息；

?针对每条数据质量检查规则可以设置是否作为告警/预警信息出现在告警/预警界面。;八、数据安全中心;;

数据安全保障能力;;;;九、大数据工作台;

IDH(IdealDataHub)大数据工作台，提供一站式开发管理服务入口

1.管用分离的专属门户：划分开发者与管理者专属门户，为不同角色的人员提供专属服务能力。

2.高集成度的工作平台：向租户提供一个一站式的工作平台。将租户所有的工作进行分类整理后，在工作台中提供统一的功能入口，满足租户所有的日常工作操作。

3.个性化的定制界面：在工作台的标准定义下，用户可以根据操作习惯进行自定义配置，定制与之工作相关的数据视图、图表、分析报告等。