2023智慧城市数据湖一体化运营管理建设方案.ppt

生态圈自然人实体归集与对齐 客户资料归集应具备基于资料信息的规则匹配识别和基于客户海量的通信相关信息的挖掘识别方法： 1）通过规则匹配识别技术，高效地完成准确性较高的资料信息自然人识别； 2）基于大数据技术构建自然人识别模式，作为规则识别的有效补充，提高自然人识别成功率，减少人工核查确认工作量。 关键能力要求： 规则识别和大数据技术识别配合完成资料聚合；深度应用大数据识别技术，通过照片留存、交际圈、位置轨迹、虚拟身份等信息，识别出从资料层面不能反映出的同一自然人。 大数据技术识别应用到的技术：文本分词、文本匹配、似度计算、多音字库、象形字库、网络图谱算法、指纹权重、关系传递等； 聚合规则识别 原生数据 自然人沉淀 物联网 互联网金融 智能连接 智慧家庭 自然人识别 大数据识别 照片留存 交际圈 位置轨迹 虚拟身份 缴费信息 终端信息 客户接触 … 移动A套餐 Iphone用户 客户A1 移动C套餐 预付费 用户 客户A1 自然人:客户A 省分1 省分2 证件号码 姓名 地址 联系人 工作单位 … 规则库 综合评价 实体归集过程 原生数据 基于实体完整性 基于业务逻辑 整合归集 自顶向下 自底向上 数据整合/加工规则 用户信息表 用户产 品订购 客户 信息 客户实 名认证 客户联系人 信用度 邮寄信息 用户积分 编码标准化 模型转化/编码统一 专区应用 保证上层覆盖性 自然人基本信息 自然人有效移网户数信息 自然人黑名单信息 自然人用户360信息 差异数据下发 … 自然人基本信息 自然人扩展信息 自然人 用户信息 自然人用户 扩展属性表 自然人基本信息 自然人扩展 信息 自然人 用户信息 自然人用户扩展信息 差异数据 实体归集数据流程 新兴ICT 生态圈数据接入与存储 通过对五大生态圈数据采集入湖，统一规范转换后，为各类专区应用提供数据支撑。 生态圈入湖 根据生态圈系统的建设情况，科学规划多种采集方式入湖 生态圈数据规范 围绕大数据湖功能分区，探索各类数据的存储要求和能力建设 生态应用服务 针对生态业务应用需求，确定大数据湖的应用支撑模式，构建专区建设规范 智能连接 物联网 智慧家庭 互联网金融 新兴ICT 原生数据区 大数据湖 五大生态圈数据 批量采集 实时采集 准实时采集 整合数据区 应用数据区 互联网金融专区 物联网 专区 生态创新专区 … 互金业务订购 用户行为轨迹 … 智能连接 物联网 智慧家庭 互联网金融 新兴ICT … 主数据区 统一客户信息 生态业务产品 统一帐户信息 标准编码信息 生态收入贡献 用户关联信息 新业务采集 入湖模式探索 对接应用需求 专区规范制定 数据分区规划 湖存储功能定义 生态采集支撑 入湖采集能力验证 目录 背 景：大数据湖的发展背景与建设理念 1 生态圈：探索新兴业务入湖建设模式 3 共 享：大数据湖统一访问共享规划 4 运 营：大数据湖一体化运营管理建设 5 体 系：大数据湖体系规划与建设思路 2 大数据场景下数据服务的能力建设要求 大数据场景：混搭架构平台、多系统共存、不同数据体系、各种应用场景需求 统一 标准化 透明化 安全 高效 外部应用的便捷接入 跨数据结构的逻辑化访问 灵活安全的权限管控机制 统一标准化数据查询 跨底层数据存储平台 混搭架构平台，如HDFS、MPP、SMP等 多种数据存储体系，如关系型DB、KV-DB、文件系统等 通用的数据查询语言，支持跨平台访问，如PL/SQL，HQL等 多应用系统的物理结构透明化逻辑封装，如OLTP、OLAP等 多种数据服务场景的权限管控，如查询、分析等 多种应用接入能力，如JDBC、Socket等 大数据湖统一访问共享建设规划 —— 统一目录/透明访问 访 问 共 享 数据服务中间件 统一访问共享：管、用、看 管：基于湖中数据构建统一数据目录，屏蔽湖中数据物理存储地址，提供实现湖中可共享数据的管理 用：数据服务中间件为应用提供多样化数据接口访问能力，如API、JDBC/ODBC、消息、订阅等能力 看：目录视图为开发者提供湖中可共享数据的统一目录视图，并管理湖中数据访问授权 数据计算与存储资源 计算引擎 数据存储 文本数据 ORACLE HIVE HBASE 统一数据目录 数据读取 数 据 能 力 数据 采集 数据 加工 数据 挖掘 数据 应用 数据 可视化 服务 封装 数据访问接口 数据访问接口 API接口 JDBC/ODBC 消息 数据缓存 内存计算 数据访问引擎 函数计算 统计分析 规则配置 接口鉴权 数据授权 … 目录管控 数据开放 权限申请 授权审批 访问共享是湖中数据和应用、能力之间的桥梁，任何功能/应用模块使用湖中数据时，不需要关