数据开发的生产环境隔离(1).pdf

— 2023 — 数据开发的生产环境隔离 演讲人：崔博雯 小米数据工场研发负责人 背景 思考选型 落地路径 业务实践 背景 小米数据平台发展历程 多平台 统一数据平台 开发在线化建设 2019 2021 2022 各平台覆盖度各异 统一的元数据/权限/调度 开发生产环境隔离 账号与权限体系不同 支持多种引擎/多数据源 标准化开发流程 缺乏统一的业务视角 覆盖离线/实时开发场景 WebIDE建设 小米数据平台发展历程 统一数据平台：数据工场Alpha 2019 2021 2022 数据开发两大挑战：安全与质量 数据安全的要求下，数据隔离的需求愈发强烈 政策规范 影响 国内 区域隔离 《数据安全法》 禁止跨地区访问数据 《个人信息保护法》 角色隔离 2022 国内开发海外运维 海外 数据脱敏 《GDPR》 开发人员只能使用脱敏后的数据 数据开发两大挑战：安全与质量 数据反哺线上业务，数据质量异常重要 集团统一数仓 支撑研产供/销服/IoT/手机等业务线 复杂度高，交付压力大 起夜率居高不下 缺少生产与开发环境的隔离 测试流程缺失 测试流程不规范 代码测试不充分 测试流程污染线上数据 CodeReview环节缺失 测试代码被误发布至线上 缺乏生产环境隔离的产品方案 隔离需求各异 没有统一方案时，业务方有各自的局部方案 目标 同一套方案，解决多场景需求 满足个性化需求 满足强质量需求 思考选型 生产开发环境的3大目标 数据 • 聚焦离线数据开发场景 隔离 • 用户无感的隔离方案 规范 • 设计开发生产流程，提供产品化支撑 流程 • 覆盖全集团数