pb级海量数据服务平台架构设计实行_光环大数据训导.pdf

光环大数据--大数据培训知名品牌 PB 级海量数据服务平台架构设计实践_光环大数据培训 光环大数据培训机构，基于PB 级海量数据实现数据服务平台，需要从各个不同 的角度去权衡，主要包括实践背景、技术选型、架构设计，我们基于这三个方面 进行了架构实践，下面分别从这三个方面进行详细分析讨论： 实践背景 该数据服务平台架构设计之初，实践的背景可以从三个维度来进行说明：当前现 状、业务需求、架构需求，分别如下所示： 当前现状 收集了当前已有数据、分工、团队的一些基本情况，如下所示：  数据收集和基础数据加工有专门的Team 在做，我们是基于收集后并进行 过初步加工的基础数据，结合不同行业针对特定数据的需求进行二次加工 的。  数据二次加工，会集成基础数据之外的其它有业务属性的数据，比如引入 第三方POI 数据等。  原始数据每天增量大约30~40TB 左右。  计算集群采用Spark on YARN 部署模式，大约400 个节点。  所有数据各种属性、行为信息，都是围绕大约40 亿的移动设备ID 进行很 多倍膨胀，比如每天使用微信App 的设备的行为信息。 光环大数据 光环大数据--大数据培训知名品牌  参与该平台的研发人员，对实际数据业务需求了解不会非常深入，因为跨 多个行业及其不同数据需求的变化较快。 业务需求 另外，实现的该数据服务平台，需要满足当前的基本数据业务需求，主要包括使 用平台的人员特点，需要支撑的各种基本数据需求，经过梳理，如下所示：  平台初期面向内部业务人员使用，几乎没有技术背景。  40 亿+的移动设备大表，包含各类设备ID 及其设备属性，需要提供批量 匹配功能：给定一类或多类设备ID 的批量文件，从大表中获取到匹配上 的设备信息（ID 及多个属性信息）。  对PB 级数据进行各种快速探索，输入各种过滤条件，如地域（国家/省/ 市/ 区）、地理围栏（地图圈选/上传文件/直接输入）、使用的App 及分类 （安装/活跃）、时间范围（日/周/月）、POI 及分类等等，理论上不限制 条件个数，经验值最多在5~6 个左右。  输出主要包括明细信息、多维度统计（画像）、图表（热力图）等。  平台提供的数据服务，都是批量模式的计算，所以需要为用户提交的数据 作业，给予准确的状态变化反馈。  有小部分面向开发人员的需求：将在数据平台Web 系统操作进行的数据 匹配、提取、探索等操作，进行服务化以供其他系统中的服务调用。 架构需求 在未来业务模式变化的情况下，能够非常容易地扩展，并尽量复用大部分核心组 件。同时，还要面向开发人员复用数据平台的数据业务服务，以增加平台利用率， 间接产出数据价值。考虑如下一些当前需要以及未来可能演变的架构需求： 光环大数据 光环大数据--大数据培训知名品牌  定义作业和任务的概念：作业是用户为满足一次业务需要而提交的数据获 取请求，最终输出想要的数据结果；任务是为满足输出一个作业结果，从 逻辑上拆分成的基本计算单元。一个作业由多个任务的计算组合而完成。  对于一个作业输入的多个过滤条件，如果作为一个单独的计算任务，根本 无法在PB 量级的数据上输出结果，所以需要将作业拆分成多个任务进行 分别计算，最后输出结果。  对用户作业状态的管理，具有一定的业务含义，基本不能在公司级别进行 复用，具体涉及内容包括：排队、组成作业的任务列表管理、作业优先级 管理。  任务是最基本的计算单位，设计能够协调整个任务计算的架构，可以分离 出任何业务状态，