物联网基础架构：设备接入与大数据分析.pptx

物联网基础架构：设备接入与大数据分析 Table of Contents 云服务面临大规模设备接入挑战 新的解决方案：Event Hub服务 Event Hub 安全模型 云服务面临大规模设备接入挑战 可变速率 可预测和不可预测的突发 事件流的特性千变万化 t Inactivity Period On and off On and off workloads (e.g. batch job) Over provisioned capacity is wasted. t Bursts Peaks due to periodic increased demand IT complexity and wasted capacity. Halo 4 在线游戏数据（一周的统计数据） 事件发生率各式各样 设备信息 温控传感器每十五分钟上报一次数据 智能汽车每分钟上报一次数据 应用的信息 应用的性能监测服务每秒钟上报数据到服务器 移动应用捕获并上报你的每一次操作! 应用和运维的信息 Halo 游戏引擎每秒要处理1,000,000消息 事件的来源种类繁多 数据来源: Gartner, IDC, Strategy Analytics, Machina Research, Company filings, BI Intelligence, Accenture analysis 盈利模式 内容 设备 设备 应用 设备 应用与服务 垂直领域中的服务 设备 IoT的影响力 智慧能源 智慧零售 智能移动 智慧物流 智慧工厂 智慧城市 智慧娱乐 智慧医疗 智能建筑/家居 对云服务的挑战 设备接入服务必须能够支持 高并发性 (如超过百万级的并发设备接入) 高速率 (如每秒超过百万事件) 高吞吐量 (如每100秒处理超过TB) 同时还要支持 事件缓冲来提高可用性 持久性 低处理延迟 高安全性 最后还要价格合理！ 新的解决方案：Event Hub服务 Event Hub 是大规模数据接入服务 设备容量:　通过HTTP/AMQP可接收超过百万的数据源（设备） 处理速度:　每秒处理超百万的事件 输入吞吐量: 超过GB/s 输出: 　发布－订阅模型，可并发连接多个用户应用 安全性: 　基于SAS，每个发布者有唯一的令牌 事件缓冲:　每个用户的应用拥有自己的指针和偏移量 持久性： 每个事件可保留1~7天 处理时延： 端到端50ms内 价格: PaaS模式，按实际使用量计费 Event Hub 在物联网中的应用场景 展现与操作 数据改造 事件代理 永久性存储 事件采集 事件源 用户处网关设备 Event Hub 传统物联网(私有协议) 协议转换网关 AMQP/HTTP C, .NET, Java… MQTT/COAP/Custom 定制数据的保留时间, 用户分组, 接收者分区, 检查点, 分区分发API 低处理时延 方便集成分析平台与服务 定制代码 流分析 Storm 存储适配器 可以配置的存储服务适配器 AMQP/HTTP, C, .NET, Java… 可根据吞吐量和并发数量扩展 Event Hub如何采集事件 事件就是设备和应用上传的消息 Event Hub 以”分区”（Partition）为接收单元 一个分区就是就是一个事件队列 一个Event Hub服务包含多个分区 分区之间相互独立 256KB Event Hub事件采集的高扩展性 设备发送到Event Hub服务的事件包含分区键值(Key) Event Hub通过静态哈希函数将事件分发到分区 如果发布事件时未指定分区键，则会使用循环分配或者其他（如根据地理位置）属性分配 Event Hub 的流量控制 Event Hub 的流控通过流控单元实现 输入流控： 每个单元限定1MB/s或1000 events/s 输出流控： 每个单元限定2MB/s Event Hub如何传递消息到使用者 从Event Hub读取事件数据的任何实体称为事件使用者 IoT场景下，事件使用者就是IoT应用的后台服务 事件使用者通过使用者组中的分区读取事件流 AMQP 1.0 Event Hub如何支持故障转移和弹性 Event Hub的分区支持偏移量 （Offset） 偏移量是事件的编号 事件使用者可以在事件流中指定要从其开始读取事件的点 Event Hub的分区支持检查点 （Check pointing） 检查点记录分区中的事件处理的状态 当一个使用者发生故障的时候，备份的使用者可以从检查点开始，继续处理未经处理的事件 多个使用者可以并行处理同一分区内的不同事件 Event Hub 安全模型 Event Hub发布者 发布者是设备接入Event Hub服务的端点 发布者具有接入控制和流控的功能 每个