Chapter8 厦门大学 林子雨 大数据技术原理与应用 第八章 流计算 精选文档.ppt

《大数据技术原理与应用》 厦门大学计算机科学系 林子雨 ziyulin@xmu.edu.cn 8.4.3 Storm 设计思想 ? Spouts ： Storm 认为每个 Stream 都有一个源头，并把这个源头抽象 为 Spouts 。 Spouts 会从外部读取流数据并持续发出 Tuple Spouts Streams 的来源 Tuple Tuple Tuple Tuple Tuple 《大数据技术原理与应用》 厦门大学计算机科学系 林子雨 ziyulin@xmu.edu.cn 8.4.3 Storm 设计思想 ? Bolts ： Storm 将 Streams 的状态转换过程抽象为 Bolts 。 Bolts 即可以 处理 Tuple ，也可以将处理后的 Tuple 作为新的 Streams 发送给其他 Bolts 。对 Tuple 的处理逻辑都被封装在 Bolts 中，可执行过滤、聚合、 查询等操作 Bolts 处理 Tuples 、创建新 Streams Tuple Tuple Tuple Tuple Tuple T u p l e T u p l e T u p l e T u p l e T u p l e T u p l e T u p l e T u p l e T u p l e T u p l e 《大数据技术原理与应用》 厦门大学计算机科学系 林子雨 ziyulin@xmu.edu.cn 8.4.3 Storm 设计思想 ? Topology ： Storm 将 Spouts 和 Bolts 组成的网络抽象成 Topology ，它 可以被提交到 Storm 集群执行。 Topology 可视为流转换图，图中节点 是一个 Spout 或 Bolt ，边则表示 Bolt 订阅了哪个 Stream 。当 Spout 或者 Bolt 发送元组时，它会把元组发送到每个订阅了该 Stream 的 Bolt 上进 行处理 Topology 《大数据技术原理与应用》 厦门大学计算机科学系 林子雨 ziyulin@xmu.edu.cn 8.4.3 Storm 设计思想 ? Stream Groupings ： S torm 中的 Stream Groupings 用于告知 Topology 如何在两个组件间（如 Spout 和 Bolt 之间，或者不同的 Bolt 之间）进行 Tuple 的传送。每一个 Spout 和 Bolt 都可以有多个分布式任 务，一个任务在什么时候、以什么方式发送 Tuple 就是由 Stream Groupings 来决定的 《大数据技术原理与应用》 厦门大学计算机科学系 林子雨 ziyulin@xmu.edu.cn 8.4.3 Storm 设计思想 Stream Groupings 示意图：箭头表示 Tuple 的流向，而圆圈则表示任务 Spout Bolt A Bolt B Bolt C Stream Groupings 《大数据技术原理与应用》 厦门大学计算机科学系 林子雨 ziyulin@xmu.edu.cn 8.4.3 Storm 设计思想 ? 目前， Storm 中的 Stream Groupings 有如下几种方式： – Shuffle Grouping ：随机分组，随机分发 Tuple – Fields Grouping ：按字段分组，具有相同值的 Tuple 会被分发到 对应的 Bolt – All Grouping ：广播分发，每个 Tuple 都会被分发到所有 Bolt 中 – Global Grouping ：全局分组， Tuple 只会分发给一个 Bolt – Non Grouping ：不分组，与随机分组效果类似 – Direct Grouping ：直接分组，由 Tuple 的生产者来定义接收者 《大数据技