SQL-on-Hadoop结构化大数据分析系统性能评测.pdf

SQL-on-Hadoop结构化 大数据分析系统性能评测 陈跃国 中国人民大学 数据工程与知识工程教育部重点实验室 战国时代，新的大数据 系统不断涌现… 百家争鸣，孰优孰劣？ 基准的意义 • 如今大数据市场形如80年代的的数据库市场 – 新的系统和产品迅速涌现，尚未形成垄断 • 传统数据库成功非常受益于基准的制定和 推广 – TPC: Transaction Processing Performance Council • 目前缺少大数据系统之间比较的基准 – 基准制定困难：数据类型多、应用类型多、系统 复杂、负载动态等 基准测试 • 大数据基准正在建设，尚需完善 –BigBench，Berkeley Big Data Benchmark等 –研究和产业化不能坐等公认的基准形成 • 当前交互式大数据分析系统 （SQL-on- Hadoop）非常火热 –在Hadoop构架基础上深度借鉴MPP数据库技术 –性能远超Hive，各说各的好，缺少公正比较 • TPC-DS可以做到100TB –可以用来比较SQL-on-Hadoop系统 近期的测试工作 • 利用人大行云平台 –50台物理机，虚拟出100个节点 –单节点4核，20GB 内存，1TB本地磁盘存储 –普通千兆网 • 使用TPC-DS生成关系型数据 –300GB、1TB、3TB • 测试开源大数据分析系统(SQL-on-Hadoop) –Hive, Stinger, Shark –Impala, Presto 5 评测系统 • Apache Hive (0.10) – 几个被比较系统的基础，将HQL转换成MR任务 • Hortonworks Stinger (Hive 0.11) – 对Hive的升级，查询优化、Hadoop性能提升、ORCFile • Berkeley Shark (0.7.0) – 数据尽可能使用内存列存储 – 中间结果避免写到磁盘，并具备容错机制 • Cloudera Impala (1.0.1) – 脱离MR，初级MPP分析数据库引擎，并行查询处理 – Parquet列存储的使用，嵌套数据和缓存的使用 • Facebook Presto (0.54) – 脱离MR，in-memory和pipeline处理 – RCFile，热数据缓存，类似Impala 6 查询集… • 单表查询: --qA5o-- select ss_store_sk as store_sk, ss_sold_date_sk as date_sk ss_ext_sales_price as sales_price, ss_net_profit as profit from store_sales where ss_ext_sales_price20 order by profit limit 100; --qA9-- select count(*) from store_sales where ss_quantity between 1 and 20 limit 100; 查询集.. • Ad hoc查询