陶进：人人都会向量引擎.pdf

人人都会向量引擎

陶进

目1从CRUD到执行引擎

C

o

2向量化改造

ni

t录

e

n

t

s

01从CRUD到

执行引擎

01-同样写代码，不同成就感

拿到“奇葩”需求改进xx排序，性能提升

写“BUG”

使用xxIO，性能提升

被打断，修“BUG”

动态执行计划

加班

向量化

01-从CRUD到查询引擎

我们CRUDBoy的优点

熟练掌握至少一门语言

熟练使用面向对象思维分析缺什么？

需求查询引擎

心理承受能力强(能接受PUA)

吃苦耐劳(能加班)

SQL的执行过程

语法树--python

sql中字段的计算表达

SQL-关系运算

一站式SQL解决方案—ApacheCalcite

SQLParse

output

一站式SQL解决方案—ApacheCalcite

SQLValidate

output

一站式SQL解决方案—ApacheCalcite

LogicalPlanOptimize

output

开始干活--构造自己的PhysicalNode

简单的PhysicalNode

开始干活--简单的SortNode

简单的SortNode

表达式计算—一种基于lambda表达式的方法

表达式计算—Project的执行过程

PhysicalProject的执行逻辑

02向量化改造

基于ApacheArrow的性能测试

开始干活--PhysicalNode向量化改造

PhysicalNode数据向量化改造

Object[]原来表示一行数据，即Object[obj,obj,...obj]

在向量化中则表示多列数据，即Object[IntVector,obj...LongVector],每一列有

一个或多个值

表达式向量化改造

lambda表达式变成接口实现

基于每一行的计算形式改成在每个向量上的循环

自己实现向量化选择

JavaVectorApi

基于IntelSIMD(SSE,AVX)指令集的函数实现