PostGIS 地理信息数据 多核并行处理.docxVIP

PostGIS地理信息数据多核并行处理本文章来自于阿里云云栖社区摘要：?标签PostgreSQL , PostGIS , 栅格 , raster , 多核并行背景自从PostgreSQL 9.6支持CPU多核并行计算后，PostgreSQL最流行的插件之一PostGIS，用户对多核需求也越来越多。标签PostgreSQL , PostGIS , 栅格 , raster , 多核并行背景自从PostgreSQL 9.6支持CPU多核并行计算后，PostgreSQL最流行的插件之一PostGIS，用户对多核需求也越来越多。原因是PostGIS中有大量的运算是非常耗费CPU资源的，比如raster类型相关的运算。PostGIS tends to involve CPU-intensive calculations on geometries, support for parallel query has been at the top of our request list to the core team for a long time.Now that it is finally arriving the question is: does it really help?PostGIS发布的2.3.1 版本，已经可以看到诚意了吧，以下函数已经支持并行计算了。Mark ST_Extent, ST_3DExtent and ST_Mem* agg functions as parallel safe so they can be parallelized扫描并行扫描并行，比如扫描节点有大量数据要被过滤时，或者说查询子句中有大量的运算时，使用并行可以大大提升其效率。例如1. filter过滤掉大量的数据，并且filter本身运算量较大时，使用CPU多核并行，效果明显select * from table where filter...; 2. 当func函数或者OP操作符运算量较大时，使用CPU多核并行，效果非常明显比如聚合运算，或者一些业务逻辑运算（虽然TABLE本身没几条记录，但是每条记录的运算耗时很长时，并行效果明显）。selectfunc(x), x op y from table ...; JOIN并行我们在使用explain 观察SQL时，或者使用perf跟踪SQL的开销时，对于一个多个表数据JOIN的SQL，如果JOIN的数据量很大，可能就会成为整个SQL的性能瓶颈。现在可以使用CPU的多核并行来加速JOIN了。聚合并行聚合操作，比如统计某个维度的平均值、最大、最小、SUM等，在金融、分析行业用得非常多，处理的数据量大，运算量也较大。除了扫描码并行，聚合函数本身也要支持并行才行，比如sum，count, avg, 可以想象并行处理都是安全的。应该这么说，凡是在分布式数据库中支持的2阶段聚合函数，并行都是安全的。关于分布式数据库的2阶段并行聚合的原理请参考《hll插件在Greenplum中的使用以及分布式聚合函数优化思路》（原文链接：/digoal/blog/blob/master/20160802.md?spm=5176.100239.blogcont71882.22.4t0mP2file02.md）《Postgres-XC customized aggregate introduction》（原文链接：/digoal/blog/blob/master/20130501.md?spm=5176.100239.blogcont71882.23.ANzwbrfile01.md）观察并行、并行原理如果你要观看并行效果，这样设置一下就好了postgresql.confmax_worker_processes = 64 max_parallel_workers_per_gather = 8 parallel_tuple_cost = 0 parallel_setup_cost = 0 min_parallel_relation_size = 0 force_parallel_mode = on tablealter table table_name set (parallel_workers=8); 关闭并行效果alter table table_name set (parallel_workers=0); setforce_parallel_mode = off; 并行原理参考《PostgreSQL 9.6 并行计算优化器算法浅析》（原文链接：/digoal/blog/blob/master/201610