曙光XData核心技术.pptx

XData核心技术;核心技术;大数据系统管理;;XData设计原理和关键技术

;1.数据分布策略;存储划分

四个级别：记录，分区，节点，节点组

可扩展的虚分区技术，分区数是节点数的4~8倍（建议为数据节点的核数），支持数据节点规模的动态伸缩

分区信息表示

一个节点组包含多个节点nodegroup1,node_list

一个节点包含多个分区node1,part_list

元数据信息常驻内存：各服务程序启动时读取

;;2.通用的并行查询引擎;大表关联查询是海量数据处理的难点，也是提高核心竞争力的关键

大量数据交互，对磁盘读写和网络传输性能要求高

应用广泛：大量关联分析类查询和数据挖掘类应用;原始查询语句

Select 姓名,号码,sum(话费)

From 通话记录表A，用户信息表B

Where时间between(t1,t2)andA.号码=B.号码

Groupby姓名,号码

查询算子1，2

算子1：Select姓名,号码from用户信息表

算子2：Select话费，号码from用户行为表

where时间between(t1,t2)

数据分派方法Hash(号码)=MPI_rank#

关联查询算子3

算子3：Select姓名,号码,sum(话费)fromA1,B1

whereA1.号码=B1.号码

groupby姓名,号码

…

复杂的查询，需要对关联结果再统计或排序;4.用户自定义查询任务流;;数据划分和存储组织;计算定义和请求描述;计算语义举例;任务流执行控制;结构化/非结构化数据转换和迁移;数据关联加载;