8.8分片设计思想与分片集群组建.ppt

数据库运维

赵鹏飞

主讲人：

分片设计思想与分片集群组建

人工智能技术专业群教学资源库

分片设计思想

例如当插入一条数据时，应用只需要访问存储这条数据的分片。使用分片技术减少了每个分片存储的数据。例如，如果数据库拥有1个2TB的数据集和4个分片，然后每个分片可能仅持有512GB的数据。如果有40个分片，那么每个分片只需存储51GB的数据。

4个分片每个512GB

分片集群组建

MongoDB用户可通过分片机制创建包含多台机器的分片集群，并能够将数据子集分散存储到集群的不同分片中，且每个分片都维护自己的数据集合。与单台服务器或副本集相比，使用分片集群架构能够使应用程序具有更强大的数据处理能力。

分片集群由分片、mongos路由器、配置服务器组成，分片集群组成架构如下图所示。

分片集群组建

（1）分片（shard）

在分片集群中存储应用程序的数据，只有mongos路由器或系统管理员有权限直接连接分片服务器节点。与单机部署一样，每个分片可以单独作为开发和测试的节点，但是生产环境下必须是一个可复制集。

（2）mongos路由器（mongosrouter）

mongosrouter部分所示用来缓存集群中的元数据并可以直接转发所有读、写命令到正确的分片。mongos能够提供客户端单点连接集群的方式，这使得集群使用与单点并无差别（这种方式也叫“集群不可见”）。当应用程序对有做分片处理的数据集进行查询或写入时只需经过mongos。

分片集群组建

mongos流程原理如下图所示，为mongos根据片键字段对应的配置信息直接找出对应的位置进行读写并回传给应用端，不过，若查询条件不包含片键字段的话，mongos仍须到所有分片中查找数据，效率较低。

分片集群组建

（3）配置服务器（Configserver）

mongos进程是非持久化的，这需要使用配置服务器完成元数据的存储。这些元数据包含全局的集群配置信息，以及保存了跨片数据迁移历史的第一个修改日志，mongos每次启动都会从配置服务器获取元数据并进行拷贝。没有这些数据和配置信息，就没有办法完整预览整个集群。