Mysql 大容量存储方案.docx

Mysql 大容量存储方案Spider分布式存储引擎Spider 介绍Spider 的安装Spider 动态处理后端服务器Spider 实验中出错作者：Laird-SA奇矩互动gtalk：lairdnote@在针对于忍者村的数据库mysql 的大量急增 在mysql的高可用方案中我们发现spider 存储引擎 有如下优点：Spider 是一个MySQL的分布式存储引擎，支持事务处理，无限用户数访问，支持分区和集群，动态扩容。根据我们的需求和我们吻合的是分布式的集群方案 Mysql SQL语句的路由功能，支持innodb 存储引擎，无限制用户访问，垂直分区的扩容方案和合并方案，比较自由的伸缩 mysql的架构 SQL路由功能：根据表分区的时候的配置 从而达到远程的SQL语句路由功能。支持innodb 存储引擎：因为spider 是在一个管理mysql spider服务器上 我们对后端的mysql 直接使用innodb 引擎，这样就能达到支持事务处理的功能。无限制用户访问：这个是对前端用户透明的。前端只能看到一个mysql 的spider 服务器 对后方的存储不用关心。垂直分区的扩容和合并方案：扩容方面是通过在线修改spider的表结构达到一个动态扩容，合并方面也是用过在线修改spider 的表结构 (注意这个需要提前做好后端数据库的合并)。Spider 分布式存储引擎工作原理：数据库架构：数据的存储在后端的mysql innodb 中 如：PARTITION?BY?HASH( 你的id) hash 算法PARTITION?BY?RANGE（你的id） 范围算法注意这个是根据hash的算法实现的分布 ，我们可以更具范围分区，（没有实验过hash 算法的缩减）从后方便后期的缩减mysql innode 服务器。根据分区的时候的参数路由sql语句，从而将执行结果通过spider 引擎返回给前端spider 中最重要的是id ，id必须为int型的数值，大小需要自己提前规划好后端mysql 的容量。 所以数据库以后怎么增大都不会成为瓶颈 。spider 的安装：准备3台服务器 一个是管理 两个是存储装备软件：mysql-5.5.14-spider-2.28-vp-0.17-hs-1.1-q4m-0.95-linux-x86_64-glibc25.tgzspider-init-2.28-for-5.5.14.tgz在A服务器上安装这两个软件就好了。。在B和C服务器上正常安装mysql-server讲解在A服务器的安装解压这个文件mysql-5.5.14-spider-2.28-vp-0.17-hs-1.1-q4m-0.95-linux-x86_64-glibc25.tgz 到/usr/local/mysql 中cp support-files/mysql.server /etc/init.d/mysqldcp support-files/f /etc/f注意修改/etc/init.d/mysqld 的环境路径做好权限 启动mysqltar xvf spider-init-2.28-for-5.5.14.tgz进入到mysql 中 source spider_init.sql；show engine；看看spider存储引擎在不在b c 上建立 test.laird 表id name age就这个3个列吧开启spider的远程访问权限 （只是测试用）在a服务器中建表use test；create table laird(id int(12),name char(12),age int(3) )ENGINE=Spider Connection ‘ table “laird”, user “spideruser”, password “laird” ‘ partition by range(id) (partition pt1 values less than (5000) comment ‘host “Bserver ip”, port “3306″‘,partition pt2 values less than (10000) comment ‘host “Cserver ip”, port “3306″‘);防止insert 10000以后的数据插入失败 请用maxvalue partition pt2 values less than (maxvalue) comment ‘host “Cserver ip”, port “3306″但是一般都要监控好id 的大小 快到达一定数值的时候报警 准备扩容，这样就行了。。 对A服务器的test.laird 写 其实是写到Bserver 上 ，写到5000 行数据的时候就会写Cserver 上