mysql_solr测试对比讲述.doc

1?概述 1.1?目的 本测试报告的目的是为了决策使用mysql数据库或者solr来有哪些信誉好的足球投注网站数据。 1.2?背景 Mysql数据库是传统的数据存储收索工具。具有存储和收索的两种功能。 Solr是一种比较流行的有哪些信誉好的足球投注网站引擎，使用Lucene来索引数据。主要作用是对数据建立索引，也提供了一套完整的有哪些信誉好的足球投注网站框架。 1.3?范围 本次测试主要是mysql和solr在千万级数据量下的有哪些信誉好的足球投注网站时间。 2?测试概要 2.1?测试环境 下图描述测试该项目所需要的硬件环境： Solr服务器 Intel(R)?Xeon(R)?CUP? 3.70GHz?八核至强处理器、内存：8GB?RAM? 数据库服务器 Intel(R)?Xeon(R)?CUP? 3.70GHz?八核至强处理器、内存：8GB?RAM? ? 3?测试内容及方法 3.1?测试需求/目标 测试在千万级数据量的情况下，数据库和solr的查询性能。对比性能，找到各自适应的应用场景，为决策提供帮助。 3.2?测试内容 存储索引千万级数据到mysql和solr中。然后各自查询相应内容，记录时间。 3.3?测试工具 主要测试工具为：navicat for mysql 和 solr自带的查询UI 辅助软件：截图工具，Word ? 4?测试结果及分析 ? 4.1?mysql和solr查询性能测试 ? 这次测试属于局域网环境进行，排除了外网的网速限制及不稳定性。 测试内容： 在数据库中建立相应表，solr中建立字段。 表结构如下： 有5个主键。 建立solr字段，这里用到了动态字段，把表中的字段名，每个都加上_ws变成solr的字段，分词类型为空格分词。 提交数据到mysql和solr 数据库中原本已经有了600万条数据，所以需要添加400万条数据。数据由java程序随机生成，然后通过jdbc提交到数据库中。 Solr中原本没有数据，需要把数据库中的数据通过jdbc查询出来，然后提交到solr索引。 数据库上传数据是生成一条数据上传一条数据，平均大概每秒上传300条数据。Solr支持批量上传，从数据库中每次查询10000条，然后打包一起上传到solr。查询数据库加上solr索引时间，平均大概每秒2000条 查询时间对比 对比在600万，800万，1000万数据的情况下，mysql和solr查询时间的对比。由于solr拥有缓存机制，每次查询后会缓存相应查询，所以第二次查询会快很多。 单条件查询如下： mysql查询语句为:SELECT * FROM a921_his WHERE MATNR=IJX66WRN Solr查询语句为MATNR_ws:IJX66WRN 每次查询10次取平均值，由于solr会有缓存，查询是需要清除缓存。 结果对比表1 600W 800W 1000W mysql 3.9s 4.5s 6.9s solr 0.002s 0.003s 0.003s Solr缓存后 0.001s 0.001s 0.001s 结果对比图1 查询截图： 千万数据量时mysql查询截图 Mysql查询截图1 Solr查询截图： Solr查询截图1 多条件查询如下： mysql查询语句为:SELECT * FROM a921_his WHERE DATAB2010-01-18 AND DATAB2010-01-20 AND MATNR=MIE34LRA Solr查询语句为DATAB_ws:[2010-01-18 TO 2010-01-20] AND MATNR_ws:MIE34LRA 每次查询10次取平均值，由于solr会有缓存，查询是需要清除缓存。 结果对比表2 600W 800W 1000W mysql 4.5s 5.8s 8.1s solr 0.008s 0.008s 0.009s Solr缓存后 0.003s 0.004s 0.004s 结果对比图2 mysql查询截图: Mysql查询截图2 Solr截图： Solr查询截图2 分页查询： mysql查询语句为:SELECT * FROM a921_his WHERE DATAB2010-01-18 AND DATAB2010-01-20 limit 100000,10 Solr查询语句为DATAB_ws:[2010-01-18 TO 2010-01-20] start,?rows为100000,10。 每次查询10次取平均值，由于solr会有缓存，查询是需要清除缓存。 结果对比表3 600W 800W 1000W mysql 2.1s 3.5s 5.8s solr 0.066s 0.07s 0.076s Solr缓存后 0.065s 0.065s 0.071s 结果对比图3 Mysql查询截