[DataTable操作性能优化.docxVIP

DataTable操作中的性能问题 最近的一项工作是关于性能提升方面的。要做的第一个事情是要把很多同类型的DataTable合并到一起，查了很多关于DataTable的相关函数以后，我决定用Merge函数来合并这些DataTable。DataTable[] srcTables = ... ;foreach( DataTable src in srcTables ){dest.Merge( src ) ;}但是测试的结果让我很是失望，性能不是一般的不好。经过调查发现性能的瓶颈在Merge函数这里。后来经过测试，发现如果用下面的代码：DataTable[] srcTables = ... ;foreach( DataTable src in srcTables ){foreach( DataRow row in src.Rows){dest.ImportRow( row ) ; }}结果让人惊奇的是，下面的代面的速度是上面的代码速度的100倍！还做了一个事情，就是对DataTable进行filter的时候 ，我的一个同事和我说了以下的代码：DataView dv = dt.DefaultView ;dv.RowFilter = filter ;DataTable result = dv.ToTable() ;上面的代码是能工作的，但是它的性能一点都不好，后来我把上面的代码改成了：DataRow[] rows = dv.Select( filter ) ;foreach( DataRow row in rows ){result.ImportRow(row) ;}也有数十倍的性能提高。/yangecnu/archive/2013/05/20/DataTable-Query-Performance.htmlDataTable数据检索的性能分析我们知道在.NET平台上有很多种数据存储，检索解决方案-ADO.NET Entity Framework，ASP.NET Dynamic Data，XML, NHibernate，LINQ to SQL 等等，但是由于一些原因，如平台限制，比如说必须基于.NET Framework2.0及以下平台；遗留的或者第三方数据接口采用的就是DataTable等等，仍然需要使用DataTable作为数据存储结构。另一方面DataTable比较容易使用，一些数据访问的接口可能直接采用了DataTable结构。在使用DataTable进行数据检索的时候，有一些需要注意的地方，这些地方会严重的影响对数据的检索效率。本人最近工作中需要对大量的DataTable进行拼接。接口的数据是以DataSet然后里面放DataTable的方式提供的，暂不提是否合理，同时进行多个请求的时，服务端会返回一个DataSet，其中包含每个请求的结果DataTable，这些DataTable中有一列相当于”关键字”列。现在需要按照这个关键字，将这些DataTable中的列合并到一个DataTable，然后展现到界面上来。最开始，我使用的是DataTable的Select方法来循环遍历拼接实现的，发现很慢，于是总结了一下对DataTable进行查询等操作的一些经验，和大家分享。一 场景为了简化问题，有两张DataTable，名为表A，表B,字段分别为表A，存储股票的最高价信息， 表B存储股票最低价信息SecurityCode High SecurityCode Low000001.SZ 20 000001.SZ 18.5000002.SZ 26 000002.SZ 56 现在需要，将这两张表拼接到一张表中，这张表有三列字段，SecurityCode High Low，之前采用的方法是，新建一张含有这三个字段的DataTable 表C，然后复制Security字段，然后遍历另外两张表，对其采用Select方法查找对应的SecurityCode，然后复制给C中对应字段。发现效率很慢，问题出现在Select方法上，于是需要进行优化。二 DataTable的查询效率 DataTable提供了两个查询数据的接口，DataTable.Select和DataTable.Rows.Find方法。DataTable的Select方法通过传入一系列条件，然后返回一个DataRow[ ]类型的数据，他需要遍历整个表，然后挨个匹配条件，然后返回所有匹配的值。很显然在策略上，之前的DataTable拼接采用Select方法存在问题，因为我们只需要查找匹配上的一条记录即可。DataTable.Rows 的Find查找第一个匹配上的唯一一条记录。在指定了主键的基础上，查找会采用二叉树的方式查找，效率高。要创建主键，需要指定DataTable的PrimaryKey字段如