数据库大数据导入.docVIP

数据库大数据导入 方法一 SqlBulkCopy 参考例子一（客户端构建与数据库中接收数据的表的结构一样的表，然后相当于是把客户端的表数据拷贝到数据库表中，免去了多次写入的麻烦，速度较快） 方法二 表值参数方式 见 例二（说明：把表结构当成存储过程变量的一个参数，为一次性提交到数据库处理方法中，比多次写入数据库的速度快很多） 方法三 数据库命令 Bulk 等命令 见例三（说明：例三只是提过了一种解决问题的办法：使用数据库中强大的命令 导入导出大数据，并处理（数据库对格式较好的大数据处理较容易）） 方法四 数据库调用外部(Dll)方法 见例四 （说明：例四只是提供了一种这种问题的方式：使用强大的.net framework 处理大数据,然后把结果以数据库函数的形式返回处理结果） 四种方法可有特点，根据实际情况选择不同的方法 心得： 个人意见：我比较推荐使用前边两种方法，他们可以在程序中友好的控制，并且速度也不赖。 方法三需要数据库能够访问指定的文件的权限，并且容易带来一些安全问题，操作也不易，但是处理得当，速度很快。 方法四更适合一些固定不变的用数据库函数或者其他方式实现起来又不容易，借助与.net 实现起来较简单的情况下使用，比如想在数据库端实现 复杂的加密解密。 例子-： 例子一：SqlBulkCopy using System.Data.SqlClient; class Program { static void Main() { string connectionString = GetConnectionString(); // Open a sourceConnection to the AdventureWorks database. using (SqlConnection sourceConnection = new SqlConnection(connectionString)) { sourceConnection.Open(); // Perform an initial count on the destination table. SqlCommand commandRowCount = new SqlCommand( SELECT COUNT(*) FROM + dbo.BulkCopyDemoMatchingColumns;, sourceConnection); long countStart = System.Convert.ToInt32( commandRowCount.ExecuteScalar()); Console.WriteLine(Starting row count = {0}, countStart); // Get data from the source table as a SqlDataReader. SqlCommand commandSourceData = new SqlCommand( SELECT ProductID, Name, + ProductNumber + FROM Production.Product;, sourceConnection); SqlDataReader reader = commandSourceData.ExecuteReader(); // Set up the bulk copy object using a connection string. // In the real world you would not use SqlBulkCopy to move // data from one table to the other in the same database. using (SqlBulkCopy bulkCopy = new SqlBulkCopy(connectionString))