C#NET中如何批量插入大量数据到数据库中

在C# .NET中批量插入大量数据到数据库是一个常见的需求，特别是在处理大数据量时，效率和性能成为关键，以下是一些常用的方法和步骤来实现这一目标：

1. 使用SqlBulkCopy 类

SqlBulkCopy 是 .NET Framework 提供的一个类，专门用于高效地将大量数据从数据源复制到 SQL Server 数据库，它通过最小化网络通信和事务日志记录来提高性能。

步骤：

创建 DataTable： 创建一个DataTable 对象，并定义其结构（列名、数据类型等）。

填充 DataTable： 将需要插入的数据填充到DataTable 中。

配置 SqlBulkCopy： 创建SqlBulkCopy 对象，指定目标数据库连接和目标表。

写入数据库： 调用WriteToServer 方法将DataTable 中的数据批量插入到数据库表中。

示例代码：

using System;
using System.Data;
using System.Data.SqlClient;
class Program
{
    static void Main()
    {
        // 创建DataTable
        DataTable dataTable = new DataTable("Employees");
        dataTable.Columns.Add("ID", typeof(int));
        dataTable.Columns.Add("Name", typeof(string));
        dataTable.Columns.Add("Age", typeof(int));
        // 填充DataTable
        for (int i = 0; i < 1000; i++)
        {
            DataRow row = dataTable.NewRow();
            row["ID"] = i;
            row["Name"] = "Employee" + i;
            row["Age"] = 25 + i % 30;
            dataTable.Rows.Add(row);
        }
        // 配置SqlBulkCopy
        using (SqlConnection connection = new SqlConnection("Your_Connection_String"))
        {
            connection.Open();
            using (SqlBulkCopy bulkCopy = new SqlBulkCopy(connection))
            {
                bulkCopy.DestinationTableName = "dbo.Employees";
                bulkCopy.WriteToServer(dataTable);
            }
        }
    }
}

2. 使用 Entity Framework Core 的批量操作库

对于使用 Entity Framework Core 的项目，可以使用第三方库如EFCore.BulkExtensions 或Z.EntityFramework.Extensions.EFCore 来实现批量插入，这些库提供了更灵活和强大的批量操作功能。

步骤：

安装包： 通过 NuGet 安装所需的批量操作库。

配置上下文： 确保你的DbContext 已正确配置。

执行批量插入： 使用库提供的 API 进行批量插入操作。

示例代码（使用 Z.EntityFramework.Extensions.EFCore）：

using System;
using System.Linq;
using Z.EntityFramework.Extensions.EFCore;
using Microsoft.EntityFrameworkCore;
class Program
{
    static void Main()
    {
        using (var context = new YourDbContext())
        {
            // 假设我们有一个包含1000条数据的列表
            var employees = Enumerable.Range(0, 1000).Select(i => new Employee
            {
                ID = i,
                Name = $"Employee{i}",
                Age = 25 + i % 30
            }).ToList();
            // 批量插入
            context.BulkInsert(employees);
        }
    }
}

使用原生 SQL 命令与事务

对于不使用 ORM 的项目，可以直接使用原生 SQL 命令结合事务来批量插入数据，这种方法需要手动构建 SQL 语句，并在一个事务中执行多个插入操作。

步骤：

开启事务： 使用SqlTransaction 开启一个事务。

构建 SQL 语句： 根据数据构建多个INSERT 语句。

执行 SQL 语句： 在一个事务中批量执行这些INSERT 语句。

提交事务： 如果所有操作成功，提交事务；否则，回滚事务。

示例代码：

using System;
using System.Data.SqlClient;
class Program
{
    static void Main()
    {
        using (SqlConnection connection = new SqlConnection("Your_Connection_String"))
        {
            connection.Open();
            SqlTransaction transaction = connection.BeginTransaction();
            try
            {
                for (int i = 0; i < 1000; i++)
                {
                    string sql = $"INSERT INTO Employees (ID, Name, Age) VALUES ({i}, 'Employee{i}', {25 + i % 30})";
                    SqlCommand command = new SqlCommand(sql, connection, transaction);
                    command.ExecuteNonQuery();
                }
                transaction.Commit();
            }
            catch (Exception ex)
            {
                transaction.Rollback();
                Console.WriteLine($"Error: {ex.Message}");
            }
        }
    }
}

FAQs

Q1: 使用SqlBulkCopy 有什么限制？

A1:SqlBulkCopy 有一些限制，例如它只能用于将数据复制到单个表，不支持外键约束、触发器或计算列等复杂操作，目标表必须存在且结构与DataTable 匹配，如果需要更复杂的批量操作，可以考虑使用第三方库或原生 SQL 命令。

Q2: 如何选择合适的批量插入方法？

A2: 选择批量插入方法应根据具体需求和项目情况来决定，如果使用 Entity Framework Core，并且需要灵活的批量操作功能，可以选择第三方库如EFCore.BulkExtensions，如果追求极致的性能和简单的场景，SqlBulkCopy 是一个很好的选择，对于不使用 ORM 的项目，原生 SQL 命令与事务也是一种可行的方案，应根据项目的规模、复杂度和性能要求来做出合适的选择。

小编有话说

在C# .NET中批量插入大量数据到数据库是一项常见但关键的操作，尤其是在处理大数据量时，选择合适的方法和工具可以显著提高性能和效率，无论是使用内置的SqlBulkCopy，还是借助第三方库或原生 SQL 命令，都需要根据具体需求和项目情况进行权衡和选择，希望本文能为你提供有价值的参考和指导，帮助你在项目中实现高效的批量数据插入操作。