当前位置：首页 > 行业动态 > 正文

c# 批量导入数据库

admin
行业动态
2025-03-19
2

“

csharp，using (SqlConnection conn = new SqlConnection("your_connection_string"))，{， conn.Open();， string sql = "INSERT INTO YourTable (Column1, Column2) VALUES (@Value1, @Value2)";， using (SqlCommand cmd = new SqlCommand(sql, conn))， {， foreach (var item in yourDataList)， {， cmd.Parameters.AddWithValue("@Value1", item.Property1);， cmd.Parameters.AddWithValue("@Value2", item.Property2);， cmd.ExecuteNonQuery();， }， }，}，

“

C# 批量导入数据库的详细指南

在现代软件开发中，经常会遇到需要将大量数据批量导入到数据库的情况，使用C#进行批量导入可以显著提高数据处理效率，减少数据库操作的时间，下面将详细介绍如何使用C#实现批量导入数据库的过程。

1. 准备工作

1 安装必要的软件

Visual Studio：确保安装了最新版本的Visual Studio，以便创建和运行C#项目。

SQL Server：目标数据库应为SQL Server，并确保已正确配置连接字符串。

Entity Framework Core（可选）：如果使用ORM工具，可以简化数据库操作。

2 创建数据库和表

假设我们要导入的数据是员工信息，包括ID、姓名、职位等字段，首先需要在SQL Server中创建一个表：

CREATE TABLE Employees (
    ID INT PRIMARY KEY IDENTITY(1,1),
    Name NVARCHAR(50),
    Position NVARCHAR(50)
);

2. 编写C#代码

1 设置数据库连接

需要设置数据库连接字符串，可以在appsettings.json文件中配置连接字符串：

c# 批量导入数据库

{
  "ConnectionStrings": {
    "DefaultConnection": "Server=your_server;Database=your_database;User Id=your_username;Password=your_password;"
  }
}

2 创建模型类

定义一个与数据库表对应的模型类：

public class Employee
{
    public int ID { get; set; }
    public string Name { get; set; }
    public string Position { get; set; }
}

3 批量插入数据

使用SqlBulkCopy类来实现批量插入数据，以下是一个完整的示例代码：

using System;
using System.Data.SqlClient;
using System.Collections.Generic;
using Microsoft.Extensions.Configuration;
class Program
{
    static void Main()
    {
        // 读取配置文件中的连接字符串
        var builder = new ConfigurationBuilder()
            .SetBasePath(Directory.GetCurrentDirectory())
            .AddJsonFile("appsettings.json", optional: true);
        var configuration = builder.Build();
        string connectionString = configuration.GetConnectionString("DefaultConnection");
        using (SqlConnection connection = new SqlConnection(connectionString))
        {
            connection.Open();
            // 创建数据表结构
            using (SqlCommand command = new SqlCommand(@"
                IF OBJECT_ID('tempdb..#Employees') IS NOT NULL DROP TABLE #Employees;
                CREATE TABLE #Employees (ID INT, Name NVARCHAR(50), Position NVARCHAR(50));", connection))
            {
                command.ExecuteNonQuery();
            }
            // 准备批量数据
            List<Employee> employees = new List<Employee>
            {
                new Employee { Name = "John Doe", Position = "Developer" },
                new Employee { Name = "Jane Smith", Position = "Manager" },
                // 添加更多数据...
            };
            // 使用SqlBulkCopy进行批量插入
            using (SqlBulkCopy bulkCopy = new SqlBulkCopy(connection))
            {
                bulkCopy.DestinationTableName = "#Employees";
                bulkCopy.WriteToServer(employees);
            }
            // 将临时表中的数据插入到目标表中
            using (SqlCommand insertCommand = new SqlCommand(@"
                INSERT INTO Employees (Name, Position)
                SELECT Name, Position FROM #Employees;", connection))
            {
                insertCommand.ExecuteNonQuery();
            }
        }
    }
}

4 处理异常和事务

为了确保数据的一致性和完整性，可以使用事务来包裹批量插入操作：

using (SqlTransaction transaction = connection.BeginTransaction())
{
    try
    {
        // 执行批量插入操作...
        transaction.Commit();
    }
    catch (Exception ex)
    {
        transaction.Rollback();
        Console.WriteLine($"Error occurred: {ex.Message}");
    }
}

3. 优化建议

分批插入：如果数据量非常大，可以考虑分批次插入，每次插入一定数量的数据，以避免内存溢出和性能问题。

异步操作：对于I/O密集型操作，可以使用异步方法来提高性能。

c# 批量导入数据库

索引优化：在批量插入前，可以先禁用非聚集索引，插入完成后再重新启用，以提高插入速度。

4. 相关问答FAQs

Q1: 如何处理批量导入过程中出现的重复数据？

A1: 在插入数据之前，可以先检查目标表中是否已经存在相同的数据，如果存在，可以选择跳过插入或更新现有记录，可以在插入前执行一个查询，检查是否存在重复的记录：

if (!context.Employees.Any(e => e.Name == employee.Name && e.Position == employee.Position))
{
    context.Employees.Add(employee);
}
else
{
    // 处理重复数据的逻辑，如更新或跳过
}

或者使用MERGE语句来合并数据：

MERGE Employees AS target
USING (SELECT ID, Name, Position FROM #Employees) AS source
ON (target.Name = source.Name AND target.Position = source.Position)
WHEN MATCHED THEN
    UPDATE SET target.Name = source.Name, target.Position = source.Position
WHEN NOT MATCHED THEN
    INSERT (Name, Position) VALUES (source.Name, source.Position);