mysql批量insert数据

在MySQL数据库操作中，如果需要插入大量数据，使用单条INSERT语句会非常低效。为了解决这个问题，可以采用批量插入的方式，这将显著提高插入速度并减少网络传输次数。

1. 使用多值插入语法

最简单的批量插入方法是使用INSERT...VALUES语句的多值形式：

sql INSERT INTO table_name (column1, column2, ...) VALUES (value1_1, value1_2, ...), (value2_1, value2_2, ...), ...;

这种方式可以在一条SQL语句中插入多行记录。例如：

sql INSERT INTO users (name, age) VALUES ('张三', 20), ('李四', 22), ('王五', 25);

优点：简单易用，适合小批量数据（几千条以内）

缺点：对于特别大的数据集，SQL语句可能过长导致性能问题

2. 使用LOAD DATA INFILE

对于超大数据量的插入，推荐使用LOAD DATA INFILE命令，它专门用于高效加载文件中的数据：

sql LOAD DATA INFILE 'data.csv' INTO TABLE users FIELDS TERMINATED BY ',' ENCLOSED BY '"' LINES TERMINATED BY 'n' IGNORE 1 LINES;

这个命令可以直接读取CSV文件并快速导入到表中。优点是：
- 速度极快，比普通INSERT快多个数量级
- 支持多种文件格式
- 可以处理超大文件

3. 分批提交事务

当数据量较大时，可以将数据分成若干批次进行插入，并且在每个批次之间控制事务：

python
import mysql.connector</p>

<p>def batch<em>insert(data</em>list, batch_size=1000):
    conn = mysql.connector.connect(...)
    cursor = conn.cursor()</p>

<pre><code>for i in range(0, len(data_list), batch_size):
    batch = data_list[i:i+batch_size]
    sql = "INSERT INTO users (name, age) VALUES (%s, %s)"
    cursor.executemany(sql, batch)
    conn.commit()  # 每个批次提交一次

cursor.close()
conn.close()

这种做法的好处是：
- 避免一次性占用过多内存
- 出现错误时可以只回滚当前批次
- 可以根据实际情况调整batch_size

通过以上三种方法，可以根据具体场景选择最适合的批量插入方式，从而大幅提高MySQL数据插入效率。建议对于不同规模的数据量选择不同的解决方案：小批量使用多值插入，大批量使用LOAD DATA INFILE，超大数据量考虑分批提交事务。