数据库原理与选型 / 系统课时
批量写入与结果映射
批量写入与结果映射
本课把逐条插入和按下标读取结果改造成更高效、可维护的流程:使用 executemany() 在一个事务中批量写入,并用 sqlite3.Row 按列名访问数据。
学习目标
- 使用
executemany()批量执行参数化写入 - 把批量操作放入同一事务以减少提交开销
- 使用
sqlite3.Row按列名读取并映射结果
批量写入的正确方式
循环中每插入一行就提交一次,会产生大量事务开销。executemany() 接收一条参数化 SQL 和一组参数序列,适合执行结构相同的数据写入。
批量写入仍然需要事务边界。把整批数据放在一个 with conn: 中,任何一行失败都会让本批次整体回滚。
完成批量写入与结果映射
python
import sqlite3
conn = sqlite3.connect(":memory:")
conn.row_factory = sqlite3.Row
try:
conn.execute(
"CREATE TABLE products ("
"id INTEGER PRIMARY KEY, "
"name TEXT NOT NULL, "
"price REAL NOT NULL"
")"
)
products = [
("Keyboard", 299.0),
("Mouse", 89.5),
("Monitor", 1299.0),
]
with conn:
conn.executemany(
"INSERT INTO products(name, price) VALUES (?, ?)",
products,
)
rows = conn.execute(
"SELECT id, name, price "
"FROM products "
"WHERE price >= ? "
"ORDER BY id",
(100,),
).fetchall()
for row in rows:
print(dict(row))
finally:
conn.close()预期输出:
text
{'id': 1, 'name': 'Keyboard', 'price': 299.0}
{'id': 3, 'name': 'Monitor', 'price': 1299.0}row_factory 应在创建查询游标之前设置。sqlite3.Row 同时支持下标和列名访问,而 dict(row) 适合传给上层服务或序列化逻辑。
控制批次大小
executemany() 不等于把所有数据永久堆在内存中。若数据来自大文件或网络流,应按固定批次读取,例如每 500 或 1000 行提交一次。
批次越大,提交次数越少,但单次失败需要重做的数据也越多。批次大小应结合数据量、单行大小、锁等待和失败重试成本决定。
结果映射的边界
列名重复时,按名称访问可能产生歧义。连接查询应给字段设置稳定别名,例如 u.id AS user_id,让映射层得到明确键名。
不要依赖查询列的隐式顺序。无论使用元组还是 Row,都应显式列出字段,并让数据访问层统一转换为字典、数据类或业务对象。
按自己的节奏,确认真正理解。