数据库原理与选型 / 系统课时

批量写入与结果映射

批量写入与结果映射

本课把逐条插入和按下标读取结果改造成更高效、可维护的流程:使用 executemany() 在一个事务中批量写入,并用 sqlite3.Row 按列名访问数据。

学习目标

  • 使用 executemany() 批量执行参数化写入
  • 把批量操作放入同一事务以减少提交开销
  • 使用 sqlite3.Row 按列名读取并映射结果

批量写入的正确方式

循环中每插入一行就提交一次,会产生大量事务开销。executemany() 接收一条参数化 SQL 和一组参数序列,适合执行结构相同的数据写入。

批量写入仍然需要事务边界。把整批数据放在一个 with conn: 中,任何一行失败都会让本批次整体回滚。

完成批量写入与结果映射

python
import sqlite3

conn = sqlite3.connect(":memory:")
conn.row_factory = sqlite3.Row

try:
    conn.execute(
        "CREATE TABLE products ("
        "id INTEGER PRIMARY KEY, "
        "name TEXT NOT NULL, "
        "price REAL NOT NULL"
        ")"
    )

    products = [
        ("Keyboard", 299.0),
        ("Mouse", 89.5),
        ("Monitor", 1299.0),
    ]

    with conn:
        conn.executemany(
            "INSERT INTO products(name, price) VALUES (?, ?)",
            products,
        )

    rows = conn.execute(
        "SELECT id, name, price "
        "FROM products "
        "WHERE price >= ? "
        "ORDER BY id",
        (100,),
    ).fetchall()

    for row in rows:
        print(dict(row))
finally:
    conn.close()

预期输出:

text
{'id': 1, 'name': 'Keyboard', 'price': 299.0}
{'id': 3, 'name': 'Monitor', 'price': 1299.0}

row_factory 应在创建查询游标之前设置。sqlite3.Row 同时支持下标和列名访问,而 dict(row) 适合传给上层服务或序列化逻辑。

控制批次大小

executemany() 不等于把所有数据永久堆在内存中。若数据来自大文件或网络流,应按固定批次读取,例如每 500 或 1000 行提交一次。

批次越大,提交次数越少,但单次失败需要重做的数据也越多。批次大小应结合数据量、单行大小、锁等待和失败重试成本决定。

结果映射的边界

列名重复时,按名称访问可能产生歧义。连接查询应给字段设置稳定别名,例如 u.id AS user_id,让映射层得到明确键名。

不要依赖查询列的隐式顺序。无论使用元组还是 Row,都应显式列出字段,并让数据访问层统一转换为字典、数据类或业务对象。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

批量写入与结果映射

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通