Java 后端 / 系统课时

优化分页与批量操作

优化分页与批量操作

本篇解决大数据量查询和批量写入中的性能瓶颈,帮助你选择合适的分页方式和批处理策略,降低数据库压力并提升 Java 应用吞吐能力。

学习目标

  • 理解深分页和批量操作产生性能问题的原因
  • 掌握基于游标分页和批量写入的优化方式
  • 能够在 Java 数据访问场景中验证优化效果

避免深分页带来的查询浪费

传统分页通常使用 LIMIT offset,size,当 offset 很大时,数据库仍需要扫描并跳过大量无效数据,导致查询时间随着页码增长而增加。

例如查询第 100000 页数据时,即使最终只返回少量记录,也可能需要处理前面的大量行。

对于持续增长的数据表,更适合使用基于索引字段的游标分页。游标分页利用上一页最后一条记录的位置继续查询,避免重复扫描。

sql
SELECT id, order_no, created_at
FROM orders
WHERE id > <ID>
ORDER BY id
LIMIT 100;

预期结果

text
返回 id 大于指定游标值的下一批订单记录,共 100 行。

在 Java 中实现批量读取

批量读取需要控制单次查询的数据规模,避免一次加载大量对象导致内存压力。分页大小应结合数据量、对象大小和业务处理时间调整。

下面示例展示使用 JDBC 分批读取数据的核心方式。

java
import java.sql.*;

public class BatchQueryExample {
    public static void main(String[] args) throws Exception {
        String url = "jdbc:mysql://localhost:<PORT>/shop";
        try (Connection connection = DriverManager.getConnection(url, "user", "password")) {
            PreparedStatement statement = connection.prepareStatement(
                "SELECT id, name FROM product WHERE id > ? ORDER BY id LIMIT ?"
            );
            statement.setLong(1, 1000L);
            statement.setInt(2, 100);

            ResultSet resultSet = statement.executeQuery();
            while (resultSet.next()) {
                System.out.println(resultSet.getLong("id") + " " + resultSet.getString("name"));
            }
        }
    }
}

预期输出

text
1001 keyboard
1002 mouse
...
1100 monitor

实际输出内容取决于数据库中的 product 数据。

优化批量写入效率

逐条执行 INSERT 会产生大量网络交互和事务开销。批量写入应减少提交次数,将多条数据合并发送给数据库。

java
PreparedStatement statement = connection.prepareStatement(
    "INSERT INTO user_account(name) VALUES (?)"
);

for (String name : new String[]{"Tom", "Jack", "Lucy"}) {
    statement.setString(1, name);
    statement.addBatch();
}

statement.executeBatch();

预期结果

text
批量执行 INSERT 语句,数据库新增 3 条 user_account 记录。

批处理时需要根据数据库和驱动限制控制批次大小。过大的批次可能造成事务时间过长,也会增加回滚成本。

选择分页与批处理策略

普通后台列表可以继续使用简单分页,但导出、同步、数据迁移等大数据量任务应优先考虑游标分页和分批处理。

批量写入还需要结合事务边界设计,避免单个超大事务占用锁资源过久。合理的批次大小通常需要通过压测和生产监控共同确定。

按自己的节奏,确认真正理解。

目录与阅读设置

记录一个想法

优化分页与批量操作

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通