Java 后端 / 系统课时
优化分页与批量操作
优化分页与批量操作
本篇解决大数据量查询和批量写入中的性能瓶颈,帮助你选择合适的分页方式和批处理策略,降低数据库压力并提升 Java 应用吞吐能力。
学习目标
- 理解深分页和批量操作产生性能问题的原因
- 掌握基于游标分页和批量写入的优化方式
- 能够在 Java 数据访问场景中验证优化效果
避免深分页带来的查询浪费
传统分页通常使用 LIMIT offset,size,当 offset 很大时,数据库仍需要扫描并跳过大量无效数据,导致查询时间随着页码增长而增加。
例如查询第 100000 页数据时,即使最终只返回少量记录,也可能需要处理前面的大量行。
对于持续增长的数据表,更适合使用基于索引字段的游标分页。游标分页利用上一页最后一条记录的位置继续查询,避免重复扫描。
sql
SELECT id, order_no, created_at
FROM orders
WHERE id > <ID>
ORDER BY id
LIMIT 100;预期结果
text
返回 id 大于指定游标值的下一批订单记录,共 100 行。在 Java 中实现批量读取
批量读取需要控制单次查询的数据规模,避免一次加载大量对象导致内存压力。分页大小应结合数据量、对象大小和业务处理时间调整。
下面示例展示使用 JDBC 分批读取数据的核心方式。
java
import java.sql.*;
public class BatchQueryExample {
public static void main(String[] args) throws Exception {
String url = "jdbc:mysql://localhost:<PORT>/shop";
try (Connection connection = DriverManager.getConnection(url, "user", "password")) {
PreparedStatement statement = connection.prepareStatement(
"SELECT id, name FROM product WHERE id > ? ORDER BY id LIMIT ?"
);
statement.setLong(1, 1000L);
statement.setInt(2, 100);
ResultSet resultSet = statement.executeQuery();
while (resultSet.next()) {
System.out.println(resultSet.getLong("id") + " " + resultSet.getString("name"));
}
}
}
}预期输出
text
1001 keyboard
1002 mouse
...
1100 monitor实际输出内容取决于数据库中的 product 数据。
优化批量写入效率
逐条执行 INSERT 会产生大量网络交互和事务开销。批量写入应减少提交次数,将多条数据合并发送给数据库。
java
PreparedStatement statement = connection.prepareStatement(
"INSERT INTO user_account(name) VALUES (?)"
);
for (String name : new String[]{"Tom", "Jack", "Lucy"}) {
statement.setString(1, name);
statement.addBatch();
}
statement.executeBatch();预期结果
text
批量执行 INSERT 语句,数据库新增 3 条 user_account 记录。批处理时需要根据数据库和驱动限制控制批次大小。过大的批次可能造成事务时间过长,也会增加回滚成本。
选择分页与批处理策略
普通后台列表可以继续使用简单分页,但导出、同步、数据迁移等大数据量任务应优先考虑游标分页和分批处理。
批量写入还需要结合事务边界设计,避免单个超大事务占用锁资源过久。合理的批次大小通常需要通过压测和生产监控共同确定。
按自己的节奏,确认真正理解。