大数据与流处理 / 系统课时

本地调试与日志配置

本地调试与日志配置

本课用一个可直接运行的 DataStream 程序演示如何在本地设置断点、调整业务日志级别,并通过 Maven 依赖树定位日志实现冲突。完成后,你可以看清算子中的数据变化,也能区分“日志没输出”和“日志依赖冲突”这两类问题。

学习目标

  • 在 DataStream 算子中设置断点并检查变量
  • 使用 Log4j2 配置包级别的 DEBUG 日志
  • 通过依赖树识别并处理多个 SLF4J 实现

准备本地调试程序

在已有 Flink Maven 项目的 src/main/java/com/example/flink/LocalDebugDemo.java 中创建下面的类。程序固定使用单并行度,便于断点逐条观察数据。

java
package com.example.flink;

import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;

public class LocalDebugDemo {

    private static final Logger LOG = LoggerFactory.getLogger(LocalDebugDemo.class);

    public static void main(String[] args) throws Exception {
        StreamExecutionEnvironment env =
                StreamExecutionEnvironment.getExecutionEnvironment();
        env.setParallelism(1);

        DataStream<String> result = env
                .fromElements("order-1001", "bad-record", "order-1002")
                .map(value -> {
                    // 断点放在这里,可检查每条输入以及转换后的值
                    LOG.debug("received record: {}", value);
                    if ("bad-record".equals(value)) {
                        LOG.warn("simulated abnormal record: {}", value);
                    }
                    return value.toUpperCase();
                });

        result.print();
        env.execute("local-debug-demo");
    }
}

预期输出

text
<TIME> DEBUG com.example.flink.LocalDebugDemo - received record: order-1001
ORDER-1001
<TIME> DEBUG com.example.flink.LocalDebugDemo - received record: bad-record
<TIME> WARN  com.example.flink.LocalDebugDemo - simulated abnormal record: bad-record
BAD-RECORD
<TIME> DEBUG com.example.flink.LocalDebugDemo - received record: order-1002
ORDER-1002

<TIME> 由日志框架在运行时生成,控制台还可能出现 Flink 自身的 INFO 日志,但三条大写记录和对应业务日志应当可见。

使用断点观察算子

在 LOG.debug(...) 所在行左侧设置断点,然后以 Debug 模式运行 main 方法。程序暂停后,重点检查 value 当前值,并单步执行到 return,确认字符串转换结果。

由于 DataStream 转换在任务运行时执行,断点应放在 map、filter 或自定义函数内部,而不是只放在 env.execute(...)。后者只能看到作业提交,无法观察每条记录的处理过程。

IDE 中的 Flink 本地断点调试界面

如果程序很快结束,通常是断点没有落在运行时函数内部,或者 IDE 实际执行的是另一个启动配置。应核对启动类、模块 classpath 和断点是否为启用状态。

配置业务日志级别

在 src/main/resources/log4j2.properties 中加入以下配置。根日志保持 INFO,只把示例包提升为 DEBUG,避免 Flink 框架日志淹没业务信息。

properties
status = WARN
name = LocalDebugConfig

appender.console.type = Console
appender.console.name = Console
appender.console.layout.type = PatternLayout
appender.console.layout.pattern = %d{HH:mm:ss.SSS} %-5level %logger{36} - %msg%n

rootLogger.level = INFO
rootLogger.appenderRef.console.ref = Console

logger.demo.name = com.example.flink
logger.demo.level = DEBUG
logger.demo.additivity = false
logger.demo.appenderRef.console.ref = Console

该配置生效后,com.example.flink 包中的 DEBUG 日志会输出,而其他包仍按 INFO 级别记录。若配置文件被正确加载但 DEBUG 仍不可见,应先检查是否存在另一份同名配置覆盖了它。

排查日志依赖冲突

Flink 程序通常通过 SLF4J API 记录日志,classpath 中应只保留一个实际日志实现。先在项目根目录执行依赖树检查。

bash
mvn dependency:tree -Dincludes=org.slf4j:*,org.apache.logging.log4j:*,ch.qos.logback:*

预期输出

text
[INFO] ... org.slf4j:slf4j-api:<VERSION>
[INFO] ... <SLF4J_BINDING>:<VERSION>
[INFO] BUILD SUCCESS

<VERSION> 和 <SLF4J_BINDING> 取决于项目版本。若输出同时出现 Logback、Log4j2 绑定或多个 SLF4J provider,运行时可能提示 multiple bindings/providers,也可能导致配置文件不生效。

修复原则是保留项目选定的一套实现,并在引入冲突的依赖上排除另一套实现。下面是 POM 片段示例,实际使用时替换依赖坐标。

xml
<dependency>
    <groupId>com.example</groupId>
    <artifactId>your-library</artifactId>
    <version>${your-library.version}</version>
    <exclusions>
        <exclusion>
            <groupId>ch.qos.logback</groupId>
            <artifactId>logback-classic</artifactId>
        </exclusion>
    </exclusions>
</dependency>

重新执行依赖树命令,确认只剩一个日志实现,再运行示例验证 DEBUG 与 WARN 日志是否同时出现。不要通过重复添加日志依赖解决“无日志”问题,这往往会把缺失配置变成依赖冲突。

常见问题定位顺序

遇到断点不进入时,先确认启动类和断点位置,再确认算子是否真正收到数据。遇到日志不输出时,先检查包名与日志级别,再检查配置文件加载位置,最后检查 SLF4J 实现数量。

如果控制台出现 ClassNotFoundException 或 NoSuchMethodError,问题通常不是日志级别,而是依赖版本不一致。此时应查看异常中第一个业务相关类,并结合 mvn dependency:tree -Dverbose 查找被覆盖或重复引入的版本。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

本地调试与日志配置

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通