计算机网络 / 系统课时

完成综合故障诊断

完成综合故障诊断

本课通过一个“部分员工无法访问业务系统”的案例,演示如何把故障现象、主机命令、交换与路由信息、DNS 结果和抓包线索串成完整证据链。最终目标不是碰巧恢复网络,而是准确说明故障层次、根因、修复动作与验证结果。

学习目标

  • 按物理层、数据链路层、网络层和应用层组织排查顺序
  • 从命令输出与抓包信息中提取能够支持结论的证据
  • 编写包含现象、根因、修复和验证的完整诊断记录

读取故障现象

某办公室中,行政 VLAN 的终端可以访问内部业务系统 app.office.local,研发 VLAN 的终端却提示连接超时。研发终端仍能正常访问互联网,也能访问内部文件服务器。故障只影响业务系统,不影响整个网络。

这些现象先排除了“终端完全断网”和“出口互联网故障”。由于文件服务器可以访问,研发 VLAN 到服务器区并非完全不可达。接下来应确认问题是名称解析、主机路由、访问控制、目标服务端口,还是服务器本身异常。

诊断时先写下边界条件,避免在排查过程中不断扩大范围:

  • 受影响对象:研发 VLAN 终端
  • 正常对象:行政 VLAN 终端、研发 VLAN 的互联网和文件服务
  • 失败目标:app.office.local 的业务端口
  • 失败表现:连接超时,而不是立即拒绝或域名不存在

按层次收集证据

排查应从低层到高层进行,但不必机械地把所有命令全部执行。已有证据足以排除某一层时,可以直接进入下一层。以下流程展示各层之间的判断关系。

综合网络故障分层诊断流程

先在受影响终端执行以下命令。示例采用 Windows,Linux 可使用 ip addr、ip route、dig、ping 和 traceroute 替代。

powershell
ipconfig /all
ping 192.168.20.1
nslookup app.office.local
Test-NetConnection app.office.local -Port 8443
tracert 192.168.40.20

预期采集到的案例结果如下,实际接口名称、时间和跳数可能不同:

text
IPv4 Address: 192.168.20.35
Default Gateway: 192.168.20.1
Reply from 192.168.20.1: bytes=32 time=<TIME> TTL=<ID>
Name: app.office.local
Address: 192.168.40.20
ComputerName     : app.office.local
RemoteAddress    : 192.168.40.20
RemotePort       : 8443
TcpTestSucceeded : False
1  192.168.20.1
2  192.168.40.20

这些结果说明终端地址和网关正确,网关可达,DNS 将域名解析到预期服务器,路由也能到达服务器网段,但 TCP 8443 端口无法建立连接。故障范围因此收敛到传输层访问控制、服务器防火墙或应用监听状态。

对比正常与异常路径

单独查看失败终端容易误判。应从行政 VLAN 的正常终端执行同一端口测试,并对比源地址、目标地址、端口和结果。

powershell
Test-NetConnection app.office.local -Port 8443

正常终端的预期结果为:

text
ComputerName     : app.office.local
RemoteAddress    : 192.168.40.20
RemotePort       : 8443
TcpTestSucceeded : True

目标地址和端口相同,只有源 VLAN 不同,因此应用服务整体停止的可能性很低。下一步应检查核心交换机或防火墙上与研发 VLAN、服务器 VLAN 相关的访问控制规则,并确认服务器本机防火墙是否按源网段限制访问。

在网络设备上可查看访问控制命中计数。下面是简化后的诊断输出,不代表特定厂商格式:

text
Rule 110 permit 192.168.10.0/24 -> 192.168.40.20 tcp/8443 hits 2384
Rule 120 deny   192.168.20.0/24 -> 192.168.40.0/24 any      hits 417
Rule 130 permit 192.168.20.0/24 -> 192.168.40.10 tcp/445  hits 928

这组证据解释了为什么研发终端可以访问文件服务器 192.168.40.10:445,却无法访问业务系统 192.168.40.20:8443:通用拒绝规则在业务系统允许规则之前命中,数据包未到达服务器。

用抓包确认丢包位置

抓包的作用是验证推断,而不是代替基础检查。在研发终端执行端口测试时抓取流量,如果只看到客户端重复发送 SYN,却没有收到 SYN-ACK 或 RST,说明连接请求在途中被静默丢弃,或响应无法返回。

bash
tcpdump -ni any host 192.168.40.20 and tcp port 8443

预期抓包结果如下,时间戳和源端口会变化:

text
<TIME> IP 192.168.20.35.<PORT> > 192.168.40.20.8443: Flags [S], seq <ID>, win <ID>, length 0
<TIME> IP 192.168.20.35.<PORT> > 192.168.40.20.8443: Flags [S], seq <ID>, win <ID>, length 0
<TIME> IP 192.168.20.35.<PORT> > 192.168.40.20.8443: Flags [S], seq <ID>, win <ID>, length 0

如果在客户端能看到 SYN,而服务器入口完全看不到对应数据包,丢包位置位于客户端与服务器之间。结合访问控制规则的命中计数,可以确认是网络设备提前丢弃,而不是服务器应用拒绝连接。若服务器能够看到 SYN 并返回 RST,则应转向检查应用监听端口;若返回 SYN-ACK 但客户端看不到,则应检查回程路由或中间设备策略。

修复规则并验证

根因是研发 VLAN 到业务服务器 8443 端口缺少允许规则,且通用拒绝规则先被命中。修复应新增一条足够具体的允许规则,并放在通用拒绝规则之前,而不是删除整个隔离策略。

text
Rule 115 permit 192.168.20.0/24 -> 192.168.40.20 tcp/8443
Rule 120 deny   192.168.20.0/24 -> 192.168.40.0/24 any

生效行为:研发 VLAN 只能访问业务服务器的 8443 端口,其他未授权的服务器区流量仍被拒绝。应用规则后应重新执行端口测试,并观察规则 115 的命中计数是否增加。

powershell
Test-NetConnection app.office.local -Port 8443

修复后的预期结果为:

text
ComputerName     : app.office.local
RemoteAddress    : 192.168.40.20
RemotePort       : 8443
TcpTestSucceeded : True

还要做反向验证:研发终端对服务器区其他未授权端口仍应失败,访客 VLAN 仍不能访问内部服务器,行政 VLAN 原有访问不受影响。只有成功路径和隔离边界都符合预期,修复才算完成。

形成诊断结论

完整诊断记录应让另一名工程师无需重复猜测即可复核。可以按以下格式组织:

现象:研发 VLAN 终端访问 app.office.local:8443 超时,行政 VLAN 正常。范围:研发终端仍可访问互联网和文件服务器。证据:IP、网关、DNS 和路由正常;TCP 测试失败;客户端抓包仅见重复 SYN;访问控制规则 120 命中增加。根因:研发 VLAN 到业务服务器的允许规则缺失,流量被通用拒绝规则提前丢弃。修复:在拒绝规则前新增仅允许 192.168.20.0/24 访问 192.168.40.20:8443 的规则。验证:端口测试成功,新增规则命中增加,其他隔离策略保持有效。

不要把“重启后恢复”写成根因。重启、清缓存或临时放行只能算动作,必须结合日志、命中计数、抓包或配置差异说明真正的问题位置。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

完成综合故障诊断

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通