服务注册与分布式协调 / 系统课时

配置入口代理与网络端口

配置入口代理与网络端口

Nacos 集群可用并不代表客户端一定能连通;代理层若只转发 HTTP、漏开 gRPC 或把节点内部端口暴露错位置,都会造成“控制台能开、SDK 却连接失败”。本课把控制台、客户端和节点间通信拆开配置,并给出可验证的 Nginx 入口方案。

学习目标

  • 区分 Nacos 3.x 的控制台、HTTP、客户端 gRPC 与节点内部通信端口
  • 为 HTTP 与 gRPC 选择正确的代理层级和转发协议
  • 用最小防火墙矩阵和连通性检查验证入口配置

先把端口按流量角色分开

Nacos 3.x 默认将控制台端口与 Server 主端口拆分。常用端口为 8080、8848、9848、9849、7848:其中 9848 服务于客户端 gRPC,9849 和 7848 主要用于 Nacos Server 节点之间的通信。官方部署建议不要把这些端口直接暴露到公网。([Nacos 官网][4])

端口 主要流量 推荐代理方式 推荐暴露范围
8080 Nacos Console HTTP/HTTPS 仅管理网络
8848 HTTP OpenAPI、Admin API、部分插件请求 HTTP/HTTPS 内部客户端、控制台或网关
9848 客户端到 Server 的 gRPC 长连接 四层 TCP 内部客户端或入口代理
9849 Server 间 gRPC 不经公网代理 仅 Nacos 节点之间
7848 JRaft 不经公网代理 仅 Nacos 节点之间

Nacos 入口代理与端口分层

配置 HTTP 与 gRPC 两条入口

最容易出错的是把 9848 当成普通 HTTP/2 反向代理。Nacos 官方明确要求 VIP、SLB 或 Nginx 对客户端 gRPC 端口使用 TCP 转发,否则长连接可能被代理层断开。8848 则可以走普通 HTTP 反向代理。([Nacos 官网][5])

下面是 Nginx 的片段示例,依赖 Nginx 已启用 stream 模块,并且应合并到现有 nginx.conf 的顶层结构中;不要把 stream 块放进 http 块。

nginx
# 9848 必须做四层 TCP 转发,不能放进 http 反向代理
stream {
    upstream nacos_grpc {
        least_conn;
        server 10.10.0.11:9848 max_fails=3 fail_timeout=10s;
        server 10.10.0.12:9848 max_fails=3 fail_timeout=10s;
        server 10.10.0.13:9848 max_fails=3 fail_timeout=10s;
    }

    server {
        listen 9848;
        proxy_connect_timeout 3s;
        proxy_timeout 30m;
        proxy_pass nacos_grpc;
    }
}

# 8848 走普通 HTTP 反向代理
http {
    upstream nacos_http {
        server 10.10.0.11:8848 max_fails=3 fail_timeout=10s;
        server 10.10.0.12:8848 max_fails=3 fail_timeout=10s;
        server 10.10.0.13:8848 max_fails=3 fail_timeout=10s;
    }

    server {
        listen 8848;

        location / {
            proxy_pass http://nacos_http;
            proxy_set_header Host $host;
            proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        }
    }
}

保存后先校验 Nginx 配置,再验证 HTTP readiness 与 9848 TCP 端口。<ENTRY_HOST> 替换为入口域名或 VIP;<PATH> 表示你机器上的 Nginx 配置文件实际路径。

bash
sudo nginx -t
curl -fsS 'http://<ENTRY_HOST>:8848/nacos/v3/admin/core/state/readiness'
timeout 3 bash -c '</dev/tcp/<ENTRY_HOST>/9848' && echo grpc-port-open

预期输出

text
nginx: configuration file <PATH> syntax is ok
nginx: configuration file <PATH> test is successful
{"code":0,"message":"success","data":"ok"}
grpc-port-open

不同 Linux 发行版的 Nginx 配置路径可能不同,但只要语法检查成功、readiness 返回 ok 且 9848 TCP 能建立连接,入口的基础网络链路就已经打通。

收紧防火墙允许矩阵

生产环境应按“谁需要访问谁”开放,而不是在所有主机上一次性放开全部端口。下面矩阵适合三节点 Server 加一个统一入口的常见部署;若控制台独立部署,还应允许 Console 到 Server 的管理 API 链路。

来源 目标 允许端口 说明
业务客户端 VIP/代理 8848/tcp、9848/tcp HTTP 与客户端 gRPC
管理网络 Console 8080/tcp 控制台入口
VIP/代理 Nacos Server 8848/tcp、9848/tcp 后端转发
Nacos Server Nacos Server 8848/tcp、9849/tcp、7848/tcp 成员访问、服务端 gRPC 与 Raft
公网 Nacos Server 无 不直接暴露内部端口

识别端口映射导致的假故障

客户端通常配置 Nacos 主地址,例如 <ENTRY_HOST>:8848,Nacos 3.x 客户端会按固定偏移计算默认 gRPC 端口 9848。因此只代理 8848、却漏掉 9848 时,可能出现登录或简单 HTTP 调用正常,但 SDK 长连接、服务发现或配置监听异常的现象。([Nacos 官网][4])

NAT、容器端口映射或云负载均衡也应保持主端口与 gRPC 端口的对应关系。若必须改主端口或做非对称映射,应先确认当前 Nacos 版本支持的端口配置方式,不要仅把外部 8848 随意改成另一个端口而忽略客户端的 gRPC 计算逻辑。

排查时按链路逐层验证:先检查入口 8848 的 readiness,再检查入口 9848 的 TCP 建连,最后检查 Server 节点之间的 7848、9849。这样能把“HTTP 可用但 gRPC 不通”和“客户端入口正常但集群内部端口被防火墙阻断”快速区分开。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

配置入口代理与网络端口

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通