P2P 与分布式存储 / 系统课时

HTTP Tracker 如何返回节点

HTTP Tracker 如何返回节点

HTTP Tracker 通过一次 announce 请求,把正在下载同一资源的客户端组织成可互相连接的节点集合。本课使用完整请求参数、可运行的 Python 示例和 Bencode 响应解析,演示客户端如何上报下载状态、获取 Peer 地址,并根据 Tracker 返回的间隔安排下一次请求。

学习目标

  • 能构造包含 info_hash、peer_id、uploaded、downloaded、left 和 event 的合法 HTTP announce 请求。
  • 能解析 Tracker 响应中的 interval、peers 和紧凑地址格式。
  • 能正确处理周期性 announce、下载完成事件及常见响应错误。

Tracker 在节点发现中做什么

Tracker 是节点发现服务,不负责传输文件内容。客户端向 Tracker 报告自己参与的资源、监听端口和传输进度,Tracker 根据 info_hash 找到同一 Swarm 中的其他客户端,并返回一部分可连接的 Peer 地址。

一次典型的交互包含三个阶段:

  1. 客户端向 announce URL 发起 HTTP GET 请求,报告资源标识、节点身份和当前下载状态。
  2. Tracker 更新节点记录,返回建议的下一次请求间隔和 Peer 列表。
  3. 客户端解析地址并尝试与 Peer 建立连接;后续按间隔继续 announce,报告新的进度。

HTTP Tracker announce 请求与节点发现数据流

同一资源可以同时通过 HTTP Tracker、DHT 或 Peer Exchange 发现节点。本课只处理 HTTP Tracker;即使 Tracker 暂时不可用,已经建立的 Peer 连接也不必因此立即断开。

构造合法的 announce 请求

BitTorrent v1 的 info_hash 是种子文件中原始 Bencode info 字典字节的 SHA-1 摘要,长度固定为 20 字节。peer_id 通常也是 20 字节,由客户端生成,用来标识本次客户端身份。二者是二进制字段,不能直接把摘要的 40 位十六进制文本当成请求值。

参数 含义 示例
info_hash 20 字节资源哈希,按字节百分号编码 %01%02...
peer_id 20 字节客户端标识 -PC0001-123456789012
port 本地监听 Peer 连接的端口 6881
uploaded 已上传的资源数据字节数 0
downloaded 已下载的资源数据字节数 262144
left 尚未完成的资源数据字节数 786432
compact 请求紧凑 Peer 地址格式 1
event 生命周期事件,可省略 started

uploaded、downloaded、left 均以字节为单位,不是百分比。假设资源总长 1048576 字节,已经获得并验证 262144 字节,那么 left=786432。实际实现中应根据已验证的 Piece 计算剩余量,避免把尚未校验的数据算作完成。

event 的常见取值为 started、completed、stopped。首次加入 Swarm 时发送 started;下载从未完成变为完成时发送 completed;正常退出时尽力发送 stopped。普通周期性 announce 通常省略 event,不要每次都重复发送 started。

发送请求并解析 Tracker 响应

下面的 Python 3.10+ 示例只使用标准库。为了让结果可复现,程序在本地启动一个模拟 HTTP Tracker,客户端通过真实 HTTP GET 请求访问它;响应体仍然采用 BitTorrent 使用的 Bencode 格式,不依赖公网 Tracker 或真实种子。

python
from http.server import BaseHTTPRequestHandler, HTTPServer
from threading import Thread
from urllib.parse import quote_from_bytes, urlsplit, parse_qs
from urllib.request import urlopen
import ipaddress

INFO_HASH = bytes(range(1, 21))
PEER_ID = b'-PC0001-123456789012'


def bencode(value):
    if isinstance(value, int):
        return b'i' + str(value).encode() + b'e'
    if isinstance(value, bytes):
        return str(len(value)).encode() + b':' + value
    if isinstance(value, list):
        return b'l' + b''.join(map(bencode, value)) + b'e'
    if isinstance(value, dict):
        items = sorted(value.items())
        return b'd' + b''.join(bencode(k) + bencode(v) for k, v in items) + b'e'
    raise TypeError(type(value))


def bdecode(data):
    # 递归读取Bencode,保留字节串以避免错误解码二进制字段。
    def read(pos):
        token = data[pos:pos + 1]
        if token == b'i':
            end = data.index(b'e', pos)
            return int(data[pos + 1:end]), end + 1
        if token == b'l':
            result, pos = [], pos + 1
            while data[pos:pos + 1] != b'e':
                item, pos = read(pos)
                result.append(item)
            return result, pos + 1
        if token == b'd':
            result, pos = {}, pos + 1
            while data[pos:pos + 1] != b'e':
                key, pos = read(pos)
                value, pos = read(pos)
                result[key] = value
            return result, pos + 1
        colon = data.index(b':', pos)
        length = int(data[pos:colon])
        start = colon + 1
        return data[start:start + length], start + length

    result, end = read(0)
    if end != len(data):
        raise ValueError('Bencode存在多余字节')
    return result


class TrackerHandler(BaseHTTPRequestHandler):
    def do_GET(self):
        params = parse_qs(urlsplit(self.path).query)
        required = ('info_hash', 'peer_id', 'uploaded', 'downloaded', 'left')
        if any(key not in params for key in required):
            self.send_error(400, 'missing announce parameter')
            return
        # 两个IPv4地址各占4字节,端口各占2字节(网络字节序)。
        peers = (ipaddress.IPv4Address('192.0.2.10').packed + (6881).to_bytes(2, 'big')
                 + ipaddress.IPv4Address('192.0.2.20').packed + (51413).to_bytes(2, 'big'))
        body = bencode({b'interval': 1800, b'peers': peers})
        self.send_response(200)
        self.send_header('Content-Type', 'text/plain')
        self.send_header('Content-Length', str(len(body)))
        self.end_headers()
        self.wfile.write(body)

    def log_message(self, *args):
        pass


server = HTTPServer(('127.0.0.1', 0), TrackerHandler)
Thread(target=server.serve_forever, daemon=True).start()
try:
    # 二进制字段按原始字节编码,其他字段使用明确的十进制数值。
    fields = {
        'info_hash': quote_from_bytes(INFO_HASH, safe=''),
        'peer_id': quote_from_bytes(PEER_ID, safe=''),
        'port': '6881',
        'uploaded': '0',
        'downloaded': '262144',
        'left': '786432',
        'compact': '1',
        'event': 'started',
    }
    query = '&'.join(f'{key}={value}' for key, value in fields.items())
    url = f'http://127.0.0.1:{server.server_port}/announce?{query}'
    with urlopen(url, timeout=5) as response:
        result = bdecode(response.read())
    print('interval:', result[b'interval'])
    raw = result[b'peers']
    if len(raw) % 6:
        raise ValueError('紧凑Peer列表长度不是6的倍数')
    for offset in range(0, len(raw), 6):
        address = str(ipaddress.IPv4Address(raw[offset:offset + 4]))
        port = int.from_bytes(raw[offset + 4:offset + 6], 'big')
        print(f'peer: {address}:{port}')
finally:
    server.shutdown()
    server.server_close()

预期输出:

text
interval: 1800
peer: 192.0.2.10:6881
peer: 192.0.2.20:51413

192.0.2.0/24 是文档示例地址段,不能作为真实公网 Peer 使用。程序的监听端口由操作系统动态分配,实际端口可能不同,但不会影响上述输出。这里的 Bencode 解码器用于教学,生产环境还应限制响应大小、递归深度、整数格式和字节串长度。

识别普通节点列表与紧凑地址

Tracker 响应是 Bencode 字典,而不是 JSON。最常见的字段包括 interval 和 peers;还可能包含 complete、incomplete、min interval 或 failure reason。其中 interval=1800 表示建议约 1800 秒后再次 announce,并不表示每隔 1800 秒重新连接所有 Peer。

peers 有两种常见表示:

响应形式 数据结构 解析方式
普通形式 字典列表,每项含 ip、port,可含 peer id 逐项读取地址与端口
紧凑形式 连续二进制字节串 IPv4 每 6 字节拆出一个 Peer

紧凑 IPv4 格式中,前 4 字节是网络字节序的 IPv4 地址,后 2 字节是大端序端口。例如 C0 00 02 0A 1A E1 对应 192.0.2.10:6881,因为 0x1AE1=6881。

Tracker普通Peer列表与紧凑IPv4地址编码对比

IPv6 紧凑地址通常放在独立的 peers6 字段,每个地址占 18 字节:16 字节 IPv6 地址加 2 字节端口。不要把 peers6 当作每组 6 字节的 IPv4 列表,也不要假设请求了 compact=1 就一定只会收到紧凑格式;客户端应根据实际响应类型选择解析分支。

根据返回值安排下一次 announce

Tracker 返回的 interval 是客户端安排下一次常规 announce 的主要依据。如果还提供 min interval,客户端不应在该最小间隔内重复进行普通 announce。网络失败时应使用退避重试,避免大量客户端同时快速重试造成服务压力。

可以采用以下客户端策略作为实现起点:

  1. 首次启动发送 event=started,成功后保存 Tracker 返回的 interval。
  2. 在常规轮询中省略 event,更新 uploaded、downloaded 和 left。
  3. 当 left 首次从正数变成 0 时发送一次 event=completed,不要每轮重复发送。
  4. 正常退出时尽力发送 event=stopped;进程崩溃时无法保证送达,Tracker 会依靠节点超时清理记录。
  5. 对返回的 Peer 做地址、端口、重复项及自身地址过滤,再交给 Peer 连接管理器。

如果响应字典包含 failure reason,应将其作为 Tracker 业务失败处理,即使 HTTP 状态码是 200,也不能把响应当成正常 Peer 列表。warning message 则表示告警信息,客户端可以记录并继续处理有效数据。

验收时可将本地示例的 compact 改为 0 再运行:模拟服务器仍会返回紧凑格式,因为该教学服务器固定生成此类响应。这能验证一个重要边界:客户端必须以响应实际结构为准,而不是仅根据请求参数推断返回格式。真实 Tracker 是否支持普通格式及具体返回策略,应通过其响应验证。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

HTTP Tracker 如何返回节点

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通