操作系统 / 系统课时

堆为什么会不断向上增长

堆为什么会不断向上增长

观察进程地址空间时,[heap] 常像一段向高地址扩展的区域,但这并不意味着每次 malloc 都会让堆边界移动。关键是分清分配器复用、brk 扩展与独立 mmap 映射这三条路径。

学习目标

  • 解释“堆向上增长”真正变化的是哪段虚拟地址边界
  • 区分 malloc 的分配器行为与内核的 brk、mmap 映射
  • 用一个 Linux/glibc 实验观察小对象和大对象常见的分配路径

堆向上增长指的是程序断点移动

在典型 Linux 进程中,传统堆位于数据段之后,内核用程序断点表示这片区域的高地址边界。brk 调高程序断点时,[heap] 虚拟地址区间向更高地址扩展;调低时则可能收缩。这里首先变化的是虚拟地址映射,物理页通常仍按访问需求逐页建立。

malloc 不是 brk 的别名。它属于用户态内存分配器:先管理已经取得的内存块,只有现有空闲块不足时,才可能向内核申请更多虚拟地址空间。因此连续多次分配小对象时,程序断点可能一次也不变。

malloc 在堆复用、brk 扩展与 mmap 映射之间的关系

malloc 为什么不会每次都调用 brk

以 glibc 的 malloc 为例,小对象通常先从 arena、空闲链表或线程缓存中取得;只有分配器缺少可用空间时,主 arena 才可能继续扩展传统堆。于是“申请 64 字节”与“内核新增 64 字节堆空间”之间没有一一对应关系。

较大的请求常走匿名 mmap,形成与 [heap] 分离的 VMA。具体阈值会受 glibc 版本、动态调节和 mallopt 等设置影响,所以不要把“超过某个固定大小一定使用 mmap”当成 ABI 规则。其他 libc 或自定义分配器也可能采用不同策略。

用实验同时观察 brk 与 mmap

下面程序仅用于教学,依赖 Linux/glibc。它把 M_MMAP_THRESHOLD 设为 128 KiB,让 64 KiB 请求保留在常规堆路径,而 8 MiB 请求更容易稳定展示独立匿名映射;这不是生产环境的调优建议。

c
#define _DEFAULT_SOURCE
#include <malloc.h>
#include <stdint.h>
#include <stdio.h>
#include <stdlib.h>
#include <unistd.h>

static void show_mapping(const char *label, void *ptr) {
    FILE *fp = fopen("/proc/self/maps", "r");
    char line[512];
    unsigned long long start, end;
    unsigned long long addr = (unsigned long long)(uintptr_t)ptr;

    if (fp == NULL) {
        perror("fopen");
        exit(EXIT_FAILURE);
    }

    while (fgets(line, sizeof line, fp) != NULL) {
        if (sscanf(line, "%llx-%llx", &start, &end) == 2 &&
            addr >= start && addr < end) {
            printf("%s %p -> %s", label, ptr, line);
            break;
        }
    }
    fclose(fp);
}

int main(void) {
    if (mallopt(M_MMAP_THRESHOLD, 128 * 1024) == 0) {
        fputs("mallopt failed\n", stderr);
        return EXIT_FAILURE;
    }

    void *before = sbrk(0);
    void *small = malloc(64 * 1024);
    void *after_small = sbrk(0);
    void *large = malloc(8 * 1024 * 1024);
    void *after_large = sbrk(0);

    if (small == NULL || large == NULL) {
        fputs("malloc failed\n", stderr);
        free(small);
        free(large);
        return EXIT_FAILURE;
    }

    printf("break_before=%p\n", before);
    printf("break_after_small=%p\n", after_small);
    printf("break_after_large=%p\n", after_large);
    show_mapping("small", small);
    show_mapping("large", large);

    free(large);
    free(small);
    return EXIT_SUCCESS;
}

编译并运行:

bash
gcc -O0 -Wall alloc_demo.c -o alloc_demo
env -u LD_PRELOAD ./alloc_demo

env -u LD_PRELOAD 用于排除通过环境变量预加载的其他分配器,确保这个实验观察的是 glibc 路径。

预期结果:

text
break_before=<ADDR>
break_after_small=<ADDR>
break_after_large=<ADDR>
small <ADDR> -> <START>-<END> rw-p <FIELDS> [heap]
large <ADDR> -> <START>-<END> rw-p <FIELDS>

地址、区间和映射字段会随 ASLR、内核与 glibc 版本变化。应关注两点:小对象地址落在 [heap];大对象落在独立匿名映射中,而且它不要求传统堆继续等量上移。

free 为什么不一定让堆立即缩回去

释放小对象后,分配器往往把 chunk 留在 arena 或缓存中,等待后续 malloc 复用。只有堆顶附近形成足够大的连续空闲空间,并满足分配器的回收策略时,才可能降低程序断点。因而 free 成功并不等于 [heap] 立刻变短,也不等于 RSS 立刻下降。

独立 mmap 获得的大块内存更容易在释放时通过 munmap 归还映射,但这仍属于分配器实现策略。排查“内存已经 free 为什么进程看起来还很大”时,应同时区分虚拟地址空间、RSS 与分配器内部可复用空闲块,不能只盯着 malloc 调用次数。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

堆为什么会不断向上增长

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通