Three Boxes — 一件模型装进三种容器的故事

■ space · 五页田野指南

■ 一口气把故事说完

GGUF 是自描述的箱子，把量化设为默认值——文件小，归 llama.cpp 货架。safetensors 是贴在原始权重上的一张目录——默认全精度，归 Python 货架。已经在跑的运行时替你挑箱子；磁盘替你挑尺寸。速度是运行时和硬件的属性——字节拒绝作证.

01称重处

每只箱子里的权重一模一样。趁条形未填，先在心里按大小排序——然后看.

GGUF · Q4_K_M4-bit 量化

396 705 472 B小不点

GGUF · BF16全精度

1 198 182 848 B3.0× 小不点

safetensors · BF16全精度，原始

1 503 300 328 B3.8× 小不点

差距不是浪费。4-bit 那只箱子故意遗忘——每个权重只存四分之一的位数，对大多数工作足够近，只占三分之一的磁盘。记住这个念头；第三页会单开一章。现在——拎起一只箱子：

在手：GGUF · Q4_K_M — 397 MB — 磁盘的心头好

02箱子里

每种格式都是一张排布。这里是每只箱子，从头到尾摊开——在它们之间切换，像运行时那样读.

魔数 "GGUF" + 版本头 12 字节——否则门不开

kv 元数据tokenizer、arch、context

张量目录名字 · 形状 · 偏移

张量数据——权重量化过、对齐过，就是货

magic:字节 0–3 就是字面上的 "GGUF"——运行时第一个查它

version:u32 小端序——如今是 3

n_tensors · n_kv:u64 计数——文件自始至终自己描述自己

单文件:头和权重合体——带到哪里都能打开

u64 header_len8 字节

JSON 头每个张量按名字列队

原始张量数据没有排场，加载时零复制

header_len:u64 小端序——后面跟着多少字节 JSON

json header:dtype、形状、字节偏移——一张目录

接着:原始权重，别无他物——可以直接从磁盘 mmap

生来为了:Python 栈——from_pretrained 说的是母语

分段未按比例画——两个文件里权重都碾压文书部分 · 排布取自公开的格式规范

03遗忘

小不点的秘密：每个权重只存位数的一小份。拖动宽度，看精度离去——字节跟着走.

宽度 4-bit · ≈ 397 MB

Q4 · 397 MB —— 已发布规格 BF16 · 1.20 GB——已发布规格

站在已发布的一档——记录的字节原样

2-bit 处世界弹到 0、1、−1——只剩三件事可辨认的模型。16-bit 时它记着出生时每一位小数。中间躺着的，是你的磁盘预算。字节说不出口的，是下坡路上丢了多少质量——那堵墙立着，每张诚实的表都会标注它.

04两个货架

格式只决定一件事：打开哪个货架。报出你机器上应答的是什么——房间会回话.

LLAMA.CPP 货架

GGUF 的箱子在这里打开

量化的单文件、小磁盘、看不见半个 Python——家电货架.

PYTHON 货架

safetensors 在这里打开

from_pretrained 是本乡本土的路——原始张量，没有要维护的转换环节.

你的路线：Ollama → llama.cpp 货架 → GGUF 箱子

记录自认的那道缓冲：vLLM 走插件读 GGUF——GPU，附条件——而 Ollama 这台 GGUF 家电还附赠一个 MLX 运行器。货架之间也在串货.

05判词

GGUF · Q4_K_M 这只箱子，你一路扛到了底。磁盘的心头好——而你的机器上应答的是 Ollama，这从来就不是一场比赛.

GGUF 把量化设为默认；safetensors 把全精度设为默认。这个默认值占去了决定的大半——从来没人为了速度换格式。人们为了某个功能换运行时，格式只是跟着当门票. ——字节唯一准许的判词

规则 01已在跑的运行时替你选格式。先查你机器上应答的是什么，再轮到任何表格.

规则 02磁盘替你选量化档。小箱子拿走那份 397 MB 的文件，从此不再翻论坛.

■ 诚实印章 我读的是记录，没有实跑。页上每个数字都是一份已发布文件自己的字节——396 705 472 · 1 198 182 848 · 1 503 300 328——2026-10-14 取得，2026-10-18 复核，离你的终端只差一条 curl -sIL … | grep -i content-length。没有测试台架。没有每秒 token 数的cosplay.

院子到此为止 · 什么都没联网取 · 全程本地