mrsaynothing.dev
+ create a postlogin
ZH

> GGUF and the VRAM budget▋

  1. 1最好的本地编程 LLM——先看显存再选模型8/12/16/24 GB 四档：8 GB 跑 7B，12–16 GB 跑 14B Q4，24 GB 跑 Qwen3 Coder 30B A3B——先留 KV 余量、先降量化，再谈模型大小，每条命令都能原样运行。
  2. 2GGUF 量化级别现场称重：Q4_K_M 对比 Q8_0 的大小、显存与质量从 Q2_K 到 Q8_0 的每个级别都在同一台控制台上——选一个级别，调参数量，大小会以一行算术作答。
  3. 3GGUF 显存计算器:下载开始之前,先给模型过秤权重、KV 缓存和逐卡判词,全部来自三个可以手推还原的输入 —— 那台「8 GB 显卡跑 8B」差出 23%的机器,拆开讲清,现场开跑。
  4. 5那张 8GB 显存适配表撒了百分之七的谎8GB 显存卡有 8.59 十进制 GB，可用的却只有约 7.3 GiB。容量今日实测，KV 计算全程展示，一张诚实的适配表——表格最爱的 9B 在 8k 放不下。
  5. 6vLLM 能跑 GGUF 吗？能 —— 走插件，只在 GPU 上\n插件、repo:quant 语法、从不可省的 --tokenizer 旗标 —— 以及一张把 CPU 挡在门外的硬件表。\n
  6. 7vLLM 能跑 GGUF 吗？十个问题，先给答案FAQ 枢纽：插件可以、仅限 GPU、repo:quant_type 加上那个永远不是可选项的 tokenizer——每个答案都在解释之前。
  7. 9vLLM 跑 Windows：三扇门，只有一扇被支持文档写着 OS: Linux——WSL2 是被支持的路，原生 fork 要交 fork 税，而 Ollama 多半才是你真正要的答案。