Первый полёт — как запускать GGUF-модели локально

A .gguf — это полёт, ждущий взлётную полосу: тот же единственный файл работает в Ollama, llama.cpp, LM Studio, Jan и — с оговорками — vLLM. Это предполётная проверка, по порядку: выбрать раннер, скачать модель, убедиться, что она реально легла на GPU, и знать четыре abort'а по именам до того, как они случатся.

■ the answer first

Fastest path: Самый быстрый путь: — Ollama pulls the GGUF straight from Hugging Face and serves it.

— Ollama тянет GGUF прямо с Hugging Face и раздаёт его.

Want the (какие слои уйдут на GPU)? (which layers hit the GPU)? llama-server -m file.gguf -ngl 99.

Quant default: Квант по умолчанию: — размер файла плюс ~1–2 ГБ накладных на контекст должны влезть в вашу VRAM.

THE PRE-FLIGHT

Пять проверок между скачиванием и работающей моделью. Отмечайте по ходу — полоса зажигается за вашей спиной.

■ ОЖИДАНИЕ — чек-лист ждёт.

THE FILE, AND ITS NAME

GGUF (GGML Universal File) — контейнер для квантованных моделей: веса, токенизатор, метаданные — один файл, без каши из конфигов.

Веса сжаты с 16 бит до 4: 9B, требующий ~18 ГБ в полной точности, занимает ~5,5 ГБ в Q4 — геймерский GPU или даже CPU.

bartowski/gemma-2-9b-it-GGUF:Q4_K_M

организация · базовая модель · экспорт · тег кванта — важны две вещи: база (gemma-2-9b-it) и насколько сильно были сжаты веса (Q4_K_M)

TWO WAYS TO FLY IT

Ollama — сервис «настроил и забыл». GGUF нативен, и с 2024 года он тянет прямо с Hugging Face. Плата — контроль: вы не выбираете число GPU-слоёв.

# скачать GGUF-квант прямо с Hugging Face и поболтать
ollama run hf.co/bartowski/gemma-2-9b-it-GGUF:Q4_K_M

# or wrap a file you already have — Modelfile, one line:# или завернуть файл, который уже есть — Modelfile, одна строка:# FROM ./gemma-2-9b-it-Q4_K_M.gguf
ollama create gemma9b -f Modelfile
ollama run gemma9b

llama.cpp — то место, откуда пришёл GGUF. Поддержка глубже и свежее всех, а llama-server даёт сразу и чат-интерфейс, и endpoint, совместимый с OpenAI:

# скачать прямо с Hugging Face (выберет подходящий GGUF)
llama-server -hf ggml-org/gemma-3-4b-it-GGUF --port 8080

# or run a file you already have, with full GPU offload# или запустить файл, который уже есть, с полным offload на GPU

The -ngl — суперсила llama.cpp — частичный offload. Попробуйте на примере из записи: 9B на 48 слоёв на карте с 6 ГБ:

слоёв на GPU (-ngl)

слоёв на карте, остальные едут на CPU через PCIe — на карте с 6 ГБ работает нормально, просто медленнее. layers on the card, the rest riding CPU through PCIe — it runs fine on a 6 GB card, just slower.

Разовый запрос: поменяйте llama-server for llama-cli, тот же флаг -m flag. LM Studio is the same engine behind a GUI — drop in a . LM Studio — тот же движок за GUI — бросьте в него и нажмите «загрузить».

WHICH QUANT IN THE TANK

Ответ по умолчанию: Q4_K_M — в пределах одного-двух процентов от полной точности при примерно четверти размера; качество-на-ГБ пикует здесь у моделей 7–14B.

Лестница, от большего к меньшему:

Q8_0 — почти без потерь; берите, если ваша VRAM глотает 8,5 бита на вес и не замечает.
Q6_K / Q5_K_M — ступень ниже по размеру, всё ещё отлично для моделей 30B+.
Q4_K_M — the default.
IQ4_XS / Q3_K_M — затолкать большую модель на маленькую карту; потеря качества становится заметной.
Q2_K and below — крайняя мера; модель начинает распадаться в бессмыслицу посреди фразы.

Правило посадки: file size + ~1–2 GB of context overhead ≤ VRAM — Q4_K_M на 4,7 ГБ от 9B комфортно на карте 8 ГБ.

Накладные — это KV-кэш: он растёт с контекстом, а не с размером модели. Закладывайте самый долгий реальный сеанс.

And prefer a меньшую модель с более высоким квантом — Q8 4B обычно бьёт Q2 9B.

Уголок форматов: safetensors is the unquantised archive — обучение, дообучение, transformers, ComfyUI. GGUF — квантованный, тот, что раздаёт.

GGUF нельзя дообучать, а safetensors нельзя запустить в Ollama или llama.cpp без конвертации (

You can't fine-tune a GGUF, and you can't run safetensors in Ollama or llama.cpp without converting (convert_hf_to_gguf.py — тот мост). Обучение → safetensors; локальный чат → GGUF.

THE FOUR ABORTS

Почему моя GGUF-модель не грузится? Эти четыре покрывают большинство случаев:

01unknown model architecture

GGUF использует архитектуру, которой ещё не было в вашем рантайме — новые MoE- и vision-модели прилетают постоянно. Обновите Ollama или пересоберите llama.cpp; другого лекарства нет.

02Недостаток памяти при загрузке

Квант слишком велик для вашей VRAM плюс контекст. Спуститесь на ступень (Q4_K_M → Q3_K_M), уменьшите -ngl, or shrink context with -c 4096.

03Скачивание оборвалось / файл повреждён

Загрузка падает с ошибкой magic-number или метаданных. Скачайте заново и сверьте SHA256, показанный на странице Hugging Face.

04ollama run ./model.gguf refuses

Ожидаемо: run принимает имена моделей, а не пути к файлам. Используйте путь через Modelfile выше.

Последний угол: локальный GGUF-endpoint прекрасно дружит с агентными инструментами для кодинга — наведите на него клиент, совместимый с OpenAI; completions стоят только электричества.

Когда сантехника заработала, вопрос — какая модель заслуживает слот; моторный отсек читает запись llama.cpp-против-Ollama от начала до конца.

Одна модель, много пользователей? GGUF-режим vLLM работает — только GPU, пассажир второго класса рядом с родными форматами.

■ honest stamp Проверено на: ollama · сборки llama.cpp · LM Studio · vLLM · GGUF Q4_K_M. Впервые опубликовано 2026-09-07, карточка обновлена 2026-10-06. Каждая команда выше запускается как напечатана; размеры (5,5 ГБ Q4 / ~18 ГБ fp16 для 9B), пример карты 6 ГБ с 20 из 48 слоёв и четыре abort'а — испытанная запись оригинальной статьи. Новых бенчмарков для их перепечатки не гнали.

конец первого полёта · ничего не скачано · всё локально