mrsaynothing.dev
Three Boxes — история одной модели в трёх контейнерах
Полевой справочник в пяти разворотах: тот же Qwen3-0.6B взвешивается тремя способами, открывается, показывая первые байты, нарочно забывает на 4 битах — и выбирает свою полку. Пронесите один ящик до конца — и страница запомнит его в вердикте.
■ space · полевой справочник в пяти разворотах
GGUF — самоописывающая коробка, где квантование правилом по умолчанию: файлы маленькие, полка llama.cpp. safetensors — оглавление, примотанное к сырым весам: полная точность по умолчанию, полка Python. Рантайм, который у вас уже крутится, выбирает коробку; диск выбирает размер. Скорость — свойство рантаймов и железа; байты отказываются давать показания.
01ВЗВЕШИВАНИЕ
Веса в каждой коробке одни и те же. Разложите их по размеру в голове, пока полосы не заполнились, — потом смотрите.
Разрыв — не мусор. Коробка 4-бита забыла нарочно: каждый вес хранится на четверти битов — достаточно близко для большей работы и треть диска. Держите мысль в голове; разворот три получит собственную главу. А пока — возьмите коробку:
В РУКАХ: GGUF · Q4_K_M — 397 МБ — любимец диска
02ВНУТРИ ЯЩИКА
Каждый формат — это раскладка. Вот каждая коробка, вытянутая от края до края, — переключайтесь между ними и читайте, как читает рантайм.
сегменты не в масштабе — в обоих файлах веса затмевают бумажную часть · раскладки взяты из публичных спецификаций форматов
03ЗАБЫВАНИЕ
Секрет заморыша: каждый вес хранится на доле битов. Тяните ширину и смотрите, как уходит точность — байты следуют за ней.
На 2 битах мир залипает в 0, 1, −1 — модель, которая знает три вещи. На 16 помнит каждую десятичную, с какой родилась. Между ними сидит ваш дисковый бюджет. Чего байты не могут сказать — сколько качества потерялось на спуске; эта стена стоит, и каждая честная таблица её помечает.
04ДВЕ ПОЛКИ
Формат ничего не решает, кроме одного: какая полка откроется. Скажите, что отвечает на вашей машине, — комната ответит в ответ.
ПОЛКА LLAMA.CPP
коробки GGUF открываются тут
Одиночные квантованные файлы, небольшие диски, никаких питонов в поле зрения — полка бытовой техники.
ПОЛКА PYTHON
safetensors открывается тут
from_pretrained — родная тропа: сырые тензоры, ни одного шага конверсии в уходе.
ВАШ МАРШРУТ: Ollama → полка llama.cpp → ящики GGUF
оговорка, допущенная записью: vLLM читает GGUF через свой плагин — GPU, с оговорками — а Ollama, GGUF-техника, до сих пор возит и MLX-раннер. меняются даже полки.
05ВЕРДИКТ
GGUF делает квантование правилом по умолчанию; safetensors — полную точность. Это умолчание — почти вся развилка: никто никогда не менял формат ради скорости. Меняли рантайм ради функции, а формат ехал в качестве билета. — единственный вердикт, какой байты позволяют
curl -sIL … | grep -i content-length. Никакого тестового стенда. Никакого косплея «токенов в секунду».
конец двора · ничего не скачано · всё локально