mrsaynothing.dev
llama.cpp vs Ollama: один движок, две дозы движка
Корень репозитория Ollama носит имя билда его движка — он запускает llama.cpp, зафиксированный на b11351, тогда как upstream в то же утро выпустил b11443. Взято из записей, не из прогонов.
■ space · моторный отсек
В корне репо Ollama лежит файл LLAMA_CPP_VERSION, фиксирующий его движок — он запускает llama.cpp, так что чистая скорость для одного и того же файла модели — практически ничья.
Upstream выкатил b11443 утром на момент обзора; Ollama держит b11351 — обёртка всегда отстаёт от движка. Новые флаги сначала приезжают в llama.cpp.
Вердикт по записям: Ollama — на каждый день, llama.cpp — когда нужен флаг, который обёртка прячет; плюс vLLM как запасной выход для GPU-сервинга.
МОТОРНЫЙ ОТСЕК
Один и тот же блок за обеими дверями. Задайте, сколько движка хотите трогать — полки ответят.
БЫТОВАЯ ТЕХНИКА · ollama
МАШИННОЕ ОТДЕЛЕНИЕ · llama.cpp
Полная бытовая техника. Скачивания, определение и резидентный API остаются; движок гудит внизу на фиксации Ollama. Файл GGUF отправится с вами в день, когда вы его перерастёте.
ЧТО LLAMA.CPP НА САМОМ ДЕЛЕ ТАКОЕ
130 473 звёзд, лицензия MIT, четыре релиза за одно утро этого обзора. llama.cpp начал волну «запусти локально» в марте 2023. Он ввёл GGUF — формат, на котором живёт экосистема.
24 125 форков, 2 515 открытых issues, топ-контрибьютор на 2 011 коммитов. Лента релизов читается как бортовой журнал: четыре билда к началу дня (b11438–b11443), каждый можно зафиксировать.
проверка: curl -s http://127.0.0.1:11434/api/version → работающий Ollama отвечает · llama-server --version → тег билда, например b11443
OLLAMA — ЭТО БОЛЬШЕ, ЧЕМ ОБЁРТКА?
Да — и граница напечатана в репозитории. Три файла фиксации версий: LLAMA_CPP_VERSION (b11351 на момент обзора), MLX_VERSION, MLX_C_VERSION. llm/llama_server.go запускает производный от llama.cpp сервер как подпроцесс.
Зависимость — вход билда, а не открытый секрет. Добавляет Ollama сервис: скачивания из реестра, автоопределение, резидентный API на порту 11434, MLX для Apple Silicon.
Ollama — это управление моделями и гигиена процессов вокруг движка, который он не писал.
92 билда отделяют фиксацию Ollama от утреннего релиза upstream. Починки движка приземляются сначала в upstream, а поездом Ollama едут неделями позже.
Сентябрьское ускорение prompt-lookup-drafting собрало 89 баллов на Hacker News — за недели до того, как Ollama его поставил. Если строчка чейнджлога чинит вашу проблему, обёртка узнаёт последней.
ТАК КОТОРЫЙ ЖЕ БЫСТРЕЕ?
Для одного файла модели — никакой: движок общий. Заявленные разрывы обычно сравнивают разные квантизации, размеры контекста или билды движка.
Настоящие разрывы идут от дефолтов и отставания: Ollama выбирает контекст и разгружает слои за вас — ручки за VRAM-сюрпризами; llama.cpp заставляет ставить их самому и наказывает за забывчивость.
Вопрос бенчмарка прячет вопрос управления.
Вы выбираете не между двумя движками. Вы выбираете, сколько движка хотите трогать.
ЧТО ЗАПИСИ ГОВОРЯТ ПРОТИВ LLAMA.CPP
- 2 515 открытых issues и темп осадного барабана. Четыре релиза за одно утро — это пропускная способность, это ещё и подсос. Флаги уезжают, бэкенды перекраиваются, и ваш скрипт фиксированного билда требует того же ухода.
- Сообщество говорит это вслух. Из ветки Hacker News про сентябрьское ускорение (89 баллов), пользователь rfgplk: "Честно говоря, llama.cpp написан настолько плохо, что подобные ускорения — ерунда, и hard fork (или полная перепись) нужны уже давно." Та же ветка тащит тревогу за управление после сделки Nvidia с Hugging Face, вытащившей работодателя ключевой команды на авансцену.
- Обязанности — на вас. Ни реестра, ни автоматического определения: файлы GGUF качаете сами, флаги выгрузки слоёв ставите сами, процесс пасёте сами.
НАЙДИТЕ СВОЮ СТРОКУ
| Хотите | Запустите | Почему — из записей |
|---|---|---|
| Одну команду и окно чата | Ollama | Скачивание моделей, автоопределение, резидентный API — бытовая техника |
| Все флаги и самый свежий билд | llama.cpp | Зафиксированные билды, llama-server, бэкенды на ваш выбор |
| Десктопный GUI | LM Studio | Та же династия движков, только с кнопками |
| Один GPU, много пользователей | vLLM | Сервинг под пропускную способность — с оговорками GGUF |
Практический шов: начните с Ollama; когда он против вас — флага не хватает, автоопределение GPU сбоит, фикс есть только в свежем билде — спускайтесь к llama.cpp под эту задачу.
Файл модели едет с вами; GGUF — лингва франка. Бытовая техника щадит вас от движка до дня, когда движок становится проблемой.
Тот день — вот зачем существует второй инструмент.
конец моторного отсека · ничего не скачано · всё локально