Счёт за мышление

Запустите ollama run <model> --think=false (CLI), введите /set nothink (внутри сессии) или передайте "think": false в теле /api/chat или /api/generate. --hidethinking — только если хотите оставить мышление, но спрятать: счётчик всё равно тикает. /no_think в промпте пропустите: он уменьшает, но не выключает.

01Спросите сами — чек перед вами

Это реальный прогон из лога, воспроизведённый вживую. Два вопроса из одного слова с нашего бенча: «Bug» стоил 866 токенов мышления и 53.5 секунды на холодную. «Crash» — 589 токенов и 34.4 секунды на прогретой модели. Затем тот же вопрос с выключенным мышлением. Смотрите на счётчик.

сборка реального запуска из лога — lfm3:1.7b, 2026-10-29 · строка «мышление выкл» — это арифметика, а не замер, и так и написано

Смысл просмотра на ×1: при 17 токенах в секунду вы читаете мышление в момент, когда оно выставляет вам счёт. Именно это делает каждый чат, который «тормозит» на CPU-машине, — печатает счёт, который вы не просили показывать, по токену каждые 59 миллисекунд.

02Почему моя модель в Ollama так долго думает?

Потому что новейшие маленькие модели — гибридные мыслители: одни и те же веса болтают в чате и гоняют chain-of-thought, а большинство интерфейсов держат мышление включённым по умолчанию. Каждое «хм, дай-ка передумаю», проплывающее у вас перед глазами, — настоящий токен по вашим настоящим токенам в секунду, а на CPU-машине это 17/s, а не сотни, над которыми посмеивается GPU. Математика неприглядная: 866 токенов мышления ÷ 17 tok/s ≈ 51 секунда счёта до того, как начнётся ответ.

03Как выключить мышление в Ollama?

Три переключателя, все — официально, в документации самого ollama. Выбирайте по ситуации:

• Разово, из шелла: ollama run lfm3:1.7b --think=false
• Внутри запущенной сессии: введите /set nothink (обратно: /set think)
• В коде, chat- или generate-API: добавьте "think": false в тело запроса

$ ollama run lfm3:1.7b --think=false
>>> bug or not? one word.
Crash

проверка: блока мышления в выводе нет; ответ приходит считанными токенами — по арифметике нашего бенча, около секунды набора вместо пятидесяти.

POST /api/chat
{ "model": "lfm3:1.7b",
  "messages": [{"role":"user","content":"bug or not? one word."}],
  "think": false }

проверка: в ответе нет поля thinking — при "think": true тот же эндпоинт выносит монолог из ответа в отдельное поле.

И ловушка, которая выглядит как переключатель, но им не является: --hidethinking. Модель продолжает думать — по полной цене — просто детализация не печатается. Спрятать чек — не то же самое, что не платить.

04Сколько мышление стоит на самом деле? Чек.

Неизменённые строки из лога бенча — поля с ms несут наносекунды (родные единицы лога врут; мы делили вручную), а поля со скоростью вернулись null, так что токены в секунду — наше собственное деление столбиком: 866 ÷ 50.9 ≈ 17.

{"model":"lfm3:1.7b","load_ms":2326837325,"eval_count":866,"total_ms":53533988331,"response":"Bug"}
{"model":"lfm3:1.7b","load_ms":530219,"eval_count":589,"total_ms":34362526621,"response":"Crash"}

* строка честности: мышление мы замеряли; колонка «выкл» — деление при тех же tok/s, подписано как арифметика — закон чеков покрывает замеренную половину, это предложение — остальное.

«Bug» — самое дорогое слово, которое выдала наша машина. Чтобы его принять, ушло пятьдесят секунд мышления.

05Когда мышление стоит оставлять включённым?

Когда ответ стоит дороже ожидания — вот и весь контракт. Счёт окупается на этом:

• Математика и многошаговая логика — монолог и есть работа; отрежете его — отрежете точность, ради которой всё затевалось.
• Ревью кода и планирование — модели нужен её черновик; --hidethinking тут честно хорош, если всё равно платите.
• Всё, где 50 секунд лучше неправильного ответа — триаж по расписанию ночью, а не в интерактиве.

Выключайте, когда вопрос имеет форму классификации: ответы из одного слова, маршрутизация, справка, извлечение, «есть ли в этой строке лога сбой». Платить 866 токенов за выбор из двух слов — снимать пустой номер: номер хороший, только вас в нём нет.

06Честный размен

И вот что пока не решено. Выключенное мышление делает модель быстрее и тупее ровно на тех задачах, ради которых вы её брали, а включённое превращает каждый пустяковый вопрос в пятьдесят секунд ожидания. Настоящая ручка локального ИИ — не размер модели, а то, у кого в руках счётчик. Облако прячет этот счёт внутри подписки; на вашей машине вы смотрите, как печатается каждый токен.

Чего мне хочется по-настоящему и чего пока нет: строка в Modelfile, закрепляющая think за конкретной моделью, чтобы «Bug» стоил секунду и ни одному клиенту не пришлось помнить флаг. В issues Ollama запрос открыт. Пока он не приедет, счётчик — ваш, чтобы смотреть — или ваш, чтобы щёлкнуть.

Финал из двух вопросов, по доменному закону: 1) Какой самый длинный счёт за мышление вы ловили на своей машине? 2) И ловили ли, как с вас берут за вопрос, которому мысль была не нужна?