Чего модели решений не могут: шесть честных ограничений

Коротко: используйте их для решений, никогда для причин. Две из шести — некоммерческие. Напечатанные лимиты — число опций, потолки токенов, языковые пробелы — реальны и отказывают молча. А число уверенности — заявление, пока кто-то не прогонит его на реальных метках.

Для кого это: для тех, кто вот-вот подключит свежий API в продакшн, потому что release notes были захватывающими. Это другая половина разговора — первая половина здесь.

Шесть ограничений

1. В коробке нет причин. Модель решений возвращает метку и число. Почему именно эта метка — доказательства, контраргумент, сомнение — в выводе отсутствует, за любые деньги. Как только пайплайну нужно «почему», вы снова у чат-модели или человека.
2. Согласие — не проверка. Спросите три модели, получите три одинаковых ответа — и у вас одно мнение в трёх экземплярах. Единогласный неверный ответ приходит в уверенном лотке — отсортирован, проштампован и неверен при 0.99. Консенсусу нужна независимая эталонная точка, а ни одна из этих моделей её не приносит.
3. Лицензионные стены настоящие. Julia-1, Laya, lev и Kev-4B — Apache-2.0. Nimble и OpenJev — CC BY-NC 4.0, некоммерческие, точка. Рантайм llama.cpp — MIT, и это ничего не говорит о весах: карточка чекпоинта важнее бейджа лицензии репозитория — каждый раз.
4. На карте модальностей есть дыры. Laya — только английский, не маршрутизируйте через неё многоязычный трафик. Nimble локально — только текст. Вход vision у OpenJev требует собственного проектора. Kev-4B поставляется без ожидаемой предобработки по опорной дате. Каждая дыра напечатана; ни одной не видно со стороны API.
5. Лимиты напечатаны на коробке. Julia-1 принимает 2–20 опций и объединённый вопрос до 8 192 токенов — выйдите за любое из ограничений, и отказ будет тихим, а не ошибкой. Скормить модели решений документ на 12k токенов — не растянуть её; это использование другого продукта, не того, что отгрузили.
6. Сервинг — не доказательство. Новый эндпоинт, возвращающий числа, — факт сантехники, а не точности. Опубликованные цены за миллион токенов и поддержка сервинга ничего не говорят о честности вероятности на ваших метках. Ответит только бенчмарк на реальном трафике — и его ещё никто не публиковал. Эта дыра — возможность, и она наша.

Что выдерживает, несмотря на все шесть

Масштаб сужается, а не ценность. Однопроходные маршрутизация, фильтрация и триаж — где на выходе решение, а последствия несёт человек — остаются самым чистым применением локального ИИ за год. Мало, быстро, без счёта за токены и честно о своей природе штампа. Режим отказа, под который надо проектировать, — уверенный лоток: задайте порог, эскалируйте ниже него и никогда не позволяйте штампу иметь последнее слово в том, что важно.

Запомните: вероятность — это заявление. Штамп ≠ правильная сортировка. Бенчмарк на ваших метках — прежде чем лоток станет истиной.

Дальше — бенчмарк: Julia-1 против Laya на реальных метках маршрутизации, калибровка по размеру, латентность по железу. Если числа уверенности выдержат — волна это заслужила. Если нет — этот пост уже сказал об этом.