vLLM на Windows: три двери, одна поддержанная

■ space · машина-цех · fig 1

■ сначала ответ

Нативной сборки под Windows не существует. Доки установки перечисляют одну ОС: Linux — их слова, не мои.

Да, запустить можно: WSL2. Ubuntu внутри Windows, драйвер NVIDIA на стороне Windows, и тот же pip install vllm.

Обход WSL стоит форк-налога — ты и есть QA. Одиночный пользователь? Ollama гоняет на Windows нативно.

93,632звёзд GitHub — ни одна из них не linux

1единственная поддержанная доками дверь: wsl2

2замка на gguf: gpu + os

01ТРАНЗИТНОЕ ДЕПО

одна стена, два двора, три двери — gpu переходит по трубе, никогда в чемодане

FIG 1 · ТРАНЗИТНОЕ ДЕПОклавиши 1 · 2 · 3 — или кнопки

МАРШРУТ 1 · WSL2 — ПРОХОД ОК · ДРАЙВЕР НА СТОРОНЕ WINDOWS · VERDICT ПРОХОД

ящик это один запрос — клавиша 1 проводит его через WSL2, пока труба над головой перекидывает gpu; двери 2 и 3 стоят столько, сколько написано на табличках

"vLLM нативно не поддерживает Windows. Чтобы запустить vLLM на Windows, можно использовать Windows Subsystem for Linux (WSL) с совместимым дистрибутивом Linux —

или использовать некоторые форки, поддерживаемые сообществом." — доки установки, дословно. Первая половина — стена; вторая половина — этот пост

02ДВЕРЬ 1, ШАГ ЗА ШАГОМ

одна строка в powershell, внутри — обычная установка linux — драйвер никогда не двигается

дверь — powershell (admin)

# PowerShell (Admin) — then reboot when it asks:
wsl --install -d Ubuntu

внутри ubuntu — обычная установка linux

# inside Ubuntu — the normal Linux install, nothing Windows-specific:
uv venv --python 3.12 && source .venv/bin/activate
uv pip install vllm --torch-backend=auto

# serve something small and prove the GPU passed through:
vllm serve Qwen/Qwen3-0.6B --port 8000

проверка — из windows

curl http://localhost:8000/v1/models
# WSL2 forwards localhost — the model comes back as JSON

проверка: curl http://localhost:8000/v1/models из Windows — WSL2 пробрасывает localhost, модель возвращается в JSON

драйвер—живёт на стороне Windows, ставится один раз — CUDA-on-WSL от NVIDIA пропускает GPU в любой дистрибутив

классическая ловушка—ставить драйвер ещё и внутри Ubuntu — вечер на расклеивание стопки, которая никогда не была сломана

amd—ездит на ROCm-on-WSL — дорога уже, планируй заранее

03ДВЕРЬ 2, ФОРК-НАЛОГ

доки сами называют сцену: "некоторые форки, поддерживаемые сообществом" — перепись, прочитана 2026-10-12

fork	регистратура	verdict
SystemPanic/vllm-windows	663 звёзд, запушено накануне этого поста	живой — нативные колёса, CUDA 13, Blackwell, NCCL multi-GPU
devnen/vllm-windows	28 звёзд, последний push май 2026.	пять месяцев тишины — извещение об отставке в проекте такого темпа
dexteri-ai/vllm-windows	GUI-обёртка, создана январь 2026	гоняет vLLM внутри WSL2 — дорога, которую он якобы перескакивает

"vLLM в полном объёме гоняет только на Linux."

— доки, почему: CUDA-ядра и NCCL полностью живут только там. Форки доказывают переделку под MSVC тем, как мало его переживают.

налог—MSVC-patched CUDA kernels, FlashAttention-3 канул, перепроверка после каждого апстрим-релиза

когда платить—только когда политика блокирует WSL и сервера в досягаемости нет — иначе дверь 1 дешевле каждый раз

04ДВА ЗАМКА, ТАБЛИЦА ПОЛОС

gguf наваливает аппаратный замок поверх замка ОС — поворачиваются оба, или ни один

Да — через WSL2, на NVIDIA или AMD GPU.

GGUF в vLLM — только GPU. На CPU-only Windows-боксе тот же файл гоняется в Ollama или llama.cpp — оба нативные.

замок 1 · железо—GGUF-плагин подаёт только GPU — CPU x86 и Arm получают отказ

замок 2 · ос—GPU-only путь обязан где-то исполняться — на Windows это где-то WSL2, gpu проходит насквозь

правило—оба замка открываются вместе или не открываются вовсе — и замок 1 никогда не открывается на CPU-only боксе

Path	vLLM?	Разводка	Кому подходит
vLLM внутри WSL2	движок полный	строка + ребут	раздача команде с одной GPU
нативный форк SystemPanic	почти полный, тестируешь сам	компилить, ловить CUDA	WSL заблокирован политикой, GPU на шлейфе
vLLM на Linux-боксе, Windows как клиент	движок полный, в другом месте	любой OpenAI-совместимый клиент	GPU всё равно живёт в другой комнате
Ollama, native	нет — другой движок	один установщик	соло-режим, GGUF, `127.0.0.1:11434`
llama.cpp, native	нет — другой движок	Windows-бинарники	один пользователь, широчайший охват квантов

если вопрос был просто "погонять модель на моей Windows-коробке" — оллама, нативно, раздаёт на 127.0.0.1:11434. дверь 3 никогда не была дверью в vllm.

■ honest stamp Источник: публичный регистр — доки vLLM v0.24.0 + репо Windows-форков · проверено 2026-10-12. Строка "OS: Linux", примечание WSL и перепись форков цитируются из доков и страниц репозиториев — звёзды, даты push и фичи такими, какими они стояли на той неделе. Я прочитал регистр, не гонял; сам WSL2-флоу — это документированная установка Linux за однострочной дверью.

конец трёх дверей · ничего не скачано · всё локально