> Можно ли запустить vLLM в Windows? Да — через WSL2▋

93 632 звезды на GitHub с февраля 2023 года — а требования к установке по-прежнему открываются одной строкой: «ОС: Linux. Python 3.10–3.13.» Двумя строками ниже — примечание, из-за которого все и идут в поиск: «vLLM не поддерживает Windows нативно. Чтобы запустить vLLM в Windows, вы можете использовать подсистему Windows для Linux (WSL) с совместимым дистрибутивом или community-форки». Это примечание и есть весь пост. Официальная дорога — WSL2; нативная дорога — форк, и баг-репорты в нём с вашим именем. Пост живёт в кластере run-LLMs-locally, рядом с аппаратной половиной того же замка — умеет ли vLLM запускать GGUF.

Как запустить vLLM в Windows?

Через WSL2 — и очень быстро это перестаёт ощущаться как Windows.

• Windows 10/11 с GPU NVIDIA? AMD едет через ROCm-on-WSL, и дорога уже — заложите это
• wsl --install -d Ubuntu из admin PowerShell, затем перезагрузка
• Драйвер NVIDIA установлен на стороне Windows — внутри WSL никакого, GPU проходит сквозь
• Внутри Ubuntu: uv pip install vllm — ровно тот Linux-флоу из документации
• Запустите маленькую модель и дёрните endpoint models для проверки — команда ниже

WSL2 — это Microsoft официально признаёт: лучшая функция Windows — Linux. Он идёт в составе ОС, ставится одной командой, и внутри Ubuntu вам без изменений применима любая инструкция по vLLM в интернете:

# PowerShell (admin) — затем перезагрузка, когда попросит:
wsl --install -d Ubuntu

# внутри Ubuntu — обычная Linux-установка, ничего специфичного для Windows:
uv venv --python 3.12 && source .venv/bin/activate
uv pip install vllm --torch-backend=auto

# запустите небольшую модель и докажите, что GPU прошла:
vllm serve Qwen/Qwen3-0.6B --port 8000

проверка: curl http://localhost:8000/v1/models из Windows — WSL2 пробрасывает localhost, модель вернётся в JSON

Деталь, которую все упускают: драйвер GPU живёт на стороне Windows. Схема CUDA-on-WSL от NVIDIA прокидывает GPU сквозь драйвер Windows в любой дистрибутив — драйвер ставится один раз, в Windows, и никогда внутри Ubuntu. Поставите драйвер внутри WSL всё равно — и вечер уйдёт на «починку» стопки, которая никогда не была сломана.

Можно ли запустить vLLM в Windows без WSL?

Только через community-форк — и налог форка реален: вы меняете установщик на компилятор.

Документация сама называет сцену: «форки, поддерживаемые сообществом». Я прочитал рекорд по всем, на этой неделе:

• SystemPanic/vllm-windows — живой. 663 звезды, push за день до этого поста. Нативные wheels для Windows, CUDA 13, поддержка Blackwell, даже multi-GPU через NCCL в Windows. Серьёзный проект делает то, что ядро делать отказывается.
• devnen/vllm-windows — 28 звёзд, последний push в мае 2026. Пять месяцев тишины в проекте с такой скоростью движения — это уведомление об уходе.
• dexteri-ai/vllm-windows — GUI-обёртка, создана в январе 2026. Загляните за интерфейс: она рулит vLLM внутри WSL2 — по дороге, от которой якобы избавляет.

Даже на живом форке вы собираете CUDA-ядра с MSVC-патчами, теряете FlashAttention-3 и перепроверяете всё после каждого апстрим-релиза. Вот он, налог форка. Платите, когда корпоративная политика запрещает WSL, а сервер вне досягаемости — а не потому, что установка в одну строку показалась слишком лёгкой.

Почему нативной сборки для Windows нет вообще?

vLLM компилирует CUDA-ядра и опирается на NCCL — тулчейн, который в полной мере существует только в Linux. Документация говорит прямо: «vLLM полностью работает только на Linux». Нативный порт — это переработка сборки ядер под MSVC, ровно та поддержка, которую проект отказался тянуть; форки мерой выживших показывают, сколько это работы.

Работает ли vLLM с GGUF-моделями в Windows?

Да — через WSL2, на GPU NVIDIA или AMD. GGUF в vLLM работает только на GPU, так что Windows добавляет требование ОС поверх аппаратного. На Windows-машине с одним CPU запускайте тот же файл в Ollama или llama.cpp — оба нативные.

Два замка, по порядку. Сначала аппаратный: умеет ли vLLM запускать GGUF — да, через официальный плагин, только GPU, CPU x86 и Arm отказаны. Затем ОС-замок, это пост: GPU-only путь должен где-то работать, и в Windows это «где-то» — WSL2 с проброшенным CUDA. Замки открываются только вместе. GPU нет нигде? Файл всё равно запустится — как запускать GGUF-модели локально покрывает нативные инструменты, а выбор кванта — в нашe руководстве по квантизации.

vLLM в Windows — или просто Ollama?

Большинство вопросов про vLLM в Windows — на самом деле вопросы про конкурентность. vLLM существует, чтобы обслуживать много пользователей с больших GPU через непрерывный batching. Если счёт пользователей — «я, за своим столом», честный ответ в последней строке:

Путь	vLLM?	Установка	Для чего
vLLM внутри WSL2	полный движок	одна строка + перезагрузка	обслуживать команду с одного GPU
нативный форк SystemPanic	почти полный, тестируете вы	компиляция, погоня за CUDA	WSL запрещён политикой, GPU на месте
vLLM на Linux-машине, Windows как клиент	полный движок, но в другом месте	любой клиент, совместимый с OpenAI	GPU и так живёт в другой комнате
Ollama, нативно	нет — другой движок	один установщик	одиночное использование, GGUF, порт 11434
llama.cpp, нативно	нет — другой движок	бинарники для Windows	один пользователь, самое широкое покрытие квантов

Таблица поддержки в документации говорит: Linux. WSL2 отвечает: отлично. А если вопрос под вопросом был вообще не про vLLM — просто «запустить модель на моей Windows-машине» — то ничего и не было закрыто: Ollama ставится нативно, слушает 127.0.0.1:11434, а когда отказывается стартовать — этот отказ мы тоже вскрыли.