> GGUF and the VRAM budget▋

1أفضل LLM محلي للبرمجة — الذاكرة أولاً ثم النموذجدرجات 8/12/16/24 GB: Qwen2.5 Coder 7B عند 8 GB، و14B بـ Q4 عند 12–16 GB، وQwen3 Coder 30B A3B عند 24 GB — هامش KV والتكميم أولاً والحجم بعدها، وكل أمر يعمل كما هو.
2مستويات تكميم GGUF موزونة مباشرةً: Q4_K_M مقابل Q8_0 في الحجم وذاكرة VRAM والجودةكل مستوى من Q2_K إلى Q8_0 على وحدة تحكم واحدة — اختر مستوى، اضبط عدد المعاملات، ويجيب الحجم بسطر حساب واحد.
3حاسبة VRAM لملفات GGUF: زِن النموذج قبل أن يبدأ التنزيلأوزان وذاكرة KV وحكم لكل بطاقة من ثلاثة مدخلات تقدر على اشتقاقها بيدك — النموذج «المناسب لبطاقة 8 GB» فات بـ23%، مشروحًا ومشغَّلًا على خشبية.
5جدول توافق VRAM ذات 8 جيجابايت يكذب بنسبة 7 بالمئةبطاقة 8 جيجابايت تحمل 8.59 جيجابايت عشرية لكن ~7.3 جيبايت قابلة للاستخدام فقط. أحجام مقيسة اليوم، وحساب KV معروض، وجدول توافق صادق — طراز 9B المفضل لدى الجداول يفشل عند 8k.
6هل يُشغّل vLLM ملفات GGUF؟ نعم — عبر الملحق، على GPU وحده\nالملحق، صياغة repo:quant، وعَلم ‎--tokenizer الذي لا يكون اختياريًا قط — وجدول العتاد الذي يدير الـCPUs من الباب.\n
7هل يشغّل vLLM ملفات GGUF؟ عشر أسئلة، والإجابات أولًامركز الأسئلة الشائعة: نعم بالإضافة، على GPU فقط، repo:quant_type مع tokenizer لا يكون اختياريًا أبدًا — كل إجابة قبل الشرح.
9vLLM على ويندوز: ثلاثة أبواب، بابٌ واحد مدعومالوثائق تقول OS: Linux — فالـWSL2 هو الطريق المدعوم، والـfork الأصلي يدفع ضريبة الـfork، وOllama ربما كان جوابك الحقيقي من الأصل.