حاسبة VRAM لملفات GGUF: زِن النموذج قبل أن يبدأ التنزيل

■ space · ميزان الصوبة · fig 1

■ الإجابة أولًا

VRAM ≈ أوزان + ذاكرة KV + مصاريف؛ حجم الملف هو سطر الأوزان وحده.

8B بـQ4_K_M وسياق 32k: ~9.8 GB — تفوت بطاقة 8 GB بـ23%. ليس الكمِّ هو العابث قط؛ العابث هو السياق.

الوضع المعكوس يجيب السؤال الحقيقي: تدخل ميزانية، ويخرج أكبر كمِّ يسعها. كل الحساب في متصفحك، ولا يُرفع شيء.

4.85 GBسطر الأوزان — 8 × 4.85 / 8

4.00 GBذاكرة KV عند 32k — 128 KB × 32 768

23%فوق بطاقة الـ8 GB — الشرخة

01ميزان الصوبة

النموذج هو الصندوق، والسياق هو البكرة — العلامة الحمراء هي البطاقة التي تملكها

FIG 1 · ميزان الصوبةمفاتيح 1 · 2 · 3 — أو الأزرار

حمل ~9.8 GB · أوزان 4.85 GB · KV 4.00 GB · شحوم 0.94 GB · حكم فات بـ23%

المفتاح 2 يلفّ على البكرة 4 096 → 32 768 → 131 072 من التوكنات — راقب الإبرة، لا الكمّ

الإبرة واقفة عند 9.8 من 16 — بعد العلامة الحمراء عند 8، والراية تجادل وحدها

02الحساب

سطران يحركان الإبرة: ثمن الصندوق وثمن السياق

النموذج كله، أربعة أسطر

VRAM ≈ weights + KV cache + overhead
weights  = params × bits-per-weight / 8
KV cache = 2 × layers × kv_dim × context × 2 bytes   (f16)
overhead ≈ 0.7 GB CUDA/runtime + ~5% compute buffers

بتات-لكل-وزن من جداول الكمِّ في llama.cpp — الأعداد ذاتها التي بُنيت بها ملفات Hugging Face

Quant	bpw	Quant	bpw
Q2_K	3.35	Q5_K_M	5.69
Q3_K_M	3.91	Q6_K	6.59
IQ4_XS	4.25	Q8_0	8.50
Q4_K_M	4.85	F16	16.0

GQA—8B من صنف Llama-3 يحمل 8 رؤوس KV × ‏128 أبعادًا × ‏32 طبقة، أي 128 KB لكل token

بلا GQA—‏Llama 2 حجمِه 13B يستنزف 640 KB لكل token — خماسي الكمية، من نموذج جيلٍ أسبق وحجمَه الاسمي أصغر

الانقلاب—اضغط المفتاح 3 في ميزان الصوبة — 13B قديم يزن أكثر، في فاتورة الذاكرة لكل token، من بِلّ كاشفات 70B حديث

03المسلك المعكوس

تدخل ميزانية ويخرج كمّ — بطاقة ثابتة وذكرى نموذج: السؤال الذي ببالي الناس فعلًا

جولة السجل نفسها: 7B بسياق 4 096 في مواجهة ميزانية 8 GB (هندسة GQA)

Quant	الأوزان	Total (est.)	Verdict
Q4_K_M	4.24 GB	~5.7 GB	تسع مع نفَس فائض
Q6_K	5.77 GB	~7.3 GB	ضيّقة
Q8_0	7.44 GB	~9.0 GB	تفريغ جزئي على ‏CPU، أبطأ بكثير

حجم الملف كان يقول لك ما ستُنزّله. ولم يقل لك قط ما تستطيع تشغيله.

شاشة واحدة، وتَسحق مناظرة «Q4 أم Q8» العتيقة في جواب عتادك أنت عوض جواب غيرك

04شغّله بنفسك

ثلاثة مدخلات تقدر على اشتقاقها بيدك من جديد، وحكم واحد تقدر على مجادلته — الافتراضات هي جولة المثال المحسوب في سجل المشروع

المعالم

quant

نافذة السياق

1k32 768 توكنًا128k

هندسة الانتباه

الأوزان — 8 × 4.85 / 84.85 GB

ذاكرة KV — 128 KB × 32 7684.00 GB

مصاريف — 0.7 GB لـCUDA + 5% سندات0.94 GB

الوزن النهائي~9.8 GB

حكم «بطاقة 8 GB»: فات بـ23% — ليس الكمّ هو العابث قط؛ العابث هو السياق.

شريط البطاقات: ممتلئ · تسع — داكن · ضيّقة — بعد الخط المتقطع عند 85% — مظلّل · تجاوز · تفريغ جزئي

توجيه MoE—عند الاستدلال لا تُمس إلا الخبراء الناشطون، لكن هذا الحساب يسعّر طية الأوزان كاملة — ومنه تُقرأ مجاميع MoE أعلى من حقيقتها

كمّ مختلط—‏Q4_K_M ذاتُه متوسط عبر الموترات — ملف حقيقي يهبط قليلا عدة نقاط مئوية عن قيمة الجدول

حشوة CUDA—الـ0.7 GB المسطحة تتغيّر بتغيُّر نسخة الخلفية — رقم من وسط المسلك، لا ثابتة من ثوابت الطبيعة

الترويسة—متى كان الحق يزن مئات الميغابايت أو أكثر، فاقرأ ترويسة الملف — llama.cpp يرحل لذلك gguf_dump.py

■ ختم الأمانة مُختبَر على: جداول bpw في llama.cpp · هندسة GQA في Llama-2/Llama-3 · في المتصفح، ولا يُرفع شيء. سُجِّل 2026-10-02، جُدِّد 2026-10-06؛ تسكن الأداة ملف HTML واحد، بلا أي اعتماد، في github.com/mrsaynothing/gguf-vram-calculator. ميزان الصوبة أعلاه يجرّ الحساب ذاته الذي تجرّه الأداة — الافتراضات تستنسخ جولة المثال المحسوب في سجل المشروع (8B · Q4_K_M · 32k → ~9.8 GB، تجاوزًا بـ23% لبطاقة 8 GB) إلى آخر منزلة عشرية.

نهاية ميزان الصوبة · لم يُجلب شيء · كل شيء محلي