لا أحد يتحدث عن RAM: نموذج بحجم 4.9 GB حجز 7.0 GB قبل أن يجيب

■ space · جولة المساكن

الليلة التي تحوّل فيها 4.9 إلى 7.0

الصندوق: Ryzen، و‏32 GB RAM، و‏RTX 3060 بذاكرة 12 GB VRAM. المسحوب: llama3.1:8b، موسوم بـ4.9 GB. ثلاثة أوامر، شاشة واحدة:

$ ollama ps
NAME            SIZE      PROCESSOR    CONTEXT
llama3.1:8b     7.0 GB    100% GPU     32,768
$ nvidia-smi
   …  7963 MiB / 12288 MiB  …
$ free -h
Mem:  31 Gi

اللقطة، معادة كتابتها يدويًا — البكسلات بقيت على صندوق الاختبار؛ الأرقام هي السجل

«نموذج بحجم 4.9 GB» حجز 7.0 GB قبل أن يجيب أي سؤال — ضريبة سياق بنسبة 43% — واحتفظ لنفسه بـ7,963 من 12,288 MiB.

الأوزان لم تكن الميزانية إطلاقًا. السياق كان.

‏VRAM تبيع الحلم. ‏RAM تقرر إن كان النموذج سيشتغل أصلًا — وكم سياقًا ينجو حين يشتغل.

مخطط المسكن

كل نموذج مُحمَّل يستأجر مسكنين معًا. اختر صنف نموذج، أدر مقبض السياق، وشاهد الاثنين يُملآن. الصفوف الثلاثة المقاسة أدناه تُثبّت المقبض.

الغرف ليست بمقياس واحد تجاه بعضها — كل مسكن يُرسم تجاه عقده هو

ما هي الجيغابايتات الزائدة

في llama.cpp memory notes مسدَّد المشترك الحسابي الذي تُغفل صفحات التحميل: الذاكرة الكلية = أوزان النموذج + ذاكرة KV المخبأة + منطقة الحساب الوسطية. الحد الأول وحده ثابت.

‏Ollama تُغلّف llama.cpp — القانون نفسه. ollama ps: ‏7.0 GB لوسم بحجم 4.9 GB عند نافذة 32,000 token، وكلها مقيمة على الـGPU.

اقرأ الصفين الأخيرين مرة أخرى. على الـVRAM، يصبح 14B بسياق حقيقي عمل offload منقسمًا؛ 27B، مستحيل. على 32 GB RAM، مجرد بطيء.

مستحيل في مواجهة بطيء — كامل الفرق العملي بين RAM وVRAM. يمضي offload على ‏PCIe: أسئلة Ollama الشائعة صريحة — الوعيد يهبط بقوة كلما تقلصت نصيب الـGPU.

لا أحد يختار هذه المقايضة بوعي. تحدث بصمت، طبقةً بعد طبقة — العرَض ليس إلا أن «النماذج المحلية تبدو مبالغًا في تقديرها.»

لهذا توجد سُلَّم التكميم: يجعل Q4 الحساب يهبط داخل العتاد الذي يملكه الناس. إعدادان 8B «متطابقان»، طولَي سياق مختلفان — وآلتان مختلفتان تمامًا.

النموذج المكمَّم ليس حلًا وسطًا. إنه اعتراف بأن الذاكرة كانت الميزانية الحقيقية منذ البداية.

السجل الصادق

ما انكسر أو أبهرني أثناء كتابة هذه القطعة، بالترتيب:

1. رقم الـ43% نفسه. توقعت أن يشغل نموذج 8B «تقريبًا حجم ملفه». حجز 7.0 GB مقابل تنزيل بحجم 4.9 GB. إن أدهش ذلك إيّاي، فسيُدهش كل من يقرأ أوراق المواصفات عوض مخرجات ps.
2. جلسة اللقطات. لقطتي الأولى أمسكت النافذة الخطأ؛ نجحت الثانية، وهي ما يعيد كتابته كتلة الإيصال. الإيصالات سير عمل، لا مزاج — دورة سحب → لقط → ollama rm تبقي القرص صادقًا.
3. ما لم ينكسر: الـGPU لم يفيض قط. ‏8B بسياق 32k على 12 GB مريح حقًا. البطاقة سليمة. الخطاب حول البطاقة هو ما بسط كاليبره.

الـGPUs ما تزال تهم — سطر الـ100% GPU هو سبب شعور التوليد بأنه لحظي. لكن الـGPU سؤال ثانٍ. اختيار الـrunner يأتي بعد سؤال ما يتّسع.

قاعدة الإبهام التي تستحق البقاء

RAM = ملف النموذج + ذاكرة KV المخبأة لنافذتك الحقيقية + 4 GB من أجل أن تكون حاسوبًا. ‏7–8B Q4: ‏16 GB مريح. ‏14B–32B: ‏32 GB هي النقطة.

اشترِ VRAM للسرعة التي تريدها عند السياق الذي تستعمله؛ واشترِ RAM لكل ما ستُحمّله يومًا ما.

ألقِ نظرة على ollama ps مرة واحدة، ودين أوراق المواصفات يخبو بصمت.

سؤالان لصندوق التطوير القادم: ‏VRAM للبنشماركات التي ستنشرها، أم RAM للنماذج التي ستشغلها؟ وكم سحبة في الثانية فجرًا نالت من فطورها؟ سحباتي لم تنل.

نهاية جولة المساكن · لم يُجلب شيء · كل شيء محلي