البنية التحتية وإشكالية نطاق الذاكرة (Memory Bandwidth Bound)
تخضع عمليات الاستدلال (Inference) في النماذج اللغوية الكبيرة لقيد النقل التشغيلي المُعرف بـ Memory Bandwidth Bound. عند تحميل نموذج بحجم 70 مليار معامل (70B Parameters) بدقة نقطة عائمة 16-bit (FP16)، تكون المساحة التخزينية المطلوبة في ذاكرة الفيديو (VRAM):
VRAM Size=70×10
9
×2 Bytes≈140 GB
تتسبب هذه الحجمية في تكاليف عالية وخنق لنقل البيانات بين ذاكرة VRAM ونواة الحسابات (Tensor Cores). يهدف التكميم (Quantization) إلى ضغط الحجم عبر خفض التمثيل البتّي للوزن (Weight Precision) إلى 8-bit أو 4-bit دون تدهور ملحوظ في أداء النموذج.
التحويل الرياضي: التكميم الخطي (Uniform Affine Quantization)
يعتمد التكميم على خريطة تعيين (Mapping) تُحول القيم المستمرة
x
إلى قيم رقمية صحيحة
q
:
q=round(
S
x
)+Z
حيث يُحسب معامل المقياس (Scale Factor
S
) ونقطة الصفر (Zero-point
Z
) كالتالي:
S=
2
b
−1
x
max
−x
min
Z=round(
S
−x
min
)
حيث
b
يمثل عدد البتات المستهدفة (مثلاً
b=4
).
مقارنة خوارزميات التكميم الحديثة: GPTQ مقابل AWQ
المعيار الهندسي GPTQ (Post-Training Quantization) AWQ (Activation-aware Weight Quantization)
المنهجية تقليل خطأ التربيع التراكمي باستخدام معكوس مصفوفة هيسيان (Hessian Matrix). حماية أطياف 1% من الأوزان الحرجة بناءً على قيم التنشيط (Activations).
دقة النموذج (Perplexity) ارتفاع طفيف في معدل الانحراف عند أحجام النماذج الصغيرة (< 7B). المحافظة على الدقة الأصلية لـ FP16 بدرجة أعلى في الأداء المعقد.
التوافق التشغيلي يعتمد على مشغلات (Kernels) مخصصة لتفكيك التكميم لحظياً أثناء الاستدلال. تسريع مخصص لـ Tensor Cores دون الحاجة لتفكيك جميع الأوزان في الذاكرة.
نموذج الضغط تكميم الأوزان فقط (Weight-Only Quantization). تكميم سياقي قائم على تحليل المدخلات للطبقات الخطية (Linear Layers).
الأثر الميداني على تسريع الاستدلال
يُسهم التكميم إلى دقة INT4 في تقليل البصمة التخزينية للنموذج بنسبة تصل إلى 75%. هذا التحسين ينقل اختناق النظام من نقل أوزان النموذج عبر حافلة الذاكرة (Memory Bus) إلى معالجتها مباشرة داخل النوى الحسابية، مما يرفع معدل الرموز التوليدية في الثانية (Tokens/sec) ويسمح بتشغيل النماذج الضخمة على بطاقات تشغيل فردية ذات استهلاك طاقة أنقص.
