FAD-KV: قاموس تكيفي سريع يضغط ذاكرة النماذج المستدلة دون نمو غير محدود

يشرح يثيكريشنا آر، المؤسس وكبير المهندسين في Mynd Labs ومنسق وعضو مؤسس في Compyle (YC F25)، من ثريشور في الهند، إطار FAD-KV الجديد لضغط ذاكرة التخزين المؤقت KV في نماذج الاستدلال، الذي يحقق توازنا قويا بين الجودة والكفاءة دون نمو غير محدود للذاكرة.

ذاكرة KV المؤقتة آلية أساسية في النماذج اللغوية الكبيرة: تخزن التمثيلات الوسيطة للمفاتيح والقيم لتسريع التوليد المتتابع. المشكلة أنه كلما طال النص المولد، نمت الذاكرة والحساب خطيا. ومع نماذج الاستدلال التي تنتج سلاسل تفكير طويلة، أصبح ضغط هذه الذاكرة ضرورة عملية.

من الأساليب الواعدة الضغط القائم على القواميس: يمثل كل رمز كمزيج متناثر من عناصر أساسية متعلمة تسمى ذرات، محفوظة في قاموس. هذا يحافظ على بنية الرموز دون فرض قيد الرتبة المنخفضة العام. لكن الأساليب الحالية تواجه عائقين عمليين: أساليب الترميز المتناثر التكرارية تضيف عبئا حسابيا أثناء التوليد، والقواميس الثابتة قد لا تطابق توزيعات KV المتغيرة أثناء الاستدلال.

يقترح البحث إطار FAD-KV، وهو قاموس تكيفي سريع لذاكرة KV، يقوم على فكرتين. الأولى ترميز متناثر قائم على الغربلة: بدلا من التكرار، يختار النظام دفعة واحدة مجموعة صغيرة من الذرات المرشحة عبر انتقاء Top-n، ثم يحسن المعاملات بعملية خفيفة. الثانية آلية تكيف بحجم ثابت: بدلا من توسيع القاموس أثناء التوليد، يعيد النظام استخدام الذرات الخاملة، فيبقى حجم القاموس محدودا.

بهذين التحكمين، في كلفة الترميز المتناثر وفي نمو القاموس، يقدم FAD-KV إطار ضغط محدود الذاكرة وفعال حسابيا لأعباء الاستدلال الطويلة. التجارب على معايير الاستدلال والسياق الطويل تظهر توازنا قويا بين الجودة والكفاءة، مع تجنب النمو غير المحدود للقاموس أثناء التوليد.

الفكرة العملية واضحة: كلما طالت سلاسل التفكير التي تنتجها النماذج، زادت أهمية تقنيات كهذه لجعل الاستدلال الطويل قابلا للتشغيل على عتاد حقيقي بتكلفة معقولة.

المصدر: https://arxiv.org/abs/2610.37921