تدريب النماذج Looped: لماذا تتغير أفضل نافذة انتشار خلفي كلما كبرت الميزانية

يشرح يثيكريشنا آر، المؤسس وكبير المهندسين في Mynd Labs ومنسق وعضو مؤسس في Compyle (YC F25)، من ثريشور في الهند، دراسة جديدة عن تدريب النماذج اللغوية المكررة الطبقات (Looped) تكشف أن أفضل استراتيجية تدريب تتغير حسب الميزانية المتاحة.

فكرة تكرار طبقات المحول بسيطة وجذابة: بدلا من إضافة معاملات جديدة، أعد استخدام الطبقة نفسها عدة مرات لتحصل على عمق حسابي أكبر مجانا تقريبا. لكن هذا العمق الإضافي يرفع كلفة الانتشار الأمامي والخلفي أثناء التدريب.

هنا يظهر خيار أساسي: نافذة الانتشار الخلفي، أي عدد التكرارات الأخيرة من الطبقة التي تحتفظ بالتدرجات أثناء حساب التحديثات. النوافذ الأطول تجعل كل رمز يتعلم بكفاءة أعلى لكنها ترفع كلفة كل تحديث، بينما النوافذ الأقصر ترخص التحديث لكنها تضحي بكفاءة التعلم من كل رمز.

السؤال الذي يطرحه البحث: هل تبقى النافذة الأفضل نفسها مهما كبرت ميزانية التدريب؟ الأعمال السابقة قارنت النوافذ عبر ميزانيات حسابية مختلفة، لكن لم يكن واضحا ماذا يحدث عندما تزيد الميزانية المتاحة فعلا.

قاس الباحثون كيف يتحول الأداء النسبي لنافذتين مع نمو الميزانية. عزل المنهج كفاءة التعلم لكل رمز بتدريب النافذتين على البيانات نفسها، ثم قارن وصفتي تدريب كاملتين بوقت تدريب متساو تقريبا عند كل ميزانية.

النتيجة الأساسية: النوافذ الأقصر تفقد جزءا كبيرا من أفضليتها كلما كبرت الميزانية. التجارب المتحكم بها أظهرت أن كلا المكسبين يتناقص مع الميزانيات الأكبر، مع تراجع أكبر في مكسب التدريب الممتد. الخلاصة العملية: مقارنة نوافذ الانتشار الخلفي تتوقف على الميزانية المتاحة، والنافذة المفضلة قد تتغير كلما نمت الميزانية، وهو درس مهم لأي فريق يخطط تجارب تدريب على نطاق صغير ثم يعمم نتائجه على نطاق أكبر.

المصدر: https://arxiv.org/abs/2610.38422