الدليل العملي لتكوينات المحولات - القوالب والمقايضات والضبط

1. نظرة عامة على تكوينات المحولات

يصف "تكوين المحول" مجموعة المعلمات الفائقة المعمارية وإعدادات التدريب التي تحدد مثيل نموذج المحول. يتضمن ذلك الاختيارات الهيكلية (عدد طبقات التشفير/وحدة فك التشفير، وأبعاد النموذج، وعدد رؤوس الانتباه، والحجم المخفي للتغذية الأمامية)، والتنظيم (معدلات التسرب، وموضع الطبقة المعيارية)، وإعدادات التدريب/وقت التشغيل (حجم الدفعة، وطول التسلسل، والمحسن، والجدول الزمني لمعدل التعلم). يحدد هذا القسم بإيجاز الأجزاء التي ستراها في القوالب أدناه وسبب أهميتها بالنسبة للأداء والحوسبة ووقت الاستجابة.

المعلمات الهيكلية الرئيسية

هذه هي المعلمات التي تحدد بشكل أساسي سعة النموذج واستخدام الذاكرة:

• عدد الطبقات (L): مجموع كتل المحولات. عادةً ما تؤدي المزيد من الطبقات إلى زيادة القوة التمثيلية ولكنها تكلف المزيد من الذاكرة ووقت الاستدلال.
• البعد النموذجي (d_model): التضمين وعرض الإسقاط الاهتمام. يتحكم في التعبير لكل رمز مميز.
• رؤساء (ح): عدد رؤوس الانتباه كل رأس له حجم d_k = d_model / h (يجب تقسيمه بالتساوي).
• البعد FFN (d_ff): حجم طبقة التغذية الأمامية من حيث الموضع؛ تتراوح النسب المشتركة من 2× إلى 4×d_model.

2. اختيار التكوينات لمهام محددة

2.1. زمن استجابة منخفض على الجهاز (الجوال، الحافة)

بالنسبة للاستدلال على الجهاز، قم بإعطاء الأولوية لنموذج d_model الأصغر وعدد أقل من الطبقات، وتقليل طول التسلسل إن أمكن. استخدم عددًا أقل من الرؤوس (على سبيل المثال، 2-4) لتبسيط إسقاط الانتباه وتفضيل نسبة 1.5-2× FFN. يوصى بالتدريب المدرك للكمية وتقطير المعرفة للحفاظ على الدقة.

• مثال: L=6، d_model=320، h=4، d_ff=1024، التسرب=0.1
• السلوك: زمن وصول منخفض، جيد لتصنيف التسلسل القصير ومهام NER الصغيرة.

2.2. نماذج متوسطة الحجم عالية الدقة (بحث / إنتاج)

تعمل التكوينات "الأساسية" المتوازنة بشكل جيد مع العديد من مهام البرمجة اللغوية العصبية ومهام تحويل الرؤية. إنهم يستبدلون الحوسبة والذاكرة بتعميم أقوى ويكونون مناسبين للخدمة من جانب الخادم أو الضبط الدقيق لمجموعات البيانات متوسطة الحجم.

• مثال: L=12، d_model=768، h=12، d_ff=3072، التسرب=0.1
• السلوك: قوي في فهم اللغة، والتوليد بتكلفة تدريب يمكن التحكم فيها.

2.3. نماذج كبيرة (التدريب المسبق / أحدث ما توصلت إليه التكنولوجيا)

تقيس التكوينات الكبيرة d_model وL وغالبًا ما تستخدم شبكات FFN أوسع والمزيد من الرؤوس. إنها تتطلب تدريبًا موزعًا وخيارات محسّنة/جدولة دقيقة للتقارب بشكل موثوق.

• مثال: L=24–48، d_model=1024–2048، h=16–32، d_ff=4096–8192، التسرب=0.1
• السلوك: تعميم ونقل ممتازان، ولكن يتطلب حوسبة وذاكرة عالية.

3. قوالب التكوين المشتركة (جاهزة للمهمة)

وأوضح القوالب

فيما يلي قوالب التكوين العملية القابلة للنسخ واللصق (تلميحات التدريب الهيكلي). استخدمها كنقاط بداية وقم بتكييف حجم الدفعة ومعدل التعلم وطول التسلسل مع أجهزتك ومجموعة البيانات الخاصة بك.

4. نصائح عملية لضبط تكوينات المحولات

تحديد أولويات المعلمات الفائقة

إذا كان عليك ضبط مجموعة صغيرة من المقابض، فقم بإعطاء الأولوية لحجم النموذج (d_model & L) أولاً، ثم معدل التعلم وحجم الدفعة. اضبط عدد الرؤوس فقط إذا أصبح d_model/h صغيرًا جدًا (احتفظ بحجم الرأس ≥ 32 للتدرجات الثابتة في العديد من التطبيقات).

التنظيم والاستقرار

استخدم التسرب (0.1) ومتغيرات الطبقة (ما بعد LN أو ما قبل LN اعتمادًا على البنية). بالنسبة للنماذج العميقة، غالبًا ما يوفر Pre-LN تدريبًا أكثر استقرارًا. القطع المتدرج (1.0) يمنع حدوث طفرات؛ يقلل التدريب المختلط الدقة (AMP) من الذاكرة ويسرع التدريب ولكنه يراقب عدم الاستقرار.

5. مقارنة سريعة: متى يتم اختيار التكوين

• الحافة / الجوال: قوالب صغيرة، التكميم العدواني، والتقطير.
• الضبط الدقيق / الإنتاج: قوالب أساسية مع ضبط دقيق لحجم الدُفعة وLR.
• التدريب المسبق / البحث: قوالب كبيرة مع تدريب موزع ومحسنات متقدمة.

قائمة التحقق قبل الالتزام بالتكوين

• هل يقسم d_model بالتساوي على عدد الرؤوس؟ إذا لم يكن الأمر كذلك، فاضبط h أو d_model.
• تقدير ذاكرة GPU: d_model الأكبر وحجم الدفعة يضاعفان الذاكرة. استخدم تراكم التدرج لمحاكاة دفعات أكبر.
• قرر ما إذا كنت تريد استخدام بنية ما قبل LN أو ما بعد LN بناءً على احتياجات العمق والاستقرار.

الملاحظات النهائية

استخدم القوالب أعلاه كنقاط بداية وقم بضبطها بشكل متكرر بناءً على مقاييس التحقق وقيود الأجهزة. تتبع كلاً من الإنتاجية (الرموز المميزة/ثانية) ووقت الاستجابة لكل رمز مميز أثناء التقييم. عندما تكون في شك، ابدأ من القالب "Base" وقم بتشغيل عمليات الاجتثاث المستهدفة: قم بتقليل أو زيادة L وd_model بشكل مستقل لمراقبة المكاسب الهامشية.