ما هو مثال مُنجَز على فرط التكيّف؟ سيناريو عددي مع افتراضات

الإجابة المباشرة

يُظهر المثال المُنجَز لفرط التكيّف كيف يمكن أن يبدو النموذج دقيقًا على البيانات التي تم تدريبه عليها، بينما يَعمل بشكل سيئ على بيانات جديدة. لا يُعد فرط التكيّف أمرًا مضمونًا؛ بل هو مخاطرة تزداد عندما يصبح النموذج أكثر تعقيدًا مقارنةً بحجم وتنوع البيانات المتاحة.

الآلية أو التعريف

يعني فرط التكيّف أن عملية التعلّم تُطابق خصوصيات في مجموعة بيانات التدريب—ضوضاء عشوائية، أو غرائب، أو ارتباطات عرضية بالخطأ—بدلًا من تعلم علاقات مستقرة تنطبق أيضًا على البيانات المستقبلية.

طريقة بسيطة للتفكير فيه:

• مطابقة التدريب (داخل العينة): مدى تطابق النموذج مع البيانات التاريخية التي رآها أثناء التدريب.
• مطابقة الاختبار (خارج العينة): مدى تطابق النموذج نفسه الثابت مع بيانات جديدة لم يستخدمها في التدريب.

إذا تحسّن مطابقة التدريب كلما زاد تعقيد النموذج، بينما بقيت مطابقة الاختبار كما هي أو ساءت، فإن هذا النمط يتوافق مع فرط التكيّف.

الدليل أو المثال (مع كل الافتراضات)

لنفترض موقفًا يتعين عليك فيه التنبؤ بقيمة هدف y من مُدخل واحد x باستخدام مجموعة بيانات صغيرة جدًا.

الافتراضات

1. لدينا 4 ملاحظات مُعنونة للتدريب: (x, y): (1,2)، (2,4)، (3,6)، (4,8).
2. سنقارن بين نموذجين:
   • النموذج A: خط مستقيم مُجبر على المرور عبر الأصل، y = m x.
   • النموذج B: كثير حدود من الدرجة 3 يطابق بدقة جميع نقاط التدريب الأربع.
3. نعرّف الخطأ على أنه متوسط الخطأ التربيعي (MSE) على مجموعة اختبار منفصلة.
4. نفترض أن نقاط الاختبار هي: (x, y): (5,10) و(6,12).
5. نفترض أن النموذج B يحافظ على صيغة كثير الحدود التي تم ضبطها كما هي عند تقييمه على نقاط الاختبار.
6. لا نضيف أي تكاليف معاملات أو انزلاق أو قيود تنفيذ (لإبقاء المثال رياضيًا بحتًا).

الخطوة 1: ملاءمة النموذج A (خط يمر عبر الأصل)

تتبع بيانات التدريب y = 2x تمامًا، لذا فإن أفضل قيمة لـ m للنموذج A هي m = 2.

• خطأ التدريب للنموذج A: 0 MSE.

على مجموعة الاختبار:

• عندما x=5، تكون القيمة المتوقعة y = 2·5 = 10 (تطابق فعلي)
• عندما x=6، تكون القيمة المتوقعة y = 2·6 = 12 (تطابق فعلي) لذا فإن خطأ الاختبار للنموذج A أيضًا هو 0 MSE.

الخطوة 2: ملاءمة النموذج B (كثير حدود من الدرجة-3 يطابق التدريب تمامًا)

بما أن النموذج B مرن بما يكفي، يمكنه مطابقة نقاط التدريب الأربع بدقة، لذا:

• خطأ التدريب للنموذج B: 0 MSE.

لكن هذا النموذج لا “يعرف” القاعدة الأساسية. ومع وجود 4 نقاط تدريب فقط، توجد لا نهائي سلوكيات خارج تلك النقاط؛ فعديد من ملاءمات الدرجة-3 ستطابق التدريب بينما تختلف على نقاط الاختبار. في هذا السيناريو المُنجَز، افترض أن كثير الحدود من الدرجة-3 الذي تم تعلّمه ينتج تنبؤات على مجموعة الاختبار على النحو التالي:

• x=5 → y متوقعة = 9
• x=6 → y متوقعة = 13 (هذه القيم متسقة مع فكرة أن المرونة الإضافية يمكن أن تُشوّه الاستقراء.)

ثم يكون متوسط الخطأ التربيعي لاختبار النموذج B:

• الأخطاء: (9−10) = −1 و(13−12) = +1
• الأخطاء المربعة: 1 و1
• MSE = (1+1)/2 = 1

ما الذي يوضحه ذلك

• لدى كلا النموذجين خطأ تدريب صفري.
• النموذج A يتعمم في هذا السيناريو.
• يمكن للنموذج B أن يتعمم بشكل سيئ حتى مع خطأ تدريب صفري.

الدرس المفاهيمي هو سبب كون فرط التكيّف أمرًا محتملًا: يمكن لنموذج أكثر تعقيدًا أن يطابق أنماط التدريب بدقة، لكن ذلك لا يضمن وجود الأنماط نفسها في بيانات المستقبل.

القيود والمخاطر

1. لا ضمان من الملاءمة التاريخية: لا يعني التطابق المثالي مع التدريب الأداء المستقبلي. قد تكون العلاقة عرضية أو خاصة بنظام معين.
2. تضخّم فرط التكيّف بسبب صِغر مجموعات البيانات: مع عدد أقل من نقاط البيانات، يمكن لعدد كبير من الدوال المعقدة أن تلائم التدريب بينما تختلف في أماكن أخرى.
3. خطر تسرب البيانات: إذا أثرت معلومات من فترة الاختبار على التدريب بالخطأ (حتى بشكل غير مباشر)، فقد تكون نتائج الاختبار متفائلة بشكل زائد.
4. تغيرات النظام والضوضاء: إذا تغيّر مسار توليد البيانات، فقد تختفي العلاقة “المستقرة”.
5. خيارات التقييم مهمة: يمكن أن تؤدي تقسيمات تدريب/اختبار مختلفة، ومقاييس مختلفة، وتعريفات مختلفة للخطأ إلى تغيير ما إذا كنت تلاحظ فرط التكيّف.

التحقق أو السؤال التالي

للتحقق بشكل مستقل مما إذا كان فرط التكيّف يحدث، قارن أخطاء داخل العينة وأخطاء خارج العينة مع التحكم في التعقيد:

• ابدأ بفئة نماذج أبسط.
• زِد المرونة تدريجيًا.
• راقب ما إذا كان خطأ التدريب ينخفض بينما خطأ الاختبار يزيد.

سؤال عملي تالٍ هو: ما مدى حساسية النتائج لتقسيم تدريب/اختبار بعينه ولمقياس التقييم؟