مثال عملي على الاختبار خارج العينة

إجابة مباشرة

الاختبار خارج العينة هو طريقة لاختبار أداء قاعدة اتخاذ القرار (مثل نموذج التنبؤ أو قاعدة الاستراتيجية) على بيانات لم ترها أثناء التناسب أو التعديل. يجعل المثال العملي logique واضحًا: تخلق نموذجًا باستخدام جزء أول من البيانات التاريخية، ثم تقيمه على جزء منفصل “محفوظ”. الهدف هو تقدير الأداء دون التحيز المتفائل الذي يأتي من التكيف مع نفس البيانات.

يجب أن يوضح المثال العملي افتراضات مثل كيفية تقسيم البيانات، ما هي الحسابات التي يتم تكرارها، وكيف يتم حساب الأداء. يجب أيضًا الإشارة إلى القيود: قد تفشل نتائج الاختبار خارج العينة عندما يتغير السوق، عندما تكون التكاليف والتنفيذ غير واقعيين، أو عندما تتسرب المعلومات من فترة التقييم إلى خطوات التناسب.

آلية والتعريف

إليك سير العمل الأساسي، معبرًا عنه بشكل عام:

1. اختر عائلة النموذج وProcedure التناسب. هذه هي الجزء الذي يمكن أن “يتعلم” من البيانات.
2. قسم مجموعة البيانات المتاحة إلى مجموعتين منفصلتين: فترة داخل العينة (التدريب) وفترة خارج العينة (الاختبار).
3. تناسب أو تعدل فقط على مجموعة داخل العينة (بما في ذلك اختيار المعاملات الفائقة أو العتبات).
4. تجميد النموذج وتقييمه مرة واحدة على مجموعة خارج العينة.

مصطلحات مهمة في هذا السياق:

• “داخل العينة” يعني البيانات المستخدمة للتناسب/التعديل.
• “خارج العينة” يعني البيانات المحفوظة للتقييم.
• “محفوظ” يعني أن فترة الاختبار لا تستخدم لاتخاذ قرارات تعديل إضافية.

لماذا هذا يساعد: عندما تتناسب على نفس البيانات التي تقيمها، يمكنك التقاط الضوضاء بشكل غير مقصود. يقلل الاختبار خارج العينة من هذا النوع من التحيز عن طريق إجبار التقييم على البيانات غير المرئية.

أدلة أو مثال رقمي عملي (مع افتراضات صريحة)

افترض أنك تريد التنبؤ بالاتجاه في اليوم التالي (صاعد أو هابط) بناءً على ميزة واحدة، X، محسوبة من معلومات كل يوم قبل بدء اليوم التالي.

افتراضات للمثال:

• لديك 20 يومًا متتاليًا من البيانات.
• الأيام 1–12 داخل العينة؛ الأيام 13–20 خارج العينة.
• النموذج هو قاعدة بسيطة: التنبؤ “صاعد” إذا X > T، وإلا التنبؤ “هابط”.
• قيم X ونواتج اليوم التالي المحققة ثابتة (لا arrives بيانات جديدة).
• أثناء التعديل، يمكنك اختيار T باستخدام الأيام 1–12 فقط.
• تحسب الدقة ككسر من التنبؤات الصحيحة للاتجاه في اليوم التالي.

الخطوة أ: تعديل T على داخل العينة (الأيام 1–12) افترض أن عندما تجرب عتبات مرشحة، أفضل عتبة على الأيام 1–12 هي T = 0.50.

• الدقة على داخل العينة باستخدام T=0.50: 9 صحيح من 12 = 75%.

الخطوة ب: تجميد وتقييم على خارج العينة (الأيام 13–20) الآن تطبق القاعدة المجمدة (صاعد إذا X>0.50، وإلا هابط) على الأيام 13–20. افترض أن القاعدة تنتج:

• 3 صحيح من 8 أيام.
• الدقة خارج العينة = 3/8 = 37.5%.

كيف تفسير هذا النتيجة الرقمية

• يشير الدرجات داخل العينة (75%) إلى أن القاعدة تناسب شيئًا في فترة التدريب.
• يشير الانخفاض خارج العينة إلى 37.5% إلى أن العلاقة الظاهرية داخل العينة لم تتعمم جيدًا إلى الفترة اللاحقة.
• هذا لا يثبت أن القاعدة غير مفيدة دائمًا؛ يظهر أن، تحت التقسيم والافتراضات المصرح بها، الأدلة من فترة التقييم أضعف من الأدلة من التدريب.

القيود ومodes الفشل المادية

يقلل الاختبار خارج العينة من نوع واحد من التحيز، لكن لا يضمن أداء مستقبلي موثوقًا. تشمل القيود المادية:

1. مقارنات متعددة واستخدام مفرط لمجموعة الاختبار إذا قمت بتعديل T (أو خيارات أخرى) بشكل متكرر بناءً على نتائج فترة الاختبار، فإن الاختبار يصبح جزئيًا داخل العينة. هذا reintroduces التحيز المتفائل.

2. تسرب البيانات إذا استخدم أي جزء من عملية التناسب معلومات غير متاحة في وقت التنبؤ (مثل استخدام المدخلات المشتقة من المستقبل)، فإن تقدير خارج العينة يمكن أن يكون غير صالح حتى مع تقسيم نظيف.

3. غير الثبات (تغيير النظام) يمكن أن يتغير سلوك السلاسل الزمنية المالية مع مرور الوقت. قد يفشل نموذج يعمل في فترة واحدة في أخرى لأن العلاقة الأساسية بين X والناتج قد تغيرت.

4. نقص الواقعية: التكاليف والتنفيذ حتى إذا كانت تنبؤات الاتجاه “صحيحة”، فإن النتائج الفعلية تعتمد على تكاليف المعاملات، الفروقات، وموعد التنفيذ. قد تبالغ مقاييس التقييم المبسطة في النتائج العملية.

5. تأثيرات العينة الصغيرة مع بيانات خارج العينة محدودة، يمكن أن يكون التقدير له تباين عالٍ. قد يعكس عدد منخفض أو عالٍ العشوائية بدلاً من التعميم الحقيقي.