اختبار خارج العينة مقابل مفاهيم فوركس ذات صلة

الإجابة المباشرة

اختبار خارج العينة (غالبًا ما يُختصر كـ OOS) هو خطوة تقييم مصممة لقياس مدى نجاح مجموعة من القواعد أو المعلمات المُلائمة في العمل على بيانات لم تُستخدم لبنائها أو ضبطها. ويختلف عن أفكار تقييم فوركس ذات صلة—خصوصًا اختبار الرجوع للخلف والاختبار للأمام—لأن هذه المفاهيم تختلف في متى وأي بيانات تُستخدم في الملاءمة مقابل تقييم الأداء.

طريقة مفيدة للتفكير في الفرق هي فصل مرحلتين:

1. تكوين النموذج/المعلمات (اختيار القواعد والمعلمات)، و
2. تقييم الأداء (قياس النتائج).

يحافظ اختبار خارج العينة على فصل هاتين المرحلتين عبر استخدام “بيانات جديدة” للتقييم، وهي الآلية الرئيسية التي تقلل (لكن لا تلغي) النتائج المتفائلة الناتجة عن فرط الملاءمة.

الآليات: ماذا يفعل كل مفهوم بالبيانات

اختبار خارج العينة (OOS)

اختبار خارج العينة هو ممارسة تقييم منطق تداول مرشح (القواعد، وإعدادات المؤشر، والعتبات، وحدود المخاطر، وخيارات مشابهة) على مجموعة بيانات تم حجبها عن الفترة التي استُخدمت لبناء تلك الاختيارات.

في إعداد تعليمي قياسي، تفترض:

• لديك سلسلة أسعار تاريخية.
• تقسمها إلى جزأين على الأقل: جزء “تطوير” (داخل العينة) وجزء “تقييم” (خارج العينة).
• تُكوّن النهج أو تُلائمه باستخدام جزء التطوير فقط.
• تُبلّغ مقاييس الأداء باستخدام جزء OOS فقط.

الهدف ليس التنبؤ بالمستقبل مباشرة. بدلًا من ذلك، تختبر ما إذا كانت النتائج الظاهرية للنهج في فترة التطوير تمتد إلى بيانات لم يرها.

اختبار الرجوع للخلف

اختبار الرجوع للخلف هو المفهوم الأوسع لمحاكاة كيفية أداء القواعد على البيانات التاريخية. وبأبسط صورة، يجيب اختبار الرجوع للخلف: “إذا طُبقت هذه القواعد على الماضي، فماذا ستكون النتائج المحاكاة؟”

يمكن إجراء اختبار الرجوع للخلف بطرق عديدة، بما في ذلك أساليب تُستخدم فيها نفس البيانات لتوليف وضبط وتقييم الأداء. وعندما يحدث ذلك، قد يبدو الأداء أفضل مما سيكون عليه مع بيانات غير مرئية حقًا، لأن المحاكاة قد تعكس اختيارات تتطابق بالصدفة مع الضوضاء.

لذلك، الفرق الأساسي مقابل OOS هو أن اختبار الرجوع للخلف ليس “خطأ”، لكن اختبار الرجوع للخلف وحده لا يضمن فصلًا صارمًا بين التكوين والتقييم.

الاختبار للأمام

الاختبار للأمام (ويُوصف أحيانًا بأنه “تداول ورقي” أو “التشغيل على بيانات لاحقة”) يقيّم نهجًا عبر فترات زمنية لاحقة بعد فترة التطوير.

من الناحية المفاهيمية، يركز على التوقيت: تترك النظام “يعمل” في فترات لم تكن متاحة أثناء التطوير. وهذا يجعله أقرب إلى الاستخدام في الوقت الحقيقي مقارنةً بقسمة تاريخية واحدة فقط.

ومع ذلك، ما يزال الاختبار للأمام يعتمد على افتراضات. حتى إذا احترمنا ترتيب الزمن، يمكن أن تختلف النتائج مع:

• كيفية نمذجة تكاليف المعاملات،
• ما إذا كان يتم محاكاة التنفيذ بشكل واقعي،
• وما إذا كانت ظروف السوق تتغير.

مقارنة محدودة: كيف تختلف المعايير

فيما يلي مقارنة محدودة باستخدام معايير تحقق شائعة. ولكل معيار، فإن “المالك الكنسي” هو المفهوم الذي تعرّفه يعالج ذلك المعيار بشكل مباشر أكثر.

1) فصل البيانات بين التطوير والتقييم

• اختبار خارج العينة (المالك الكنسي: OOS): يتطلب صراحةً بيانات تقييم محجوبة.
• اختبار الرجوع للخلف (المالك الكنسي: مفهوم اختبار الرجوع للخلف): قد يفصل التطوير عن التقييم أو لا يفصل.
• الاختبار للأمام (المالك الكنسي: الاختبار للأمام): يقيّم على فترات لاحقة، عادةً بعد التطوير، لكنه لا يضمن تلقائيًا فصل كل قرارات الضبط بشكل مثالي.

2) الغرض الرئيسي

• اختبار خارج العينة: تقييم القدرة على التعميم على بيانات تاريخية جديدة.
• اختبار الرجوع للخلف: محاكاة السلوك التاريخي لمجموعة قواعد.
• الاختبار للأمام: تقييم السلوك مع تقدم الزمن إلى بيانات لاحقة.

3) مخاطر النتائج المتفائلة

• اختبار خارج العينة: يقلل التحيز المتفائل عند إجرائه مع فصل واضح، لكنه قد يعاني ما يزال من المقارنات المتعددة، أو إعادة الضبط المتكررة، أو تسريب البيانات عبر المعالجة المسبقة.
• اختبار الرجوع للخلف: قد يكون متفائلًا جدًا إذا كانت نفس مجموعة البيانات تقود التصميم والتقييم معًا.
• الاختبار للأمام: قد يظل متفائلًا إذا تم تعديل المنهج بشكل متكرر باستخدام نتائج الاختبار للأمام، أو إذا كانت افتراضات التنفيذ غير واقعية.

4) أنماط الفشل الشائعة

• أنماط فشل اختبار خارج العينة: تسريب البيانات (استخدام معلومات مستقبلية بشكل غير مباشر)، فرط الملاءمة للجزء المحدد من OOS، وتكرار اختيار المعلمات عبر العديد من التجارب.
• أنماط فشل اختبار الرجوع للخلف: تحيز داخل العينة لأن التقييم يتداخل مع عملية الملاءمة.
• أنماط فشل الاختبار للأمام: تغيّر النظام بعد التطوير، وعدم تطابق بين التنفيذ المحاكى والتنفيذ الحقيقي.

دليل أو مثال (مع افتراضات صريحة)

فكر في مثال تعليمي بسيط مع افتراضات مذكورة مسبقًا.

افترض أنك تبدأ بقانون يستخدم معلمة واحدة: طول نافذة lookback. لديك 10 سنوات من بيانات أسعار أسبوعية.

• فترة التطوير: السنوات 1–7
• فترة التقييم: السنوات 8–10

الخطوة A (التكوين): تجرب أطوال نوافذ متعددة وتختار النافذة ذات أفضل أداء خلال السنوات 1–7.

الخطوة B (اختبار OOS): تثبت طول النافذة المختار وتقيّم الأداء على السنوات 8–10.

في هذا الإعداد:

• إذا تحسنت النتائج بشكل كبير في السنوات 8–10، فهذا يشير إلى أن القاعدة قد تتعمم خارج فترة التطوير.
• إذا انهارت النتائج في جزء OOS، فهذا يعني أن نجاح فترة التطوير قد يكون خاصًا بتلك البيانات المبكرة.

الآن قارن ذلك مع سيناريو اختبار رجوع للخلف “صِرف” حيث تقيّم وتختار المعلمات باستخدام جميع السنوات العشر مرة واحدة. حتى إذا أظهرت المحاكاة نتائج قوية، لا يمكنك نسبها إلى التعميم لأن فترة التقييم استُخدمت بشكل غير مباشر لتشكيل المعلمات.

وأخيرًا، قارن مع الاختبار للأمام: افترض أنك تطور المنهج في السنوات 1–7، ثم تشغله على السنوات 8–10 بطريقة تشبه تقدم الزمن. يمكن أن يكشف مشكلات مثل افتراضات التنفيذ العملية، لكنه ما يزال لا يضمن الأداء المستقبلي، لأن الأسواق قد تتغير، ولأن تكاليف المعاملات وعمليات التنفيذ قد تختلف عن النماذج المبسطة.

القيود والمخاطر (ما الذي قد يحدث خطأ)

حتى مع اختبار خارج العينة، توجد قيود جوهرية وأنماط فشل ذات صلة بتقييم فوركس.

1. فرط الملاءمة رغم OOS إذا كنت تعدّل المعلمات بشكل متكرر بناءً على نتائج OOS، فإن جزء OOS يصبح فعليًا جزءًا من عملية اتخاذ القرار. وهذا قد يعيد إدخال التفاؤل.

2. تسريب البيانات إذا استخدمت المعالجة المسبقة معلومات لم تكن متاحة في وقت التقييم (على سبيل المثال، التطبيع المحسوب باستخدام قيم مستقبلية)، فقد تكون نتائج OOS مضللة.

3. عدم الثبات وتغيّر النظام قد تتغير سلوكيات أسواق الفوركس مع مرور الوقت. قد لا يعمل منهج نجح في نظام واحد في نظام آخر، لذلك لا يُعد أداء OOS ضمانًا للمتانة.

4. عدم تطابق التكاليف والتنفيذ غالبًا ما تُبسّط محاكاة اختبار الرجوع للخلف والاختبار للأمام تنفيذ الصفقات. قد تؤدي الفروقات في تكاليف المعاملات، والسبريد، والانزلاق، والتعامل مع الأوامر إلى تغيير النتائج بشكل ذي معنى.