تحديات اختبار العينات الخارجية

الإجابة المباشرة

يهدف اختبار العينات الخارجية إلى تقدير مدى أداء نموذج أو قاعدة في البيانات التي لم يرها أثناء التكييف. أهم تحدي له هو أن “البيانات غير المرئية” التاريخية لا تزال مختلفة عن الظروف المستقبلية الحية. حتى عندما تبدو نتائج العينات الخارجية قوية، قد تظل أخطاء بسبب تغير سلوك السوق، فرضيات غير مثالية (خاصة حول التكاليف والتنفيذ)، والاختيارات في كيفية إجراء التقسيم البيانات والتقييم.

الآلية والتعريف

عملية Typical هي: (1) تكيف نموذج أو قاعدة قرار باستخدام فترة تدريب، (2) اختباره على فترة عينات خارجية لم يستخدمها النموذج لاختيار المعاملات، و(3) مقارنة المؤشرات مثل العائد المتوسط، السحب، أو مقاييس مماثلة للدقة (لتصنيف). الهدف هو اكتشاف التناسب الزائد: ميل القاعدة إلى مطابقة الضجيج في مجموعة التدريب.

يقلل اختبار العينات الخارجية من مخاطرة محددة واحدة - إعادة استخدام نفس البيانات للتعديل والتقييم. لكن لا يزيل مصادر عدم اليقين الأخرى. الاختبار لا يزال يعتمد على فرضيات حول ما كان متاحًا في ذلك الوقت، وكيفية تنفيذ الصفقات، وسواء ستستمر العلاقات الإحصائية في الماضي.

لجعل أي حساب قابلًا للفهم، يجب أن تعلن الفرضيات. على سبيل المثال: ما هي النوافذ الزمنية الدقيقة التي تحدد التدريب مقابل الاختبار، هل توجد نوافذ متداخلة، كيف تتعامل مع البيانات المفقودة، وما هي التكاليف والزلزال في التنفيذ (أو تجاهلها). بدون هذه التفاصيل، يمكن لشخصين وصف تجارب مختلفة باستخدام نفس العبارة.

الأدلة أو المثال (أوضاع الفشل)

اعتبر قاعدة تبدو مستقرة عند الاختبار على فترة عينات خارجية واحدة. يمكن أن تحدث بعض أوضاع الفشل المادية:

1. تغير البيانات (تغير النظام): إذا تغيرت التقلبات، السائلة، الفواصل، أو ديناميكيات الأسعار典型ية بعد فترة العينات الخارجية، قد يستنتج النموذج بشكل خاطئ. البيانات التاريخية “غير المرئية” لا تضمن تغطية الأنظمة المستقبلية.

2. تأثيرات الاختيار المخفية: حتى مع تقسيم نظيف للتدريب/الاختبار، يمكنك اختيار “الأفضل مظهرًا” بشكل غير مقصود من خلال تجربة العديد من المتغيرات ثم التركيز على تلك التي performed أفضل في العينات الخارجية. النتيجة قد تكون متفائلة لأن التقييم يصبح جزءًا من عملية الاختيار.

3. تضارب مؤشر التقييم: قد يحقق نموذج أداء جيدًا في مؤشر لا يعكس القيود الحقيقية. على سبيل المثال، قد تظهر استراتيجية أداء متوسطًا مقبولًا لكنها تعتمد على أحداث نادرة صعبة التنفيذ بشكل موثوق.

4. التكاليف وال불certainty في التنفيذ: غالبًا ما يستخدم الاختبار الخلفي فرضيات مبسطة. يمكن أن تختلف النتائج الحقيقية عند تضمين الفواصل الواقعية، العمولات، تأثيرات التمويل/الليل، التأخير، سلوك ملء الأوامر، أو إدارة المخاطر الحذر. قد يكون اختبار العينات الخارجية متسقًا داخليًا مع فرضياته الخاصة بينما لا يزال يصور الظروف الحية بشكل خاطئ.

5. حدود حجم العينة: إذا كانت فترة العينات الخارجية قصيرة، فإن تقديرات الأداء لها تباين عالٍ. قد يكون نتيجة عشوائية.

التحديات والمخاطر

يمكن تلخيص التحديات على أنها مجموعة من “ما لم تتحكم فيه”:

• قد لا تستمر العلاقات التاريخية. يقيس اختبار العينات الخارجية الاعتماد على الأنماط السابقة، لا الضرورة في المستقبل.
• الفرضيات متغيرة. التكاليف، التنفيذ، والتفاصيل التشغيلية غالبًا ما تكون أكبر الفروق بين الاختبارات الخلفية والواقع.
• البعد غير مؤكد حتى بدون تناسب زائد. إزالة تناسب مجموعة التدريب لا يضمن التعميم تحت تغيرات التوزيع.
• النتائج قد تكون هشة. الأداء قد يعتمد على التقسيم الدقيق، الخطوات الدقيقة للمسبقة، والطريقة الدقيقة المحاكاة للصفقات.

بسبب هذه المشاكل، يكون اختبار العينات الخارجية أكثر موثوقية كتحقق للمتانة أكثر من كونه برهانًا. يوفر أدلة تحت ظروف محددة، لا يقينًا.

التحقق أو السؤال التالي

لتحقق بشكل مستقل من الادعاءات حول اختبار عينات خارجية، ركز على الإعادة بدلاً من الإقناع. اسأل عن: (1) التعريف الدقيق لفترات التدريب والعينات الخارجية، (2) الخطوات السابقة للمعاملات وقواعد تنظيف البيانات، (3) فرضيات التكاليف/التنفيذ المستخدمة في الاختبار، (4) عدد التكوينات أو المعاملات الفائقة التي تم تجربتها قبل اختيار تلك التي تم الإبلاغ عنها، و(5) ما إذا كانت النتائج متسقة عبر تقسيمات متعددة غير متداخلة.

سؤال مفيد التالي هو: كم هي النتائج حساسة للتقسيم، طول نافذة الوقت، ونموذج التنفيذ/التكلفة؟ إذا كانت التغييرات الصغيرة تغير الاستنتاجات بشكل كبير، فإن اختبار العينات الخارجية يشير إلى الهشاشة بدلاً من المتانة.