كيف يمكن التحقق من معلومات حول ممارسة الاختبار الخلفي (Backtesting)؟
الإجابة المباشرة
يمكن التحقق من معلومات حول ممارسة الاختبار الخلفي عبر فحص (1) ما هي الطريقة الدقيقة التي تم استخدامها، (2) ما هي المدخلات التي تم افتراضها (البيانات والتكاليف وقواعد التنفيذ)، (3) ما إذا كانت النتائج يمكن إعادة إنتاجها من تلك المدخلات، و(4) ما إذا كانت أنماط الفشل المعروفة قد تم اختبارها. لا تكون أي ادعاء ذا معنى إلا إذا كان محددًا بما يكفي لإعادة تشغيله، وبما يكفي من الاستقلالية بحيث يمكن لشخص آخر الوصول إلى نفس الاستنتاجات تحت نفس الافتراضات.
التعريف والتحقق “ماذا”
ممارسة الاختبار الخلفي هي عملية تقييم نموذج تداول أو قاعدة قرار عبر تطبيقها على بيانات تاريخية ومحاكاة ما كان سيحدث تحت مجموعة محددة من القواعد. يبدأ التحقق عبر فصل:
- الميكانيكيات الثابتة: الخطوات الخوارزمية (منطق الدخول/الخروج، قواعد المراكز، حسابات المخاطر) وإجراء الحساب.
- الشروط المتغيرة: سلوك السوق عبر الزمن، وأي افتراضات يمكن أن تغيّر النتيجة مثل السبريد، والعمولات، والانزلاق السعري (slippage)، والسيولة، وتوقيت التنفيذ.
يُعد هدف التحقق المفيد هو مواصفة كاملة. على الأقل، يجب أن توضح المعلومات أي قاعدة قرار تم اختبارها، وما هي فترة/فترات البيانات المستخدمة، وكيف تم توليد الإشارات في الوقت المناسب، وكيف تمت محاكاة الصفقات.
أدلة وفحوصات مثال يمكنك إعادة إنتاجها
استخدم تسلسلًا هرميًا للمصدر يطابق كيفية جعل الادعاءات قابلة للاختبار:
- وصف الطريقة الأساسية: الوصف الأصلي لإجراء الاختبار الخلفي (المنطق والصيغ).
- شفافية المدخلات: مصدر البيانات التاريخية وخطوات المعالجة المسبقة (التنظيف، وإعادة أخذ العينات، والطوابع الزمنية).
- نموذج التنفيذ: القواعد الخاصة بكيفية امتلاء الأوامر (مصدر السعر، افتراضات التأخير، وكيف يتم تطبيق التكاليف).
- سلسلة الحسابات: تفاصيل كافية لإعادة إنتاج المقاييس من المخرجات الخام (قائمة الصفقات، حسابات تحديد حجم المركز، وطريقة التجميع).
خطوات تحقق قابلة لإعادة الإنتاج:
- الخطوة 1: سجّل الافتراضات. اكتب كل افتراض يؤثر على النتائج: المنطقة الزمنية ومحاذاة الشموع، وما إذا كان النموذج يستخدم الإغلاق مقابل الافتتاح، وتكاليف المعاملات، وما إذا كانت عمليات الامتلاء تفترض توفر سعر نفس الشمعة.
- الخطوة 2: تحقق من توقيت الأحداث (النظر للأمام مقابل النظر للخلف). تأكد أن القرارات عند الزمن t تستخدم فقط المعلومات التي كان من الممكن معرفتها عند الزمن t. من حالات الفشل الشائعة استخدام الأشرطة المستقبلية لتكوين السمات أو لاتخاذ قرارات الدخول.
- الخطوة 3: تحقق من منطق التنفيذ. أكد كيف يحوّل النموذج قواعد القرار إلى صفقات: متى تتغير المراكز، وكيف يتم خصم التكاليف، وما إذا كانت عمليات الامتلاء الجزئي أو الانزلاق السعري يتم تجاهلها أو تقريبها.
- الخطوة 4: أعد حساب المقاييس من سجل الصفقات. إذا كان الاختبار الخلفي يعرض إحصاءات ملخصة فقط، فاطلب المخرجات الأساسية لكل صفقة أو أعد إنشائها من الصيغ المذكورة.
- الخطوة 5: نفّذ اختبار حساسية. غيّر افتراضًا واحدًا في كل مرة ضمن نطاقات معقولة (على سبيل المثال، افتراض تكلفة أو امتلاء مختلف قليلًا) وتأكد مما إذا كانت النتائج متينة أم تنهار.
قيود مادية وأنماط فشل يجب البحث عنها صراحةً:
- انحياز النظر للأمام (استخدام معلومات غير متاحة عند وقت اتخاذ القرار).
- فرط الملاءمة والاختبار المتكرر (ضبط المعلمات حتى تتطابق مع خصوصيات تاريخية).
- امتلاءات غير واقعية (افتراض تنفيذ مثالي دون آثار السيولة أو الانزلاق السعري).
- انحياز الاختيار (اختيار فترات مواتية بعد رؤية النتائج).
وبما أن العلاقات التاريخية لا تضمن النتائج المستقبلية، ينبغي أن يركز التحقق على ما إذا كانت الطريقة متسقة داخليًا وما إذا كانت تُظهر مرونة تجاه تغييرات افتراضية محتملة في الافتراضات.
القيود والمخاطر
حتى عند إجراء الاختبار الخلفي بعناية، تظل النتائج مشروطة بالافتراضات المذكورة. قد تختلف التكاليف وتوقيت التنفيذ وبنية السوق الدقيقة (microstructure) بشكل كبير عبر الفترات، وقد تؤدي فروقات بسيطة في النمذجة إلى تغييرات كبيرة في المقاييس. لذلك، لا ينبغي اعتبار الاختبار الخلفي القوي دليلًا على الأداء المستقبلي؛ بل هو دليل على أن الطريقة يمكن أن تتصرف بطريقة معينة ضمن ظروف محاكاة معينة.
قائمة تحقق من التحقق والسؤال التالي
للتحقق من ادعاء اختبار خلفي بشكل مستقل، تأكد أن كل ما يلي مذكور بوضوح ويمكن إعادة تشغيله:
- نطاق البيانات وتفاصيل المعالجة المسبقة.
- منطق القرار الدقيق وكيف يترجم إلى أوامر.
- افتراضات توقيت التنفيذ وكيف يتم اختيار الأسعار لعمليات الامتلاء.
- افتراضات التكاليف وكيف يتم تطبيقها لكل صفقة.
- مخرجات قابلة لإعادة الإنتاج (على الأقل سجل صفقات أو سلسلة حسابات).
إذا كانت أي من هذه العناصر مفقودة، يمكنك ما يزال تقييم الادعاء بشكل نوعي، لكن لا يمكنك التحقق منه بالكامل. السؤال التالي الذي يجب طرحه هو: هل يمكن إعادة إنتاج نفس الاختبار الخلفي من البداية إلى النهاية باستخدام المعلومات المقدمة فقط، دون إضافة افتراضات مخفية؟