إجابة مباشرة
يمكنك التحقق من معلومات مخاطر الخوارزمية من خلال (1) تعريف ما يعنيه “مخاطر الخوارزمية” بطريقة دقيقة وقابلة للاختبار، (2) فصل الآليات المستقرة عن الظروف المتغيرة، و(3) تشغيل فحوصات قابلة لإعادة الإنتاج تستخدم فرضيات واضحة وبيانات hors ligne. عندما لا يمكن تتبع الادعاء إلى تعريف، وطريقة تقييم، وفرضيات، فهو عادة ما لا يكون قابلاً للتحقق.
تشير مخاطر الخوارزمية إلى احتمال أن يتصرف نهج آلي، أو قائم على القواعد، أو مدفوع بالنموذج بشكل مختلف عن المتوقع بسبب كيفية بناء الخوارزمية، أو تدريبها، أو تكوينها، أو تنفيذه. حتى إذا كانت المنطق الأساسية مستقر، فإن النتائج الفعلية لا تزال تختلف بسبب ظروف السوق، والتكاليف، والاتصال/جودة التنفيذ، والقيود التشغيلية.
الآليات والتعريفات التي يمكنك التحقق منها
ابدأ بالidea. يجب أن يحدد التعريف القابل للتحقق: (أ) المكون الخوارزمي (القواعد، النموذج، أو منطق القرار)، (ب) ما يجعله “مخاطر” (الانحراف عن السلوك المتوقع أو الحساسية للمدخلات)، و(ج) ما الذي تقيسه (على سبيل المثال، معدلات الأخطاء، سلوك السحب، أو انتهاكات القيود). الآليات المستقرة هي الأجزاء التي يمكنك التفكير فيها دون الحاجة إلى أسعار حية.
بعد ذلك، قائمة المدخلات والفرضيات. على سبيل المثال، إذا قال شخص ما أن الخوارزمية لديها “سلوك robust”، clarify ما يعنيه robust (robust إلى أي تغييرات، مقاسة كيف، باستخدام أي نافذة اختبار، وبأية فرضيات التنفيذ). بدون هذه التفاصيل، لا يمكنك تأكيد الادعاء.
أخيرًا، فرق بين طريقة التقييم والتنبؤ. يجب أن تركز الفحوصات التحققية على كيفية اختبار طريقة ما، وليس على دقة التنبؤ بها. العلاقات التاريخية لا تحدد النتائج المستقبلية؛ معاملة الاختبارات الخلفية أو الأداء الماضي كدليل على كيفية سلوك الطريقة تحت الظروف السابقة، وليس كضمان للسلوك لاحقًا.
دليل أو مثال: سير عمل التحقق hors ligne القابل لإعادة الإنتاج
استخدم نهجًا خطوة بخطوة لا يعتمد على بيانات السوق في الوقت الفعلي.
-
اكتب ادعاءًا في شكل قابل للتحقق. مثال قالب: “تحت الفرضيات A، B، وC، باستخدام طريقة التقييم M، تظهر الخوارزمية مؤشر النتيجة X ضمن التسامح T.”
-
حدد إعداد الاختبار. state الفرضيات لكل حساب (خطوة الوقت، نموذج تكاليف المعاملة، فرضية الانزلاق، قواعد حجم المركز، ومتى يتم تطبيق الإشارات بالنسبة لبيانات الأسعار). إذا لم يتم ذكر الفرضيات، marked الادعاء بأنه غير قابل للتحقق بالكامل.
-
اختر فحوصات التقييم المرتبطة بمخاطر الخوارزمية. مؤشرات الفشل الشائعة تشمل حساسية النظام (يعمل في حالة السوق واحدة، يفشل في أخرى)، overfitting (الأداء يعتمد على الخيارات التي تم اتخاذها أثناء التطوير)، وfailure of constraint (يتغير السلوك عندما تتقيد القيود التنفيذية).
-
إعادة الإنتاج باستخدام بيانات hors ligne وProcedure ثابتة. استخدم نفس حدود مجموعة البيانات، نفس تعريفات الميزات/الحسابات، والمنطق نفسه للقرار. إذا أنتجت إعادة الإنتاج المختلفة نتائج مختلفة بشكل كبير، فإن هذا التغير نفسه هو دليل على المخاطر.
-
شمل على الأقل اختبارًا واحدًا للقيود. على سبيل المثال، أعيد تشغيل الإجراء تحت فرضيات معدلة (تكاليف أعلى، توقيت التنفيذ المعدل، أو نافذة بيانات مختلفة). إذا انهار النتائج، فقد حددت آلية المخاطر.
القيود والمخاطر التي يجب تضمينها في التحقق
تأتي القيود المادية غالبًا من الأماكن التي قد تكون غائبة عن الشروحات العامة.
- تغييرات ظروف السوق: العلاقات التاريخية يمكن أن تتعطل عندما تتغير التقلبات، الفوارق، السائلة، أو الارتباطات.
- التكاليف والتنفيذ: تكاليف المعاملة، الانزلاق، والاتصال يمكن أن يسيطر على النتائج الصافية، حتى عندما يبدو منطق الخوارزمية الخام سليمًا.
- المشكلات التشغيلية والبيانات: البيانات المفقودة، أخطاء التخصيص، التحديثات المتأخرة، أو تعريفات البيانات المختلفة يمكن أن تغير السلوك.
- هشاشة التقييم: التغييرات الصغيرة في خيارات المعاملات أو المعالجة السابقة يمكن أن تخلق وهم الاستقرار.
يجب أن يكون على الأقل وضع فشل واضح. على سبيل المثال، قد يكون النهج جيدًا تحت نوع معين من التقلبات ولكن ينتج انحرافات كبيرة عندما تتقلبات التقلبات أو عندما تزداد تواتر التداول بشكل فعال بالنسبة للتكاليف.
قائمة التحقق والسؤال التالي
لتحقق من معلومات مخاطر الخوارزمية بشكل مستقل، يمكنك استخدام هذه القائمة:
- Definition: هل المعلومات تحدد مخاطر الخوارزمية بدقة كافية للقياس؟
- Scope: هل الآليات المستقرة مفصولة عن الظروف المتغيرة؟
- Assumptions: هل الفرضيات مدرجة لكل حساب ومثال؟
- Method: هل طريقة التقييم قابلة لإعادة الإنتاج من Procedure décrite?
- Failure modes: هل يذكر على الأقل حدًا أو كيف يمكن أن تتعطل الطريقة؟
السؤال التالي الذي يجب طرحه: ما هو المؤشر التقييمي المحدد وضع الفشل الذي يمكن أن يرفض الادعاء، تحت فرضيات واضحة؟ إذا تجنب الادعاء التفاصيل القابلة للرفض، تصبح التحقق غير موثوق بها.