Keterbatasan Sistem Berbasis Aturan

Definisi dan gagasan inti

Sistem berbasis aturan adalah pendekatan keputusan yang menggunakan aturan yang telah ditentukan sebelumnya (misalnya, “jika X dan Y benar, maka lakukan Z”). Aturan-aturan tersebut biasanya ditulis untuk mewakili bagaimana sistem harus berperilaku dalam kondisi tertentu. Implikasi pentingnya adalah bahwa logika sistem bersifat eksplisit, tetapi kegunaannya bergantung pada apakah dunia nyata secara konsisten sesuai dengan asumsi yang terkodekan dalam aturan-aturan tersebut.

Bagaimana sistem berbasis aturan bekerja dalam praktik

Sistem berbasis aturan memerlukan tiga elemen untuk berfungsi secara andal: (1) input (fakta yang digunakan oleh aturan), (2) logika aturan (kondisi keputusan dan tindakan), dan (3) interpretasi hasil (apa arti kesuksesan). Di lingkungan nyata, input mungkin berisik, tertunda, tidak lengkap, atau diukur secara berbeda dari saat pengembangan. Bahkan ketika logika aturan sudah benar, input yang salah atau tidak cocok dapat mendorong sistem ke cabang keputusan yang keliru.

Masalah praktis kedua adalah perilaku batas. Banyak aturan dipicu oleh ambang batas (misalnya, “lebih besar dari” atau “melintasi” batas). Di dekat batas-batas tersebut, perubahan kecil pada input dapat mengubah hasil aturan sepenuhnya. Hal ini dapat menciptakan perilaku yang tidak stabil bahkan ketika situasi keseluruhan hanya berubah sedikit.

Mode kegagalan dan di mana sistem menjadi kurang berguna

Salah satu keterbatasan material adalah kerapuhan. Karena sistem berbasis aturan tidak “belajar” dari bukti baru, sistem tersebut dapat gagal ketika kondisi berubah—seperti perubahan rezim volatilitas, hubungan antar variabel, atau makna sinyal input. Keterbatasan terkait adalah bahwa aturan dapat menjadi terlalu cocok (overfit) dengan pengamatan masa lalu: aturan mungkin tampak akurat di bawah data historis, tetapi mungkin tidak dapat digeneralisasi ketika lingkungan berbeda.

Mode kegagalan lainnya melibatkan ketidakpastian dan biaya tersembunyi. Bahkan jika aturan menentukan tindakan yang jelas, hasil nyata dapat sangat dipengaruhi oleh friksi seperti biaya, latensi, dan kualitas eksekusi. Jika efek-efek tersebut tidak dimodelkan secara konsisten, sistem dapat terlihat masuk akal dalam analisis yang disederhanakan tetapi berperilaku buruk di dunia nyata.

Terakhir, konteks yurisdiksi dan operasional dapat menjadi penting. Di mana aturan bergantung pada prosedur, pelaporan, atau kendala yang bervariasi antar lingkungan, sistem berbasis aturan mungkin secara teknis valid namun tidak kompatibel dengan bagaimana operasi sebenarnya dijalankan. Ini bukan hanya kelemahan logika; ini adalah ketidakcocokan antara kumpulan aturan yang statis dan konteks operasional yang berubah.

Verifikasi: apa yang dapat Anda periksa secara independen

Untuk mengevaluasi keterbatasan tanpa mengasumsikan hasil yang dijamin, verifikasi tiga area. Pertama, uji seberapa sensitif sistem terhadap kesalahan input dan pergeseran batas kecil. Kedua, periksa perilaku di luar sampel (out-of-sample) menggunakan data yang tidak dilihat oleh aturan selama pembuatan aturan, dan sertakan skenario yang mewakili kondisi yang berbeda. Ketiga, masukkan asumsi friksi dan eksekusi yang realistis yang relevan dengan lingkungan yang Anda modelkan.

“Pertanyaan lanjutan” yang membantu adalah: asumsi mana yang harus tetap benar agar aturan berfungsi, dan bukti apa yang akan menunjukkan bahwa asumsi tersebut mulai rusak? Jika Anda tidak dapat mengidentifikasi dan menguji asumsi-asumsi tersebut, keterbatasan sistem kemungkinan lebih besar daripada yang terlihat dari kejelasan aturannya.