Kesalahan Umum pada Sistem Berbasis Aturan (dan Cara Memeriksanya Secara Independen)

Definisikan konsepnya terlebih dahulu untuk menghindari ekspektasi yang keliru

Sistem berbasis aturan adalah sebuah pendekatan di mana aturan eksplisit menentukan keluaran (misalnya, klasifikasi, keputusan, atau tindakan). Ide utamanya adalah bahwa sistem mengikuti logika yang terdefinisi seperti “jika kondisi A dan kondisi B terpenuhi, maka keluaran C.”

Kesalahan umum adalah memperlakukan aturan-aturan ini seolah-olah aturan tersebut secara langsung “memprediksi hasil” dalam setiap situasi. Pada kenyataannya, aturan hanya mewakili logika yang dipilih serta kualitas dan keterwakilan dari input. Ketika orang mengharapkan hasil yang konsisten tanpa memeriksa asumsi, mereka sering kali mencampuradukkan logika aturan dengan perilaku pasar atau lingkungan.

Kesalahan 1: Menganggap aturan sebagai jaminan kinerja

Kesalahpahaman umum lainnya adalah berasumsi bahwa karena aturan bersifat eksplisit, hasilnya dapat diandalkan. Aturan tetap dapat menghasilkan hasil yang buruk ketika tidak sesuai dengan kondisi nyata. Penyebab umumnya meliputi rezim yang berbeda dari perkiraan, pola input yang tidak terduga, atau batasan yang terlewatkan seperti biaya transaksi, latensi, atau batasan pada bagaimana keputusan dapat dieksekusi.

Pemeriksaan netral: pisahkan “logika keputusan aturan” dari “ketidakpastian lingkungan.” Jika sebuah klaim hanya berfokus pada aturan dan melewatkan bagaimana biaya, eksekusi, dan perubahan kondisi ditangani, anggaplah klaim tersebut tidak lengkap daripada meyakinkan.

Kesalahan 2: Menggunakan aturan sebagai sinyal mandiri, bukan sebagai kriteria keputusan

Orang sering menggambarkan sebuah aturan sebagai “sinyal” yang berdiri sendiri. Masalahnya adalah sebuah aturan mungkin merupakan kriteria keputusan yang bergantung pada konteks. Jika kondisi di sekitarnya diabaikan, aturan dapat diterapkan secara tidak tepat.

Contoh kesalahpahaman (generik): sebuah aturan yang dibuat menggunakan satu jenis data atau frekuensi pengambilan sampel mungkin diterapkan pada data dengan tingkat pengambilan sampel yang berbeda. Kondisinya “tampak cocok,” tetapi makna dari input berubah. Hasilnya adalah logika aturan diikuti, namun aturan tersebut tidak lagi menggambarkan apa yang dimaksudkan untuk digambarkan.

Pemeriksaan netral: konfirmasikan definisi input yang tepat yang digunakan saat aturan dibuat dan saat aturan tersebut kemudian diterapkan (satuan, waktu, pemfilteran, dan transformasi apa pun). Jika ini berbeda, validitas aturan dapat berubah bahkan jika kode atau kata-katanya terlihat identik.

Kesalahan 3: Overfitting aturan pada hubungan historis

Sistem berbasis aturan dapat dibangun agar sangat cocok dengan data masa lalu. Hal ini sering terjadi ketika banyak aturan disetel hingga hasil historis terlihat bagus. Sistem kemudian berkinerja lebih buruk pada data baru karena aturan menangkap noise atau kondisi yang berumur pendek.

Keterbatasan material: hubungan historis tidak menentukan hasil masa depan. Bahkan aturan yang disusun dengan baik pun dapat gagal ketika proses pembuatan data berubah.

Pemeriksaan netral: uji apakah aturan dievaluasi dengan cara yang mencerminkan kondisi baru (misalnya, menggunakan data yang tidak terlibat dalam pembuatan atau penyetelan aturan). Periksa juga apakah evaluasi didasarkan pada serangkaian asumsi yang konsisten dan transparan, bukan pada pelaporan yang selektif.

Kesalahan 4: Mengabaikan asumsi, biaya, dan batasan eksekusi

Aturan sering kali menyertakan ambang batas, jendela waktu, atau kondisi kelayakan, tetapi pembuat atau peninjau mungkin menghilangkan asumsi. Bagian yang sering terlewat meliputi:

• Apa yang terjadi ketika input hilang atau tertunda.
• Bagaimana keputusan dieksekusi ketika ada batasan (batas kapasitas, frekuensi pembaruan, atau ketersediaan yang tidak sempurna).
• Bagaimana biaya transaksi, biaya, dan efek seperti spread ditangani.

Jika asumsi-asumsi ini tidak dinyatakan, pembaca tidak dapat mengetahui apakah hasil yang buruk berasal dari aturan itu sendiri atau dari perbedaan antara “dunia yang dimodelkan” dan “dunia nyata.”

Pemeriksaan netral: buat daftar setiap asumsi yang memengaruhi perhitungan atau perbandingan, lalu verifikasi apakah asumsi tersebut diterapkan secara konsisten baik dalam pengembangan maupun evaluasi. Jika peninjau tidak dapat mengartikulasikan asumsi, mintalah asumsi tersebut sebelum menafsirkan hasil.

Kesalahan 5: Memperlakukan metrik evaluasi sebagai kebenaran universal

Orang terkadang melaporkan satu metrik (misalnya, satu skor ringkasan) dan menganggapnya sudah cukup. Tetapi metrik dapat menyembunyikan mode kegagalan. Misalnya, sebuah sistem mungkin berkinerja baik rata-rata sambil menghasilkan hasil buruk yang ekstrem sesekali, atau mungkin sensitif terhadap waktu.

Keterbatasan material: hasil bervariasi dengan kondisi pasar, biaya, eksekusi, dan lingkungan yurisdiksi. Tanpa menyelaraskan evaluasi dengan kasus penggunaan yang dimaksudkan, sebuah metrik dapat menyesatkan.

Pemeriksaan netral: carilah bukti bahwa beberapa dimensi yang relevan telah dievaluasi dan bahwa hasil ditafsirkan dalam konteks keterbatasan yang dinyatakan. Jika evaluasi hanya satu dimensi, ketidakpastian tetap ada.