Pertimbangan lanjutan untuk metrik kinerja

Jawaban langsung

Metrik kinerja adalah ringkasan kuantitatif dari hasil, kinerja dari waktu ke waktu, dan perilaku terkait risiko. Pertimbangan lanjutan berfokus pada (1) apa yang sebenarnya diukur, (2) bagaimana pengukuran dihitung dari input mentah, (3) bagian mana yang stabil versus bervariasi, dan (4) bagaimana memverifikasi hasil tanpa mengasumsikan hubungan historis akan bertahan.

Cara praktis untuk menalar metrik kinerja adalah dengan memisahkan mekanisme (matematika dan definisi yang Anda kendalikan) dari ketergantungan (kondisi pasar, kualitas eksekusi, biaya, dan cara Anda memilih data). Pemisahan ini membantu Anda menjelaskan apa arti metrik tersebut, mengapa metrik itu dapat berubah meskipun perilaku Anda konstan, dan di mana metrik itu bisa gagal.

Mekanisme dan definisi

Mulailah dengan model yang jelas tentang input dan transformasi. Misalnya, banyak metrik kinerja membutuhkan setidaknya komponen-komponen berikut:

• Serangkaian return (laba rugi yang dikonversi menjadi return). Definisikan return sebagai return sederhana (laba rugi dibagi dengan basis), return log, atau konvensi lain, dan terapkan secara konsisten.
• Jendela waktu dan aturan resampling (harian, per transaksi, atau langkah ekuitas portofolio). Pilihan resampling dapat mengubah volatilitas, kedalaman drawdown, dan rata-rata.
• Penyebut (ekuitas akun, margin, nosional, atau modal awal). Dua orang dapat menghitung metrik yang “sama” dengan penyebut yang berbeda dan mendapatkan nilai yang berbeda secara signifikan.
• Perlakuan biaya (spread, komisi, swap/pembiayaan, dan pajak). Jika data Anda menyertakan harga eksekusi kotor tetapi metrik Anda mengasumsikan harga eksekusi bersih, Anda dapat melebih-lebihkan kinerja.

Kemudian definisikan metrik itu sendiri. Keluarga metrik yang umum meliputi:

• Metrik berbasis return (rata-rata atau pertumbuhan majemuk). Ini sensitif terhadap cara Anda menghitung return dan pembobotan waktu.
• Metrik volatilitas dan variabilitas (deviasi standar atau ukuran serupa). Ini sangat bergantung pada apakah return berjarak sama dan pada penanganan pencilan.
• Metrik drawdown (penurunan dari puncak ke lembah dan durasinya). Ini bergantung pada definisi ekuitas dan apakah Anda melakukan mark-to-market secara konsisten.
• Metrik yang disesuaikan dengan risiko (rasio yang menggabungkan return dan volatilitas). Bahkan jika formula rasio stabil, interpretasi rasio dapat berubah ketika estimasi volatilitas bising atau bergantung pada rezim.

Poin lanjutan adalah memperlakukan perhitungan metrik sebagai sebuah alur kerja dengan langkah-langkah yang ditentukan dengan baik: transaksi mentah → seri posisi/ekuitas → return → formula metrik. Ketika salah satu langkah ambigu, verifikasi menjadi sulit.

Bukti dan contoh (dengan asumsi eksplisit)

Berikut adalah contoh mandiri yang menunjukkan mengapa ketergantungan itu penting, bahkan ketika matematikanya sama.

Asumsi:

• Anda menghitung kinerja dari kurva ekuitas yang ditandai pada stempel waktu yang konsisten.
• Return dihitung sebagai return sederhana harian: r_t = (E_t − E_{t−1}) / E_{t−1}.
• Biaya sudah termasuk dalam ekuitas (sehingga laba rugi bersih dari biaya eksekusi yang ditangkap dalam E_t).
• Anda mengevaluasi selama rentang tanggal yang sama untuk setiap metrik.

Skenario contoh:

• Dalam satu bulan, kualitas eksekusi membaik (harga eksekusi lebih dekat dengan harga yang diharapkan) dan biaya pembiayaan naik (karena periode holding). Perubahan ekuitas sebagian disebabkan oleh biaya dan sebagian lagi oleh pergerakan harga.

Jika Anda menghitung dua metrik—satu berbasis return dan satu berbasis drawdown—nilainya dapat bergerak ke arah yang berbeda:

• Suatu periode dapat menunjukkan return rata-rata yang lebih tinggi tetapi juga drawdown yang lebih dalam jika keuntungan terkonsentrasi sementara kerugian terjadi secara tajam.
• Ukuran drawdown dapat memburuk bahkan ketika return rata-rata naik, jika ekuitas turun secara tiba-tiba sebelum pulih.

Sekarang pertimbangkan kasus tepi yang umum: ketidakcocokan biaya. Misalkan Anda menghitung laba rugi bersih dari spread dan komisi tetapi Anda lupa memasukkan pembiayaan (swap) dalam seri ekuitas untuk beberapa hari. Seri return kemudian menjadi bias secara sistematis, dan metrik apa pun yang menggunakan seri tersebut (volatilitas, drawdown, rasio yang disesuaikan dengan risiko) menjadi lebih sulit untuk diinterpretasikan.

Ini menggambarkan prinsip ketergantungan inti: formula metrik mungkin benar, tetapi seri yang mendasarinya bisa tidak konsisten.

Keterbatasan dan risiko

Metrik kinerja dapat gagal dalam beberapa cara yang material. Pola pikir lanjutan yang berguna adalah memperlakukan setiap keterbatasan sebagai pertanyaan tentang asumsi.

1. Bias seleksi dan kelangsungan hidup Jika Anda menghitung metrik setelah mengecualikan periode, instrumen, atau akun yang “buruk”, hasil Anda dapat terlihat lebih kuat daripada yang seharusnya di bawah aturan pengambilan sampel yang konsisten. Bahkan tanpa manipulasi yang disengaja, filter operasional dapat menciptakan seleksi tersembunyi.

2. Kebingungan penyebut dan normalisasi Metrik yang menggunakan ekuitas akun versus eksposur nosional berperilaku berbeda. Jika leverage atau penggunaan margin berubah dari waktu ke waktu, return berbasis ekuitas dapat mencerminkan kinerja strategi dan perubahan efisiensi modal.

3. Perubahan rezim dan non-stasioneritas Pasar dapat bergeser (volatilitas, struktur korelasi, likuiditas). Hubungan historis antara return dan risiko dapat melemah. Sebuah metrik mungkin tetap valid secara matematis sementara kehilangan kegunaan prediktifnya.

4. Efek eksekusi dan waktu Metrik yang dihitung dari ekuitas akhir hari dapat menyembunyikan drawdown intraday dan selip. Jika waktu eksekusi berbeda dari harga yang digunakan untuk backtest atau feed data, metrik dari sistem yang berbeda mungkin tidak dapat dibandingkan.

5. Ketidakstabilan sampel kecil Beberapa ukuran terkait risiko (terutama estimasi volatilitas atau pola durasi drawdown) dapat menjadi bising ketika ada sedikit perdagangan atau jendela pendek. Rasio yang membagi dengan estimasi dapat berayun secara dramatis.

6. Redundansi metrik bisa menyesatkan Menggunakan banyak metrik yang mengukur properti serupa dapat menciptakan rasa konfirmasi yang salah. Jika semua metrik bergantung pada seri return yang bias yang sama, Anda tidak akan mendeteksi bias itu dengan melihat konsistensi antar metrik.

Risiko-risiko ini tidak berarti metrik kinerja tidak berguna. Itu berarti interpretasi membutuhkan pemeriksaan apakah asumsi sesuai dengan data dan apakah perbandingannya setara.

Verifikasi dan pertanyaan berikutnya

Verifikasi independen harus berfokus pada penghitungan ulang dan sensitivitas, bukan hanya interpretasi.

Pendekatan verifikasi yang solid meliputi:

• Hitung ulang dari input mentah: Mulai dari transaksi atau langkah ekuitas, bangun kembali seri return menggunakan konvensi dan jendela waktu yang dinyatakan.
• Periksa keselarasan penyebut: Konfirmasikan bahwa basis yang digunakan dalam return dan normalisasi apa pun konsisten di seluruh periode.
• Audit penyertaan biaya: Verifikasi apakah pembiayaan, komisi, dan spread tercermin dalam ekuitas yang digunakan oleh metrik.
• Lakukan pemeriksaan sensitivitas: Hitung ulang metrik setelah mengubah satu asumsi pada satu waktu (misalnya, konvensi return atau frekuensi resampling) untuk melihat seberapa stabil hasilnya.
• Pisahkan perhitungan dari interpretasi: Perhitungan bisa benar sementara interpretasi terbatas karena kondisi pasar bervariasi.

Pertanyaan lanjutan yang berguna untuk diajukan adalah: Bagian mana dari metrik yang berada di bawah kendali Anda (pemrosesan data dan definisi), dan bagian mana yang berasal dari variabilitas yang tidak dapat dikendalikan (rezim pasar, kualitas eksekusi, dan perbedaan yurisdiksi atau operasional)? Jika Anda tidak dapat menjawabnya dengan jelas, metrik tersebut kemungkinan diperlakukan dengan lebih percaya diri daripada yang dibenarkan oleh asumsi yang mendasarinya.