パフォーマンス指標でよくあるミスは？
パフォーマンス指標を壊すよくある誤解
パフォーマンス指標とは、ある活動がどのように進んだかを説明するための数値であり、しばしば時間、口座、手法をまたいで結果を比較することを目的とします。よくあるミスは、これらの指標を、定義やデータの選択、前提に依存する「出力」ではなく、客観的な真実として扱ってしまうことです。
もう一つの頻出の誤りは、安定したメカニクスと変動する条件を混ぜてしまうことです。メカニクスとは、数式とその入力です。変動する条件とは、市場の値動き、執行の質、取引コスト、さらには計測設定の変更です。これらを曖昧にすると、「パフォーマンス」の違いではなく、実際には「計測」の違いに起因する差を、パフォーマンスの差として帰属してしまうことがあります。
メカニクス：指標が通常依拠するもの
パフォーマンス指標は、それを計算するために使われた情報の正確さにしか過ぎません。よくあるミスには次のようなものがあります：
- 指標の定義を途中で変える（たとえば、総収益と純収益の間で切り替える）にもかかわらず、何が変わったかを記録しない。
- 一貫しない時間窓（毎日と毎週など）を使う、または確定値と部分的・推定値を混ぜる。
- 正しい数式で計算しているが、入力が間違っている（たとえば、手数料を含め忘れる、または執行価格と異なる価格の代理変数を使う）。
- 揃っていないデータセット間で指標を比較する（開始日・終了日が異なる、サンプリング頻度が異なる、取引のカバー範囲が異なる）。
例を含める場合は、前提を明示してください：どの入力が使われたのか、コストはどう扱われたのか、結果は確定（実現）なのか推定なのか。これらの前提がなければ、その例は独立に検証できません。
失敗パターンの証拠と例
指標が「正しく」計算されていても、失敗パターンによって誤解を招くことがあります：
-
生存者バイアスと選択バイアス 「成功した」期間、口座、テスト実行だけを含めると、指標は全履歴よりも強く見える可能性があります。その場合、指標はパフォーマンスではなく選択を反映しています。
-
小さなサンプルと不安定な平均 少数のイベント（少ない取引、少ない日数、少ない月数）に基づく指標は、大きく振れます。平均や比率は意味があるように見えても、実際には偶然によって大きく左右されていることが多いです。
-
パフォーマンスと分布形状の違い 2つの系列が同じ平均結果を共有していても、一方は小さな利益が多く、まれに大きな損失があるかもしれません。要約指標を1つだけ追っていると、リスクへのエクスポージャーにおける重要な差を見落とす可能性があります。
-
コストと執行の見えなさ コストを無視したり推定したりすると、過度に楽観的な見通しが作られます。執行条件（タイミングや約定品質など）は実現結果に影響します。そのため、記録された執行ではなく前提に基づく指標は、内部的に整合しないものになり得ます。
制約とリスク：基礎知識として扱うべきもの
パフォーマンス指標は記述であって、予測の保証ではありません。過去の関係は将来の結果を示すものではなく、結果は市場環境、コスト、執行の詳細によって変わります。重要な制約は、指標が複雑な挙動を1つ、または少数の数値に圧縮してしまうことが多く、その結果、ドライバーが隠れてしまい、実際よりも確実に結論が出たように感じられることがある点です。
中立的な制約ベースのチェック：
- 指標の定義（入力、単位、包含ルール）が、比較対象の期間で一致しているか確認する。
- 指標が、実現値と記録されたコストを使っているのか、それとも推定に依存しているのか確認する。
- データセットのサイズとカバー範囲を確認する（部分的な実行と完全な実行を混ぜない）。
- メカニクス（数式の正しさ）と条件（環境で何が変わったか）を分ける。
検証と次の質問
パフォーマンス指標を独立に検証したい場合は、まず次を書き出すとよいでしょう：指標の定義、正確な入力、そして任意の例や計算に対して述べられている前提。次に、その同じ前提を使って再計算し、同じ結果が得られることを確認します。
次に役立つ質問は、その指標が「何が起きたか？」に対して明確な計測ルールで答えているのか、それとも暗黙に「何が起きるか」を主張するために使われているのか、という点です。後者であるなら、不確実性は指標の制約の一部として扱うべきであり、後付けの考慮として扱うべきではありません。