アウト・オブ・サンプル・テストに関する情報を検証する方法
アウト・オブ・サンプル・テストを明確に定義する
アウト・オブ・サンプル・テストとは、性能を、システムの開発・チューニング・選定に使用されなかったデータで評価する評価手法です。目的は、過去データにどれだけうまく適合するかを測ることではなく、未見の条件に対して結果がどれほど一般化し得るかを測ることです。
情報を検証可能にするには、変動要因から仕組みを切り分けます：
- 安定した仕組み： データをホールドアウトするという考え、データセットを分割するためのルール、そして評価方法。
- 変動する条件： 市場の挙動、執行の品質、取引コスト、そしてプロバイダーや管轄によって異なり得るあらゆるルール。
誰かがアウト・オブ・サンプル・テストについて説明する場合、次のようなものは、再現できなければならない別個の入力として扱ってください。つまり、開発に使われたデータは何か、どのデータがホールドアウトされたのか、そして結果はどのように計算されたのか、です。
実際に監査できるソース階層を使う
ライブ価格や現在の規制の詳細に頼らなくても、階層の中でソースの質を確認することで、その主張の検証可能性を確かめられます：
- 方法のドキュメント（最優先）： 分割手順、評価指標（複数可）、およびデータ取り扱いルールを定義する、あらゆる書面による仕様。
- データセットの説明： 歴史データが何を表しているのか、どのように収集またはラベル付けされたのか、そして時間境界がどのように強制されたのかを明確に説明すること。
- 再現可能な計算メモ： 数式、または、生データから報告された結果がどのように計算されたかを示すステップごとの論理。
- 結果のナラティブ（最も低い優先度）： 基となる方法の詳細がないままのチャート、要約、結論。
分割と計算ルールを特定するのに十分な詳細が情報に含まれていない場合、それを独立に検証することはできません。これは、それ自体が重要な検証基準です。
再現可能な検証手順（監査チェックリスト）
次の手順を使って、アウト・オブ・サンプル・テストに関する主張を独立に検証してください：
-
分割ルールを確認（再利用なし）：
- 学習／開発に属する期間がどれか、そしてテスト用に予約された期間がどれかを正確に特定する。
- ホールドアウト部分が、パラメータのチューニング、モデル選定、または繰り返しの「試行錯誤」設計に使われていないことを確認する。
-
リークの兆候を確認： 分割が本当に独立していないことを示すサインを探します。例えば：
- 開発とテストの間で時間範囲が重複している、
- データ正規化や特徴量構築が、テスト期間の情報を使っている、
- テストのパフォーマンスを観察した後に、繰り返し再チューニングしている。
-
評価指標と前提を検証する：
- 指標は明示されるべきです（例えば、リターンがどのように集計されるのか、複利がどのように扱われるのか、どのリスク指標が使われるのか）。
- 例示の計算が見える場合は、コストや執行タイミングなどの前提が、明確に述べられていることを確認してください。また、単位も確認します。
-
コストと執行タイミングを整合させる：
- 取引コストや執行の遅延が含まれているなら、その方法がどのようにモデル化されたかを定義している必要があります。
- それらが除外されているなら、報告された結果は現実の比較に対して不完全だと見なすべきです。
-
同じルールで複製する（同じ物語ではない）：
- 同じ分割と計算手順を再現できるなら、報告された結果が、述べられた方法から導かれるかどうかを検証できます。
- 結果が再現できない場合、その主張は不足指定か、または実行間で一貫性がない可能性があります。
重大な制約と起こりやすい失敗モード
アウト・オブ・サンプル・テストは、実際の将来の挙動を予測できないことがあります。よくある制約として、方法の詳細に照らして確認すべき点：
- プロセス変更によって偽装された過学習： 開発ループが偶然にテスト情報を（直接または間接に）見てしまっている場合、「未見」のテストはもはや未見ではありません。
- 時間構造の違反： ランダム分割は、時系列データに対して誤解を招く可能性があります。方法は時間の扱いを正当化する必要があります。
- コストと執行の不一致： 一貫したコストなし、または非現実的な執行前提で計算された結果は、一般化しないかもしれません。
- 隠れた自由度： 多くの設計選択肢が試されている場合、技術的には学習の一部ではないとしても、ホールドアウトテストが選定に実質的に使われている可能性があります。
結果は変動する条件に依存するため、アウト・オブ・サンプルの結果は、信頼できる予測ではなく、特定の前提のもとでの推定として扱うべきです。
検証と次に尋ねるべき質問
アウト・オブ・サンプル・テストに関する情報を読んだとき、次の検証質問は明快です：説明だけから、正確な分割と計算ルールを再構築できますか？ できないなら、その主張を独立に確認することはできません。