「ドメイン確認（Verify Domain）」の実行品質を評価する方法
Verify Domainと実行品質を定義する
「ドメイン確認（Verify Domain）」とは、ドメインが指定された基準を満たしているかどうかを確認するドメイン確認ワークフローを指します。実行品質とは、同じ入力と要件が与えられたときに、そのワークフローが開始から完了まで、どれだけ確実かつ正確にチェックを実行できるかです。
実行品質を評価するには、確認ワークフローを、入力・判断ルール・出力を持つプロセスとして扱います。重要な目標は結果を予測することではなく、意図した手順が実際に実行され、検証可能な出力が生成されたかどうかを判断することです。
メカニズム：測定すべきこと
まず、外部条件に左右されずに一貫して振る舞うべきワークフローの安定部分を特定します。
- 入力の取り扱い：システムは正しいドメイン識別子を受け取り、それを正規化しますか（たとえば大文字小文字の違い）？ 正規化が重要であるなら、期待するルールを文書化してください。
- 確認手順：実行される具体的なチェックを列挙します（たとえばレコードの確認、所有のシグナル、設定フラグの確認など）。各ステップが明確で追跡可能であるほど、実行品質は向上します。
- 判断ロジック：「合格（pass）」と「不合格（fail）」が、ルールセットの観点で何を意味するかを定義します。複数の基準がある場合、システムがすべての基準を要求するのか（論理AND）、それともいずれかの基準を要求するのか（論理OR）を明記してください。
- 出力の透明性：最終結果以外に、システムが返す内容を記録します（たとえば、どの基準が満たされたのか、満たされなかったのか）。
- データの整合性と監査証跡（audit trail）：タイムスタンプ、リクエスト識別子、ログ、そして判断に使われた取得値などの証拠を収集できることを確認します。
安定した仕組みが重要なのは、実行結果を比較できるからです。変動する条件（たとえばネットワーク遅延、第三者の応答、データの鮮度）は、ワークフローが正しくても結果に影響します。
証拠と例：結果を独立に検証する方法
証拠を使って実行品質を評価するには、検証可能な成果物に焦点を当てます。
- 固定した前提のもとでの再現性：テスト用のドメインと、合意した一連の確認基準を選びます。テスト中はドメインの設定が変わらないと仮定します。ワークフローを複数回実行し、結果と説明が一貫しているかを観察します。
- 判断の追跡可能性：各実行について、説明がログと一致していることを確認します。たとえば、ワークフローが「基準Xが満たされた」と主張するなら、基準Xがどのように評価されたかを示す記録データがあるはずです。
- タイミングと完全性のチェック：ワークフローが完全なライフサイクル（リクエスト受領 → チェック実施 → 判断の生成）を捉えていることを確認します。以前の実行と比べて、より速く結果を返したり、フィールドが欠けていたりする場合、それは部分的な実行を示している可能性があります。
- 自分の記録に対する照合：テスト用ドメインについて、自分が「真であるはず」と期待する内容のチェックリストを維持します。次に、ワークフローが示す「基準満足」の内容を、そのチェックリストと比較します。
重要な制約：外部データソースへのリアルタイムな可視性がない場合、「ワークフローの失敗」と「入力データが利用できない、または鮮度が古い」を完全に区別できないかもしれません。その前提を、評価計画の中で明示してください。
制限、失敗モード、注意して見るべき「レッドフラグ」
少なくとも1つの重要な制限は、確認ワークフローが外部情報（たとえばレコード参照）とタイミング（たとえば伝播やキャッシュ）に依存することです。データの鮮度が変われば、正しいワークフローでも異なる出力が得られ得ます。
よくある失敗モードには次のようなものがあります。
- 部分的な実行：システムは最終結果を返すが、1つ以上のチェックをスキップしている、または結果を検証するのに必要な詳細を省略している。
- データ鮮度の不一致：ワークフローがキャッシュされた、または遅延したデータを使うため、「証拠」がドメインの現在の状態を反映していない。
- 合否基準の曖昧さ：基準の対応付けが不明確な場合、ワークフローは一貫して結果を出すかもしれませんが、その結果が「検証したかった内容」と一致していない可能性があります。
- 非決定的な挙動：固定した前提で繰り返し実行しても説明が異なる場合、実行品質の不安定さを示します。
- 監査可能性の欠如：ログやタイムスタンプが利用できない場合、意図した手順が実行されたかどうかを確認できません。
確認チェックリストと、明確化すべき次の質問
「監査可能（ready-to-audit）」なアプローチを使います。実行品質を受け入れる前に、次の質問に証拠をもって答えられるか確認してください。
- ドメイン識別子に対する入力要件は具体的に何ですか？
- どのチェックが行われ、合否基準はどのように定義されていますか？
- どの証拠が返され、それはログや記録に照合できますか？
- 固定した前提のもとで、繰り返し実行すると一貫した結果と説明が得られますか？
- 外部データが古い／欠落している／遅延している場合に、どのような制限が適用されますか？
DOCUMENT END