Cómo verificar información sobre pruebas fuera de muestra

Definir claramente las pruebas fuera de muestra

Las pruebas fuera de muestra son un enfoque de evaluación en el que el rendimiento se evalúa con datos que no se utilizaron para desarrollar, ajustar o seleccionar un sistema. El objetivo es medir qué tan bien los resultados pueden generalizarse a condiciones no vistas, en lugar de qué tan bien el sistema se ajusta a datos pasados.

Para que la información sea verificable, separe la mecánica de cualquier elemento variable:

• Mecánica estable: la idea de reservar datos, las reglas para dividir los conjuntos de datos y el método de evaluación.
• Condiciones variables: comportamiento del mercado, calidad de ejecución, costos de transacción y cualquier regla que pueda diferir entre proveedores o jurisdicciones.

Cuando alguien describe una prueba fuera de muestra, trate estos elementos como entradas distintas que debe poder reproducir: qué datos se usaron para el desarrollo, qué datos se reservaron y cómo se calcularon los resultados.

Utilice una jerarquía de fuentes que realmente pueda auditar

Incluso sin depender de precios en vivo o detalles regulatorios actuales, puede verificar la verificabilidad de la afirmación comprobando la calidad de la fuente en una jerarquía:

1. Documentación del método (máxima prioridad): cualquier especificación escrita que defina el procedimiento de división, la(s) métrica(s) de evaluación y las reglas de manejo de datos.
2. Descripción del conjunto de datos: una explicación clara de qué representa la información histórica, cómo se recopiló o etiquetó, y cómo se aplicaron los límites de tiempo.
3. Notas de cálculo reproducibles: fórmulas o lógica paso a paso que muestren cómo se calcularon los resultados reportados a partir de los datos brutos.
4. Narrativa de resultados (menor prioridad): gráficos, resúmenes o conclusiones sin los detalles del método subyacente.

Si una pieza de información no proporciona suficiente detalle para identificar las reglas de división y cálculo, no puede verificarla de forma independiente. Este es un criterio de verificación clave por sí mismo.

Pasos de verificación reproducibles (lista de verificación de auditoría)

Utilice los siguientes pasos para verificar de forma independiente las afirmaciones sobre pruebas fuera de muestra:

1. Confirme la regla de división (sin reutilización):

   • Identifique exactamente qué períodos pertenecen al entrenamiento/desarrollo y qué períodos están reservados para las pruebas.
   • Asegúrese de que la parte reservada no se haya utilizado para el ajuste de parámetros, la selección del modelo o el diseño repetido de “prueba y error”.

2. Compruebe si hay señales de fuga: busque señales de que la división no fue verdaderamente independiente, como:

   • rangos de tiempo superpuestos entre el desarrollo y las pruebas,
   • normalización de datos o construcción de características que utilizó información de la ventana de prueba,
   • reajuste repetido después de observar el rendimiento de la prueba.

3. Valide la métrica de evaluación y los supuestos:

   • La métrica debe establecerse explícitamente (por ejemplo, cómo se agregan los rendimientos, cómo se trata la capitalización o qué medida de riesgo se utiliza).
   • Si ve cálculos de ejemplo, confirme que establecen claramente los supuestos (como costos y momento de ejecución) y las unidades.

4. Alinee los costos y el momento de ejecución:

   • Si se incluyen costos de transacción o retrasos en la ejecución, el método debe definir cómo se modelaron.
   • Si se excluyen, debe tratar los resultados reportados como incompletos para una comparación en el mundo real.

5. Replique con las mismas reglas, no con la misma historia:

   • Si puede reproducir la misma división y los mismos pasos de cálculo, puede probar si los resultados reportados se derivan del método establecido.
   • Si los resultados no se pueden reproducir, la afirmación está mal especificada o es inconsistente.

Limitaciones materiales y modos de fallo probables

Las pruebas fuera de muestra aún pueden fallar en predecir el comportamiento futuro real. Limitaciones comunes que debe verificar con los detalles del método:

• Sobreajuste disfrazado por cambios en el proceso: si el ciclo de desarrollo ve accidentalmente información de la prueba (directa o indirectamente), la prueba “no vista” ya no es no vista.
• Violaciones de la estructura temporal: una división aleatoria puede ser engañosa para datos ordenados en el tiempo; el método debe justificar el manejo del tiempo.
• Desajuste de costos y ejecución: los resultados calculados sin costos consistentes o con supuestos de ejecución poco realistas pueden no generalizarse.
• Grados de libertad ocultos: si se prueban muchas opciones de diseño, la prueba reservada puede usarse efectivamente para la selección incluso cuando técnicamente no forma parte del entrenamiento.

Debido a que los resultados dependen de condiciones variables, debe tratar los resultados fuera de muestra como una estimación bajo supuestos específicos, no como un pronóstico confiable.

Verificación y siguiente pregunta a realizar

Cuando lea información sobre pruebas fuera de muestra, la siguiente pregunta de verificación es sencilla: ¿Puede reconstruir las reglas exactas de división y cálculo solo a partir de la descripción? Si no, no puede confirmar la afirmación de forma independiente.