¿Cómo se puede verificar la información sobre las pruebas prospectivas?

Qué es la prueba prospectiva, en términos sencillos

La prueba prospectiva (a menudo llamada “comercio en papel” o “evaluación fuera de muestra similar a la real” en discusiones generales) es un método de evaluación donde las reglas se aplican a datos posteriores al período utilizado para desarrollarlas o ajustarlas. El propósito es comprobar si los resultados pueden ocurrir de manera plausible cuando el sistema se enfrenta a períodos de tiempo nuevos y no vistos.

La prueba prospectiva debe entenderse como una idea de diseño experimental, no como una garantía de rendimiento. “Verificación” significa que puede confirmar la metodología y reproducir el cálculo bajo los mismos supuestos, especialmente las reglas, los insumos y las ventanas de tiempo exactas.

Una jerarquía de fuentes para verificar la información de las pruebas prospectivas

Cuando vea afirmaciones sobre pruebas prospectivas, verifíquelas priorizando los artefactos más concretos y replicables:

1. Materiales primarios: el conjunto de reglas y los detalles de cálculo

   • Busque una descripción explícita de las reglas de decisión (lógica de entrada/salida, filtros, valores de parámetros).
   • Confirme la asignación de insumos a acciones (qué campos de datos se utilizan y cómo se transforman).
   • Verifique cómo se calculan los resultados (por ejemplo: cómo se calcula la ganancia/pérdida, cómo se manejan las múltiples posiciones y cómo se alinea el tiempo).

2. Evidencia de datos: el conjunto de datos exacto y los períodos de tiempo

   • La prueba prospectiva debe especificar los límites del período prospectivo y el conjunto de datos utilizado.
   • Un replicador necesita acceso a los mismos insumos de datos o una forma auditable de recrearlos.

3. Supuestos de ejecución: costos y llenados

   • Aclare comisiones, spreads (si corresponde), deslizamiento y si los llenados se modelan de manera realista.
   • Si la ejecución es ambigua, replique con los supuestos declarados y pruebe la sensibilidad.

4. Control de cambios: evidencia de que las reglas no se modificaron después de comenzar

   • La verificación requiere determinar si los parámetros estaban “bloqueados” antes de que comenzara la ventana prospectiva.
   • Si las reglas cambiaron a mitad de camino, la prueba prospectiva puede estar parcialmente ajustada retrospectivamente.

5. Informes de replicación independientes (evidencia secundaria)

   • Una vez que los materiales primarios estén disponibles, otros pueden volver a ejecutar las mismas reglas en los mismos períodos.

Pasos de verificación reproducibles que puede ejecutar usted mismo

Utilice una lista de verificación que obligue a la claridad. Una ruta mínima reproducible se ve así:

1. Escriba las reglas exactamente como se indican Traduzca la descripción de la prueba prospectiva a un procedimiento explícito: cada condición, umbral y valor de parámetro. Si una afirmación no proporciona este nivel de detalle, trátela como no completamente verificable.

2. Confirme la separación temporal Identifique qué parte de la línea de tiempo se utilizó para el desarrollo versus la prueba prospectiva. El período prospectivo no debe utilizarse para seleccionar o ajustar reglas.

3. Bloquee los insumos y supuestos Anote las fuentes de datos, las convenciones de zona horaria, la definición de barra/tick y cualquier preprocesamiento. También enumere todos los supuestos de costos/ejecución (comisiones, spreads, modelo de deslizamiento).

4. Vuelva a calcular los resultados desde cero Aplique las reglas al período prospectivo utilizando solo los insumos y supuestos bloqueados. Calcule las mismas métricas de rendimiento afirmadas, utilizando las mismas fórmulas.

5. Intente al menos una verificación de estrés Realice una prueba de sensibilidad para los supuestos que comúnmente difieren entre los informes y la realidad (por ejemplo: un rango de deslizamiento plausible o un manejo alternativo del spread). Esto no “prueba” la rentabilidad futura, pero ayuda a verificar si los resultados dependen de elecciones frágiles.

6. Verifique los indicadores de modos de falla Busque señales de sesgo de look-ahead (uso de información futura), marcas de tiempo inconsistentes, cambios de parámetros después de que comienza la ventana prospectiva o subperíodos seleccionados convenientemente.

Limitaciones materiales y modos de falla a esperar

La información de las pruebas prospectivas puede ser difícil de verificar porque pequeñas diferencias metodológicas pueden cambiar los resultados. Las limitaciones clave incluyen:

• Look-ahead y fuga de datos: Si las reglas utilizan accidentalmente información no disponible en el momento de la decisión, los resultados prospectivos pueden estar sobreestimados.
• Parámetros cambiantes: Si los umbrales o filtros se ajustan en función de las observaciones prospectivas, la prueba ya no es verdaderamente prospectiva.
• Modelado de ejecución inconsistente: Los llenados del mundo real difieren de los supuestos idealizados del backtesting; las pruebas prospectivas que ignoran los costos o utilizan llenados poco realistas pueden inducir a error.
• Efectos de supervivencia y selección: Si solo se muestran períodos o instrumentos favorables, la prueba prospectiva puede no representar el alcance completo previsto.
• Diferencias en los conjuntos de datos: Incluso cuando dos pruebas utilizan las mismas fechas, los diferentes proveedores de datos, ajustes de cotizaciones o construcción de barras pueden producir señales y resultados diferentes.

Qué hacer a continuación si la información aún parece no verificable

Si no puede reproducir los cálculos debido a detalles faltantes (reglas, límites de datos exactos o supuestos de ejecución), debe tratar la afirmación como solo parcialmente verificada.