Respuesta directa
La información sobre el sobreajuste se puede verificar comprobando si el éxito aparente de un modelo con datos pasados sobrevive a un procedimiento de evaluación estricto y repetible. La verificación debe centrarse en tres aspectos: la definición (qué es el sobreajuste), la mecánica (cómo se separan el entrenamiento y las pruebas) y los modos de fallo (cómo la fuga de datos o los patrones inestables pueden crear resultados engañosos). Dado que los datos del mercado, los costos, la ejecución y las suposiciones pueden variar, debe tratar cualquier resultado único de backtesting como insuficiente para la verificación.
Mecanismo y definición
El sobreajuste ocurre cuando un método se ajusta tan bien a las peculiaridades específicas de un conjunto de datos—incluido el ruido—que su rendimiento con datos nuevos es peor que con los datos con los que fue entrenado. Una forma práctica de expresar esto es:
- Si el rendimiento mejora con los datos de entrenamiento pero no con los datos que no se usaron para el entrenamiento, esa discrepancia es consistente con el sobreajuste.
- Si el rendimiento depende en gran medida de pequeños cambios en las opciones (características, hiperparámetros, umbrales), esa sensibilidad también es una señal de advertencia.
En la verificación, la clave es imponer una separación clara entre (1) los datos utilizados para construir o ajustar el método y (2) los datos utilizados solo para evaluarlo. La evaluación debe realizarse después de que el ajuste esté fijado, no durante el proceso de ajuste.
Evidencia y pasos de verificación reproducibles
Utilice una “jerarquía de fuentes” reproducible de niveles de verificación. Comience con comprobaciones más simples y luego avance hacia otras más exigentes.
Nivel 1: Comparación básica fuera de muestra
- Divida su conjunto de datos en una parte de entrenamiento y una parte de evaluación.
- Ajuste o calibre el método utilizando solo la parte de entrenamiento.
- Evalúe una vez en la parte de evaluación utilizando la configuración final y fija.
- Registre tanto los resultados de entrenamiento como los de evaluación y compare la diferencia.
Suposición: está midiendo el mismo objetivo y la misma métrica de evaluación en ambos lados, y el conjunto de evaluación no ha influido en ninguna decisión de diseño.
Nivel 2: Evaluación repetida en múltiples divisiones
Para reducir el riesgo de que una sola división cree un resultado engañoso:
- Cree varias divisiones diferentes de entrenamiento/evaluación (por ejemplo, múltiples pliegues).
- Para cada división, repita la secuencia completa: calibre con los datos de entrenamiento de esa división y luego evalúe con los datos de evaluación reservados de esa división.
- Resuma la distribución de los resultados de evaluación entre las divisiones.
Limitación material: incluso las divisiones repetidas pueden pasar por alto la fuga basada en el tiempo si el método de división no respeta la cronología. Si los datos están ordenados por tiempo, las divisiones deben preservar el orden para que la información futura no se utilice para evaluar el pasado.
Nivel 3: Pruebas de tipo forward bajo reglas fijas
Un enfoque más estricto es simular una evaluación prospectiva:
- Elija una ventana de entrenamiento y calibre utilizando solo esa ventana.
- Evalúe en el período siguiente utilizando la configuración calibrada sin cambios adicionales.
- Opcionalmente, avance la ventana y repita.
Suposición: las reglas de calibración se congelan antes de que comience la evaluación. Esto le ayuda a verificar si las relaciones “aprendidas” se generalizan más allá del período de entrenamiento exacto.
Nivel 4: Comprobaciones de modos de fallo que comúnmente rompen la verificación
Al menos un modo de fallo material debe probarse explícitamente:
- Fuga de datos: asegúrese de que cualquier preprocesamiento, ingeniería de características, escalado o selección se realice utilizando solo datos de entrenamiento para cada división.
- Pruebas múltiples / búsqueda repetida: si se prueban muchas variaciones y solo se informa el mejor resultado, la evaluación puede volverse sesgada. La verificación debe rastrear todo el proceso de búsqueda, no solo el ganador final.
- Sensibilidad a las opciones: repita la verificación con variaciones razonables preespecificadas (por ejemplo, hiperparámetros o conjuntos de características ligeramente diferentes) y compruebe si la evaluación permanece estable.
Limitaciones y riesgos
Varias limitaciones significan que puede verificar el comportamiento de sobreajuste pero aún así no predecir resultados futuros con certeza:
- Las relaciones históricas no establecen resultados futuros; el rendimiento puede cambiar cuando cambia el proceso subyacente de generación de datos.
- Los costos y los efectos de ejecución pueden alterar los resultados realizados en relación con una evaluación simplificada.
- Pequeños cambios en las suposiciones (qué se mide, cómo se dividen los datos, cómo se maneja el preprocesamiento) pueden cambiar las conclusiones.
Trate la verificación del sobreajuste como una forma de evaluar el riesgo de generalización, no como una garantía de buen rendimiento futuro.
Verificación o siguiente pregunta
Si desea verificar una afirmación específica sobre el sobreajuste, reformúlela en declaraciones comprobables, como: “El rendimiento del entrenamiento es consistentemente mayor que el rendimiento fuera de muestra”, o “Los resultados de la evaluación son inestables entre divisiones”. Luego aplique los Niveles 1–3 con preprocesamiento resistente a fugas y reglas de calibración fijas.