Uso de Champion x Challenger en estrategias de decisión
Publicado el: 2026-04-02 18:07:41
Cuando empiezas a usar un nuevo modelo de decisión para una estrategia de decisión existente, el objetivo es verificar si el nuevo modelo o estrategia rinde mejor que el anterior.
Una buena práctica es usar un enfoque de validación Champion x Challenger. El objetivo es comparar el rendimiento del Champion, que es el modelo de decisión actual, frente al Challenger, que es el nuevo modelo de decisión.
Este enfoque es especialmente útil cuando el nuevo modelo de decisión aún no está totalmente desarrollado y todavía existe incertidumbre sobre su rendimiento.
En estrategias de decisión de alto impacto, como la evaluación crediticia, Champion x Challenger debería ser una práctica estándar. Las pruebas y el despliegue gradual ayudan a mantener estable el rendimiento de la cartera.
Usar un enfoque de validación Champion x Challenger proporciona retroalimentación rápida sobre cómo rinde el nuevo modelo y ayuda a identificar dónde necesita mejoras.
¿Cómo se puede hacer?
Aquí tienes un ejemplo sencillo de cómo se puede usar el enfoque de validación Champion x Challenger.
Supongamos que tenemos un modelo de decisión que determina qué ofertas presentar a los clientes. El modelo lleva algún tiempo en uso y ahora queremos desarrollar un nuevo modelo de decisión que utilice un enfoque diferente para la selección de ofertas.
Mientras desarrollamos el nuevo modelo de decisión, mantenemos el modelo base histórico como el Champion, que sigue evaluando la mayoría de los casos. El nuevo modelo de decisión actúa como el Challenger y se usa para evaluar un holdout.
Por holdout nos referimos a una muestra, normalmente aleatoria, que es evaluada por el Challenger.
Si encontramos que el nuevo modelo supera al existente, podemos reemplazar el modelo actual por el nuevo. El reemplazo puede ser gradual o hacerse en un solo paso. Si el nuevo modelo no supera al existente, podemos mejorarlo más o seguir usando el modelo actual.
Ventaja de Champion x Challenger
La principal ventaja del enfoque de validación Champion x Challenger es que nos permite comparar el rendimiento del nuevo modelo frente al modelo existente o baseline sin esperar a que el nuevo modelo esté totalmente desarrollado.
Otra ventaja es que muestra el impacto real de usar el modelo para la toma de decisiones, porque las simulaciones in vitro suelen ser muy diferentes de las decisiones en vivo.
Implementación práctica en un motor de decisión
La mayoría de las implementaciones de Champion x Challenger usan un número aleatorio o varios números aleatorios. El número aleatorio forma parte del objeto de datos dentro del mensaje usado para ejecutar un flujo de decisión.
Cuando solo se está desafiando una parte del flujo de decisión, un número aleatorio puede ser suficiente.
Cuando hay varias áreas challenger en el flujo de decisión, se deben usar varios números aleatorios. Cada área challenger obtiene su propio número aleatorio y se ejecuta con ese número. Esto evita posibles correlaciones cruzadas.
Al final de la ejecución, todos los resultados de decisión se almacenan junto con el número aleatorio que se utilizó.
Cualquier modelo dentro de un flujo de decisión puede utilizarse para Challenger x Champion. Esto puede ser una nueva segmentación de tablas de decisión, una sola fila de una tabla de decisión, una regla o un conjunto de reglas completo. También puedes comparar el rendimiento de distintas fuentes de datos de terceros entre sí.
¿Cuándo usar especialmente Champion x Challenger?
Champion x Challenger es especialmente útil cuando el resultado de las decisiones tarda más en materializarse.
Por ejemplo, en préstamos al consumo, el rendimiento del riesgo crediticio y la evolución de los vintage de impago pueden tardar medio año en mostrarse por completo. En ese caso, cambiar a ciegas a un nuevo modelo dificultaría ver si el rendimiento vintage cambió por el modelo o por condiciones externas.
Al mantener los vintage del Champion y del Challenger uno al lado del otro, la evaluación del rendimiento resulta más sencilla. Si los tamaños de muestra son estadísticamente significativos, hay menos dudas sobre otros factores.
Otro ejemplo es una campaña de marketing, donde resultados como el valor de vida del cliente pueden tardar más en desarrollarse. En esos casos, la decisión puede estar bien diseñada, pero el rendimiento de los valores atípicos y la propensión a contratar servicios adicionales aún puede no estar claro.
Conclusión
Champion x Challenger es una práctica de validación sólida al desarrollar y usar nuevos modelos de decisión. Nos permite comparar rápidamente el rendimiento del nuevo modelo frente al modelo existente o baseline.
Al usar Champion x Challenger, debemos asegurarnos de que los tamaños de muestra sean lo suficientemente grandes para lograr significancia estadística, y debemos tener en cuenta posibles sesgos de selección.
Siempre que sea posible, Champion x Challenger debería usarse en casos en los que los resultados de la decisión tardan más en materializarse.
