12 lecciones sobre modelos predictivos para una mejor evaluación del riesgo crediticio: por Ben O’Brien

12 lecciones sobre modelos predictivos para una mejor evaluación del riesgo crediticio: por Ben O'Brien

La gestión moderna del riesgo crediticio depende en gran medida de modelos predictivos, que van mucho más allá de los enfoques tradicionales. A medida que las prácticas crediticias se vuelven cada vez más complejas, las empresas que adoptan inteligencia artificial avanzada y aprendizaje automático obtienen una mayor ventaja en la comprensión y gestión del riesgo.

A continuación, mi colega Nick Sime, director de modelos de riesgo crediticio y fraude, compartió consejos clave de su experiencia. Estos conocimientos están diseñados para ayudar a los administradores de riesgos a aprovechar los modelos predictivos para tomar decisiones crediticias más inteligentes y seguras.

1. Los modelos de aprendizaje automático superan constantemente

Los modelos de aprendizaje automático (ML) superan de manera confiable a los modelos lineales tradicionales cuando se prueban en muestras independientes. Aunque el nivel de mejora puede variar, los modelos ML suelen proporcionar un aumento del Gini del 10 al 15 % en comparación con los modelos de regresión logística recientemente desarrollados. En términos de riesgo crediticio, esto podría significar una reducción potencial del 20% en la tasa de morosidad en un umbral determinado.

2. El tamaño de la muestra importa

Cuanto más grande sea la muestra, más patrones complejos y no lineales pueden identificar los modelos de ML, lo que conduce a un mejor rendimiento. Sin embargo, todavía se pueden lograr mejoras significativas, incluso con carteras más pequeñas y con bajo nivel de incumplimiento.

3. El número óptimo de funciones: 40-60

Los datos de las oficinas se vuelven más complejos a medida que las agencias de referencia crediticia utilizan fuentes de datos adicionales y derivan variables de tendencia. Esto presenta un desafío de reducción de datos para los modeladores. Además, la creación de modelos con una cantidad excesiva de variables genera una sobrecarga de implementación y monitoreo. Nuestra experiencia muestra que se puede lograr un desempeño casi óptimo en el cambio de puntajes crediticios con 40 a 60 variables.

4. Es necesario algún sobreajuste

El sobreajuste a menudo se considera negativo, pero los modelos de aprendizaje automático se benefician al capturar patrones sutiles. La aplicación de controles estrictos de sobreajuste puede en realidad reducir la precisión predictiva de un modelo. Sin embargo, nuestra investigación indica que los modelos demasiado sobreajustados se deterioran más rápidamente, por lo que un enfoque equilibrado es esencial para la estabilidad a largo plazo. En resumen, se requiere un enfoque cuidadosamente calibrado para optimizar el rendimiento en un entorno del mundo real.

5. Las limitaciones de explicabilidad no son un obstáculo

Para respaldar la explicabilidad del modelo, se aplican restricciones de monotonicidad y clasificación «desde el principio» en el diseño de nuestros modelos. Esto asegura que el impacto marginal de las variables de entrada sea consistente con las expectativas comerciales. Aunque a algunos les preocupa que esto pueda reducir el rendimiento, descubrimos que tiene un impacto negativo insignificante, si es que tiene alguno. De hecho, puede incluso mejorar la estabilidad del modelo con el tiempo.

6. Estabilidad en el tiempo

A pesar de su complejidad, los modelos de ML pueden demostrar una estabilidad impresionante. Nuestro análisis a largo plazo muestra que los modelos de aprendizaje profundo tienden a degradarse más lentamente con el tiempo que los modelos tradicionales de regresión logística.

7. One & done (Adiós modelos segmentados)

En el modelado tradicional, los modelos segmentados se utilizan a menudo para capturar relaciones no lineales. Sin embargo, los modelos de ML detectan inherentemente estos patrones, lo que hace que los modelos segmentados sean en gran medida inútiles en la mayoría de las situaciones.

8. Rechazar la inferencia requiere atención especial

Los desarrolladores de cuadros de mando suelen crear un modelo conocido como bueno o malo (KGB), un modelo de aceptación-rechazo (AR), aplicando suposiciones negativas a los rechazos para crear un conjunto de datos para construir un modelo final que elimine el sesgo de selección. Los modelos de ML son inteligentes y pueden aplicar ingeniería inversa de manera efectiva a la inferencia de casos rechazados en la muestra, lo que significa que las predicciones finales del modelo para casos conocidos son muy similares al modelo KGB, negando así las ventajas del proceso de inferencia.

9. Aprendizaje cruzado (Más es más)

El desarrollo tradicional de cuadros de mando pone un gran énfasis en alinear las muestras de desarrollo con las expectativas futuras. Sin embargo, hemos descubierto que este no siempre es el enfoque óptimo para los modelos avanzados. Los modelos de aprendizaje automático pueden aprovechar de manera eficiente fuentes de datos adyacentes, lo que da como resultado modelos más sólidos y predictivos.

10. Hiperparámetro (evitar complicaciones)

El ajuste de hiperparámetros da forma tanto a la estructura de un modelo de ML como a su proceso de aprendizaje. Aunque se utiliza comúnmente una búsqueda en cuadrícula (que requiere una estimación del modelo para cada combinación de hiperparámetros), este enfoque puede consumir muchos recursos y, a menudo, produce resultados similares de una iteración a la siguiente. Recomendamos un enfoque bayesiano, que agiliza el proceso e identifica de manera más eficiente los parámetros óptimos.

11. Continuar monitoreando

El monitoreo es esencial para detectar cualquier problema de estabilidad y garantizar un rendimiento óptimo. Con la mayor cantidad de entradas a los modelos de ML, los paneles pueden resultar invaluables para identificar áreas que podrían necesitar ajustes. Aunque el monitoreo le brinda una fuerte indicación de que su modelo no es óptimo, no le dirá si es óptimo.

12. El conocimiento del dominio es esencial

Aunque es posible automatizar el desarrollo de modelos, la experiencia en el dominio sigue siendo crucial. La participación de profesionales de crédito experimentados garantiza que los datos del modelo sean sólidos y estén alineados con las necesidades del negocio, evitando características que puedan ser contraintuitivas o problemáticas.

Quiere buscar una solución de software que pueda acceder a modelos de redes neuronales de vanguardia sin necesidad de codificar.

Si bien muchos de los primeros en adoptar modelos de ML fueron fintechs ágiles, los bancos y prestamistas tradicionales ahora están mostrando un mayor interés. En un mercado donde los agregadores y corredores desempeñan un papel clave, alinear el riesgo y el precio es esencial. Los prestamistas con los modelos más potentes tienen una clara ventaja competitiva.