¿Por qué, si miramos el panorama general, los modelos de caja negra no son más precisos?
Cuando comencé como científico de datos, esperaba utilizar modelos de vanguardia. XGBoost, redes neuronales. Estas cosas son complejas e interesantes y seguramente conducirían a mejoras. No sabía que las modelos se enfrentaban a un obstáculo: explicarlas a otras personas.
¿Quién iba a imaginar que necesitaba comprender las decisiones que toman sus sistemas automatizados?
Para mi deleite, caí en la madriguera de los métodos independientes del modelo. Con estos podría tener lo mejor de ambos mundos. Podría entrenar modelos de caja negra y luego explicarlos usando métodos como SHAP, LIME, PDP, ALE y H-stat de Friedman. ¡Ya no necesitamos cambiar la precisión por la interpretabilidad!
No tan rápido. Este pensamiento es incorrecto.
En nuestra búsqueda del mejor rendimiento, a menudo perdemos el objetivo del aprendizaje automático: es decir, hacer predicciones precisas sobre datos nuevos e invisibles. Veamos por qué los modelos complejos no siempre son la mejor manera de lograrlo. Incluso si pueden explicarse por otros métodos.
