Es un poco diferente de lo que dicen los libros.
Los optimizadores son un componente esencial para cualquiera que trabaje en aprendizaje automático.
Todos sabemos que los optimizadores determinan cómo convergerá el modelo a la función de pérdida durante el descenso del gradiente. Por lo tanto, utilizar el optimizador adecuado puede mejorar el rendimiento y la eficiencia del entrenamiento del modelo.
Además de los artículos clásicos, existen muchos libros que explican los principios de los optimizadores en términos sencillos.
Sin embargo, recientemente descubrí que el rendimiento de los optimizadores Keras 3 no coincide con los algoritmos matemáticos descritos en estos libros, lo que me puso un poco ansioso. Tenía miedo de haber entendido mal algo o de que las actualizaciones a la última versión de Keras afectaran a los optimizadores.
Así que miré el código fuente de varios optimizadores comunes en Keras 3 y revisé sus casos de uso. Ahora quiero compartir este conocimiento para ahorrarle tiempo y ayudarle a dominar los optimizadores de Keras 3 más rápido.
Si no está muy familiarizado con los últimos cambios en Keras 3, aquí tiene una descripción general rápida: Keras 3 integra TensorFlow, PyTorch y JAX, lo que nos permite usar fácilmente marcos de aprendizaje profundo de vanguardia a través de las API de Keras.
