Nuevo curso técnico en profundidad: Fundamentos de IA generativa en AWS

Fundamentos de IA generativa en AWS es un nuevo curso técnico en profundidad que le brinda los fundamentos conceptuales, la orientación práctica y la orientación práctica para la capacitación previa, el perfeccionamiento y la implementación de modelos básicos de última generación en AWS y más allá. Desarrollado por Emily Webber de AWS Global Generative AI Foundations, este curso práctico gratuito y el código fuente compatible de GitHub se lanzaron a través de AWS YouTube. Si está buscando una lista de lectura seleccionada de los mejores recursos, conceptos y consejos para comenzar con patrones básicos, y especialmente aquellos que desbloquean las capacidades generativas de sus proyectos de ciencia de datos y aprendizaje automático, no busque más.

Durante esta inmersión profunda de 8 horas, aprenderá sobre técnicas, servicios y tendencias clave que lo ayudarán a comprender los patrones básicos desde cero. Esto significa desglosar la teoría, las matemáticas y los conceptos abstractos combinados con ejercicios prácticos para obtener una intuición funcional para la aplicación práctica. A lo largo del curso, nos enfocamos en una amplia gama de técnicas de IA generativa progresivamente complejas, lo que le brinda una base sólida para comprender, diseñar y aplicar sus propios modelos para obtener el mejor rendimiento. Comenzaremos recapitulando los patrones básicos, entendiendo de dónde vienen, cómo funcionan, cómo se relacionan con la IA generativa y qué puede hacer para personalizarlos. Luego, aprenderá a elegir el modelo de base adecuado en función de su caso de uso.

Una vez que haya desarrollado una comprensión contextual sólida de los modelos base y cómo usarlos, se le presentará el tema central de este curso: el entrenamiento previo de nuevos modelos base. Aprenderá por qué querría hacer esto y cómo y dónde es competitivo. Incluso aprenderá a usar las leyes de escala para elegir el modelo, el conjunto de datos y los tamaños de proceso correctos. Cubriremos la preparación de conjuntos de datos de entrenamiento a gran escala en AWS, incluida la selección de las instancias y las técnicas de almacenamiento adecuadas. Cubriremos el ajuste fino de sus modelos básicos, la evaluación de técnicas recientes y la comprensión de cómo ejecutarlas con sus scripts y modelos. Nos sumergiremos en el aprendizaje por refuerzo con comentarios humanos, explorando cómo usarlo hábilmente y a escala para maximizar verdaderamente el rendimiento de su modelo base.

Por último, aprenderá a aplicar la teoría a la producción mediante la implementación de su nuevo modelo base en Amazon SageMaker, incluidas varias GPU y el uso de los mejores patrones de diseño de su clase, como la generación de recuperación aumentada y el diálogo en cadena. Como beneficio adicional, lo guiaremos a través de una inmersión profunda en la transmisión estable, las mejores prácticas de ingeniería rápida, la configuración de LangChain y más.

¿Más bien lector que consumidor de videos? Puede consultar mi libro de 15 capítulos «Pretrain Vision and Large Language Models in Python: End-to-end technologies for building and deployment Foundation models on AWS», que se publicó el 31 de mayo de 2023 con Packt Publishing y está disponible ahora en Amazonas. ¿Quieres saltar directamente al código? Estoy contigo: cada video comienza con una descripción general de 45 minutos de conceptos e imágenes clave. Luego, te daré una presentación de 15 minutos de la parte práctica. Todos los blocs de notas de muestra y el código de soporte se entregarán en un repositorio público, que puede usar para navegar por sí mismo. No dude en ponerse en contacto conmigo en Medium, LinkedIn, GitHubo a través de sus equipos de AWS. Obtenga más información sobre la IA generativa en AWS.

¡Buena ruta!

Plan de estudios

1. Introducción a los modelos básicos

  • ¿Cuáles son los principales modelos lingüísticos y cómo funcionan?
  • ¿De dónde vienen?
  • ¿Cuáles son los otros tipos de IA generativa?
  • ¿Cómo personalizar un modelo de base?
  • ¿Cómo se evalúa un modelo generativo?
  • Recorrido práctico: Modelos básicos en SageMaker

Diapositivas de la Lección 1

Recursos de demostración práctica de la Lección 1

2. Elige el modelo de base adecuado

  • Por qué es importante comenzar con el modelo de base correcto
  • Teniendo en cuenta el tamaño
  • Dada la precisión
  • Considere la posibilidad de obtener una licencia
  • Teniendo en cuenta ejemplos anteriores de este modelo funcionando bien en su industria
    • Consideración de puntos de referencia externos

Diapositivas de la lección 2

Recursos de demostración práctica de la lección 2

3. Uso de modelos base preentrenados: ingeniería y ajuste rápidos

  • Beneficios de comenzar con un modelo base previamente entrenado
  • Ingeniería rápida:
    • golpe cero
    • Un solo tiro
    • pocos éxitos
    • Recapitulación
    • Traducción
  • Sintonia FINA
    • Ajuste fino clásico
    • Ajuste fino eficiente de los parámetros
    • La nueva biblioteca de Hugging Face
    • Recorrido práctico: ingeniería y depuración rápidas en SageMaker

Diapositivas de la lección 3

Lección 3 recursos de demostración práctica

4. Preformar un nuevo modelo base

  • ¿Por qué querría o necesitaría crear un nuevo modelo de base?
    • Compare el pre-entrenamiento con la puesta a punto
  • Preparando su conjunto de datos para el pre-entrenamiento
  • Capacitación distribuida en SageMaker: bibliotecas, scripts, trabajos, recursos
  • Por qué y cómo adaptar un nuevo guión a la formación distribuida de SageMaker

Diapositivas de la lección 4

Lección 4 recursos de demostración práctica

5. Preparación y capacitación de datos a gran escala

  • Opciones para preparar datos a escala en AWS
  • Explicar el paralelismo de las tareas de SageMaker en instancias de CPU
  • Explicar formas de enviar datos a la capacitación de SageMaker
  • Introducción a FSx para Lustre
  • Uso de FSx para Lustre a escala para la capacitación de SageMaker
  • Tutorial práctico: Configuración de Lustre para la capacitación de SageMaker

Lección 5 Diapositivas

Lección 5 recursos de demostración práctica

6. Aprendizaje por refuerzo con retroalimentación humana

  • ¿Qué es esta técnica y por qué nos importa?
  • Cómo elude los problemas de subjetividad y objetividad al clasificar las preferencias humanas en escala
  • ¿Como funciona?
  • Cómo hacer esto con SageMaker Ground Truth
  • Modelo de recompensa actualizado
  • Recorrido práctico: RLFH en SageMaker

Lección 6 Diapositivas

Lección 6 recursos de demostración práctica

7. Implementación de un modelo base

  • ¿Por qué queremos implementar modelos?
  • Diferentes opciones para implementar FM en AWS
  • Cómo optimizar su modelo para la implementación
  • Descripción detallada del contenedor de implementación de modelos grandes
  • Principales consejos de configuración para implementar FM en SageMaker
  • Consejos rápidos de ingeniería para invocar modelos de cimientos
  • Uso de la generación de recuperación mejorada para mitigar las alucinaciones
  • Procedimiento práctico: Despliegue de un FM en SageMaker

Lección 7 Diapositivas

Lección 7 recursos de demostración práctica


Sobre el Autor

emilio webber se unió a AWS justo después del lanzamiento de SageMaker y ha estado tratando de contárselo al mundo desde entonces. Además de crear nuevas experiencias de aprendizaje automático para los clientes, a Emily le gusta meditar y estudiar el budismo tibetano.

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *