La investigación y la experimentación están en el centro de cualquier ejercicio que involucre IA. Crear aplicaciones LLM no es diferente. A diferencia de las aplicaciones web tradicionales que siguen un diseño predeterminado con poca o ninguna variación, los diseños impulsados por IA dependen en gran medida de experimentos y pueden cambiar según los resultados iniciales. El factor de éxito es experimentar con expectativas claramente definidas en las iteraciones, seguido de una evaluación continua de cada iteración. En el desarrollo nativo de LLM, el criterio de éxito suele ser la calidad del resultado, lo que significa que la atención se centra en producir resultados precisos y altamente relevantes. Esto puede ser una respuesta del chatbot, un resumen textual, generación de imágenes o incluso una acción (enfoque agente) definida por LLM. Generar resultados de calidad de manera constante requiere una comprensión profunda de los modelos de lenguaje subyacentes, un ajuste constante de las indicaciones y una evaluación rigurosa para garantizar que la aplicación cumpla con los estándares deseados.
¿Qué tipo de habilidades técnicas necesitas en el equipo?
Se podría suponer que un equipo de unos pocos científicos de datos es suficiente para crear una aplicación LLM. Pero, en realidad, las habilidades de ingeniería son igual de importantes, si no más, a la hora de “entregar” el producto objetivo, porque las aplicaciones LLM no siguen el enfoque clásico de ML. Tanto para los científicos de datos como para los ingenieros de software, son necesarios algunos cambios de mentalidad para familiarizarse con el enfoque de desarrollo. He visto a ambos roles emprender este viaje, mientras los científicos de datos se familiarizan con la infraestructura de la nube y la implementación de aplicaciones y, por otro lado, los ingenieros se familiarizan con las complejidades del uso de modelos y la evaluación de los resultados del LLM. En definitiva, necesitas Practicantes de IA en un equipo que no está allí sólo para «codificar», sino más bien para investigar, colaborar y mejorar la aplicabilidad de la IA.
¿Realmente necesito «experimentar» ya que usaremos modelos de lenguaje previamente entrenados?
Los LLM populares como GPT-4o ya están capacitados en un gran conjunto de datos y son capaces de reconocer y generar texto, imágenes, etc., por lo que no es necesario «entrenar» este tipo de modelos. Es posible que muy pocos escenarios requieran perfeccionar el modelo, pero esto también se puede hacer fácilmente sin la necesidad de un enfoque de aprendizaje automático tradicional. Sin embargo, no confundamos el término «experimentación» con la metodología de «entrenamiento de modelos» utilizada en el aprendizaje automático predictivo. Como mencioné anteriormente, la calidad del resultado de la aplicación es importante. implementar iteraciones de experimentos puede ayudarnos a lograr la calidad deseada de resultados. Por ejemplo, si está creando un chatbot y desea controlar cómo debe verse la salida del bot para el usuario final, un enfoque iterativo y experimental de mejora rápida y ajuste de hiperparámetros le ayudará a encontrar la manera correcta de generar la mayor cantidad de información posible. resultados precisos y consistentes.
Construya un prototipo al comienzo de su viaje
Cree un prototipo (también conocido como MVP, producto mínimo viable) con solo una funcionalidad básica lo antes posible, idealmente dentro de 2 a 4 semanas. Si utiliza una base de conocimientos para el enfoque RAG, utilice un subconjunto de datos para evitar un preprocesamiento extenso de datos.
- Obtener comentarios rápidos de un subconjunto de usuarios objetivo le ayuda a comprender si la solución cumple con sus expectativas.
- Revise con las partes interesadas no solo para mostrar buenos resultados, sino también para discutir las limitaciones y limitaciones descubiertas por su equipo mientras construía el prototipo. Esto es crucial para mitigar los riesgos lo antes posible y también para tomar una decisión informada sobre la entrega.
- El equipo puede finalizar los requisitos de tecnología, seguridad y escalabilidad para convertir el prototipo en un producto y un cronograma de entrega completamente funcionales.
Determine si su prototipo está listo para convertirse en «producto».
La disponibilidad de múltiples muestras impulsadas por IA ha hecho que sea muy fácil crear un prototipo, y las pruebas iniciales de estos prototipos suelen arrojar resultados prometedores. Cuando el prototipo esté listo, el equipo podrá comprender mejor los criterios de éxito, la investigación de mercado, la base de usuarios objetivo, los requisitos de la plataforma, etc. En este punto, considerar las siguientes preguntas puede ayudar a decidir la dirección en la que puede moverse el producto:
- ¿Las funciones desarrolladas en el prototipo satisfacen las necesidades principales de los usuarios finales o de los procesos comerciales?
- ¿Qué desafíos enfrentó el equipo durante el desarrollo del prototipo que podrían surgir durante el proceso de producción? ¿Existen métodos para mitigar estos riesgos?
- ¿El prototipo presenta un riesgo respecto a los principios de una IA responsable? De ser así, ¿qué salvaguardias se pueden implementar para evitar estos riesgos? (Volveremos más sobre este punto en la parte 2.)
- Si la solución va a integrarse en un producto existente, ¿cuál podría ser el obstáculo para ello?
- Si la solución procesa datos confidenciales, ¿se han tomado medidas efectivas para gestionar la privacidad y la seguridad de los datos?
- ¿Necesita definir requisitos de rendimiento para el producto? ¿Los resultados del prototipo son prometedores a este respecto o pueden mejorarse aún más?
- ¿Qué requisitos de seguridad necesita su producto?
- ¿Su producto necesita una interfaz de usuario? (Un caso de uso común basado en LLM es el chatbot, por lo que es necesario definir los requisitos de la interfaz de usuario lo antes posible)
- ¿Tiene una estimación del costo de usar LLM de su MVP? ¿Cómo se ve esto dada la escala estimada de uso de producción y su presupuesto?
Si puede obtener respuestas satisfactorias a la mayoría de las preguntas después de una revisión inicial, junto con buenos resultados de su prototipo, entonces podrá seguir adelante con el desarrollo del producto.
Estén atentos a la parte 2 donde hablaré. cuál debería ser su enfoque para el desarrollo de productos, cómo implementar una IA responsable desde el principio y técnicas de gestión de costos.
Sígueme si quieres obtener más información sobre tecnologías nuevas y emocionantes. Si tiene algún comentario, deje un comentario. GRACIAS 🙂
