Brev.dev se ha asociado con NVIDIA para mejorar el desarrollo y la implementación de soluciones de IA mediante la integración con el catálogo NGC de NVIDIA, según el Blog de tecnología de NVIDIAEsta colaboración tiene como objetivo simplificar el proceso de implementación de software optimizado para GPU, haciéndolo accesible con un solo clic.
Aspectos destacados de la solución
La integración entre Brev.dev y el catálogo de NVIDIA NGC aborda muchos de los desafíos del lanzamiento de instancias de GPU en la nube. Las principales características de esta solución son las siguientes:
- Implementación con 1 clic: Los usuarios pueden implementar el software NVIDIA AI sin necesidad de tener una gran experiencia o configuración, lo que reduce el tiempo de implementación de horas a minutos.
- Implementar en cualquier lugar: La API de Brev actúa como una interfaz unificada en diversos entornos, incluidos centros de datos locales, nubes públicas y nubes privadas, lo que mitiga el riesgo de una posible dependencia de un proveedor.
- Proceso de configuración simplificado: La herramienta contenedora de código abierto de Brev, Verb, agiliza la instalación de CUDA y Python en cualquier GPU, resolviendo eficazmente los problemas de dependencia.
- Red segura: La herramienta CLI de Brev administra las claves SSH de forma segura, facilitando las conexiones a fuentes informáticas sin tener que administrar configuraciones IP complejas o archivos PEM.
Desarrollo de un cuaderno Mistral Jupyter
Un caso de uso de ejemplo proporcionado por NVIDIA implica el ajuste de modelos de lenguajes grandes (LLM) utilizando el modelo Mistral 7B. NVIDIA NeMoLos desarrolladores pueden entrenar, evaluar y probar modelos para tareas de preguntas y respuestas. NeMo sirve como una plataforma de extremo a extremo para desarrollar IA generativa personalizada, ofreciendo herramientas para la conservación de datos, capacitación, recuperación de generación aumentada (RAG) y protección.
Con la integración de implementación con un solo clic de Brev, los desarrolladores pueden acceder rápidamente a una GPU y comenzar a personalizar modelos de IA generativa. La pila de software requerida, incluido NeMo, está configurada por la plataforma de Brev, lo que permite a los desarrolladores centrarse en el desarrollo de IA en lugar de en la gestión de infraestructura.
Paso 1: configurar los requisitos previos
Para empezar, los desarrolladores pueden obtenga el cuaderno del catálogo NGC. Una vez implementado en Brev, se puede acceder a él desde un navegador para comenzar a ejecutar bloques de código. Los nuevos usuarios deberán crear una cuenta en Brev antes de continuar.
Paso 2: preparar la plantilla básica
Los desarrolladores deben descargar el modelo Mistral 7B y convertirlo al formato .nemo utilizando los comandos proporcionados por NeMo. Esta conversión es necesaria para aprovechar el marco NeMo para realizar ajustes.
Paso 3: preparar datos de ajuste fino
El ejemplo proporcionado permite perfeccionar Mistral 7B en el conjunto de datos de PubMedQA, lo que implica responder preguntas de investigación médica. Se proporcionan comandos para convertir el conjunto de datos al formato .jsonl para un ajuste eficiente de parámetros (PEFT) con NeMo.
Paso 4: Entrenamiento para correr
Después de configurar las configuraciones de GPU y otros parámetros, el proceso de capacitación se puede inicializar utilizando el marco NeMo. Esto implica importar las clases y módulos necesarios, crear una instancia de capacitación y cargar el modelo GPT Megatron previamente entrenado.
Paso 5: ver el rendimiento y los resultados
Finalmente, el rendimiento del modelo refinado se puede evaluar frente al conjunto de datos de prueba. El resultado mostrará métricas de prueba, incluida la pérdida de prueba y la pérdida de validación, proporcionando información sobre el rendimiento del modelo después de PEFT.
Al actuar como una interfaz única para todas las nubes y automatizar el proceso de configuración, Brev.dev permite a los desarrolladores aprovechar al máximo el poder del software NVIDIA, mejorando la facilidad de desarrollo e implementación de IA en varios proyectos.
Comenzar
Brev.dev ofrece una prueba gratuita de dos horas de su función de implementación con un solo clic, que brinda la capacidad de aprovisionar fácilmente la infraestructura de GPU. La compañía también está ampliando esta funcionalidad para incluir más software de NVIDIA en el catálogo de NGC. Explorar el Implementación rápida con la colección Brev.dev.
Fuente de la imagen: Shutterstock
