El progreso del LLM se está desacelerando: ¿cuáles son las consecuencias para la IA?

Solíamos especular sobre cuándo veríamos software que pudiera pasar consistentemente la prueba de Turing. Hoy en día damos por sentado no sólo que esta increíble tecnología existe, sino también que seguirá mejorando y haciéndose más capaz a un ritmo rápido.

Es fácil olvidar todo lo que sucedió desde que se lanzó ChatGPT el 30 de noviembre de 2022. Desde entonces, la innovación y el poder han seguido proviniendo de los LLM públicos con grandes modelos de lenguaje. Al parecer, cada pocas semanas veíamos algo nuevo que traspasaba los límites.

Ahora, por primera vez, hay señales de que este ritmo puede desacelerarse significativamente.

Para ver la tendencia, consulte los lanzamientos de OpenAI. El salto de GPT-3 a GPT-3.5 fue enorme e impulsó a OpenAI a la conciencia pública. El cambio a GPT-4 también fue impresionante, un gran paso adelante en términos de potencia y capacidad. Luego vino GPT-4 Turbo, que agregó algo de velocidad, y luego GPT-4 Vision, que realmente desbloqueó las capacidades de reconocimiento de imágenes existentes de GPT-4. Y hace apenas unas semanas vimos el lanzamiento del GPT-4o, que ofrecía multimodalidad mejorada pero relativamente poca potencia adicional.

Otros LLM, como Claude 3 de Anthropic y Gemini Ultra de Google, han seguido una tendencia similar y ahora parecen estar convergiendo hacia puntos de referencia de velocidad y potencia similares a los de GPT-4. Aún no estamos en la fase de meseta, pero parece que estamos entrando en una fase de desaceleración. La tendencia emergente: menos progreso en términos de poder y autonomía con cada generación.

Esto dará forma al futuro de la innovación de soluciones.

¡Esto es muy importante! Imagina que tienes una bola de cristal de un solo uso: te lo dirá todo, pero sólo podrás hacerle una pregunta. Si está tratando de comprender lo que está sucediendo en el campo de la IA, la pregunta bien podría ser: ¿Con qué rapidez seguirán creciendo los LLM en poder y capacidades?

Porque, al igual que los LLM, el mundo de la IA está evolucionando. Cada mejora sustancial en los LLM ha marcado una gran diferencia en lo que los equipos pueden construir y, lo que es más importante, en lo que pueden ejecutar de manera confiable.

Piense en la eficacia de los chatbots. Con el GPT-3 original, las respuestas a las indicaciones del usuario podían ser aleatorias. Luego obtuvimos GPT-3.5, que facilitó mucho la creación de un chatbot atractivo y ofreció respuestas mejores, pero aún inconsistentes. Sólo con el GPT-4 vimos resultados coherentes con los objetivos de un LLM que realmente siguió instrucciones y mostró cierto nivel de razonamiento.

Esperamos ver GPT-5 pronto, pero OpenAI parece estar gestionando las expectativas con cautela. ¿Nos sorprenderá este lanzamiento al dar un gran salto adelante y provocar un nuevo aumento en la innovación en IA? De lo contrario, y seguiremos viendo un progreso cada vez menor en otros modelos públicos de LLM, preveo profundas implicaciones para el campo más amplio de la IA.

Así es como podría suceder:

• Más especialización:Cuando los LLM existentes simplemente no son lo suficientemente potentes para manejar consultas matizadas sobre temas y áreas funcionales, la respuesta más obvia para los desarrolladores es la especialización. Podríamos ver el desarrollo de más agentes de IA que aborden casos de uso relativamente limitados y sirvan a comunidades de usuarios muy específicas. De hecho, el lanzamiento de OpenAI GPT Esto podría interpretarse como un reconocimiento de que no es realista tener un sistema que pueda leer y reaccionar ante todo.
• El auge de nuevas interfaces de usuario: Hasta ahora, podría decirse que la interfaz de usuario dominante en la IA ha sido el chatbot. ¿Seguirá siendo así? De hecho, aunque los chatbots tienen ventajas obvias, su aparente apertura (el usuario puede ingresar cualquier mensaje) en realidad puede llevar a una experiencia de usuario decepcionante. Es posible que veamos más formatos en los que la IA está funcionando, pero donde hay más barreras y restricciones que guían al usuario. Pensemos, por ejemplo, en un sistema de inteligencia artificial que analiza un documento y ofrece al usuario algunas posibles sugerencias.
• Los LLM de código abierto cierran la brecha:Dado que el desarrollo de LLM se considera extremadamente costoso, parecería que Mistral y Llama, así como otros proveedores de código abierto que no tienen un modelo de negocio claro, estarían en una desventaja significativa. Sin embargo, esto podría no importar tanto si OpenAI y Google ya no producen grandes avances. Cuando la competencia se reduce a características, facilidad de uso y capacidades multimodales, es posible que puedan mantenerse firmes.
• La carrera por los datos se está intensificando: Una posible razón por la que vemos que los LLM comienzan a caer en el mismo rango de habilidades podría ser que les faltan datos de entrenamiento. A medida que se acerca el fin de los datos textuales públicos, las empresas de LLM deberán buscar otras fuentes. Quizás por eso OpenAI se está centrando tanto en Sora. El uso de imágenes y videos para la capacitación significaría no solo una posible mejora notable en la forma en que los modelos manejan la entrada no textual, sino también más matices y sutileza en la comprensión de las consultas.
• Aparición de nuevas arquitecturas LLM:Hasta ahora, todos los sistemas principales utilizan arquitecturas transformadoras pero hay otros que se han mostrado prometedores. Sin embargo, nunca se exploraron ni se invirtió realmente en ellos debido al rápido progreso proveniente de los LLM de transformadores. Si estos comienzan a disminuir, es posible que veamos más energía e interés en Tipo de serpiente venenosa y otros modelos sin transformador.

Pensamientos finales: el futuro de los LLM

Por supuesto, todo esto es especulación. Nadie sabe dónde avanzarán a continuación las capacidades LLM o la innovación en IA. Lo que está claro, sin embargo, es que ambos están estrechamente vinculados. Y eso significa que todo desarrollador, diseñador y arquitecto que trabaje en IA debe pensar en el futuro de estos modelos.

Podría surgir un posible modelo para los LLM: compiten cada vez más en características y facilidad de uso. Con el tiempo, es posible que veamos cierta mercantilización, similar a la que hemos visto en otras partes del mundo tecnológico. Pensemos, por ejemplo, en las bases de datos y los proveedores de servicios en la nube. Aunque existen diferencias sustanciales entre las distintas opciones del mercado y algunos desarrolladores tienen preferencias claras, la mayoría las considera en gran medida intercambiables. No existe un “ganador” claro y absoluto en términos de poder y capacidad.

Cai GoGwilt es el cofundador y arquitecto jefe de Acorazado.