Reciente resultados Los investigadores de Apple han cuestionado la destreza matemática de los grandes modelos de lenguaje (LLM), cuestionando la idea de que la inteligencia artificial (IA) está a punto de lograr un razonamiento humano.
En una prueba de 20 LLM de última generación, el rendimiento en problemas de matemáticas de la escuela primaria disminuyó cuando las preguntas se cambiaron ligeramente o se agregó información irrelevante, descubrió Apple. La precisión cayó hasta un 65,7%, lo que revela una sorprendente fragilidad de los sistemas de IA cuando se enfrentan a tareas que requieren un razonamiento lógico sólido.
Esta debilidad podría tener implicaciones de gran alcance para el comercio que depende de la IA para tomar decisiones complejas. Es posible que las instituciones financieras, en particular, necesiten reevaluar su uso de la IA en tareas que impliquen cálculos complejos o evaluación de riesgos.
En el centro de este debate está inteligencia artificial general (AGI): el santo grial de la IA que podría igualar o superar la inteligencia humana en diversas tareas. Aunque algunos líderes tecnológicos predicen la inminente llegada de AGI, estos resultados sugieren que podemos estar más lejos de ese objetivo de lo que se pensaba anteriormente.
«Cualquier aplicación del mundo real que requiera un razonamiento que pueda verificarse definitivamente (o no) es fundamentalmente imposible para un LLM tener éxito con algún grado de coherencia» Selmer Bringsjordprofesor en Instituto Politécnico Rensselaerdijo a PYMNTS.
Bringsjord traza una línea clara entre la IA y la informática tradicional: “Lo que una calculadora puede hacer en su teléfono inteligente es algo que un LLM no puede hacer, porque si alguien realmente quisiera asegurarse de que el resultado de un cálculo que usted solicitó desde su iPhone sea correcto, en última instancia e invariablemente sería posible para Apple verificar o falsificar este resultado.
Límites y comprensión
No todos los expertos consideran que las limitaciones descritas en el documento de Apple sean igualmente problemáticas. “Las limitaciones descritas en este estudio probablemente tendrán un impacto mínimo en las aplicaciones de los LLM en el mundo real. De hecho, la mayoría de las aplicaciones de los LLM en el mundo real no requieren razonamiento matemático avanzado. Aravind Chandramoulijefe de IA en una empresa de ciencia de datos tendenciadijo a PYMNTS.
Existen soluciones potenciales, como el ajuste fino o la ingeniería rápida de modelos previamente entrenados para dominios específicos. Modelos especializados como AsistenteMatemáticas Y MatemáticasGPTdiseñado para tareas matemáticas, podría mejorar las capacidades de la IA en áreas que requieren un pensamiento lógico riguroso.
El debate va más allá de las matemáticas y aborda una pregunta fundamental: ¿estas IA realmente entienden algo? Esta pregunta está en el centro de las discusiones sobre AGI y cognición mecánica.
“Los LLM no comprenden lo que están haciendo. Simplemente buscan patrones sulingüísticos entre aquellos en los datos almacenados que sean estadísticamente análogos a los de esos datos”, dijo Bringsjord.
Chandramouli dijo: “Si bien sus respuestas coherentes pueden crear la ilusión de comprensión, la capacidad de mapear correlaciones estadísticas en los datos no implica que realmente comprendan las tareas que están realizando. » Esta idea destaca el desafío de distinguir entre el reconocimiento de patrones sofisticados y la verdadera comprensión en los sistemas de IA.
Eric Bravickdirector ejecutivo de La iniciativa levantadareconoce las limitaciones actuales pero ve soluciones potenciales. “Los modelos de lenguaje grande (LLM) no están equipados para realizar cálculos matemáticos. No entienden de matemáticas”, dijo. Sin embargo, sugiere que la combinación de LLM con subsistemas de IA especializados podría conducir a resultados más precisos.
«Cuando se combinan con subsistemas de IA especializados y entrenados en matemáticas, pueden recuperar respuestas precisas en lugar de generarlas en función de sus modelos estadísticos entrenados para la producción del lenguaje», dijo Bravick. Tecnologías emergentes como generación aumentada por recuperación (RAG) y la IA multimodal podrían abordar las limitaciones actuales en el razonamiento de la IA.
Un campo en evolución
El campo de la IA continúa evolucionando rápidamente y los LLM demuestran capacidades notables de generación y procesamiento de lenguaje. Sin embargo, sus dificultades con el razonamiento lógico y la comprensión matemática revelan que aún queda mucho trabajo por hacer para lograr el AGI.
La evaluación y prueba cuidadosas de los sistemas de IA siguen siendo cruciales, especialmente para aplicaciones de alto riesgo que requieren un razonamiento confiable. Los investigadores y desarrolladores pueden encontrar vías prometedoras en enfoques como sintonia FINAmodelos especializados y sistemas de IA multimodales mientras se esfuerzan por cerrar la brecha entre las capacidades actuales de IA y la sólida inteligencia general prevista.
