Este año, Air Canada perdió una demanda contra un cliente que fue engañado por un chatbot de IA La empresa intentó convencer al robot de que comprara billetes de avión a precio completo, asegurándole que se le reembolsaría más adelante según la política de duelo de la empresa. La aerolínea intentó afirmar que el robot era «responsable de sus propias acciones». Este argumento fue rechazado por el tribunal y la empresa no sólo tuvo que pagar una indemnización, sino que también fue criticada públicamente por intentar distanciarse de la situación. Está claro que las empresas son responsables de los modelos de IA, incluso cuando cometen errores que escapan a nuestro control.
Las empresas observan con una mezcla de asombro y aprensión la rápida evolución del mundo de la IA y, en particular, de la IA generativa. Considerada como un arma de doble filo, la IA es vista como un habilitador capaz de acelerar la productividad, permitiendo hacer mucho más con menos, pero con fallas que pueden conducir a problemas que van desde la insatisfacción del cliente hasta demandas judiciales.
Esto se conoce comúnmente como «alucinaciones de IA», que ocurre cuando un modelo de IA proporciona respuestas incorrectas, irrelevantes o sin sentido.
“Afortunadamente, este no es un problema generalizado. Esto sólo ocurre entre un 2 y un 10% de las veces en empresas de alto nivel. Pero aún así puede resultar muy peligroso en un entorno profesional. Imagínese pedirle a un sistema de inteligencia artificial que diagnostique a un paciente o aterrice un avión”, dice Amr Awadallah, un experto en inteligencia artificial que dará una charla en VDS2024 seguro Cómo Gen-AI está transformando las empresas y evitando obstáculos.
Pero a la mayoría de los expertos en inteligencia artificial no les gusta el término. La terminología y lo que hay detrás de ella, es decir, nuestra escasa comprensión de cómo ocurren estos eventos, puede conducir potencialmente a dificultades con repercusiones en el futuro.
Conferencia TNW 2025 – Regreso a NDSM del 19 al 20 de junio de 2025 – ¡Reserve la fecha!
Mientras concluimos nuestra increíble edición de 2024, nos complace anunciar nuestro regreso a Amsterdam NDSM en 2025. ¡Regístrese ahora!
Como ex vicepresidente de ingeniería de inteligencia de productos en Yahoo! y vicepresidente de relaciones con desarrolladores de Google Cloud, Awadallah ha visto evolucionar la tecnología a lo largo de su carrera y desde entonces fundó vectarauna empresa centrada en el uso de tecnologías de inteligencia artificial y redes neuronales para el procesamiento del lenguaje natural para ayudar a las empresas a aprovechar los beneficios que puede aportar la relevancia de la búsqueda.
Hablamos con él para aclarar por qué el término es tan controvertido, qué deben entender las empresas sobre las “alucinaciones de IA” y si se pueden solucionar o no.
Por qué los modelos de IA no tienen «alucinaciones»
El término «alucinación» implica que cuando un modelo de IA proporciona información incorrecta, ve o siente algo que no existe. Pero eso no es lo que sucede detrás de las líneas de código que implementan estos patrones.
Es muy común que los humanos caigamos en este tipo de trampas. El antropomorfismo, o la tendencia innata a atribuir rasgos, emociones o intenciones humanas a entidades no humanas, es un mecanismo que utilizamos para aprehender lo desconocido, viéndolo a través de una lente humana. Los antiguos griegos lo utilizaban para atribuir características humanas a las deidades; hoy probablemente lo utilizamos para interpretar las acciones de nuestras mascotas.
Existe un riesgo particular de caer en esta trampa con la IA, porque es una tecnología que se ha vuelto omnipresente en nuestra sociedad en muy poco tiempo, pero muy pocas personas entienden realmente qué es y cómo funciona. Para que nuestra mente comprenda un tema tan complejo, utilizamos atajos.
“Creo que los medios de comunicación han jugado un papel importante en este fenómeno, porque es un término atractivo que genera revuelo. Entonces lo adoptaron y se convirtió en la forma estándar en que lo llamamos hoy”, explica Awadallah.
Pero al igual que en el mundo animal, asumimos que mover la cola equivale a bondad, malinterpretar los resultados proporcionados por una IA puede llevarnos por el camino equivocado.
“En realidad, esto equivale a atribuir a la IA más poder del que tiene. Ella no piensa igual que nosotros. Lo único que hace es intentar predecir cuál debería ser la siguiente palabra basándose en todas las palabras anteriores que se han pronunciado”, explica Awadallah.
Si tuviera que ponerle un nombre a este fenómeno, lo llamaría “fabulación”. Las fabulaciones esencialmente implican agregar palabras o frases que llenen los espacios en blanco de una manera que haga que la información sea creíble, incluso si es incorrecta.
“[AI models are] “Se recomienda encarecidamente al usuario que responda todas las preguntas. No quiere decirte: «No lo sé», explica Awadallah.
El peligro aquí es que, si bien algunas mentiras son fáciles de detectar porque rozan lo absurdo, la mayoría de las veces una IA presentará información muy creíble. Y cuanto más empecemos a confiar en la IA para ayudarnos a acelerar la productividad, más probabilidades tendremos de tomar al pie de la letra sus respuestas aparentemente creíbles. Esto significa que las empresas deben asegurarse de incluir supervisión humana en cada tarea que realiza una IA, dedicando más tiempo y recursos a ello, no menos.
Las respuestas proporcionadas por un modelo de IA son tan buenas como los datos a los que tiene acceso y el alcance de su consulta. Debido a que la IA se basa en patrones dentro de sus datos de entrenamiento, en lugar de razonamientos, sus respuestas pueden ser falibles dependiendo de los datos de entrenamiento que tenga (si esa información es incorrecta o no (tiene pocos datos sobre esta consulta en particular) o pueden depender de ellos. sobre la naturaleza y el contexto de su consulta o tarea. Por ejemplo, el contexto cultural puede dar lugar a diferentes perspectivas y respuestas a la misma pregunta.
En el caso de sistemas de conocimiento de dominio restringido o modelos internos de IA diseñados para recuperar información de un conjunto de datos específico, como el sistema interno de una empresa, una IA solo tendrá una cierta cantidad de memoria. Aunque esta cantidad de memoria es mucho mayor de la que un ser humano puede retener, no es ilimitada. Cuando le haga preguntas que están más allá de su memoria, siempre se le pedirá que responda prediciendo cuáles podrían ser las siguientes palabras.
¿Se puede resolver la desinformación generada por la IA?
Se ha hablado mucho sobre si las “confabulaciones” se pueden resolver o no.
Awadallah y su equipo en Vectara están desarrollando un método para combatir las confabulaciones en sistemas de conocimiento de dominio limitado. Para ello, crean un modelo de IA cuya tarea específica es verificar los resultados de otros modelos de IA. Este método se conoce como generación aumentada de recuperación (RAG).
Por supuesto, admite Awadallah, al igual que con los verificadores de datos humanos, siempre existe la posibilidad de que un verificador de datos de IA pase por alto algo, lo que se denomina falso negativo.
Para los modelos de IA de dominio abierto, como ChatGPT, que están diseñados para recuperar información sobre cualquier tema en la vasta extensión de la World Wide Web, manejar confabulaciones es un poco más complicado. Algunos investigadores publicaron recientemente un artículo prometedor sobre Uso de la «entropía semántica» para detectar información errónea de la IAEste método implica hacerle a una IA la misma pregunta varias veces y asignarle una puntuación en función de la diferencia en las respuestas.
A medida que nos acercamos cada vez más a la eliminación de las fabricaciones de IA, una pregunta interesante es: ¿realmente queremos que la IA sea objetiva y 100% correcta? ¿Limitar sus respuestas podría limitar también nuestra capacidad de utilizarlas para tareas creativas?
Únase a Amr Awadallah en la séptima edición de VDS para obtener más información sobre cómo las empresas pueden aprovechar el poder de la IA generativa y, al mismo tiempo, evitar riesgos, en VDS2024 que tendrá lugar del 23 al 24 de octubre en Valencia.
