Algunos modelos de IA tienen problemas para aprender el antiguo principio de que «correlación no es igual a causalidad». Y si bien esa no es razón para abandonar las herramientas de inteligencia artificial, un estudio reciente debería recordar a los programadores que incluso las versiones confiables de la tecnología todavía están sujetas a episodios de rarezas, como afirmar que las radiografías de la rodilla pueden probar que alguien está bebiendo cerveza o comiendo frijoles refritos.
Los modelos de IA hacen mucho más que generar respuestas de texto (a veces precisas) y vídeos (algo) realistas. Herramientas verdaderamente bien diseñadas ya están ayudando a los investigadores médicos a analizar grandes conjuntos de datos para descubrir nuevos avances, predecir con precisión las condiciones climáticas y evaluar los esfuerzos de conservación ambiental. Pero según un estudio publicado en la revista Informes científicosEl “aprendizaje abreviado” algorítmico continúa planteando el problema de generar resultados que son a la vez muy precisos y mal informados.
Los investigadores de Dartmouth Health entrenaron recientemente modelos médicos de IA en más de 25.000 radiografías de rodilla proporcionadas por la Iniciativa de Osteoartritis de los Institutos Nacionales de Salud. Luego, esencialmente trabajaron al revés, asignando a los programas de aprendizaje profundo la tarea de encontrar puntos en común que predijeran rasgos absurdos, como qué propietarios claramente bebían cerveza o comían frijoles refritos, lo cual, como explican los autores del estudio, es evidentemente absurdo.
«Las modelos no descubren una verdad oculta sobre los frijoles o la cerveza escondida en nuestras rodillas», escriben.
Al mismo tiempo, sin embargo, el equipo explica que estas predicciones no son el resultado de «mera casualidad». El problema subyacente son los llamados atajos algorítmicos, en los que los modelos de aprendizaje profundo encuentran conexiones a través de patrones que son fácilmente detectables, pero aún irrelevantes o engañosos.
“Los atajos hacen que sea trivial crear modelos con predicciones sorprendentemente precisas que carezcan de validez aparente”, advierten.
Las variables identificadas por los algoritmos, por ejemplo, incluían factores no relacionados, como diferencias en los modelos de máquinas de rayos X o la ubicación geográfica del equipo.
«Estos modelos pueden ver patrones que los humanos no pueden ver, pero no todos los patrones que identifican son significativos o confiables», añadió Peter Schilling, cirujano ortopédico, profesor asistente de ortopedia en Dartmouth Health y autor principal del estudio. declaración del 9 de diciembre. «Es crucial reconocer estos riesgos para evitar conclusiones engañosas y garantizar la integridad científica».
Otro problema persistente es que no parece haber una solución sencilla para aprender atajos de IA. Los intentos de abordar estos sesgos han tenido sólo un éxito «marginal», según el anuncio del lunes.
«Esto va más allá del sesgo basado en señales de raza o género», dijo Brandon Hill, científico de aprendizaje automático y coautor del estudio. “Descubrimos que el algoritmo podía incluso aprender a predecir el año en que se tomó una radiografía. Es pernicioso; cuando le impides aprender uno de estos, aprenderá otro que no sabía antes.
Según Hill, estos problemas pueden llevar potencialmente a los expertos humanos a confiar en «algunas afirmaciones realmente cuestionables» hechas por los modelos de IA. Para Schilling, Hill y sus colegas, esto significa que si bien los programas predictivos de aprendizaje profundo tienen su utilidad, la carga de la prueba debe ser mucho más rigurosa cuando se utilizan en situaciones como la investigación médica. Hill compara trabajar con IA con manejar una forma de vida alienígena mientras intenta antropomorfizarla.
«Es increíblemente fácil caer en la trampa de suponer que el modelo ‘ve’ lo mismo que nosotros», afirma. “Al final del día, ese no es el caso. Aprendió una forma de resolver la tarea que se le había encomendado, pero no necesariamente la forma en que la haría una persona. No hay lógica ni razonamiento tal como generalmente lo entendemos.
Gana las fiestas con las guías de regalos de PopSci
