El siguiente ensayo se reproduce con permiso de 
La conversaciónuna publicación en línea que cubre las últimas investigaciones.
Para algunas personas, el término «caja negra» evoca los dispositivos de grabación en los aviones que son invaluables para el análisis post-mortem si sucede lo impensable. Para otros, evoca teatros pequeños y mal equipados. Pero la caja negra también es un término importante en el mundo de la inteligencia artificial.
AI cajas negras se refieren a sistemas de IA cuyo funcionamiento interno es invisible para el usuario. Puede darles entrada y obtener salida, pero no puede examinar el código del sistema o la lógica que produjo la salida.
El aprendizaje automático es el subconjunto dominante de la inteligencia artificial. Es la base de los sistemas de IA generativa como ChatGPT Y DALL-E 2. El aprendizaje automático tiene tres componentes: un algoritmo o conjunto de algoritmos, datos de entrenamiento y un modelo. Un algoritmo es un conjunto de procedimientos. En el aprendizaje automático, un algoritmo aprende a identificar patrones después de haber sido entrenado en una gran cantidad de ejemplos: los datos de entrenamiento. Una vez que se ha entrenado un algoritmo de aprendizaje automático, el resultado es un modelo de aprendizaje automático. El modelo es lo que la gente usa.
Por ejemplo, se podría diseñar un algoritmo de aprendizaje automático para identificar patrones en imágenes y los datos de entrenamiento podrían ser imágenes de perros. El modelo de aprendizaje automático resultante sería un observador de perros. Le daría una imagen como entrada y obtendría como salida si y en qué parte de la imagen un conjunto de píxeles representa un perro.
Cualquiera de los tres componentes de un sistema de aprendizaje automático puede estar oculto o en una caja negra. Como suele ser el caso, el algoritmo es conocido por el público, lo que hace que sea menos eficiente ponerlo en una caja negra. Entonces, para proteger su propiedad intelectual, los desarrolladores de IA a menudo colocan el modelo en una caja negra. Otro enfoque adoptado por los desarrolladores de software es ofuscar los datos utilizados para entrenar el modelo; en otras palabras, colocar los datos de entrenamiento en una caja negra.
Lo opuesto a una caja negra a veces se llama caja de vidrio. Una caja de cristal de IA es un sistema cuyos algoritmos, datos de entrenamiento y modelo están disponibles para todos. Pero los investigadores a veces incluso caracterizan algunos de estos aspectos como una caja negra.
Esto se debe a que los investigadores no entiendo muy bien cómo los algoritmos de aprendizaje automático, en particular aprendizaje profundo algoritmos, trabajo. el dominio de IA explicable trabaja para desarrollar algoritmos que, si bien no son necesariamente una caja de cristal, pueden ser mejor entendidos por los humanos.
Por qué son importantes las cajas negras de IA
En muchos casos, hay buenas razones para desconfiar de los algoritmos y modelos de aprendizaje automático de caja negra. Supongamos que un modelo de aprendizaje automático ha realizado un diagnóstico sobre su salud. ¿Te gustaría que el modelo fuera una caja negra o una caja de cristal? ¿Qué pasa con el médico que prescribe su tratamiento? Tal vez le gustaría saber cómo llegó la modelo a su decisión.
¿Qué sucede si un modelo de aprendizaje automático que determina si califica para un préstamo comercial de un banco lo rechaza? ¿No te gustaría saber por qué? Si lo hiciera, podría apelar la decisión de manera más efectiva o cambiar sus circunstancias para aumentar sus posibilidades de obtener un préstamo la próxima vez.
Las cajas negras también tienen implicaciones importantes para la seguridad del sistema de software. Durante años, muchas personas en el campo de TI pensaron que mantener el software en una caja negra evitaría que los piratas informáticos lo examinaran y, por lo tanto, lo haría seguro. Se ha demostrado que esta suposición es errónea en gran medida porque los piratas informáticos pueden deshuesar software, es decir, construir un facsímil observando de cerca cómo funciona el software y descubrir vulnerabilidades para explotar.
Si el software está en una caja de vidrio, los probadores de software y los piratas informáticos bien intencionados pueden examinarlo y notificar a los creadores de las debilidades, minimizando así los ataques cibernéticos.
Este artículo fue publicado originalmente en La conversación. léelo artículo original.
