Deepfakes y otros Los ataques de inteligencia artificial generativa (GenAI) son cada vez menos rarosy hay signos de una próxima ola de ataques de este tipo: el texto generado por IA ya se está volviendo más común en los correos electrónicos y las empresas de seguridad están descubriendo formas de detectar correos electrónicos probablemente no creado por humanos. Los correos electrónicos escritos por humanos se han reducido a alrededor del 88% de todos los correos electrónicos, mientras que el texto atribuido a modelos de lenguaje grande (LLM) ahora representa alrededor del 12% de todos los correos electrónicos, frente al 7% de finales de 2022. según un análisis.
Para ayudar a las organizaciones a desarrollar defensas más sólidas contra los ataques basados en IA, el grupo Top 10 para aplicaciones LLM e IA generativa dentro del Open Worldwide Application Security Project (OWASP) ha publicado un trío de documentos de orientación para organizaciones de seguridad el 31 de octubre. A su publicación anterior Lista de verificación de gobernanza de ciberseguridad y IAEl grupo añadió una guía para prepararse para eventos deepfake, un marco para crear centros de excelencia en seguridad de IA y una base de datos seleccionada de soluciones de seguridad de IA.
Si bien la guía anterior de los 10 principales es útil para las empresas que construyen modelos y crean sus propios servicios y productos de IA, la nueva guía está dirigida a los usuarios de tecnología de IA, dice Scott Clinton, codirector de proyectos de OWASP.
Estas empresas «quieren poder hacer IA de forma segura con la mayor orientación posible; lo harán de todos modos, porque es un diferenciador competitivo para la empresa», afirma. «Si sus competidores lo hacen, [then] tienen que encontrar una manera de hacerlo, de hacerlo mejor… para que la seguridad no pueda ser una barrera, no puede ser una barrera para esto. »
Ataque deepfake a un candidato a un puesto de trabajo en un proveedor de seguridad
Para ilustrar el tipo de ataques del mundo real que ocurren actualmente, un candidato del proveedor de seguridad Exabeam pasó con éxito todas las comprobaciones iniciales y pasó a la entrevista final. Fue entonces cuando Jodi Maas, líder del equipo GRC de la empresa, reconoció que algo andaba mal.
Si bien el grupo de Recursos Humanos había marcado la entrevista inicial para un nuevo analista de seguridad senior como «algo escrita», la entrevista en sí comenzó con saludos normales. Sin embargo, rápidamente se hizo evidente que se estaba utilizando alguna forma de engaño digital. Aparecieron artefactos de fondo, la boca de la mujer entrevistada no coincidía con el audio y apenas se movía o expresaba emociones, dice Maas, jefe de seguridad, gobernanza, riesgo y cumplimiento de aplicaciones dentro del Centro de Operaciones de Seguridad (SOC) de Exabeam.
«Fue muy extraño, simplemente no había sonrisa, no había personalidad, y supimos de inmediato que no nos convenía, pero continuamos con la entrevista, porque [the experience] Fue muy interesante”, dijo.
Después de la entrevista, Maas se puso en contacto con Kevin Kirkwood, director de seguridad de la información (CISO) de Exabeam, y concluyeron que se trataba de un deepfake basado en ejemplos de vídeos similares. La experiencia los sacudió tanto que decidieron que la empresa necesitaba mejores procedimientos para detectar ataques basados en GenAI, embarcarse en reuniones con el personal de seguridad y una presentación interna a los empleados.
«El hecho de que él He superado a nuestro grupo de RRHH Fue interesante. … Las aprobaron porque respondieron todas las preguntas correctamente”, dice Kirkwood.
Después de la entrevista deepfake, Kirkwood y Maas de Exabeam comenzaron a renovar sus procesos, haciendo un seguimiento con su grupo de recursos humanos, por ejemplo, para hacerles saber que esperaban más ataques como este en el futuro. Por ahora, la empresa aconseja a sus empleados que traten las videollamadas con sospecha. (Medio en broma, Kirkwood le pidió a este corresponsal que pusiera mi video en medio de la entrevista como muestra de humanidad. Lo hice).
«Ahora verás esto con más frecuencia y sabrás que estas son las cosas que puedes verificar y estas son las cosas que verás en un deepfake», dice Kirkwood.
Se necesitan soluciones técnicas anti-deepfake
Los incidentes de deepfake capturan la imaginación (y el miedo) de los profesionales de TI, aproximadamente la mitad (48 %) de los cuales están actualmente muy preocupados por los deepfakes, y el 74 % cree que los deepfakes representarán una amenaza importante en el futuro, según una investigación realizada por la empresa de seguridad del correo electrónico Ironscales.
La trayectoria de los deepfakes es bastante fácil de predecir: incluso si no son lo suficientemente efectivos como para engañar a la mayoría de las personas hoy, lo serán en el futuro, dice Eyal Benishti, fundador y director ejecutivo de Ironscales. Esto significa que la formación humana probablemente no llegará más lejos. Los vídeos de IA se están volviendo inquietantemente realistas, y un gemelo totalmente digital de otra persona controlada en tiempo real por un atacante –un verdadero “títere de calcetín”– probablemente no se quede atrás.
«Las empresas quieren intentar comprender cómo se preparan para los deepfakes», afirma. «Se dan cuenta de que en el futuro ya no se podrá confiar plenamente en este tipo de comunicación, algo que llevará algún tiempo implementar y adaptarse».
En el futuro, dado que los artefactos reveladores desaparecerán, se necesitarán mejores defensas, dice Kirkwood de Exabeam.
“En el peor de los casos: la tecnología se vuelve tan buena que juegas un partido de tenis; ya sabes, la detección mejora, los deepfakes mejoran, la detección mejora, etc.”, dice. «Estoy esperando que la tecnología se ponga al día, para poder conectarlo a mi SIEM y marcar cosas asociadas con deepfake».
Clinton de OWASP está de acuerdo. En lugar de centrarse en capacitar a humanos para detectar chats de video sospechosos, las empresas deberían construir infraestructura para autenticar que se está llevando a cabo una conversación con un humano que también es un empleado, desarrollar procesos en torno a transacciones financieras y crear un plan de respuesta a incidentes, afirma.
«Capacitar a las personas para que identifiquen deepfakes no es realmente práctico, porque todo es subjetivo», dice Clinton. «Creo que es necesario que haya enfoques más no subjetivos, por lo que hemos creado métricas concretas que se pueden utilizar, que son combinaciones de tecnologías y procesos para centrarse realmente en unas pocas áreas».
