Ciberseguridad en Inteligencia Artificial: Lo que dice la AESIA al respecto
Categorías: Abogado / Abogados / Instituciones Públicas y Organismos / Iurismatica / Seguridad / Tecnología
La Agencia Española de Supervisión de la Inteligencia Artificial (AESIA) ha publicado una serie de guías para ayudar a las empresas a cumplir con el Reglamento Europeo de Inteligencia Artificial. En este artículo nos centramos en la Guía 11 sobre Ciberseguridad, un documento clave para cualquier organización que desarrolle o utilice sistemas de IA de alto riesgo.
¿Por qué la ciberseguridad en IA es diferente?
Cuando hablamos de ciberseguridad, todos pensamos en virus, hackers o robo de datos. Pero la inteligencia artificial tiene sus propias vulnerabilidades que van más allá de los problemas tradicionales.
Los sistemas de IA aprenden de datos. Y precisamente ahí está el problema.
Un atacante puede manipular esos datos para que el sistema aprenda mal. O puede engañar al sistema una vez que ya está funcionando para que tome decisiones equivocadas.
No proteger un sistema de IA de alto riesgo es inadmisible, según la propia guía. Los daños potenciales afectan a la salud, la seguridad, la privacidad y los derechos fundamentales de las personas.
¿Qué dice el Reglamento Europeo de IA sobre ciberseguridad?
El artículo 15 del Reglamento Europeo de Inteligencia Artificial establece tres requisitos fundamentales: precisión, solidez y ciberseguridad.
En cuanto a ciberseguridad, la norma exige que los sistemas de IA de alto riesgo:
- Mantengan un nivel adecuado de seguridad durante todo su ciclo de vida.
- Sean resistentes a intentos de terceros de alterar su uso o funcionamiento.
- Cuenten con medidas técnicas para prevenir y controlar ataques específicos.
Las soluciones de seguridad deben ser proporcionales a los riesgos concretos de cada sistema.
Las 6 principales amenazas que debes conocer
La Guía 11 identifica varios tipos de ataques específicos contra sistemas de IA. Aquí te los explicamos de forma sencilla:
Envenenamiento de datos
El atacante introduce datos manipulados en el conjunto de entrenamiento del sistema. El objetivo es que la IA aprenda comportamientos incorrectos o controlados por el atacante.
Es como si alguien metiera respuestas falsas en los apuntes de un estudiante para que suspenda el examen.
Envenenamiento de modelos
Similar al anterior, pero en lugar de atacar los datos, se manipula directamente el modelo de IA, especialmente durante actualizaciones o en sistemas que aprenden de forma distribuida.
Ataques de evasión
El atacante envía datos de entrada manipulados para que el sistema cometa errores en sus predicciones. Por ejemplo, modificar ligeramente una imagen para que un sistema de reconocimiento facial no identifique correctamente a una persona.
Ataques de inversión
Buscan extraer información privada de los datos que se usaron para entrenar el sistema. Esto compromete directamente la privacidad de las personas cuyos datos se utilizaron.
Ataques de extracción
El objetivo es robar el modelo de IA o replicar su funcionamiento mediante múltiples consultas. Con suficiente información, el atacante puede crear una copia del sistema.
Ataques a la cadena de suministro
Se comprometen componentes de software o hardware del sistema de IA antes de que llegue al usuario final. Esto incluye bibliotecas de código, frameworks o infraestructura.
¿A quién aplica esta guía?
La Guía 11 está dirigida a dos figuras clave definidas en el Reglamento:
El proveedor: Es quien desarrolla o comercializa el sistema de IA. Tiene la responsabilidad principal de implementar las medidas de ciberseguridad desde el diseño.
El responsable del despliegue: Es quien utiliza el sistema de IA en su organización. Debe seguir las instrucciones del proveedor y mantener las medidas de seguridad durante la operación.
La guía se aplica a sistemas en fases avanzadas de desarrollo (a partir de TRL 6) y a sistemas que ya están en funcionamiento.
Medidas de ciberseguridad: qué deben hacer las empresas
Para los proveedores
- Planificar la ciberseguridad desde el diseño, no como un añadido posterior.
- Involucrar al delegado de protección de datos en las decisiones de seguridad.
- Establecer responsables del seguimiento de las medidas de ciberseguridad.
- Usar herramientas automatizadas para detectar vulnerabilidades.
- Documentar todas las medidas en el manual de instrucciones y la documentación técnica.
- Realizar auditorías periódicas, tanto internas como externas.
Para los responsables del despliegue
- Leer y seguir el manual de instrucciones proporcionado por el proveedor.
- Formar al personal que interactúa con el sistema de IA.
- Gestionar adecuadamente los accesos al sistema.
- Informar al proveedor si detectan comportamientos anómalos.
Documentación técnica: qué hay que registrar
El Anexo IV del Reglamento establece qué documentación mínima debe incluirse. En materia de ciberseguridad, hay que documentar:
- El plan de ciberseguridad con su alcance y objetivos.
- Los activos y actores identificados en el análisis.
- Las vulnerabilidades detectadas y los controles aplicados.
- Los parámetros de monitorización del sistema.
- Las medidas contra ataques de envenenamiento y adversarios.
Esta documentación no es solo un requisito legal. Es la prueba de que la empresa ha actuado con diligencia.
La importancia de la formación
La guía dedica un anexo completo a la formación en ciberseguridad. Y tiene sentido: la tecnología más avanzada es inútil si las personas no saben usarla correctamente.
La formación debe cubrir al menos:
- Por qué es importante la ciberseguridad en IA.
- Qué son los ataques adversarios y cómo identificarlos.
- Cómo proteger los datos de entrenamiento.
- Qué hacer si se detecta un comportamiento anómalo.
Recuerda: una cadena es tan fuerte como su eslabón más débil. Y muchas veces ese eslabón es el factor humano.
Carácter de la guía: orientativa pero relevante
Es importante aclarar que estas guías no son vinculantes. No sustituyen ni desarrollan la normativa aplicable.
Sin embargo, ofrecen recomendaciones prácticas alineadas con los requisitos del Reglamento Europeo de IA. Son el resultado del trabajo colaborativo en el sandbox regulatorio español y servirán de base para las guías europeas que prepara la Comisión.
Las guías se actualizarán cuando se apruebe el Ómnibus digital que modifica el Reglamento de Inteligencia Artificial.
Recursos de referencia
La guía recomienda consultar especialmente los documentos de ENISA (Agencia Europea para la Ciberseguridad):
- Artificial Intelligence Cybersecurity Challenges (2020)
- Securing Machine Learning (2021)
- Cybersecurity of AI and Standardisation (2023)
También menciona estándares reconocidos como ISO/IEC 27001 y NIST 800-53.
Conclusión: actúa ahora, no después
La ciberseguridad en sistemas de IA no es opcional. El Reglamento Europeo lo exige y las sanciones por incumplimiento pueden ser muy elevadas.
Pero más allá de las multas, está la responsabilidad con las personas. Un sistema de IA de alto riesgo que falla puede afectar a derechos fundamentales, acceso al empleo, decisiones sanitarias o procesos judiciales.
Nuestra recomendación: si tu empresa desarrolla o utiliza sistemas de IA de alto riesgo, empieza ya a revisar tus medidas de ciberseguridad. La Guía 11 de AESIA es un excelente punto de partida.