¿SE REPITEN LOS ERRORES DEL SIGLO XX EN EL SIGLO XXI? CIBERSEGURIDAD E INTELIGENCIA ARTIFICIAL (Parte 2)
En la primera parte de este artículo, decíamos que es muy razonable preguntarse: ¿Estamos reproduciendo los problemas de ciberseguridad del siglo XX en el siglo XXI con la Inteligencia Artificial? Los procesos de optimización y automatización que están emprendiendo empresas y administraciones… ¿Se hacen contemplando la ciberseguridad tanto técnica como organizativa como base de diseño y desarrollo de esa automatización e implementación de motores de inteligencia artificial generativa?
O bien… ¿Estamos siguiendo una inercia de automatización marcada por la necesidad competitiva y los principios básicos de eficiencia y eficacia en la gestión sin contemplar la seguridad desde el punto de vista holístico?
Señalamos un factor determinante del riesgo de reproducir o ahondar estos problemas, en la falta de capacidad técnica y conocimiento sobre los diferentes ámbitos de la seguridad de la información y la ciberseguridad de las empresas informáticas que empiezan a prestar estos servicios. Agravada esta situación por un desconocimiento generalizado en muchas áreas IT de administraciones y empresas sobre la misma materia de ciberseguridad y seguridad de la información, lo que implica que estas áreas o departamentos sean poco exigentes con sus proveedores a la hora de presentar estos proveedores soluciones de automatización o selección de tecnologías y aplicaciones a utilizar por esa administración o empresa en estos procesos de automatización.
Un “prompt” es una instrucción o conjunto de palabras que se proporciona a un sistema de IA o software para que realice una tareaespecífica. Si nos fijamos en las herramientas más habituales y conocidas de IA; ChatGPT, Gemini, etc.; se desarrollan sobre grandes modelos de lenguaje, (LLM, sus siglas en inglés). Estos modelos de lenguajes también tienen vulnerabilidades que desde el punto de vista del daño que pueden causar; podemos homologarlas a los problemas actuales de ciberseguridad de las redes e infraestructuras actuales.
La “prompt injection” es una vulnerabilidad que afecta a los LLM, (Large Language Models). Esta inyección de prompts compromete la seguridad de los tipos de IA más usados y que utilizan los grandes modelos de lenguaje (LLM, sus siglas en inglés), al manipular respuestas y acceso a datos, generando riesgos críticos tanto en la fiabilidad de la inteligencia artificial como en la ciberseguridad.
En una “prompt injection” el cibercriminal puede manipular el modelo, y lograr que produzca resultados indebidos o inexactos y que son imperceptibles por el usuario. Esto puede permitir que, por ejemplo, el modelo transmita datos incorrectos a otras piezas/neuronas/partes del sistema del modelo, que revele información restringida, sesgos indeseados o genere contenido malicioso. Incluso podrá influir en las decisiones o resoluciones tomadas por el modelo dentro de lo que sería una IA Generativa.
Por tanto, proteger una IA de ataques de inyección de prompts es vital para mantener su integridad y seguridad.
Algunas medidas que se pueden implementar:
- Validación y desinfección de entradas: Asegurar que todas las entradas recibidas por la IA sean validadas y desinfectadas para evitar la inclusión de comandos maliciosos
- Autenticación y control de acceso: Requiere autenticación de usuarios para acceder al modelo de IA y utiliza privilegios de acceso basados en roles. Esto limita quién puede interactuar con la IA y en qué capacidad y límites.
- Principio del mínimo privilegio: Otorga a los sistemas de IA solo el acceso y los permisos necesarios para realizar sus funciones, minimizando el riesgo de abuso.
- Monitorización y auditoría: Implementar sistemas de monitorización y auditoría para detectar y responder rápidamente a cualquier actividad sospechosa o no autorizada.
- Entrenamiento y actualización continua: Mantener el modelo de IA actualizado con las últimas técnicas de seguridad y entrenar a los desarrolladores y usuarios sobre las mejores prácticas de seguridad.
Estas medidas están totalmente alineadas o son una continuación de lo que cualquier administración o empresa debería contemplar en materia de ciberseguridad y seguridad de la información en su infraestructura IT u OT. Evidentemente, ninguna medida o conjunto de medidas garantizan una ciberseguridad total. Pero las medidas, lo que si ayudan es a reducir el riesgo asociado con la inyección de prompts y a proteger la IA de manipulaciones maliciosas.
Reducir este riesgo cuando hablamos de automatizar e implementar motores de inteligencia artificial generativa, es capital para organizaciones públicas y privadas, porque de materializarse el riesgo, el impacto y por tanto el daño, sería elevadísimo. Mucho más que cualquier denegación de servicio, parada, pérdida o filtración de datos.
Las 5 medidas propuestas, son todas medidas específicas, adaptadas y relacionadas con el campo o la especialización en seguridad de la información y ciberseguridad.
Por tanto, podemos concluir que no tener esto en cuenta en los procesos de automatización e implementación de motores de inteligencia artificial generativa que se están llevando a cabo en estos momentos en organizaciones públicas y privadas, implica seguir reproduciendo y ahondando aún más en los problemas de ciberseguridad actuales.
Pero al menos, existe una diferencia con la situación actual. Hoy de un desastre informático en muchos casos es posible recuperarse más allá del coste económico y reputacional que tiene. En cambio, una “vulnerabilidad” de “inyección de prompts” puede llevar a una organización especialmente privada a la desaparición y si es pública, a la infligir un daño a la sociedad considerable. Dado que puede estar tomando decisiones erróneas durante mucho tiempo, decisiones que cuando son detectadas, es posible que pudieran ser irreversibles.
Gonzalo Huerta Fernández – CEO de Gemed
