Documentos de Académico
Documentos de Profesional
Documentos de Cultura
Isms GT Ia Inteligencia Artificial y Ciberseguridad
Isms GT Ia Inteligencia Artificial y Ciberseguridad
es
INTELIGENCIA
ARTIFICIAL Y
CIBERSEGURIDAD
INTELIGENCIA
ARTIFICIAL Y
CIBERSEGURIDAD
Copyright: Todos los derechos reservados. Puede descargar, almacenar, utilizar o imprimir la presente Guía sobre
Inteligencia Artificial y Ciberseguridad de ISMS Forum, atendiendo a las siguientes condiciones: (a) la guía no puede
ser utilizada con fines comerciales; (b) en ningún caso la guía puede ser modificada o alterada en ninguna de sus
partes; (c) la guía no puede ser publicada sin consentimiento; y (d) el copyright no puede ser eliminado del mismo.
DIRECTORES Angel Pérez
Paco Lázaro
AUTORES
Elisa García
Fran Gómez
Hector Recio
Ignacio Hornes
Javier Pinillos
Juan Carlos Agüero
Luis Ballesteros
Manuel Vidal
Maria Cumbreras
Miguel Angel Cabezas
Noel Castillo
Oriol Navarro
Román Mesa
Usama Alanbari
19
CONTENIDOS
2.3. OWASP TOP 100 for large language models (LLM) 27-29
59
CONTENIDOS
82
CONTENIDOS
7. REFERENCIAS 86-87
GUÍA “IA Y CIBERSEGURIDAD” www.ismsforum.es
INTRODUCCIÓN
Este trabajo evalúa los principales ámbitos que debe tener en cuenta un
profesional de la ciberseguridad para responder adecuadamente al reto de la
Inteligencia Artificial (en adelante IA).
Las soluciones basadas en IA, y más concretamente los modelos que las
componen, son elementos relevantes en cada vez más procesos de las
organizaciones.
Según el informe de Enisa 2022, las amenazas más frecuentes del pasado
año fueron de los siguientes tipos: Ransomware, Malware, Ingeniería social,
Amenazas conta los datos, amenazas contra la disponibilidad, cortes de
internet, desinformación, ataques a la cadena de suministro. Según se analiza
en el capítulo [Principales usos de la IA por parte de los ciberdelincuentes] el
uso de la IA por parte de los ciberdelincuentes es intensivo en estos ataques.
10
www.ismsforum.es GUÍA “IA Y CIBERSEGURIDAD”
Se reflexiona por tanto en los diferentes ámbitos para acompañar a los profesionales
de ciberseguridad en su objetivo de apoyar a la organización en la protección de:
Pero también trataremos a la IA como una aliada con unas muy fuertes expectativas
de su contribución para mejorar, optimizar y potenciar la eficacia y la eficiencia
de las actividades de la Ciberseguridad, en especial por su aportación al análisis,
predicción y apoyo a las decisiones manuales y automáticas de la prevención,
11
GUÍA “IA Y CIBERSEGURIDAD” www.ismsforum.es
El documento se inicia con una breve identificación de riesgos que supone el uso
de la IA, enumerando algunos incidentes con repercusión mediática. El capítulo
3 identifica frameworks y guías para la reducción de riesgos de seguridad en
la IA así como mecanismos de auditoría. En el capítulo 4 se describe la gestión
de proyectos con IA, diferenciando entre el uso de IA como servicio externo
versus el desarrollo y entrenamiento de sistemas de IA propios. El capítulo
5 entra en el uso de la IA de forma maliciosa para la realización de ataques y
recomendaciones para la prevención del uso malicioso. A su vez el capítulo 6
ofrece el lado amable de la IA como herramienta para proteger la seguridad.
Por último, el capítulo 7 ofrece algunas reflexiones sobre motivos por el que
puede fallar una implementación de un sistema de IA.
12
13
GUÍA “IA Y CIBERSEGURIDAD” www.ismsforum.es
1 RIESGOS ASOCIADOS A LA IA
De cara a poder entender cómo funciona la Inteligencia Artificial y ser capaces de aplicarla de manera efectiva en
nuestras organizaciones, así como acompañar su efectivo, es preciso comprender qué son los algoritmos y sus
implicaciones de uso, entrenamiento y desarrollo.
A su vez, es relevante prestar atención a los riesgos derivados tanto de la implantación de proyectos de IA dentro de
la Organización, como del uso de plataformas de terceros y del uso realizado por atacantes específicamente contra
nuestros proyectos de IA o contra cualquier otro servicio que estemos explotando / utilizando.
Estos riesgos son especialmente relevantes ante el uso de los modelos grandes de lenguaje (LLM), es decir, de la
utilización o incorporación de redes neuronales profundas con arquitecturas complejas que han sido entrenados
con grandes volúmenes de contenido no etiquetado. Estos modelos permiten realizar tareas complejas más allá del
procesamiento de lenguaje natural tradicional, incluyendo la generación de contenidos o respuesta a preguntas a
partir de sus datos de entrenamiento. Algunos de estos modelos permiten una interacción con el usuario mediante
un sistema de entrada de datos (prompt) que recoge las preguntas o información aportada.
Con carácter general, los principales riesgos que se puede incurrir por un error o manipulación de un sistema IA son:
RIESGOS PARA LA CONTINUIDAD Y LA CALIDAD DE LAS OPERACIONES, tales como, por ejemplo:
» Para la seguridad física: Algunos sistemas con componentes de IA manejan aspectos asociados a la seguridad
física (safety), no sólo de bienes tangibles como las mercancías y las instalaciones, sino incluso de las
personas y otros seres vivos. Un error en este ámbito puede llegar a poner en peligro la vida.
» Para las operaciones: La mala calidad de la información puede llevar a malas decisiones operativas, así los
peligros de una información sesgada o incompleta o inventada (riesgo de alucinación) proporcionada por
una IA , puede presentar un grave riesgo a las operaciones e incluso a la continuidad del Negocio Así por
ejemplo se habla de riesgo del contexto, el cual es inherente a las IA, actualmente muy buenas trabajando
en contextos cerrados, con un gran número pero limitado de variables; esto provoca que no siempre sean
capaces de diferenciar el contexto en que suceden las situaciones. Un ejemplo ocurre con la diferenciación
de una luna amarillenta y la luz amarilla de un semáforo, es conocido el caso en vehículos autónomos Tesla
que no podían diferenciarlo, es decir, tenían un problema de contexto.
14
www.ismsforum.es GUÍA “IA Y CIBERSEGURIDAD”
» Peligro de desinformación: Relacionado con el anterior, pero con una identidad propia, debemos tener en
cuenta que en el uso de LLM se puede generar información engañosa que provoque tener usuarios mal
informados y, por tanto, erosionar la confianza en la información compartida e incluso generar información
directamente alineada con lo que un usuario quiere “ver” con independencia de que esta sea verídica o no.
Los usuarios tienden a sobreestimar las capacidades de los LLM dado que aparentan un comportamiento
similar al de los humanos, esto puede provocar usen estos sistemas de forma insegura.
» Riesgo de discriminación: Daños representativos y de asignación que pueden influir en que se perpetúen
los estereotipos y prejuicios sociales.
» Riesgos legales: Como los derivados de la utilización de datos de carácter personal fuera de las finalidades,
o en número desproporcionado o sin respetar la duración acordada, entre otros.
15
GUÍA “IA Y CIBERSEGURIDAD” www.ismsforum.es
Aunque se explica más en detalle en el capítulo de “La cuestionable, y, sin embargo, enfrentan el reto de ser
IA como herramienta adversa”, cabe citar el uso de manipuladas.
la IA Generativa para generar amenazas WormGPT,
de funcionamiento similar a ChatGPT pero sin sus Son conocidos los ataques de prompt contra chats
limitaciones de control de uso. Lo más peligroso de todo de IA generativa que tienen como objetivo realizar un
es que cualquiera puede usarla. Se basa en el modelo Jailbreak, buscan manipular las limitaciones impuestas
de lenguaje GPTJ pero sin ninguna restricción ética. por las empresas desarrolladoras en los Chatbots de
De esta manera, con ella cualquiera podría desarrollar inteligencia artificial. Al fin y al cabo, hablar con estas
ataques y adaptarlo con las indicaciones que le pidamos. IA es como hacerlo con una persona superdotada,
La herramienta se promociona en múltiples foros de la una a la que han impuesto normas que no debe
Dark Web. saltar, pero no comprende del todo por qué no debe
hacerlo. Por ejemplo, es común la trampa de utilizar la
Pero las IAs también pueden ser atacadas con la finalidad psicología inversa: se solicita una lista de algún tipo a
de obtener información confidencial o manipular las la inteligencia artificial y cuando esta responde que no
respuestas que entregarán a otras personas. Los chats puede proporcionarla por motivos legales, se le pide que
de inteligencia artificial están limitados para no ofrecer indique qué elementos se deben evitar en lugar de lo que
información confidencial, delictiva y en definitiva para se busca en la lista.
evitar que ofrezcan información peligrosa o éticamente
16
www.ismsforum.es GUÍA “IA Y CIBERSEGURIDAD”
En línea con el punto anterior OpenAI tiene un programa de Bug Bounty para que la comunidad de hackers éticos
les ayude a detectar y proteger vulnerabilidad y que, el punto relevante viene cuando leyendo las condiciones dice,
explícitamente “Los problemas relacionados con el contenido de las indicaciones y respuestas del modelo están
estrictamente fuera del alcance, y no serán recompensados” (traducido del inglés), siguiendo en el clausulado indica
aspectos específicos fuera del alcance del Bug Bounty:
Esta limitación de alcance nos debe hacer reflexionar sobre la fiabilidad de los contenidos que generen estos modelos.
La lista de trucos para ChatGPT crece cada día en Jailbreak Chat, página web dónde se recopilan y ponen a prueba
votados por los usuarios. En The Prompt Report puedes encontrar más información al respecto, así como una
newsletter donde estar al tanto de este tipo de problemas.
A continuación, a modo ilustrativo y no extenso se enumeran algunos incidentes de alto impacto mediático derivados
de una mala implementación de algoritmos de IA.
17
GUÍA “IA Y CIBERSEGURIDAD” www.ismsforum.es
La API de reconocimiento facial de Amazon “Rekognition” El mal funcionamiento de los algoritmos de Inteligencia
presentó una problemática significativa debido a los Artificial en “Rekognition” planteó preocupaciones
riesgos asociados con el mal funcionamiento de los significativas en cuanto a la privacidad y la seguridad
algoritmos de Inteligencia Artificial. El sistema demostró de los datos. El sistema tenía la capacidad de reconocer
errores en la identificación precisa de personas, lo que y seguir a personas sin su consentimiento, lo que
llevó a consecuencias potencialmente perjudiciales. generaba la posibilidad de una vigilancia invasiva y un
Estos errores generaron situaciones de discriminación uso indebido de la información personal. Estos errores
racial y de género al identificar incorrectamente a destacaron la necesidad de abordar de manera rigurosa
individuos de ciertas etnias y géneros, lo que puso en y ética el desarrollo y despliegue de algoritmos de
peligro la equidad y la justicia en diversos contextos, Inteligencia Artificial para evitar impactos negativos en
como la vigilancia y el cumplimiento de la ley. la sociedad y proteger los derechos fundamentales de
los individuos.
18
www.ismsforum.es GUÍA “IA Y CIBERSEGURIDAD”
los accidentes de tránsito, cuando se alcancen niveles inherente a la conducción autónoma, y generado por
óptimos globales de conducción autónoma dicha la introducción de la IA, radica en la dificultad para
sin conductor. Este incidente puso de manifiesto las entre vehículos conducidos por personas y vehículos
limitaciones y desafíos que enfrentan los algoritmos autónomos; pongamos por ejemplo rotondas con gran
de Inteligencia Artificial en situaciones de tráfico congestión en horas punta y las acciones temerarias que
realizan muchos conductores ansiosos.
19
GUÍA “IA Y CIBERSEGURIDAD” www.ismsforum.es
Con la introducción progresiva de la conducción autónoma se han conocido varias posibles acciones de sabotaje
cuando menos curiosas:
» Alteración de señales de tráfico mediante pequeñas marcas en las mismas: es conocido el estudio de 2018
de diversas universidades que, mediante el concepto de algoritmo adversario, llegaron a demostrar cómo
se alteraba la interpretación de una señal de “Stop” por “límite 60 millas por hora” mediante la introducción
de distintos puntos de color en la señal de Stop.
» Detención de vehículos autónomos mediante la inclusión de una señal Stop en la parte trasera del vehículo
precedente.
20
www.ismsforum.es GUÍA “IA Y CIBERSEGURIDAD”
En 2018, la utilización del sistema de inteligencia públicas, ya que el sistema resultó ser sexista,
artificial por parte de Amazon para la contratación favoreciendo a hombres blancos. Es probable que los
generó una problemática significativa. La intención de datos de entrenamiento utilizados para crear el modelo
automatizar el proceso de contratación para agilizar estuvieran desequilibrados, lo que resultó en un sesgo
la selección de candidatos para los miles de vacantes en la selección de candidatos. Este incidente representa
disponibles terminó siendo un desastre de relaciones otro ejemplo de fracaso de la inteligencia artificial.
21
GUÍA “IA Y CIBERSEGURIDAD” www.ismsforum.es
2 GESTIÓN DE RIESGOS EN IA
En este capítulo se explican diferentes frameworks y estudios sobre tipos de ataque a sistemas de IA.
MITRE es una organización sin ánimo de lucro cuya misión principal es la mejora de la seguridad de los sistemas y redes.
Entre otros contenidos es una entidad de gran prestigio en la comunidad cíber por publicar y mantener el framework
“MITRE ATT&CK”, que proporciona una descripción detallada del conjunto de tácticas, técnicas y procedimientos (TTP)
que utilizan los atacantes.
El TTP se ha constituido en los últimos años, junto con los IoC (Indicadores de Compromiso), en una de las fuentes de
información de inteligencia más valiosas para la prevención y respuesta a ciberataques.
Ya en 2020 MITRE publicó, y actualiza periódicamente, el framework MITRE ATLAS , que brinda el conjunto de Tácticas
y Técnicas (y subtécnicas) específico contra sistemas de Machine Learning.
22
www.ismsforum.es GUÍA “IA Y CIBERSEGURIDAD”
23
GUÍA “IA Y CIBERSEGURIDAD” www.ismsforum.es
En el propio site de MITRE ATLAS se describen, en el momento de redacción de este documento, un conjunto de 18
acciones de mitigación de ejecución de técnicas y subtécnicas descritas.
A través de este framework podemos comprender el proceso de despliegue de sistemas que requieren de un
entrenamiento previo, así como los dos flujos técnicos (pipelines): Entrenamiento e inferencia:
En el flujo de entrenamiento los responsables del sistema introducen un conjunto de datos a partir de los
cuales se prepara el modelo para realizar sus funciones.
En el flujo de inferencia, un modelo ya entrenado recibe datos de los usuarios sobre los que ejecutará la tarea
para el que ha sido diseñado y devuelve los resultados.
En la cadena de ataques sobre un sistema de inteligencia artificial la parte relacionada con el propio modelo puede
ser considerado como el punto más disruptivo respecto del resto de ciberataques habituales.
24
www.ismsforum.es GUÍA “IA Y CIBERSEGURIDAD”
La fundación OWASP (Open Web Application Security Project), formada por un conjunto muy extenso de voluntarios
y expertos en ciberseguridad, cuya misión es mejorar la seguridad del software.
OWASP ha publicado su Guía sobre la Seguridad y Privacidad en entornos de IA que también realiza descripciones
de amenazas.
La siguiente tabla resume, según esta organización, las principales amenazas que pueden impactar el funcionamiento
de los modelos de inteligencia artificial:
Amenaza Descripción
25
GUÍA “IA Y CIBERSEGURIDAD” www.ismsforum.es
26
www.ismsforum.es GUÍA “IA Y CIBERSEGURIDAD”
Los modelos grandes de lenguaje (LLM) se componen de arquitecturas complejas basadas en redes neuronales que
han sido entrenadas con grandes conjuntos de datos. Algunos de estos modelos (como el conocido ChatGPT, Google
Bard, Bing, etc.) disponen de un sistema de interacción a partir de una entrada de texto para el usuario (prompt). En
algunos sistemas más evolucionados se dispone incluso de una interacción multimodal (cuya entrada pueden ser
textos, imágenes, sonidos, etc.).
La organización OWASP ha desarrollado un Top 10 de vulnerabilidades potenciales para tener en cuenta en estos
sistemas:
27
GUÍA “IA Y CIBERSEGURIDAD” www.ismsforum.es
Vulnerabilidad Descripción
LLM: Prompt Injection Algunas implementaciones de modelos LLM suelen disponer de un sistema
de entrada para peticiones o preguntas del usuario (prompt). Esta entrada
puede ser manipulada por el atacante para conseguir saltarse restricciones
del sistema generativo y hacer que genere información o actividades
maliciosas.
LLM02: Insecure Output Handling Esta vulnerabilidad podría ser presente si se usan sin revisión los datos de
salida de un modelo LLM.
LLM05: Supply Chain Vulnerabilities El ciclo de desarrollo y producción de un modelo LLM podría verse afectado
por componentes de terceros vulnerables, incluidos conjuntos de datos o
modelos pre-entrenados.
LLM06: Sensitive Information Estos ataques, como la inversión de modelos, afectan también a sistemas
Disclosure LLM. Un atacante podría revelar datos confidenciales sobre el propio
modelo, sus datos de entrenamiento o datos sensibles de la plataforma
operativa a partir de peticiones maliciosas.
LLM07: Insecure Plugin Design Los plugins que puedan integrarse en los sistemas donde funcionan los
modelos LLM pueden desactivar otros controles sobre los parámetros de
entrada o control de acceso de los sistemas.
LLM08: Excessive Agency El exceso confianza sobre el funcionamiento de los modelos LLM puede
llevar a acciones no deseadas cuando éstos tienen otorgadas capacidades
o privilegios excesivos en la organización.
28
www.ismsforum.es GUÍA “IA Y CIBERSEGURIDAD”
LLM10: Model Theft El robo de modelos puede ser posible mediante la extracción de
funcionamiento del modelo o bien mediante el aprovechamiento de fallos
operativos de la plataforma. Podría tener implicaciones sobre la propiedad
intelectual de la organización que desarrolla el modelo.
NIST (National Institute of Standards and Technology) es una agencia pública del gobierno de Estados Unidos cuya
misión es promover la innovación y competencia industrial.
En la perspectiva de ciberseguridad NIST es ampliamente conocido por la comunidad por su Cybersecurity Framework
(CSF), adoptado como un estándar de referencia a nivel internacional
Esta organización ha lanzado toda una línea de trabajo, recogida en su Centro de recursos para una AI Confiable y
Responsable (disponible en la sección Trustworthy and Responsible AI Resource Center ).
En su site se pueden encontrar recursos para la comprensión y gestión del riesgo de la inteligencia artificial que
permiten ayudar en la aplicación real del Framework de Riesgo propuesto por el NIST, entre las que cabe destacar la
guía para la implantación (NIST AI RMF Playbook ), su vídeo explicativo (AI RMF Explainer Video ), así como interesantes
perspectivas sobre el futuro de la IA (Perspectives ).
El framework, titulado “AI Risk Management Framework ” (AI RMF 1.0) fue publicado a principios de 2023, y resultado
de un largo trabajo en régimen de Colaboración Público-Privada que involucró a más de 240 organizaciones.
El objetivo de esta iniciativa es permitir a las organizaciones de cualquier tipo diseñar, desarrollar, desplegar y utilizar
los sistemas de AI de una manera confiable y responsable.
29
GUÍA “IA Y CIBERSEGURIDAD” www.ismsforum.es
Comprender las principales amenazas (a las personas, las organizaciones, la sociedad y el medio ambiente).
Entender las principales características de los sistemas de IA para poder identificar los riesgos inherentes
al uso de estas tecnologías.
Identificar en qué varían los riesgos asociados a la IA respecto al riesgo tradicional que estamos
acostumbrados a gestionar.
Gestionar los riesgos, incluyendo la medida del riesgo, la determinación de los umbrales de tolerancia, la
priorización de los riesgos
Tener enfoques para la integración de la gestión del IA en la actual gestión de riesgos de las compañías.
Para conseguir estos objetivos, se proporciona una guía para poder desarrollar las 4 funciones que establece como
clave: Gobernar, mapear, medir y gestionar los riesgos asociados a la IA.
30
www.ismsforum.es GUÍA “IA Y CIBERSEGURIDAD”
Gobierno: Es conveniente establecer un marco de gobierno sólido para los modelos de ML/IA. Esto implica
definir políticas y procedimientos claros para su desarrollo, implementación y mantenimiento.
Auditorías posteriores deben evaluar si se siguen las mejores prácticas de gobernanza, como la asignación
adecuada de responsabilidades, la gestión de riesgos y la transparencia en la toma de decisiones. Este
proceso de auditoria debe estar presente a lo largo de todo el ciclo de vida del sistema de IA.
Privacidad: Dentro del ciclo de vida hay ciertas fases en las que la privacidad tiene una relevancia
especialmente importante.
Se deben evaluar las medidas de seguridad implementadas para evitar el acceso no autorizado durante el
diseño de los sistemas, a el uso indebido o la divulgación de información sensible. En la parte que se refiere
al algoritmo esto afecta:
• En la fase del diseño en lo que se refiere a la cadena de proveedores, es decir, todas las
dependencias que sean usadas en el proceso de creación del modelo y su entrenamiento.
• En la fase de despliegue asegurando que los datos sensibles o que estén dispuestos en
diferentes niveles de acceso en base a unos criterios de autorización no sea expuestos.
• Y por último en la fase de monitorización para detectar posibles ataques capaces de extraer
información haciendo un mal uso del modelo.
31
GUÍA “IA Y CIBERSEGURIDAD” www.ismsforum.es
Ética y sesgos: Tanto en la fase de diseño como en la fase de monitorización es necesario realizar auditorías
enfocadas a examinar si los modelos de ML/IA están sujetos a sesgos injustos o discriminación. Se deben
analizar los datos de entrenamiento en busca de sesgos y se deben implementar medidas para mitigarlos.
Además, es importante evaluar si se han establecido salvaguardias éticas para evitar decisiones o resultados
injustos y discriminatorios.
32
www.ismsforum.es GUÍA “IA Y CIBERSEGURIDAD”
3 PROYECTOS CON
ALGORITMOS DE IA
Antes pasar a analizar los riesgos queremos hacer una reflexión previa sobre la implantación de sistemas de IA. Si bien
los sistemas de IA son considerados como una tecnología disruptiva los pasos previos que hay que dar no difieren
mucho de los deberíamos realizar antes de incorporar algo nuevo en nuestra organización, por ello deberemos:
Identificar las necesidades de nuestra organización o los problemas que deseamos resolver.
Evaluar si existen otras alternativas a un sistema IA, hay que tener en cuenta que su implantación y gestión
no es trivial.
Establecer un presupuesto y ver la disponibilidad de recursos que podríamos necesitar y si están alineados
con la dimensión organización.
Los modelos que forman partes de soluciones de inteligencia artificial son elementos complejos que, al contrario
que otras soluciones de software, en algunos casos no permiten una comprensión o medida directa sobre su
funcionamiento o rendimiento. Este hecho puede tener impactos negativos que no sean directamente observables
por parte de las organizaciones que las emplean.
Existen dos elementos clave que será necesario realizar y para los que recomendamos la lectura en detalle del
apartado de Existen dos elementos clave que será necesario realizar:
Modelado de amenazas: Tanto el entorno tecnológico operativo como los propios algoritmos y modelos
requieren de una observación detallada de los riesgos que presentan estas soluciones. Es conveniente no
sólo modelar, sino también monitorizar, aquellas amenazas que puedan conseguir alterar el funcionamiento
o precisión de los modelos.
Evaluación y auditoría: Las medidas de precisión de algunos modelos, como en los casos de IA generativa,
no puede realizarse como en modelos de aprendizaje automático supervisados. Se requiere de frameworks
de referencia. Asimismo, es imprescindible realizar estas tareas de forma continua en el tiempo para evitar
el impacto de amenazas sobre estos sistemas.
33
GUÍA “IA Y CIBERSEGURIDAD” www.ismsforum.es
Entidades públicas y privadas están desarrollando marcos de revisión para soluciones de inteligencia artificial. La
aparición de nuevas amenazas y técnicas de ataque hará que estos marcos modifiquen sus requisitos para acomodar
nuevos puntos de revisión. Los requisitos de transparencia y explicabilidad son en sí mismos un reto en modelos que
pueden tener billones de hiperparámetros.
Si bien este documento se refiere al uso de IA y ciberseguridad, es importante destacar también la importancia de
colaborar en el desarrollo de soluciones que respeten el medio ambiente ya que el entrenamiento de modelos de IA
complejos es una tarea que requiere capacidades de cómputo muy elevadas.
Las infraestructuras tecnológicas que pueden ejecutar estos modelos en tiempo razonable tienen un impacto
ambiental muy elevado. Existen iniciativas para introducir principios de sostenibilidad en los sistemas de IA, tanto a
partir de la optimización de los algoritmos actuales como de generar infraestructuras con menor impacto ambiental.
Este es el enfoque en el que la organización adquiere e integra un sistema de IA comercializado por un tercero.
Es la opción que menos recursos consume y que, probablemente, se despliegue más rápidamente, o sea la más viable
de implantar en cualquier organización, pero esto no implica que esté exenta de riesgos, precisamente esto es lo que
se ve a lo largo del capítulo: los riesgos a los que estamos expuestos y recomendaciones sobre cómo afrontarlos
Aquellos otros productos que, incorporando elementos de IA, o bien no lo especifican o bien son un
componente más del producto. Por ejemplo, en Microsoft 365 hay más de 100 componentes de IA
(reconocimiento de voz, recomendaciones, corrección automática, traducción, análisis de datos, creación
de contenido, DLP, IRM, …) y sin embargo no identificamos a Microsoft 365 como un producto IA.
La elección de una tecnología, y proveedor, no debe realizarse de forma precipitada, es importante investigar y
comparar entre varios antes de tomar la decisión final, ya que esta puede marcar el éxito o el fracaso de la implantación
de una IA en la organización. Por ello, conviene tener en cuenta los siguientes aspectos:
Reputación: Los casos de éxito, las referencias o las reseñas son fundamentales para establecer una
confianza en el mismo.
34
www.ismsforum.es GUÍA “IA Y CIBERSEGURIDAD”
Productos y servicios: Es importante que estos se adapten al alcance y a los resultados esperados. Unos
servicios personalizados nos permitirán solucionar de forma más adecuada nuestras necesidades.
Ética: El uso de las IA requiere de un enfoque ético en su desarrollo y uso, la adhesión a protocolos o pactos
nos puede ayudar en este caso. Esto es especialmente importante cuando se puedan producir situaciones
de discriminación o sesgo.
Transparencia: Es fundamental que nos puedan identificar la forma en que los modelos de IA toman las
decisiones. Algunos sistemas de IA, como los deep learning, que pueden llegar a ser difíciles de entender.
Es fundamental que la organización pueda explicar y comprender la naturaleza de las soluciones
proporcionadas por la IA.
Seguridad: Como clientes habrá muchas medidas que solo el proveedor podrá llevar a cabo, por ello es
crucial que disponga de medidas sólidas en infraestructuras y sistemas.
Cumplimiento normativo: Deberá proporcionar mecanismos que nos permitan verificar el cumplimiento
de las regulaciones y normativas aplicables, especialmente en lo que respecta a la protección de datos y
la privacidad.
Acuerdos de nivel de servicio (SLA): Donde se establezca claramente la relación contractual y queden
recogidos los posibles cambios en las políticas de uso, en el soporte o en una posible terminación repentina
del soporte, ya que todo ello podría afectar a la operativa de la organización.
Evaluación previa a la contratación: Se debería realizar una prueba que permita comprobar la calidad de
la tecnología, la capacidad para dar respuesta a las necesidades requeridas y poder valorar el desempeño
de la solución en la organización.
Riesgos asociados a la tecnología, donde todos, o la mayoría, quedarán del lado del proveedor:
35
GUÍA “IA Y CIBERSEGURIDAD” www.ismsforum.es
Riesgos asociados al uso, siendo estos los que quedan en el lado de la organización que lo integra:
36
www.ismsforum.es GUÍA “IA Y CIBERSEGURIDAD”
Derechos de autor, muchas IA no garantizan los • Incorporar políticas de uso ético de las IA.
derechos de propiedad intelectual lo cual pueden • Concienciar y formar, de forma periódica, en
provocar que se utilicen contenidos, generados por tecnologías IA, seguridad de la información y
la IA, que puedan tener la consideración de plagio, protección de datos.
vulnerando derechos de terceros.
Protección del usuario, este riesgo está alineado • Incorporar políticas de uso ético de las IA.
con los requisitos del futuro Reglamento de IA de la • Informar a los consumidores de la tecnología
UE, en concreto se deberá informar al consumidor IA utilizada.
de que está interactuando con un sistema de IA. • Auditar los procesos, especialmente los de
Además de evitar prácticas que puedan suponer una atención al cliente.
discriminación del consumidor.
Principios éticos, hay que tener en cuenta que • Incorporar políticas de uso ético de las IA.
actualmente las IA no tienen la capacidad de • Supervisar los resultados proporcionados por
diferenciar entre lo correcto y lo incorrecto, lo bueno y la IA.
lo malo, o lo verdadero o lo falso. Esto puede provocar
que la información procesada se ve afectada por
sesgos o por formad de discriminación.
Falta de control, al ser una solución proporcionada • Establecer acuerdos contractuales (Acuerdos
por un tercero, se puede tener una falta de control de nivel de servicio o SLA) que aborden:
sobre el desarrollo y mantenimiento de la tecnología. seguridad, privacidad, transparencia,
Esto puede dificultar la identificación y corrección responsabilidad, tiempos de respuesta,
de vulnerabilidades o la implantación de medidas de actualizaciones, calidad de los data sets,
seguridad específicas. continuidad del servicio...
• Supervisar los resultados proporcionados por
la IA.
37
GUÍA “IA Y CIBERSEGURIDAD” www.ismsforum.es
Las soluciones basadas en Inteligencia Artificial y aprendizaje automático engloban un conjunto de metodologías y
soluciones capaces de dotar a sistemas automáticos de capacidades inspiradas en la inteligencia humana: análisis
de información, toma de decisiones o generación de contenidos.
En el contexto de la inteligencia artificial, los algoritmos son descripciones de una serie de pasos que permiten definir
los parámetros del modelo que va a realizar las tareas que podrán solucionar un problema. El modelo es el producto
final que puede realizar las tareas definidas.
Tradicionalmente, los distintos campos de la inteligencia artificial engloban las técnicas de aprendizaje automático,
que en sus implementaciones con redes neuronales se denomina aprendizaje profundo.
Los modelos de aprendizaje automático que puede desarrollar la organización se dividen en las siguientes categorías
según su entrenamiento:
Aprendizaje semi-supervisado: Aquellos casos en los que se usan conjuntos de entrenamiento parcialmente
informados.
Aprendizaje por refuerzo: Algoritmos que basan su aprendizaje a partir de la información del entorno en
el que se ejecutan.
El procesamiento de lenguaje natural incluye modelos que permiten la comprensión del lenguaje humano por parte
de sistemas automáticos. Estos modelos se entrenan de forma supervisada para realizar tareas específicas, por
ejemplo, clasificaciones sobre el contenido de textos y traducciones automáticas.
38
www.ismsforum.es GUÍA “IA Y CIBERSEGURIDAD”
Las fuentes de datos utilizadas en proyectos de Inteligencia Artificial (IA) pueden variar ampliamente dependiendo
del proyecto que queramos abordar y del tipo de aplicación de IA que tengamos previsto utilizar.
Es importante entender la información que será procesada, realizando una identificación de los datos:
Tipos de datos:
» Estructurados: Organizados en filas y columnas y que fundamentalmente son datos de texto como son
bases de datos, hojas de cálculo, etc.
» No estructurados: Son datos que no tienen un formato definido y no se pueden almacenar fácilmente en
una tabla. Podemos encontrar ejemplos como:
Video – permite el entrenamiento de modelos que tenga como finalidad la identificación facial...
» Fuentes Internas: Muchas organizaciones tienen bases de datos internas que contienen datos relevantes
para sus operaciones comerciales. Estas bases de datos pueden incluir registros de clientes, registros de
transacciones, etc., que son muy útiles para el entrenamiento de modelos.
» Fuentes Externas: Existen numerosas fuentes de datos públicas disponibles en línea que pueden ser
utilizadas en proyectos de IA como pueden ser datos de investigación académica, datos gubernamentales,
datos de encuestas.
39
GUÍA “IA Y CIBERSEGURIDAD” www.ismsforum.es
» Procedimiento para gestionar y garantizar una adecuada gobernanza de los datos (garantizar la exactitud,
integridad, fiabilidad, veracidad, actualización y adecuación del conjunto de datos).
» Análisis de la muestra utilizada para el entrenamiento del modelo y verificación de la representatividad del
conjunto final de datos con relación a la población del contexto.
» Análisis de compensación, estableciendo la relación entre la cantidad y tipología de datos a ser recogidos/
descartados y aquellos necesarios para garantizar la efectividad y eficiencia del componente.
» Análisis del tamaño de la muestra para la conservación de datos con propósito de auditoría.
» Identificación del contexto de origen y las fuentes de datos utilizados para el entrenamiento y validación
del modelo.
» Documentar y justificar el proceso de elección de las fuentes de datos utilizadas para el entrenamiento.
» Establecer base legitimadora para el uso de datos personales para cada una de las etapas del ciclo de vida.
» Justificar la recogida y el empleo de datos personales, que no son necesarios en la etapa de entrenamiento,
que permite realizar una comprobación del comportamiento del modelo en las etapas posteriores de
verificación y validación del componente.
» En el caso de usar datos personales sensibles, se debe evaluar la necesidad de su uso y que existe una
circunstancia que justifica levantar la prohibición general de su tratamiento.
40
www.ismsforum.es GUÍA “IA Y CIBERSEGURIDAD”
» Obligaciones de información a los interesados con relación al tratamiento de datos ya sean datos obtenidos
de los interesados directamente u obtenidos de terceros
» En el caso de transferir datos a terceros países es necesario valorar si estos países se encuentran dentro del
EEE (Espacio Económico Europeo) o fuera de él. En el caso de transferencias internacionales será necesario
valorar la existencia o ausencia de una decisión de adecuación de la Comisión.
» Los destinatarios de los datos deberán aparecer identificados en la actividad o actividades del Registro de
Actividades de Tratamiento en las que se inscribe el uso del componente IA.
» Definir una política de conservación de la muestra de datos de entrenamiento, así como una política de
conservación en el registro de actividades y aplicar estrategias de privacidad (minimización, ocultación,
separación o abstracción de datos) para su explotación.
» Identificar las categorías de los interesados y las consecuencias a corto y largo plazo que la implementación
del componente IA puede suponer.
» Definir los procedimientos necesarios para analizar el contexto social en el que se enmarca el uso del
componente y recabar información a través de personas, grupos u organizaciones afectadas
41
GUÍA “IA Y CIBERSEGURIDAD” www.ismsforum.es
Para realizar una evaluación correcta del modelo de inteligencia artificial utilizada debemos tener en cuenta varios
aspectos a la hora de dividir los datos de entrenamiento y test:
Representatividad de los datos: Ambos conjuntos de datos deben ser representativos de los datos reales
a los que se enfrentará el modelo una vez que esté en producción. Deben tener la suficiente variabilidad y
diversidad que podemos encontrarnos en la situación real.
Aleatoriedad: La división de los datos para ambos conjuntos debe ser totalmente aleatoria ya que garantiza
que los conjuntos sean independientes evitando sesgos no deseados. Utilizar formulas aleatorias ayuda a
generalizar los resultados dando mayor robustez ante la entrada de datos nuevos.
Proporcionalidad. La división entre ambos conjuntos de datos dependerá de la complejidad del proyecto
y del volumen de datos disponibles. La proporción más común utilizada sería 70% para los datos de
entrenamiento y un 30% para el test.
Los datos que utilicemos para entrenar y evaluar el modelo deben representar el estado actual de los datos
que se encontrarán en producción. Si tenemos datos que pueden cambiar en el tiempo, se hace necesario
actualizarlos periódicamente en los conjuntos de entrenamiento y prueba para asegurarse de que el modelo
se ajuste a los datos más recientes.
» Identificar y documentar los criterios de depuración previa de los datos originales a lo largo de las diferentes
iteraciones en el proceso de entrenamiento del componente.
42
www.ismsforum.es GUÍA “IA Y CIBERSEGURIDAD”
» Documentar la estructura y propiedades del conjunto de datos tratados, en número de sujetos y extensión
de datos utilizados.
» Preprocesar y depurar previamente de los datos utilizados para el entrenamiento y validación del
componente IA, detectando las posibles anomalías.
Seudonimización/diccionario de datos
» Determinar las variables relevantes para el modelo, identificando las variables asociadas a categorías
especiales de datos y las variables proxy.
» Determinar y aplicar los criterios de minimización de los datos aplicables a las diferentes etapas del
componente IA usando estrategias de ocultación, separación, abstracción, anonimización y seudonimización
de los datos.
» Asociar un diccionario de datos a las bases de datos que permita su análisis y comprensión.
» Análisis del grado de anonimización de los datos y del posible riesgo de reidentificación.
Una vez que tenemos los objetivos que tenemos que conseguir e identificados los datos que vamos a utilizar para
el modelo que vamos a desarrollar llega el momento elegir el modelo de Inteligencia Artificial que vamos a utilizar.
¿Qué debemos tener en cuenta a la hora de elegir el modelo que vamos a utilizar?
Elección de la medida de éxito del modelo. El indicador que determinará que vamos por buen camino debe
ser observable y debe estar alineado con los objetivos de negocio que queremos conseguir. La elección de
esta medida dependerá de la naturaleza del problema que vamos a abordar, los objetivos, el contexto en
el que nos encontramos y el impacto comercial de las decisiones basadas en el modelo
43
GUÍA “IA Y CIBERSEGURIDAD” www.ismsforum.es
Selección de algoritmos y técnicas que se ajusten al problema al que nos estamos enfrentando. Podemos
encontrar diferentes técnicas como, por ejemplo:
* Redes Neuronales.
* Árboles de decisión.
A la hora de elegir el que vamos a utilizar hay que tener en cuenta las ventajas, desventajas del algoritmo o técnica
elegida, así como los distintos casos de uso que se adapten mejor a nuestras necesidades.
En cuanto a la disponibilidad de bibliotecas y marcos de trabajo para el desarrollo del modelo, se deben valorar los
que se encuentran disponibles en ese momento que mejor se ajusten al modelo que queremos desarrollar. Estas
bibliotecas disponen de una amplia gama herramientas y utilidades para que se desarrolle y mantenga correctamente
el modelo de IA. A modo de ejemplo, podemos encontrar bibliotecas de código abierto tales como: TensorFlow, PyTorch,
scikit-learn , Keras y Café.
A continuación, se enumeran recomendaciones para mitigar el riesgo normativo derivado de una incorrecta
identificación y transparencia del componente de IA:
Inventario de componentes IA
» Histórico de versiones de la evolución del componente IA utilizado, incluyendo los parámetros usados en el
entrenamiento del componente.
Identificación de responsabilidades
44
www.ismsforum.es GUÍA “IA Y CIBERSEGURIDAD”
» Especificar en el contrato asociado a las etapas de tratamiento bajo auditoría del reparto de responsabilidades
desde el punto de vista de protección de datos personales.
» Inscripción en el Registro de Actividades de Tratamiento de los responsables respectivos, y/o los encargados,
del tratamiento de datos personales bajo auditoría.
Transparencia
» Identificar y justificar las características de los datos usados para entrenar al componente IA.
» Elección del modelo más adecuado teniendo en cuenta criterios de eficiencia, calidad y precisión del
componente IA usando criterios de simplicidad e inteligibilidad.
» Poner a disposición de las partes interesadas la información sobre los metadatos del componente IA, su
lógica y las consecuencias que pueden derivarse de su empleo.
» Se dispone de la documentación suficiente para comprender la lógica del componente IA utilizado y realizar
la trazabilidad de su comportamiento respecto a cada conjunto de datos de entrada.
» Prever mecanismos para minimizar los perjuicios ante un comportamiento erróneo del componente IA.
» Documentar el objetivo que se persigue con el uso del componente IA, tanto en términos cuantitativos como
cualitativos, con una descripción clara de lo que se pretende conseguir mediante su empleo en el marco del
tratamiento.
» Identificar la relación entre el objetivo que se persigue con el uso del componente de IA y las condiciones
que garantizan la licitud de dicho tratamiento.
» Identificar las dinámicas, actividades y/o procesos en el marco de la organización en la que se integra la
etapa del ciclo de vida del componente IA bajo auditoría, delimitando, en la medida de lo posible, el contexto
de su uso.
45
GUÍA “IA Y CIBERSEGURIDAD” www.ismsforum.es
» Describir otros posibles usos y usuarios secundarios junto con la base de legitimación que justifica su
utilización.
Identificación de contexto
» Documentar los contextos jurídico, social, económico, organizacional, técnico, científico, o de cualquier otra
clase que esté relacionado con la inclusión del componente IA
» Definir la estructura organizacional y/o contractual entre las partes y así el reparto de tareas y
responsabilidades.
» Definir los requisitos de los operadores humanos que tendrán misión de supervisar e interpretar la operación
del componente IA.
» Documentar la interacción del componente IA con otros componentes, sistemas o aplicaciones, propias
o de terceros y el reparto de responsabilidades de mantenimiento, actualización y minimización de los
problemas de privacidad del sistema.
» Definir los baremos o umbrales para interpretar y utilizar los resultados ofrecidos por el componente IA
utilizado.
» Identificar aquellos contextos para los que no está recomendado incluir el componente IA en un tratamiento
al no poder cumplir con su objeto o propiedades, o un nivel de fiabilidad y/o exactitud inadecuada respecto
a la relevancia que podría tener el tratamiento en el interesado.
» Evaluar el empleo del componente IA en el marco del tratamiento frente a otras posibles opciones con
relación a los derechos y libertades de los interesados.
» Justificar las motivaciones y argumentos que conducen a abordar este problema a través del empleo de un
componente IA.
46
www.ismsforum.es GUÍA “IA Y CIBERSEGURIDAD”
» Si se trata de un problema conocido, documentar y justificar los motivos que han conducido a un cambio en
el esquema de funcionamiento anterior, describiendo, en su caso, los nuevos objetivos que se persiguen
mediante el empleo del componente IA.
» Análisis y gestión del riesgo para los derechos y libertades de los interesados que introduce en el tratamiento
el procesamiento de los datos mediante el componente IA.
Una vez que elegido el modelo de Inteligencia Artificial a utilizar se inicia su entrenamiento. En esta fase se usan los
datos de entrenamiento para ajustar los parámetros del modelo para que el modelo aprenda a realizar predicciones
o a tomar decisiones.
a. Preparación de los datos de entrenamiento de forma adecuada: Deberemos limpiar y normalizar los datos,
codificar las variables que necesitemos, elegir las características más relevantes y etiquetarlas.
b. Definir la arquitectura y diseño del modelo: En este punto, es necesario incluir el número y la configuración
de las capas, la elección de funciones de activación, la selección de optimizadores y la definición de
hiperparámetros. Como ejemplos de hiperparámetros podemos encontrar.
Funciones de activación - Son funciones matemáticas que se aplican a la salida de cada neurona
en una red neuronal.
c. Inicializar los parámetros del modelo: Deberemos asignar los pesos y sesgos iniciales de forma aleatoria
o utilizando valores preentrenados que hayamos utilizado en modelos previos.
d. Alimentar los datos de entrenamiento al modelo: El modelo realiza cálculos basados en los datos de entrada
y genera predicciones o resultados. Estos resultados se comparan con las etiquetas o resultados conocidos
para medir la diferencia entre las predicciones del modelo y los valores reales.
47
GUÍA “IA Y CIBERSEGURIDAD” www.ismsforum.es
e. Cálculo de función de pérdida: Esta función nos permite ver lo bien que se están haciendo las predicciones
comparadas con los valores reales. En general, las funciones de pérdida pueden clasificarse como:
Error lineal o local - Se calcula obteniendo la diferencia entre el valor real que hay que predecir y el
valor predicho.
Error medio cuadrático (MSE) o error global - Esta función nos permitirá conocer de manera global
el porcentaje de error cometido
f. Optimizar los parámetros del modelo: El objetivo del entrenamiento es ajustar los parámetros del modelo
para minimizar la función de pérdida. Utiliza algoritmos de optimización, como el descenso del gradiente,
permite que se puedan ajustar los pesos y sesgos del modelo y mejorar gradualmente su rendimiento.
g. Iterar el proceso de entrenamiento: Repite los pasos anteriores para varias iteraciones ya que de esta
forma el modelo aprende a partir de los datos y mejora su rendimiento. Esto implica alimentar el conjunto
de entrenamiento al modelo repetidamente y ajustar los parámetros en función de las retroalimentaciones
proporcionadas por la función de pérdida.
h. Validación cruzada y ajuste de hiperparámetros: En la actualidad podemos dos técnicas principales validación cruzada:
Técnica del Train-Test Split: Esta técnica descompone de manera aleatoria una serie de datos y se divide
en dos partes. La primera, que es entre el 70% y 80% de los datos de la serie, sirve para el entrenamiento
del modelo de aprendizaje automático y la segunda, entre el 20% y 30% de los datos restantes, te permite
probarla para la validación.
Método K-Folds: Esta técnica tiene un parámetro único llamado “K”, que hace referencia al número de grupos
en el que se dividirá la muestra. El valor K no debe ser ni demasiado bajo ni demasiado alto, un valor más alto
lleva a un modelo con menos sesgo, pero una varianza demasiado amplia puede llevar a un ajuste excesivo.
Sin embargo, un valor más bajo es prácticamente lo mismo que utilizar el método Train-Test Split.
48
www.ismsforum.es GUÍA “IA Y CIBERSEGURIDAD”
» Estudio y análisis sobre el marco teórico y experiencias previas similares sobre las que se fundamenta el desarrollo del
componente IA.
» Están determinadas, argumentadas y documentadas las ideas de base e hipótesis que se toman en consideración para
la creación y desarrollo del modelo.
» Procedimiento de revisión crítica y contrastada de los razonamientos derivados de la aceptación de hipótesis importantes
para el desarrollo del componente IA.
» Análisis cuidadoso de cara a establecer presunciones adecuadas sobre las posibles variables proxy que intervienen en el
componente IA.
» Documentar el marco metodológico de definición del modelo y creación del componente IA.
» Determinar, en función del análisis del problema a resolver y de manera justificada, el modelo de desarrollo a
utilizar.
» Seleccionar y definir las métricas con respecto de las cuales medir el comportamiento del componente IA.
» Fase de Análisis: Incluir, como parte del catálogo de requisitos, aquellos específicos para garantizar la privacidad
y la protección de los datos personales.
» Fase de Programación: Seguir y documentar los principios, códigos y buenas prácticas de codificación utilizados
para garantizar que el código sea legible, seguro, fácil de mantener y robusto.
» Identificar la arquitectura básica del componente IA, incluyendo información sobre la técnica de aprendizaje
automático utilizada, el tipo o tipos de algoritmos probados.
Si no se tiene posibilidad de acceder al código del componente IA, evaluar aplicar un proceso de ingeniería inversa u otro
método alternativo como el uso de pruebas de conocimiento cero.
49
GUÍA “IA Y CIBERSEGURIDAD” www.ismsforum.es
La evaluación de un modelo entrenado es un paso crítico para determinar su rendimiento y su capacidad para realizar
predicciones precisas con datos que no se han utilizado previamente.
Para medir el éxito de un modelo entrenado hay deben elegirse las métricas más adecuadas para el modelo que se
ha estado utilizando
» Matriz de Confusión: Es una representación matricial de los resultados de las predicciones de cualquier
prueba binaria que se utiliza a menudo para describir el rendimiento del modelo de clasificación sobre un
conjunto de datos de prueba cuyos valores reales se conocen.
» Exactitud (Accuracy): Mide la proporción de predicciones correctas realizadas por el modelo sobre el total
de predicciones.
» Precisión (Precision): Calcula la proporción de verdaderos positivos sobre la suma de verdaderos positivos
y falsos positivos. Es útil cuando se busca minimizar los falsos positivos
» Sensibilidad o tasa de verdaderos positivos (Recall o True Positive Rate): Representa la proporción de
verdaderos positivos sobre la suma de verdaderos positivos y falsos negativos. Es útil cuando se busca
minimizar los falsos negativos.
» Valor F1 (F1-score): Es una medida de la precisión y la sensibilidad del modelo y se calcula como la media
armónica de ambos valores.
» Pérdida (Loss): Es una medida de qué tan lejos están las predicciones del modelo de los valores reales. Se
busca minimizar esta métrica.
» Curva de características operativas del receptor (ROC): Al trazar la tasa positiva verdadera (sensibilidad)
frente a la tasa de falsos positivos (1 - especificidad), obtenemos la curva de Característica Operativa del
Receptor (ROC). Esta curva nos permite visualizar el equilibrio entre la tasa de verdaderos positivos y la
tasa falsos positivos
50
www.ismsforum.es GUÍA “IA Y CIBERSEGURIDAD”
valor. Por lo tanto, una pérdida logarítmica menor es mejor, con un modelo perfecto teniendo una pérdida
logarítmica de 0.
» Índice Jaccard o coeficiente de similitud Jaccard: Es una estadística utilizada para comprender las similitudes
entre los conjuntos de muestras. La medición enfatiza la similitud entre conjuntos de muestras finitas y
se define formalmente como el tamaño de la intersección dividido por el tamaño de la unión de los dos
conjuntos etiquetados.
» Gráfico de Kolmogorov Smirnov: Es una medida del grado de separación entre las distribuciones positivas
y negativas.
» Gráfico de ganancia y elevación: Es una medida de la eficacia de un modelo de clasificación calculado como
la relación entre los resultados obtenidos con y sin el modelo. Los gráficos de ganancia y elevación son
ayudas visuales para evaluar el rendimiento de los modelos de clasificación. Sin embargo, en contraste con
la matriz de confusión que evalúa los modelos en toda la población, el gráfico de ganancia o elevación evalúa
el rendimiento del modelo en una porción de la población. Cuanto mayor sea la elevación (es decir, cuanto
más lejos esté de la línea de base), mejor será el modelo.
» Coeficiente de Gini: Es una métrica popular para los valores de clase desequilibrados. El coeficiente oscila
entre 0 y 1, donde 0 representa la igualdad perfecta y 1 la desigualdad perfecta. Aquí, si el valor de un índice
es mayor, entonces los datos estarán más dispersos.
Comprender lo bien que un modelo de aprendizaje automático va a funcionar con datos no vistos es el propósito
final de trabajar con estas métricas de evaluación. Métricas como la exactitud, la precisión, la exhaustividad son
buenas formas de evaluar los modelos de clasificación para conjuntos de datos equilibrados, pero si los datos están
desequilibrados y hay una disparidad de clases, entonces otros métodos como el ROC/AUC o el coeficiente de Gini
funciona mejor en la evaluación del rendimiento del modelo.
Verificación y validación
» Establecer una guía o estándar para realizar un procedimiento sistemático de verificación y validación del
componente IA.
51
GUÍA “IA Y CIBERSEGURIDAD” www.ismsforum.es
» Definir las métricas y criterios respecto a los cuales se realizará las comprobaciones en el proceso de
verificación y validación.
Verificación y Validación del Componente IA, debe tomarse en cuenta, como mínimo:
» Revisión e inspección para detectar y corregir, de manera temprana, defectos en los requisitos, defectos
de diseño, especificaciones incorrectas o desviaciones en el desarrollo respecto de los criterios aplicables
Caja negra necesarias para comprobar que la funcionalidad del componente IA garantizada, su
comportamiento es el esperado y que la integridad de la información utilizada se mantiene.
» Incluir las pruebas necesarias para testear la seguridad, con relación a la protección de los derechos y
libertades si el componente IA se implementa en sistemas robóticos, industria 4.0, o de internet de las cosas.
» Incluir la comprobación de valores límite y casos de prueba extremos que pueden llevar al componente a
funcionar de una manera no esperada.
» Incluir en la validación un proceso de depuración documentado para corregir los errores, carencias o
inconsistencias detectadas.
Rendimiento
» Análisis e interpretación de los valores de las tasas de falsos positivos y falsos negativos que arroja el
componente IA para determinar la precisión, la especificidad y la sensibilidad del comportamiento del
componente.
» Evaluar el nivel y definición de los parámetros de rendimiento que se requieren para el componente de IA
52
www.ismsforum.es GUÍA “IA Y CIBERSEGURIDAD”
» Comparar los valores de rendimiento entre distintas opciones de componentes IA en el marco de un proceso
de elección del componente más adecuado para un tratamiento.
» Definir y determinar las variables de salida prestando especial atención a aquellas que constituyen categorías
especiales de datos.
» Adoptar las medidas necesarias para garantizar que los datos utilizados son exhaustivos y están actualizados.
» Determinar los parámetros y sus valores de corte para que el modelo tome en cuenta determinadas variables
de cara a obtener resultados que sean significativos.
» Procedimientos para detectar si la respuesta del componente IA a los datos de entrada es errónea o supera
un umbral de error determinado.
» Realizar el reajuste de la dimensionalidad del modelo para que exista un equilibrio entre la complejidad y la
capacidad de generalización.
Coherencia
» Procedimiento para verificar y actuar si se producen variaciones significativas en los resultados obtenidos
respecto de las salidas esperadas.
» Establecer un umbral de cara a determinar cuándo un resultado obtenido difiere del esperado ante datos
de entrada idénticos o similares (variaciones significativas).
» Determinar si el componente IA se comporta de manera distinta frente a individuos que se diferencian entre
sí en características asociadas a categorías especiales de datos o en los valores que toman las variables
proxy.
» Analizar los efectos en los resultados de salida del componente IA ante variaciones de las variables con baja
prevalencia en el conjunto de datos de entrenamiento.
» Verificar que no existe correlación entre los resultados y las variables adicionales asociadas a sujetos que
no forman parte de las variables de proceso y que pudieran determinar la existencia de sesgos.
53
GUÍA “IA Y CIBERSEGURIDAD” www.ismsforum.es
Estabilidad y robustez
» Identificar los factores dentro del contexto de funcionamiento del componente, cuya variación puede afectar
a las propiedades del componente IA.
» Estimar los tiempos en los que es necesario una reevaluación, reajuste o reinicio del componente para
ajustarlo a desviaciones en los datos de entrada o cambios en los criterios de toma de decisiones.
Trazabilidad
» Generar un sistema de control de versiones de todos los elementos del componente IA: conjuntos de
datos utilizados, del código del componente, librerías empleadas y de cualquier otro elemento asociado al
componente.
» Generar un procedimiento formal sujeto a una reevaluación del riesgo en función de aquellos cambios que
puedan producirse en la implementación del componente IA a lo largo de su ciclo de vida.
» Establecer mecanismos de monitorización y supervisión del componente IA, tales como ficheros de logs y
registros de resultados.
» Fijar un procedimiento para asegurar la intervención humana en la toma de decisiones, tanto de oficio, ante
resultados discrepantes en relación con el comportamiento esperado,
» Adoptar mecanismos para que los resultados y las decisiones tomadas puedan llegar a depender, de manera
exclusiva, de la responsabilidad de seres humanos.
54
www.ismsforum.es GUÍA “IA Y CIBERSEGURIDAD”
Seguridad
» Análisis de los riesgos para los derechos y libertades de las personas a la luz del cual se puedan determinar
los requisitos de seguridad y privacidad del componente IA utilizado en el marco del tratamiento.
» Definir en el origen los requisitos relacionados con la protección de los datos y la seguridad
» Seguir los estándares y buenas prácticas disponibles para el desarrollo y la configuración segura del
componente.
» Implementación de las medidas necesarias para garantizar la protección de los datos tratados, en
particular, las orientadas a garantizar la confidencialidad, y la integridad para proteger la implementación
del componente de manipulaciones accidentales o intencionadas.
» Implementar medidas para garantizar la resiliencia del componente y su capacidad para resistir ataques.
» Registrar entre los eventos de seguridad las actuaciones sobre la configuración, la enseñanza, el uso y
cualquier otra información relevante o que pueda llegar a serla, para la ciberseguridad.
Para realizar un ajuste óptimo en un modelo de Inteligencia Artificial podemos recurrir a las siguientes acciones:
» Usar más información para el entrenamiento: El uso de un gran conjunto de datos ’nuevos’ generalmente
ayuda al modelo a elegir la señal de manera eficiente, sin embargo, esta técnica puede no funcionar todas
las veces. Si agregamos muchos datos ruidosos y los datos relevantes son escasos, incluso tener una gran
cantidad de datos totales no ayudará al modelo a predecir con precisión los valores.
55
GUÍA “IA Y CIBERSEGURIDAD” www.ismsforum.es
» Técnica de validación cruzada: La validación cruzada es un estándar de oro aplicado para estimar la precisión
del modelo en datos no vistos. Si tienes los datos, usar un conjunto de datos de validación también es una
práctica excelente. Una forma estándar de encontrar un error de predicción fuera de muestra es usar una
validación cruzada de 5 veces.
» Detección temprana: Cuando entrena iterativamente un modelo hasta cierto número de iteraciones, el
rendimiento del modelo mejora. Después el modelo se sobrecarga y tendrá un rendimiento bajo en los
conjuntos de datos de prueba. Por lo tanto, debes detener las iteraciones de entrenamiento del modelo
antes de que exista un ajuste excesivo en el modelo.
Además del ajuste, es necesario la evaluación periódica de la validez del modelo, así como el mantenimiento de los
procesos de control establecidos.
» Colaborar con las áreas técnicas para que sea posible la incorporación de más información al modelo,
manteniendo garantías suficientes de protección de la información sensible.
56
www.ismsforum.es GUÍA “IA Y CIBERSEGURIDAD”
4 LA IA COMO HERRAMIENTA
ADVERSA
En este apartado se identifican tipos de ataques en los que los ciberdelincuentes utilizan herramientas de IA,
detallando el uso que realizan de la misma para así poder diseñar contramedidas en nuestros procesos de protección
y detección.
Phishing: El envío masivo de e-mails simulando ser un negocio u organización legítima y solicitando que se
abra un archivo infectado o que se visite una página web.
Algunos ataques de phishing actuales son reconocibles por parte de los usuarios porque no utilizan un
lenguaje “normal” o incluso pueden contener faltas de ortografía. El uso de estas herramientas va a permitir
que cualquier ciberdelincuente desde cualquier parte del mundo, pueda preparar mensajes mucho más
creíbles, incluso sin conocer el idioma de la víctima.
57
GUÍA “IA Y CIBERSEGURIDAD” www.ismsforum.es
» La capacidad de la IA para analizar y procesar grandes volúmenes de datos podrá utilizarse para mejorar los
ataques de ingeniería social. Al analizar perfiles de redes sociales y otras fuentes de información pública, un
atacante podría obtener información personal detallada sobre un individuo objetivo y utilizarla para diseñar
un ataque más personalizado y mejor dirigido, aumentando las posibilidades de éxito.
» Podrán recopilar más información del entorno del objetivo, y customizar el mensaje haciendo que los ataques
de phishing sean más creíbles y que aumente el número de personas que pican.
» Las herramientas basadas en Inteligencia Artificial generativa van a suponer un avance para los equipos
de ciberdelincuentes que realizan estos ataques de ingeniería social ya que tienen una gran capacidad para
generar información en un lenguaje que se adapta muy bien al entorno que se le pida.
» La IA puede ser utilizada tanto para desarrollar programas de software legítimos como para desarrollar
malware de distintos tipos lo cual implica una nueva y peligrosa generación de ciberamenazas.
» Los ciberdelincuentes pueden entrenar a su propia IA para evitar técnicas de detección de comportamientos
maliciosos en el código generado, lanzando ataques y probando su detección para mejorarlos de forma
continua y hacerlos cada vez más eficaces e indetectables.
» A través de IA, mediante por ejemplo un chatbot como ChatGPT, un ciberdelincuente puede crear capacidades
básicas de búsqueda y cifrado de archivos en base al algoritmo de cifrado escogido con el objetivo de utilizarlo
para desarrollar ransomware contra un objetivo.
58
www.ismsforum.es GUÍA “IA Y CIBERSEGURIDAD”
• La generación de malware polimórfico puede llegar a ser indetectable ya que se producen mutaciones de
código dinámicamente por lo que es mucho más difícil de identificar con herramientas actuales.
• Este malware se caracteriza porque no muestre un comportamiento malicioso mientras esté almacenado en
el disco y que no contenga una lógica sospechosa mientras esté almacenado en memoria. Esta característica
lo hace altamente indetectable para las soluciones de seguridad que usan detección basada en firmas
pudiendo pasar desapercibido.
» Como parte de los ataques, se suelen utilizar servidores Command and Control que controlan una serie de
bots comprometidos (una Botnet, es una red de equipos infectados con software malicioso controlados
remotamente y utilizados para el envío de tráfico como parte del ataque).
» Utilizando sistemas de machine learning, las máquinas atacantes pueden aprender buscando y probando
los mejores tipos de ataque, cambiando los vectores de ataque aleatoriamente para mejorarlos y hacerlos
eficaces. Así, la máquina atacante es capaz de identificar patrones para crear un algoritmo con los datos
que debe tratar y luego hacer predicciones.
• Evolución de técnicas de ataque avanzado y mayor facilidad en la coordinación de bots de manera global
por parte de los atacantes.
59
GUÍA “IA Y CIBERSEGURIDAD” www.ismsforum.es
Tiempo necesario para la comprobación y riesgo de identificación al utilizar patrones de intento conocidos/
fácilmente detectables.
» En el ataque por fuerza bruta basado en inteligencia artificial un atacante utiliza técnicas de aprendizaje
automático para automatizar el proceso de adivinar contraseñas/claves. Para ello recopilará y analizará
grandes cantidades de datos que se utilizarán para entrenar al algoritmo de aprendizaje automático y luego
este algoritmo generará las contraseñas/claves con más probabilidad de que sean las correctas.
» El uso de inteligencia artificial aumenta la eficacia de este ataque frente al uso de técnicas convencionales
porque es más rápido y tiene mayor precisión, ya que el método consiste en generar contraseñas/claves
con más probabilidad de que sean correctas. Llegar a adivinar credenciales/claves puede llevar mucho
tiempo en algunos casos, por lo que el uso de inteligencia artificial para agilizar esta tarea es una ventaja
para el atacante.
» Frente a estas técnicas clásicas, la IA utiliza otros métodos: las contraseñas generadas, como se ha
dicho, parten de recopilar información de la cual aprende el algoritmo para predecir qué contraseñas son
más probables de ser utilizadas y probar estas contraseñas primero. De esta forma se maximizan las
probabilidades de acierto y se tardaría menos tiempo en que se materializase el acceso.
PRINCIPALES TÉCNICAS QUE APROVECHAN LAS MEJORAS DEL IA (TODAS LAS DE FUERZA BRUTA):
• Ataque simple de fuerza bruta: prueba de contraseñas comunes o haciendo uso de información accesible
online (como redes sociales).
• Pulverización de contraseñas donde se prueba una contraseña en muchas cuentas diferentes y así puede
que las políticas de bloqueo no adviertan el ataque.
• Ataque de diccionario en la cual para un usuario seleccionado se eligen contraseñas desde un diccionario
60
www.ismsforum.es GUÍA “IA Y CIBERSEGURIDAD”
(ampliando con caracteres especiales) o los ataques de fuerza bruta inversa, donde desde una contraseña
existente se prueba a averiguar el usuario.
* Nota: en este contexto entendemos como ataque de fuerza bruta el intento de averiguar credenciales
(usuario/contraseña) aplicando el método de prueba y error. También se aplica al caso de claves de cifrado
en criptografía, donde el ataque por fuerza bruta consiste en ir probando todas las posibles combinaciones
Por ataques asistidos podemos entender p.ej. la creación de scripts enfocados a mercados de la Dark Web o el
desarrollo de Amenazas persistentes avanzadas (APT).
» Las amenazas avanzadas persistentes (APT por sus siglas en inglés) hacen referencia a todos aquellos
ataques dirigidos contra un objetivo determinado, y que se lanzan de manera continuado en el tiempo y
meticulosa. El que este tipo de ataques complejos se pueda dilatar en el tiempo implica que los atacantes
avancen lentamente en las fases del ataque, no alcanzando los umbrales que podrían hacer saltar una
alerta por parte de la víctima. Adicionalmente, el que se desarrollen de una forma tan minuciosa, implica
que el atacante recopila y estudia en detalle la información del objetivo, obteniendo una visión completa de
los sistemas y procedimientos de la víctima.
» En este tipo de ataques la Inteligencia artificial desarrolla un papel clave tanto en el análisis de la información
de la víctima, como en la generación de artefactos que faciliten el ataque en sí.
• Mejora de las capacidades de procesamiento de información y agilidad en todas las técnicas utilizadas.
61
GUÍA “IA Y CIBERSEGURIDAD” www.ismsforum.es
» La Inteligencia Artificial facilita enormemente la generación de código de forma rápida y efectiva, ahorrando
horas de trabajo de los programadores. Estas facilidades pueden ser aprovechadas por los cibercriminales
para lanzar o explotar campañas dirigidas contra un objetivo concreto de manera rápida, por ejemplo, tras
el descubrimiento de una nueva vulnerabilidad sobre la cual no existe aún contramedida (denominada
comúnmente como Zero-day). Este tipo de programas informáticos maliciosos (Malware) pueden ser luego
compartidos en la Dark/Deep web donde los cibercriminales comparten libremente (o venden) información
específica de los objetivos que han estado siguiendo.
PRINCIPALES TÉCNICAS QUE APROVECHAN LAS MEJORAS DEL IA (TODAS LAS DE FUERZA BRUTA):
• Mejora de las capacidades de procesamiento de información y agilidad en todas las técnicas utilizadas.
Si bien este tipo de ataque encaja en el capítulo de “Ataque de Ingeniería Social”, debido a su alto impacto por la
irrupción de los sistemas de IA generativa, se trata de forma específica.
» Los ataques realizados mediante inteligencia artificial sobre sistemas de reconocimiento facial y biometría
aprovechan las capacidades de la IA para engañar o manipular estos sistemas. Estos ataques se basan
en la generación de imágenes, voz o vídeos falsos que engañan a los algoritmos de reconocimiento facial
y biometría, haciendo que identifiquen erróneamente a personas o permitan el acceso no autorizado a
sistemas protegidos.
62
www.ismsforum.es GUÍA “IA Y CIBERSEGURIDAD”
» La técnica conocida como “deepfake” es una de las formas más destacadas de ataque utilizando IA en el
ámbito de la manipulación de imágenes y vídeos. Los deepfakes consisten en la creación de contenido
multimedia sintético utilizando algoritmos de aprendizaje profundo. Estos algoritmos analizan y aprenden
los patrones y características de un conjunto de datos, y luego pueden generar imágenes o vídeos realistas
que parecen auténticos, pero son completamente falsos.
» Los deepfakes se han utilizado para manipular imágenes y vídeos en los que se superponen los rostros
de personas reales en situaciones falsas. Esto ha planteado preocupaciones significativas en cuanto a la
seguridad y la confianza en los sistemas de reconocimiento facial y biometría. Los atacantes pueden utilizar
deepfakes para suplantar identidades, realizar fraudes o incluso difamar a personas inocentes al hacer que
aparezcan en situaciones comprometedoras.
» Muchos de estos ataques tienen como objetivo la suplantación de identidades, no solo los ataques de
deepfake, los ataques mediante la manipulación de características de imágenes o voz tienen como objetivo
final engañar a sistemas biométricos y suplantar identidades concretas.
» Las labores de reconocimiento y escaneo basados en Inteligencia artificial permiten a los atacantes
automatizar las labores de búsqueda y beneficiarse de la potencia que ofrece la inteligencia artificial de
cara a encontrar de una manera más fácil y rápida los activos y las vulnerabilidades asociados a los mismos,
permitiendo automatizar la correlación de las vulnerabilidades.
» Adicionalmente, los atacantes pueden utilizar la Inteligencia Artificial como capa intermedia durante el
escaneo, facilitando su anonimización y dificultando que sean descubiertos por la víctima.
63
GUÍA “IA Y CIBERSEGURIDAD” www.ismsforum.es
PRINCIPALES TÉCNICAS QUE APROVECHAN LAS MEJORAS DEL IA (TODAS LAS DE FUERZA BRUTA):
* Análisis de tráfico: Los atacantes analizan el tráfico generado por la víctima en busca de información.
Como ejemplo, un simple mail enviado al atacante ofrece determinada información sobre Infraestructura,
direcciones IP, taxonomía de las cuentas de correo de los empleados, la herramienta de filtrado de correo
que se utiliza… La inteligencia Artificial facilita la extracción de este tipo de información.
Es importante que se actualicen los programas de formación y concienciación y que en ellos se incorporen píldoras
de formación en las que se establezcan ejemplos reales y concretos en los que el colaborador pueda ver cómo los
atacantes han podido aprovechar las nuevas técnicas.
Se deben actualizar los materiales de formación y concienciación para hacer que los usuarios distingan si un mensaje
recibido es legítimo o no, y que, sean conscientes de que, en caso de duda, es necesario que confirmen por un canal
alternativo la autenticidad del mensaje.
Dentro de esta formación es importante incorporar “tips” concretos sobre el uso de técnicas de ingeniería social para
engañar a víctima y ganarse su confianza:
64
www.ismsforum.es GUÍA “IA Y CIBERSEGURIDAD”
» Se tratan de ganar la confianza de la víctima dando información que tienen disponible para hacer el mensaje
más creíble: por ejemplo, cuando saben el nombre del usuario empiezan la comunicación con dicho nombre.
» Utilizan las redes sociales (especialmente LinkedIn) con el fin de solicitar información sobre la organización.
» Incluso si no saben información como si la víctima es cliente o no de un banco, asumen que lo es y se dirigen
a ella afirmándolo. De esta manera, el que no es cliente de la entidad, no hará caso del email, pero el que de
la casualidad y lo sea, tendrá más posibilidades de picar.
» Utilizan cualquier dato de actualidad para hacer que el mensaje sea más creíble. Por ejemplo, en época de la
declaración de la renta, envían emails suplantando a la agencia tributaria para simular que la víctima tiene
derecho a un cobro y facilite sus datos bancarios.
» En ataques más dirigidos los atacantes llevan a cabo una investigación y recolección de datos del objetivo
incluyendo redes sociales personales y laborales.
Teniendo en cuenta que los métodos de adivinación son más eficientes cuando se usa la IA, la forma de protegerse
basada en robustez de contraseñas debe mejorar a la convencional. Además, la actividad de los usuarios (uso de
contraseñas similares en distintas cuentas) puede facilitar el conocimiento de esta.
Por lo tanto, es necesario rediseñar los procesos de identificación y autorización para que se basen en mecanismos
de autenticación reforzada. Esto es especialmente importante en los aplicativos de negocio/transaccionales (donde
además debe de ser relativamente sencillo utilizar nuevas técnicas de inteligencia artificial para definir patrones de
uso) de modo que se puedan además limitar en lo posible los privilegios de los usuarios.
De manera general, se debe de considerar una obligación no negociable el uso de mecanismos de segundo factor de
autenticación en toda conexión proveniente de redes no confiables.
En el caso de que sea necesario el uso de contraseñas “tradicionales”, es importante acompañar el paso de cambio
de contraseña de recomendaciones claras para la definición de contraseñas seguras (p.e. uso de primeras letras de
una frase) y usar claves más largas, por ejemplo, de 15 caracteres (y por supuesto manteniendo las buenas prácticas
de usar caracteres alfanuméricos, mayúsculas y minúsculas, no usar palabra de diccionario ni palabras personales
(nombres de mascotas, años de nacimiento, etc.).
65
GUÍA “IA Y CIBERSEGURIDAD” www.ismsforum.es
Según hemos visto, es importante estar familiarizado con frameworks generales de protección (como NIST) y
desarrollar un framework de cumplimiento de estos que incorporen una estrategia de defensa en profundidad. A
continuación, se enumeran algunas de las principales medidas a tener en cuenta utilidad a la hora de mitigar los
nuevos riesgos que surgen a partir de la IA.
» Mantener actualizados los equipos y programas es también clave a la hora de protegerse de cualquier
vulnerabilidad que pueda ser explotada por parte de los atacantes. Para esto, es fundamental tener un plan
de parcheado de equipos que pruebe y vaya instalando los parques de seguridad del fabricante -tanto de
hardware como de software- en todos los dispositivos corporativos.
» La protección del correo electrónico para detectar mensajes de spear phishing que contienen archivos
maliciosos o enlaces a sitios maliciosos.
» Utilizar medidas de protección antimalware así como guías de bastionado seguro que incluyan la limitación
de permisos de los usuarios, limitación de uso de powershell, etc.
» Limitar acceso a correo electrónico particular desde entorno corporativo (o protegerlo a través de soluciones
de sandboxing adecuadas).
66
www.ismsforum.es GUÍA “IA Y CIBERSEGURIDAD”
En función de las capacidades de cada empresa (se debe de evaluar la contratación de proveedores especializados
que nos permitan aprovechar sinergias con otros clientes) es de interés disponer de servicios de:
» Descubrimiento y reconocimiento de activos: Estos servicios nos permiten tener controlada la “foto” que
publicamos, así como detectar vulnerabilidades expuestas en el perímetro.
En respuesta a estos ataques, se están desarrollando técnicas de detección de deepfakes y se están implementando
mejoras en los algoritmos de reconocimiento facial y biometría para hacerlos más resistentes a los ataques de
inteligencia artificial. Estas son algunas de las técnicas desarrolladas:
» Autenticación en tiempo real: Se pueden implementar técnicas de autenticación en tiempo real que
verifiquen la autenticidad de la persona en el momento del acceso. Esto puede incluir el uso de desafíos
aleatorios, como solicitar a la persona que realice acciones específicas o responda a preguntas de seguridad
en tiempo real.
» A través de la IA se puede además recopilar información sobre el contexto del ataque para así proporcionar
medidas mitigantes más eficientes de una forma más rápida.
67
GUÍA “IA Y CIBERSEGURIDAD” www.ismsforum.es
5
PRINCIPALES USOS DE LA IA
EN LA PROTECCIÓN FRENTE
ATAQUES
Como hemos visto en el capítulo anterior los ciberataques han aumentado su eficacia y complejidad gracias, en parte,
a que los ciberdelincuentes ya utilizan técnicas de inteligencia artificial. Esto hace que los incidentes se vuelven cada
W día más complejos, difíciles de detectar y en muchos casos superen las capacidades de las soluciones tradicionales
de seguridad. En este entorno se hace imprescindible utilizar la inteligencia Artificial para jugar con las mismas armas
en la prevención, detección y respuesta a las diferentes amenazas.
Analizando grandes volúmenes de datos en tiempo real e identificando tanto los ataques
DETECCIÓN conocidos como los desconocidos con mayor rapidez
Realizando análisis entre diferentes fuentes y amenazas de manera rápida y eficiente que
RESPUESTA automaticen la respuesta y/o aporten datos relevantes a los analistas para eliminar la amenaza.
Además, las Inteligencia artificial puede ayudar a correlacionar grandes cantidades de datos para identificar las
fuentes de los ataques, los vectores utilizados y los datos comprometidos que son imprescindibles para realizar las
actividades de análisis forense. Del análisis de los datos también se pueden extraer nuevos algoritmos y modelos
para mantener los sistemas de defensa actualizados frente a las últimas tendencias en un ciclo de mejora continua.
Sin embargo, es importante destacar que la Inteligencia Artificial no es autosuficiente. Requiere del análisis de
expertos en ciberseguridad y del uso de otras tecnologías de seguridad para una protección integral.
Se enumeran a continuación los principales beneficios que aporta la IA en la protección frente amenazas:
68
www.ismsforum.es GUÍA “IA Y CIBERSEGURIDAD”
» Esto permite identificar patrones y comportamientos anómalos en la red y los sistemas que podrían ser
indicativos de una actividad maliciosa. Además, la IA puede aprender de patrones previos y amenazas
conocidas para mejorar aún más su capacidad de detección.
» Uno de los desafíos clave en los sistemas de seguridad es la generación de falsos positivos (alertas erróneas)
y falsos negativos (amenazas no detectadas). La inteligencia artificial aborda este desafío al entrenar
algoritmos con conjuntos de datos exhaustivos y diversos que representan una amplia gama de amenazas
y escenarios.
» La integración de la IA en la ciberseguridad brinda una respuesta y mitigación más rápidas ante los incidentes.
La IA puede monitorizar de forma continua la actividad de la red y los sistemas, analizando grandes
volúmenes de datos en tiempo real para identificar posibles amenazas.
69
GUÍA “IA Y CIBERSEGURIDAD” www.ismsforum.es
A continuación, se detalla de manera más técnica los que se consideran son los usos más avanzados de IA en los
procesos de seguridad y donde como profesionales, consideramos se debe de plantear la inversión en proyectos
que se apoyen en tecnologías de IA.
70
www.ismsforum.es GUÍA “IA Y CIBERSEGURIDAD”
La principal fuente de información de ciberseguridad son los eventos y logs emitidos por los dispositivos y aplicaciones.
Estos logs se usan para detectar amenazas de ciberseguridad como fuente de datos en técnicas avanzadas de
inteligencia artificial o en técnicas tradicionales aplicando reglas de correlación asociadas a casos de uso.
El primer paso en la detección o análisis de incidentes de sería recoger y estructurar los logs.
Los logs se escriben de forma secuencial en ficheros y, aunque cada vez más sistemas los generan con un formato
estructurado (JSON, XML, CEF, etc…), otras aplicaciones escriben los registros de una manera no estructurada y difícil
de ingerir como en el ejemplo anterior.
El método tradicional de estructurar los logs es mediante el uso de expresiones regulares, llamadas regexp que,
siendo una solución efectiva y potente, tiene grandes inconvenientes. Las expresiones regulares son difíciles de
definir y mantener, son sensibles a pequeñas modificaciones y computacionalmente es costoso. El uso de modelos
de inteligencia artificial resuelve estos problemas.
Los sistemas de inteligencia artificial son modelos estadísticos capaces de detectar las entidades mediante
representaciones de los datos observados en función de sus características. Los sistemas de reconocimiento de
entidades entrarían dentro del campo de procesamiento del lenguaje natural que mediante entrenamiento pueden
ser capaces de estructurar los logs.
En 2018 la universidad de Edith Cowan publicó un paper con el análisis de un modelo basado en BLSTM entrenado
para realizar el log parsing con unas métricas excelentes: 99.98% precisión, 99.94% recall, 99.96% F1 score, and
99.98% accuracy.
El uso de modelos de NLP para realizar tareas de logs parsing no ha quedado relegado sólo a un paper. En 2021 Splunk,
uno de los lideres en SIEM según Gartner publicó el análisis de tres tipos de modelos NER: Conditional Random Fields
(CRF), una shallow Network (LSTM) y dos deep Network pre-entrenadas basadas en transformers (BERT y miniBERT).
Este análisis realizado en un entorno más realista obtiene unos resultados prometedores. Se puede observar cómo
los modelos basados en redes generativas, los antecesores de ChatGPT-4 (BERT y MiniBERT) tiene unas métricas
inferiores a otros modelos, sin embargo, los avances en redes generativas como ChatGPT-4 indica que este análisis
tendría un resultado mejor tanto en métrica como en coste..
71
GUÍA “IA Y CIBERSEGURIDAD” www.ismsforum.es
Los sistemas tradicionales de detección basados en SIEM, introducidos en el año 2005, permiten agrupar los logs
y los eventos bajo un mismo sistema. Sobre estos sistemas se definen casos de uso que, en los SIEM más básicos,
no son más que reglas deterministas que, mediante la correlación de los eventos detectan ataques o incidentes de
seguridad. Sin embargo, la correlación no implica causalidad por lo que se generan alertas que después de un análisis
por parte de los analistas son falsos positivos o positivos contenidos, además de tener un sobreajuste muy grande.
Los sistemas basados en IA son expertos en identificar anomalías y detectar amenazas que pasan desapercibidas
para las medidas de seguridad convencionales. Los algoritmos de aprendizaje automático pueden analizar grandes
cantidades de datos, incluido el tráfico de la red, el comportamiento del usuario y los registros del sistema, para
establecer patrones normales e identificar desviaciones que puedan indicar un ataque cibernético. Al aprender
continuamente de nuevos datos, los sistemas de IA pueden adaptarse y evolucionar para detectar amenazas
emergentes de manera efectiva.
Los modelos generativos actuales como ChatGPT han abierto un abanico de posibilidades y ya se están reentrenando
con información específica de ciberseguridad como por ejemplo la información de MITRE ATT&CK para mejorar su
respuesta ante este tipo de problemas.
La detección de amenazas es sólo una parte de la seguridad. También se necesita un análisis inteligente y eficaz ante
posibles incidentes. Debido al volumen cada vez mayor de alertas es inviable tratarlas de forma manual por esa razón
los sistemas de orquestación y automatización son necesarios.
Implementar playbooks eficaces es la base del éxito ya que permiten automatizan gran parte del análisis, por ejemplo,
el enriquecimiento mediante consultas a herramientas de inteligencia de amenazas. Sin embargo, existen acciones
que necesita la intervención de un analista ya que la información disponible es incompleta, ambigua o incierta.
72
www.ismsforum.es GUÍA “IA Y CIBERSEGURIDAD”
La lógica difusa es una rama de la inteligencia artificial que propone un enfoque alternativo a la lógica clásica. En
la lógica clásica se utiliza valores booleanos (verdadero/falos), los sistemas de detección ya han decidido que la
amenaza es real y ha generado una alerta. En el campo de la ciberseguridad, la lógica difusa va a ayudar a modelar
el comportamiento del usuario y de las amenazas categorizando la información en un rango determinado entre dos
polos opuestos. Permite manejar la falta de precisión de ciertos términos, como “poco” o “mucho”, “Low” o “Medium”
y contemplar puntos intermedios. La lógica difusa imita la manera de tomar decisiones de los seres humanos lo que
permite una mayor flexibilidad en la respuesta a situaciones imprevistas o inciertas.
La siguiente figura representa los posibles inputs al modelo. El controlador de lógica difusa analizará las reglas y se
tomará una decisión.
73
GUÍA “IA Y CIBERSEGURIDAD” www.ismsforum.es
En la ilustración anterior se ha representado la decisión del modelo en dos niveles: falso positivo/positivo contenido
o positivo/positivo con impacto. El segundo nivel que sería otro modelo de lógica difusa que se implementaría en un
paso posterior en el playbooks en el que los inputs condicionarían la remediación que se debe aplicar.
INPUTS:
» Etc.
74
www.ismsforum.es GUÍA “IA Y CIBERSEGURIDAD”
» No mitigar
» Etc.
La detección de phishing se puede realizar encadenando técnicas de inteligencia artificial. Los primeros modelos
permitirán extraer características del email que se emplearán en el modelo final que es el encargado de clasificará
si el email es phishing o no.
El cuerpo del mensaje es una variable importante que analizar. Por norma habitual las campañas de phishing masivo
generan los correos de manera automática y empleando palabras clave, por ejemplo, relacionadas con la urgencia
en realizar una acción. En una primera iteración es posible usar una red generativa, tipo ChatGPT, para que analice es
cuerpo del mensaje e indique si ha sido generado automáticamente y si detecta palabras clave en email de phishing.
Los enlaces que aparecen en los correos redirigen a destinos fraudulentos. Estos dominios se han podido generar
automáticamente mediante una técnica llamada DGA, otro paso previo que se puede hacer es utilizar modelos de
Deep Learning basados en NLP que cuantifican la similitud semántica entre dominios y que nos indica la probabilidad
de que sea o no un dominio DGA.
Estas características junto con otras relevantes que se incluyen en el correo (dirección IP, longitud de la url, etc.)
se utilizan en el entrenamiento de un modelo supervisado de clasificación del tipo árbol de decisión. Durante el
entrenamiento se generará un modelo que se usará para realizar la predicción sobre los nuevos correos.
75
GUÍA “IA Y CIBERSEGURIDAD” www.ismsforum.es
Este tipo de modelos tiene una ventaja respecto a otros modelos que podrán ser óptimos. Como se puede ver en la
imagen anterior, el árbol se puede pintar y la predicción siempre estará asociada a los valores de las características
extraídas del correo para su análisis. Esto permite que el modelo sea explicable y que el analista sepa en cada momento
porque se ha clasificado el email como phishing o no. Esta característica es importante ya que a la hora de tomar una
decisión en algunos casos se exige que se explique la razón por la que se ha clasificado de esa manera.
La protección de los sistemas ante ataques del malware/ransomware es uno de los mayores retos de seguridad en
la actualidad. El análisis es manual de forma estática, extrayendo información útil del código o de forma dinámica,
ejecutando la muestra en una sandbox.
Con modelos de inteligencia artificial se puede hacer un análisis de malware/ransomware de una manera más optima
e incluso que nos permita detectar nuevos actores o variaciones de los que existen.
El análisis se basa en la potencia de las redes neuronales convolucionales y su capacidad de extraer características
inapreciables para el ser humano. El primer paso es la preparación de los datos ya que los ficheros a analizar se deben
transformar en imágenes para que puedan ser explotados por la CNN (Red Neuronal Convolucional).
76
www.ismsforum.es GUÍA “IA Y CIBERSEGURIDAD”
Una vez definida la CNN a utilizar, en este caso la conocida como “attention-VGG16 network”, se comienza a entrenar
el modelo con el conjunto de training que contiene muestras de ficheros de malware/ransomware y ficheros lícitos.
El análisis de las métricas se realizará con el conjunto de test y se reentrenará el modelo adaptando los parámetros
del modelo hasta obtener unas métricas de precisión, recall y accuracy adecuados.
Los resultados de los test realizados se pueden ver en la siguiente figura. Las imágenes que aparecen no corresponden
con la transformación del fichero en imagen. Se ha aplicado una técnica que ilumina con colores cálidos las
características de la imagen en la que se ha basado el modelo para realizar la predicción. Con una muestra más alta y
una clasificación basada en el tipo de malware/ransomware se podría sacar una conclusión sobre las características,
la zona, sobre la que se ha fijado el modelo para tomar la decisión.
77
GUÍA “IA Y CIBERSEGURIDAD” www.ismsforum.es
Los modelos de aprendizaje máquina utilizados para la detección de amenazas se dividen en dos; supervisado o no
supervisados. En ambos casos una vez entrenados los modelos el sistema permanece estático hasta que se vuelva
a reentrenar. Sin embargo, en ciberseguridad para las amenazas emergentes o ataques de Zero-day los datos de
entrenamiento no están disponibles antes de que se produzca el ataque.
Zero-Shot learning es un tipo de aprendizaje automático en el que se crea un modelo de aprendizaje profundo
preentrenado para generalizar las categorías iniciales. Zero-shot trata de imitar a los humanos y encontrar similitudes
de forma natural entre las clases reentrenando el modelo para identificarlos.
El objetivo principal del aprendizaje Zero-shot es obtener la capacidad de predecir los resultados sin muestras de
entrenamiento; la máquina debe ser capaz de reconocer los objetos de las clases que no se entrenaron. El aprendizaje
Zero-Shot se basa en la transferencia de conocimiento que está contenido en las instancias alimentadas durante el
entrenamiento.
Se propone el aprendizaje Zero-Shot para aprender capas y propiedades semánticas intermedias, y luego aplicarlo
para predecir una nueva clase de datos invisibles. Por lo tanto, aprovechamos las capacidades de Zero-shot Learning
(ZSL) que pueden manejar de manera efectiva las clases invisibles en comparación con las técnicas tradicionales de
aprendizaje automático.
En 2021, los incidentes de robo de identidad representaron más de 6,1 billion dollars en pérdidas financieras y el
número de quejas de consumidores por robo de identidad aumentó un 3,3%, hasta algo más de 1,43 millones.
Los ciberdelincuentes cada vez son más sofisticados, los métodos de autenticación tradicionales, como las
contraseñas y los PIN, ya no son suficientes para proteger nuestros datos sensibles. La necesidad de métodos de
autenticación más seguros, fiables y cómodos ha llevado la utilización de la IA para autenticación.
El reconocimiento facial es un método de autenticación biométrica que verifica la identidad de una persona midiendo
y reconociendo patrones faciales a partir de una imagen. La tecnología de reconocimiento facial utiliza IA y machine
Learning para comparar estos puntos de datos con una base de datos o la foto de un documento de identidad.
Los datos biométricos de un rostro, como el tamaño de los ojos, el espaciado, la forma de los pómulos, la longitud de
la nariz, la anchura de la nariz y el tamaño de las pupilas, se transcodifican en formato digital para compararlos con
la foto de un documento de identidad del usuario.
78
www.ismsforum.es GUÍA “IA Y CIBERSEGURIDAD”
Estos métodos son más seguros. Las contraseñas pueden olvidarse o ser robadas, mientras que tus datos biométricos
son únicos y, mientras los deepfakes lo permitan, son más difíciles de replicar. Esto significa que es mucho más difícil
para alguien obtener acceso no autorizado a tus cuentas o información. Y además los datos biométricos son únicos
por lo que es más difícil que alguien acceda sin autorización a tus sistemas.
El ciclo de vida de desarrollo integrado con la seguridad requiere de la automatización de ciertos procesos en el
despliegue de software. Para ello mediante la filosofía DevSecOps, podemos integrar una serie de herramientas
que validen que cada cambio que sube a producción cumpla con el estándar de ciberseguridad y evite un riesgo a
los clientes y a la empresa. Dentro de este tipo de pruebas automáticos encontraremos diferentes soluciones que
permiten securizar nuestra aplicación desde un modo básico a un modo experto y como la IA puede aportar mejora
en el proceso.
Puede encontrar información adicional sobre DevSecOps en la “Guía de iniciación en la Seguridad aplicada a DevOps”
publicada por ISMS Forum.
79
GUÍA “IA Y CIBERSEGURIDAD” www.ismsforum.es
A continuación, se definen los conceptos de SAST, SCA y DAST relativos a los análisis de proyectos
SAST O
STATIC ANALYSIS
A barca el análisis de un proyecto de forma estática evaluando las posibles
vulnerabilidades de seguridad más comunes como las explicadas en el
TOP 10 OWASP . Este enfoque deriva en una fase posterior de análisis manual
SECURITY por el equipo de desarrollo y por un equipo de seguridad para certificar que las
TESTING
vulnerabilidades localizadas no sean falsos positivos.
SCA
OSA
A barca el análisis de la s dependencia s o librería s de código
abiertoconsumidas por nuestros proyectos y como resultado informa
de las librerías con vulnerabilidades abiertas. Tipos de riesgos que pueda
OPEN SOURCE(
levantar este proceso: exposición de datos o sistemas internos, exposición a
ANALYSIS
una demanda judicial por uso indebido de una librería, falta de control sobre
nuestra aplicación debido a una librería sin mantenimiento, etc.
80
www.ismsforum.es GUÍA “IA Y CIBERSEGURIDAD”
Los tres métodos automatizados anteriores traen muchos beneficios, pero tienen una serie de problemas o gaps:
» Falsos positivos: Los analizadores de código estático evalúan de forma aislada una aplicación sin conocer el
contexto que rodea. Ello lleva a presuponer que una vulnerabilidad es explotable cuando en determinados
casos una herramienta superior protege de ese tipo de ataque. Este tipo de situaciones generan mucho ruido
en equipos de desarrollo que invierten tiempo en solventar vulnerabilidades que quizá no sean explotables.
» Triajes con un alto coste económico y temporal: Una vez actúan dichas herramientas generan resultados
que son necesarios de evaluar por un equipo experto y que dependiendo del tamaño de los repositorios
puede tener un alto coste para una compañía para validar que los resultados sean explotables o falsos
positivos.
» Alejados de la realidad de un atacante: Al evaluar pequeñas piezas por separado, estas herramientas se
alejan de la realidad de un atacante enfrentándose a una web o servidor. Ciertamente previenen, pero no
aseguran el Zero risk.
» Costes altos en repositorios de código grandes: El código legacy es un mal de muchas grandes compañías
y que conllevan un alto coste en herramientas y servidores para analizar el código contenido.
» Full scan vs Incremental Scan problemática: Muchas herramientas de análisis automático tienen un gran
dilema y es cuando realizar un scan completo a una aplicación y cuando un scan parcial a solo el cambio
modificado por un desarrollador. Esta decisión tiene consecuencias tanto económicas como de riesgo.
Las vulnerabilidades provenientes de librerías “open source” tienden a ser un gran problema en riesgos y en consumo
de tiempo para el desarrollador de revisar y actualizar. Para ello mediante la IA podemos automatizar dicho proceso
y permitir la actualización de librerías de un modo automatizado y seguro. Dicha IA elaboraría un cambio del código
de forma automática cada vez que detectara una librería con una vulnerabilidad y la aparición de un “fix”.
81
GUÍA “IA Y CIBERSEGURIDAD” www.ismsforum.es
Mediante la implantación de una IA que estudie y entienda el contexto de las aplicaciones de una compañía es viable
deducir cuando una password es realmente productiva o meramente un código de pruebas o malentendido léxico.
Antes comentábamos que las compañías necesitan gastar millones en equipos especialistas en seguridad para
evaluar los resultados de las herramientas SAST y DAST. Siendo un equipo cross a una organización resulta complicado
que tengan el contexto completo y puedan evaluar siempre correctamente, por ello una IA entrenada podría suplir
dicho rol dentro de las compañías y reducir entorno a un 90% los falsos positivos. IBM trabajó hace ya tiempo dicho
campo para conseguir una reducción significativa de falsos positivos.
Mediante la IA podemos establecer un modelo que aprenda de ataques directos contra nuestras aplicaciones.
De dichos ataques la IA aprendería patrones y establecería una capa de testing extra más cercana a la realidad
permitiendo reducir el número de incidentes en producción.
Actualmente existen herramientas como Copilot que autogeneran código junto al desarrollador, dicha autogeneración
se basa en el aprendizaje interno de la empresa de miles de repositorios públicos. Esto permite recomendar buenas
prácticas de programación, de performance y de seguridad. De este modo aplicaríamos un 4 eyes durante el desarrollo
de software mejorando la calidad del desarrollo.
Las pruebas de regresión que se deben realizar al desplegar un nuevo código de una aplicación o simplemente buscar
errores en una aplicación es un trabajo arduo y costoso. En este aspecto la inteligencia artificial nos puede facilitar
la tarea. Se pueden desplegar modelos que analicen los ficheros de logs para detectar posibles fallos o se pueden
utilizar las nuevas redes generativas como Copilot que tiene la funcionalidad de “Explain codec” o utilizar su función
de chat para que te proponga mejoras en el código.
82
www.ismsforum.es GUÍA “IA Y CIBERSEGURIDAD”
6
MOTIVOS POR LOS QUE PUEDE
FALLAR UNA IMPLANTACIÓN
Y USO DE UNA IA.
Aun teniendo claros los objetivos, y los resultados a obtener, habiendo realizado la elección de un proveedor o una
tecnología adecuada todos los proyectos de IA están expuestos a una serie de obstáculos que pueden dificultar o
incluso hacer fracasar la implantación y uso de una IA, esto son, entre otros:
Falta de integración con los sistemas existentes: La ausencia de compatibilidad, o la dificultad para integrar
la solución de IA con los sistemas y procesos de la organización, puede limitar su efectividad.
Falta de soporte y mantenimiento adecuados: La carencia de soporte adecuado, por parte del proveedor de
IA, la deficiencia en las actualizaciones o un mantenimiento irregular pueden desencadenar en problemas
de estabilidad y rendimiento de la solución.
Falta de capacidad interna para comprender y utilizar la IA: No contar con personal capacitado o formado,
que comprenda y utilice eficazmente la solución de IA, podría producir efectos indeseados en su empleo,
rendimientos poco adecuados o incapacidad para alcanzar las metas fijadas.
Falta de escalabilidad: Si la solución elegida no es escalable o no puede adaptarse a las nuevas necesidades
y requisitos de la organización esto puede limitar su utilidad y funcionalidad a largo plazo.
Falta de planificación y gestión adecuada: Como en cualquier proyecto, una dirección ineficiente dificultará
el cumplimiento de los plazos, desviará los presupuestos o no permitirá alcanzar los resultados esperados.
Falta de colaboración entre equipos: El uso o despliegue de una IA implica la colaboración de variados equipos
y perfiles (científicos de datos, expertos, asesores legales, …) esto puede provocar una falta de comunicación
o colaboración entre ellos y desencadenar en un conjunto de malentendidos o desencuentros que provoquen
retrasos, desvió de los objetivos marcados o incapacidad de poner en marcha el sistema.
Falta de confianza de los clientes: El uso de IA siempre plantea desafíos éticos y morales que, sin una
adecuada gestión, pueden dañar la confianza que los usuarios depositan en la organización, pudiendo
provocar efectos negativos innecesarios.
Incompatibilidad con los requisitos y objetivos de la organización: Si la solución de IA no cumple con los
requisitos y objetivos de la organización, su implantación puede resultar inadecuada y no proporcionar los
resultados esperados.
83
GUÍA “IA Y CIBERSEGURIDAD” www.ismsforum.es
Rendimientos sesgados: Cuando los conjuntos de datos o algoritmos pueden perpetuar sesgos o
discriminación se presentan dilemas éticos, consecuencias legales, o reputacionales de la organización,
provocadas por una codificación incorrecta y no supervisada o por datos erróneos o espurios.
Resistencia organizativa o cultural: La gestión del cambio es compleja en cualquier organización y máxime
cuando hablamos de una tecnología tan disruptiva como es la IA, la implantación de soluciones IA provoca
cambios en los roles y en los procesos. Por un lado, el desconocimiento de la tecnología puede provocar una
falta de confianza en ella, y por otro lado se pueden generar temores en el personal que puede ver peligrar
sus puestos de trabajo. En ambos casos, sin una comunicación y formación adecuada se puede provocar
una oposición a la implantación de la solución, lo cual dificultaría su adopción en la organización.
Adopción por moda: La IA se ha convertido en una moda, muchas organizaciones sienten el impulso de
adoptar IA por puro marketing sin saber bien qué están implantando o sin darse cuenta de que su necesidad
se podría resolver con herramientas más simples que no tengan las letras “IA”.
84
www.ismsforum.es GUÍA “IA Y CIBERSEGURIDAD”
85
GUÍA “IA Y CIBERSEGURIDAD” www.ismsforum.es
7 REFERENCIAS
Este documento blanco ha sido realizado por un grupo de profesionales que han utilizado las siguientes fuentes de
referencia (además de las fuentes específicas referidas en los diferentes puntos).
Estudios de mercado:
W
• McKinsey, The state of AI: https://www.mckinsey.com/capabilities/quantumblack/our-insights/the-state-
of-ai-in-2022-and-a-half-decade-in-review
• Programa Nacional de Algoritmos Verdes. que impulsa una IA verde por diseño (Green by Design): https://
portal.mineco.gob.es/RecursosNoticia/mineco/prensa/noticias/2022/20221213_plan_algoritmos_
verdes.pdf]
• Machine learning for human learners: opportunities, issues, tensions and threats - Mary E. Webb,
Andrew Fluck, Johannes Magenheim, Joyce Malyn‑Smith, Juliet Waters, Michelle Deschênes, Jason
Zagami: https://link.springer.com/article/10.1007/s11423-020-09858-2
• WormGPT: https://slashnext.com/blog/wormgpt-the-generative-ai-tool-cybercriminals-are-using-to-
launch-business-email-compromise-attacks/
86
www.ismsforum.es GUÍA “IA Y CIBERSEGURIDAD”
• Recopilación de datos para aprendizaje automático e inteligencia artificial: una guía completa - Shaip
• Machine Learning: Cómo Desarrollar un Modelo desde Cero | by Victor Roman | Ciencia y Datos | Medium
• Inteligencia artificial fácil - Machine Learning y Deep Learning prácticos - Funciones de pérdida (Loss
function) | Editiones ENI (ediciones-eni.com)
• https://www.dhs.gov/sites/default/files/publications/increasing_threats_of_deepfake_identities_0.pdf
• https://github.com/jiep/offensive-ai-compilation/blob/main/README.md#-image-
• https://www.mobbeel.com/blog/deepfakes-garantizar-autenticidad/
87
ENERO 2024
INTELIGENCIA
ARTIFICIAL Y
CIBERSEGURIDAD
www.ismsforum.es
[email protected]
(+34) 915 63 50 62 @ISMSForum ISMS Forum