Desde la automatización de tareas manuales hasta la defensa avanzada contra amenazas, la inteligencia artificial no es solo otra herramienta en la caja de herramientas de ciberseguridad: rápidamente se está convirtiendo en la columna vertebral de una nueva era de defensa digital. Sin embargo, aunque la IA ofrece una eficiencia significativa, también conlleva una serie de riesgos que las organizaciones deben enfrentar.

En respuesta a las amenazas y oportunidades generadas por las tecnologías de IA, el National Institute of Standards and Technology (NIST) desarrolló el marco de gestión de riesgos para inteligencia artificial (AI RMF). Este marco está diseñado para ayudar a las organizaciones a diseñar, desarrollar, implementar y utilizar sistemas de IA de manera responsable y ética.

En este artículo, revisaremos los diversos aspectos del NIST AI RMF, sus recursos complementarios, el NIST AI RMF Playbook y el perfil generativo de IA del NIST AI RMF, y explicaremos cómo las organizaciones pueden aplicar el marco para guiar el uso de sus sistemas de IA.

Comprensión del marco de gestión de riesgos para inteligencia artificial del NIST

Los riesgos que presentan los sistemas de IA son diferentes a los de los sistemas de software tradicionales. Estos riesgos no solo son únicos y complejos, sino que pueden tener impactos significativos y de gran alcance sobre individuos, organizaciones, comunidades y la sociedad civil.

Por ejemplo, los modelos de IA pueden ser entrenados en conjuntos de datos que cambian con el tiempo y, por lo tanto, afectar la funcionalidad de maneras difíciles de comprender. Y dado que los sistemas de IA a menudo requieren interacciones humanas, también están influenciados por el comportamiento humano y las dinámicas sociales.

La funcionalidad de un sistema de IA puede verse afectada significativamente por factores como:

• ¿Cómo se utiliza el sistema?
• ¿Interactúa con otros sistemas de IA?
• ¿Quién lo opera?
• ¿Cuál es el contexto social u organizacional en el que se utiliza?

Una buena comprensión de estos riesgos puede ayudar a las organizaciones a comprender y considerar bien las limitaciones de las tecnologías de IA, mejorando así el rendimiento, la fiabilidad y la probabilidad de que se utilice la IA de manera útil. El marco de gestión de riesgos de IA del NIST ofrece un método estructurado para que las organizaciones comprendan adecuadamente los riesgos.

Publicado por primera vez en enero de 2023, el NIST AI RMF 1.0 es un marco voluntario diseñado para ayudar a organizaciones de todos los sectores e industrias a diseñar, desarrollar, implementar y utilizar sistemas de IA de manera responsable y ética. Proporciona directrices para el desarrollo y uso de tecnologías de IA para que la sociedad pueda beneficiarse de las numerosas oportunidades que la IA presenta, al mismo tiempo que se protege contra posibles daños.

Las ventajas de implementar el NIST AI RMF

Muchos aspectos de la inteligencia artificial están en constante cambio, desde las tecnologías y algoritmos en sí hasta la forma en que las organizaciones e individuos los perciben y utilizan. El NIST reconoce que el AI RMF es un marco nuevo y que su eficacia práctica está en gran medida aún por evaluarse.

No obstante, el marco es el resultado de varios años de colaboración entre expertos de la industria, y las organizaciones que implementen el AI RMF deberían experimentar una serie de beneficios.

• Mejorados procesos de gobernanza de IA, incluyendo el mapeo, medición y gestión de riesgos de IA
• Una cultura organizacional que comprende mejor los riesgos de los sistemas de IA y sus posibles impactos y prioriza la identificación y gestión de riesgos de IA
• Mayor sensibilización sobre las relaciones entre las características de confiabilidad de la IA, los enfoques sociotécnicos y los riesgos de la IA
• Procesos definidos para decidir cuándo se deben encargar/implementar los sistemas de IA y cuándo no
• Procesos, políticas y prácticas definidas para mejorar la responsabilidad organizacional respecto a los riesgos de los sistemas de IA
• Mejora en el intercambio de información dentro y entre organizaciones sobre los riesgos de la IA
• Mayor conciencia y sensibilidad contextual para los riesgos posteriores
• Fortalecimiento del compromiso y la comunidad entre los 'actores de IA' (un término del NIST para describir a individuos y organizaciones involucradas en o afectados por sistemas de IA, como desarrolladores, emisores, usuarios finales, terceros afectados y reguladores/legisladores)
• Mejor capacidad para probar, evaluar, verificar y validar (TEVV) sistemas y riesgos de IA

Definición de las características de la IA confiable

El propósito del marco de gestión de riesgos de inteligencia artificial (NIST AI RMF) es ayudar a las organizaciones a desarrollar e implementar "sistemas de IA confiables", es decir, una IA que sea ética, confiable y consistente con los valores y normas sociales.

Según NIST AI RMF, una IA confiable posee las siguientes características:

• Validada y confiable: Los sistemas de IA deben funcionar de manera consistente en diversas condiciones y ser resistentes a ataques, fallos y otras interrupciones. Deben mantener su funcionalidad y proporcionar resultados confiables, incluso en entornos cambiantes o desafiantes.
• Seguro, garantizado y resistente: Los sistemas de IA deben incorporar medidas de seguridad robustas para prevenir el acceso y la manipulación no autorizados. Deben ser seguros para su uso, minimizar los riesgos para las personas y comunidades, y asegurar que no causen daño no intencionado.
• Responsable y transparente: Los sistemas de IA deben tener mecanismos que aseguren la responsabilidad por los resultados de las decisiones tomadas por la IA. Esto incluye una clara documentación de los procesos de decisión y partes responsables identificables para el desarrollo, implementación y operación de los sistemas de IA.
• Explicable e interpretable: Debe haber transparencia en el funcionamiento de los sistemas de IA, incluyendo una explicación de las decisiones en el proceso. Los implicados deben poder entender cómo y por qué un sistema de IA tomó una decisión determinada, lo que permite una evaluación más sencilla y confianza en el sistema.
• Protección de datos: Los sistemas de IA deben estar diseñados para respetar la privacidad de los usuarios mediante la implementación de medidas de protección de datos que prevengan el uso indebido de información personal. Deben cumplir con las leyes y regulaciones de privacidad aplicables.
• Justo, con prejuicios perjudiciales gestionados: Deben hacerse esfuerzos para minimizar los prejuicios en los procesos de decisión de la IA. Los sistemas de IA deben ser desarrollados y supervisados para asegurar un trato justo a todas las personas sin discriminación.

Estas características están en línea con los principios más amplios de la IA ética y están diseñadas para fortalecer la confianza de los usuarios, desarrolladores, implementadores y el público en general en los sistemas influenciados por la IA. Al integrar estas características, las organizaciones pueden asegurar que sus sistemas de IA no solo sean efectivos y eficientes, sino que también estén desarrollados con un enfoque en el bienestar humano, para promover la toma de decisiones en lugar de reemplazarla.

Las funciones principales del NIST AI RMF

El desarrollo y uso de sistemas de IA requiere controles adecuados para mitigar y gestionar resultados no deseados. El núcleo del marco describe cuatro funciones diseñadas para ayudar a las organizaciones a abordar los riesgos de los sistemas de IA: Gobernar, Mapear, Medir y Gestionar.

Gobernar

Esta función central se centra en establecer y mantener estructuras de gobernanza que aseguren una supervisión efectiva y responsabilidad para los sistemas de IA. Esto incluye la definición de roles y responsabilidades claros, el establecimiento de objetivos para la gobernanza de la IA y asegurar el cumplimiento de leyes y regulaciones relevantes. Destaca la importancia de las consideraciones éticas y la participación de las partes interesadas en el proceso de gobernanza.

Por ejemplo:

• ¿Entiende la organización sus obligaciones legales y regulatorias en relación con la IA?
• ¿La organización toma medidas para asegurar que las características de una IA de confianza se integren en estas políticas y procesos?
• ¿Existen procesos formales para la gestión y evaluación de riesgos con roles y responsabilidades definidos? ¿Se revisan y actualizan regularmente?
• ¿Cómo se documentan y comunican los riesgos?
• ¿Se inventarían los sistemas de IA y existe un proceso para la desactivación segura de los sistemas de IA?

Mapeo

La función central del mapeo es entender y evaluar el ecosistema de IA, incluidas las fuentes de datos, los modelos de IA y el entorno en el que opera la IA. Requiere la identificación y documentación del flujo de datos, la funcionalidad de los sistemas de IA y su interacción con los usuarios y otros sistemas. Esta función es crucial para evaluar los posibles riesgos y vulnerabilidades en la operación de la IA.

Por ejemplo:

• ¿Tiene la organización una comprensión integral de cómo es utilizado el sistema de IA por diferentes usuarios? ¿Qué impactos positivos y negativos podría tener el sistema?
• ¿Se consideran las implicaciones socio-técnicas en la evaluación de riesgos de la IA?
• ¿Tiene la organización una misión y objetivos definidos para la tecnología de IA, y están estos documentados y comunicados?
• ¿Tiene la organización una tolerancia al riesgo definida y documentada para la IA?
• ¿Existen procesos definidos y documentados para la supervisión humana?

Medición

Esta función tiene como objetivo evaluar el rendimiento de los sistemas de IA y su conformidad con los objetivos y requisitos definidos. Incluye el establecimiento de indicadores de rendimiento, seguridad y fiabilidad para la IA. La medición también abarca la supervisión de la operación continua de los sistemas de IA con el fin de detectar y responder a desviaciones del rendimiento o comportamiento esperados.

Por ejemplo:

• ¿Cómo se mide el rendimiento del sistema de IA? ¿Qué conjuntos de pruebas o mediciones se utilizan? ¿Incluye esta evaluación los comentarios de los usuarios finales y las comunidades afectadas?
• ¿Se revisa regularmente el sistema de IA en busca de riesgos de seguridad? ¿Cómo se supervisa el rendimiento?
• ¿Se explica, valida y documenta el modelo de IA para que pueda ser utilizado de manera responsable?
• ¿Se documentan los riesgos para la privacidad, la equidad y los sesgos, así como para el medio ambiente?
• ¿Existen procesos y personal para identificar y seguir los riesgos de IA existentes, nuevos y/o inesperados?

Gestión

La función de gestión consiste en implementar estrategias para mitigar los riesgos identificados en las funciones de Mapeo y Medición. Esto incluye el desarrollo de planes de tratamiento de riesgos, la implementación de controles para mitigar los riesgos identificados y asegurar la mejora continua de los sistemas de IA mediante actualizaciones y refinamientos. Esta función también incluye estrategias para la gestión de incidentes y la recuperación, a fin de abordar posibles fallos o violaciones de la IA.

Por ejemplo:

• ¿Se priorizan los riesgos documentados de la IA según el impacto, la probabilidad y los recursos disponibles?
• ¿Existen planes de tratamiento de riesgos documentados para los riesgos de IA priorizados (es decir, mitigación, transferencia, evitación o aceptación)? ¿Se documentan y comunican los riesgos posteriores que no se han mitigado?
• ¿Existen mecanismos para reemplazar, desactivar o cerrar sistemas de IA que mueren desempeños o resultados inconsistentes?
• ¿Se comunican los incidentes y fallos a los actores de IA relevantes y a las comunidades afectadas?

Según el AI-RMF, la gestión de riesgos no es un evento único, sino un proceso continuo que se lleva a cabo durante todo el ciclo de vida de un sistema de IA. Estas cuatro funciones están diseñadas para ser adaptables y aplicables a diferentes tipos de organizaciones y aplicaciones de IA. Ofrecen un enfoque estructurado, holístico y continuo para la gestión de riesgos de IA.

El NIST ha publicado una hoja de ruta que describe las futuras actividades para evaluar la efectividad del AI-RMF. Se enfatiza que la mejora y la iteración del marco es un proceso colaborativo que requiere retroalimentación continua de organizaciones así como de actores y partes interesadas en la IA.

El marco de IA debería ser oficialmente revisado y actualizado a más tardar en 2028.

El enfoque del NIST para construir una gobernanza sólida de IA

El AI-RMF de NIST pone gran énfasis en la gobernanza de IA como un elemento fundamental para gestionar el uso y operación de los sistemas de IA. Se recomiendan las siguientes actividades para establecer y mantener prácticas sólidas de gobernanza de IA:

En general, el AI-RMF de NIST enfatiza que la gobernanza efectiva de IA es dinámica y evoluciona a medida que surgen nuevos desafíos y perspectivas en el campo de la IA.

Poner en práctica: El manual AI-RMF de NIST

El manual AI-RMF de NIST es un recurso adicional para ayudar a las organizaciones a familiarizarse con el AI-RMF y ponerlo en práctica. No es una lista de verificación ni una serie estricta de requisitos, sino más bien acciones recomendadas que las organizaciones pueden llevar a cabo para guiar su implementación del marco y ayudarlas a aprovecharlo al máximo.

El manual está dividido en secciones para cada una de las cuatro funciones principales y sus subcategorías.

Por ejemplo, la sección sobre Gobernanza 1.1 explica en detalle el principio: “Los requisitos legales y regulatorios relacionados con la IA son comprendidos, gestionados y documentados.” Esto proporciona un contexto más profundo de por qué este principio es importante y los desafíos que implica, como los complejos requisitos regulatorios, los diferentes procesos de prueba de sesgo en los sistemas de IA y las diferentes experiencias de los usuarios (como usuarios con discapacidades o impedimentos que podrían afectar su uso del sistema de IA).

El manual luego sugiere una serie de acciones recomendadas, como el establecimiento de roles específicos para monitorear el entorno legal y regulatorio, la alineación de los esfuerzos de gestión de riesgos con los requisitos aplicables y la capacitación continua para garantizar que el personal esté actualizado con las regulaciones que pueden afectar el diseño, desarrollo e implementación de IA.

Además de las medidas sugeridas, el manual ofrece recomendaciones para documentación específica que las organizaciones pueden mantener y comparte recursos aplicables. Por ejemplo:

• ¿Ha identificado y documentado claramente la organización todas las leyes y estándares mínimos obligatorios que debe seguir?
• ¿Se ha realizado una revisión exhaustiva para asegurar que el sistema cumple con todas las leyes, regulaciones, estándares y directrices relevantes?

En total, el manual abarca más de 140 páginas con recomendaciones y recursos adicionales que pretenden apoyar a las organizaciones en la implementación práctica del AI RMF. Tanto el documento del AI RMF como el manual son parte del Centro de Recursos de IA Confiable y Responsable del NIST.

El Perfil de IA Generativa del AI RMF del NIST

Además del manual, el NIST publicó en abril de 2024 el Marco de Gestión de Riesgos de la Inteligencia Artificial: Perfil de Inteligencia Artificial Generativa como documento complementario al AI RMF. Ayuda a las organizaciones a comprender los riesgos únicos asociados con las tecnologías de IA generativa (GAI) y ofrece medidas recomendadas para mitigar estos riesgos.

El Grupo de Trabajo Público de IA Generativa (GAI PWG) del NIST ha identificado 12 riesgos principales de la IA generativa:

1. Información CBRN: Acceso facilitado a información peligrosa sobre armas químicas, biológicas, radiológicas o nucleares.
2. Confabulación: Creación de información falsa o inexacta, pero presentada de manera convincente.
3. Recomendaciones peligrosas o violentas: Facilitación de la creación y acceso a contenidos que promuevan la violencia, opiniones radicales, autolesiones o actividades ilegales.
4. Privacidad: Riesgos de pérdida de información sensible, como datos biométricos, de salud o personales.
5. Medio ambiente: Alto consumo de recursos en el entrenamiento de modelos de IA que podría dañar al medio ambiente.
6. Configuración humano-IA: Problemas derivados de la colaboración entre humanos y sistemas de IA, como una dependencia excesiva de la IA, objetivos mal alineados o comportamiento engañoso de la IA.
7. Integridad de la información: Facilitación de la creación y difusión de contenidos no verificados que pueden ser utilizados para campañas de desinformación o información errónea.
8. Seguridad de la información: Reducción de barreras para ciberataques como hacking y malware por parte de la IA.
9. Propiedad intelectual: Creación y uso más fácil de contenido que podría violar derechos de autor o marcas registradas.
10. Contenidos obscenos, degradantes y/o abusivos: Acceso más fácil a imágenes dañinas o abusivas, incluyendo contenidos ilegales.
11. Toxicidad, sesgos y homogeneización: Desafíos para controlar la exposición a contenidos dañinos o sesgados, así como problemas con la diversidad de datos que afectan el rendimiento de la IA.
12. Cadena de valor e integración de componentes: Problemas con la integración opaca de componentes de terceros en los sistemas de IA, incluyendo cuestiones de calidad de datos y verificación de proveedores.

El documento "Perfil de IA Generativa" describe medidas específicas que las organizaciones pueden tomar para abordar estos riesgos asociados con la GAI, ordenadas según las funciones principales del AI RMF. Cada medida se asigna a un número de identificación que corresponde a la función y subfunción específica. Por ejemplo:

GV-1.1-001 es la primera medida que pertenece a Gobernanza 1.1: Se entienden, gestionan y documentan los requisitos legales y regulatorios que afectan a la IA. La medida dice: Hacer que el uso de la GAI cumpla con las leyes y regulaciones aplicables, incluyendo aquellas que se refieren a la privacidad de datos y el uso, publicación o distribución de material licenciado, patentado, de marca registrada, con derechos de autor o protegido.

GV-1.2-001 es la primera medida que pertenece a Gobernanza 1.2: Las características de una IA confiable se integran en las políticas, procesos, procedimientos y prácticas organizacionales. La medida dice: Conectar las nuevas políticas, procedimientos y procesos de GAI con los modelos, datos y gobernanza de TI existentes, así como con las funciones legales, de cumplimiento y de riesgo.

El perfil de IA Generativa abarca más de 50 páginas con 467 medidas únicas, lo que lo convierte en un acompañamiento completo del AI RMF específicamente para la gestión de riesgos asociados con la GAI.

Una forma más rápida y sencilla de implementar el NIST AI RMF

Secureframe ayuda a las organizaciones a alcanzar el cumplimiento con el NIST AI RMF, proporcionando herramientas y plantillas adaptadas al marco.

• Más de 200 integraciones en su stack tecnológico existente automatizan la recopilación de evidencia relacionada con los controles y pruebas específicos del NIST AI RMF.
• Plantillas de políticas y procesos desarrolladas y revisadas por expertos internos y exauditores, adaptadas a los requisitos específicos del NIST AI RMF.
• Monitoreo continuo para alertas en tiempo real de fallos en pruebas de la nube, asegurando que sus sistemas cumplan constantemente con los requisitos y controles del NIST AI RMF.
• Identifique y gestione fácilmente los riesgos asociados con la IA que podrían afectar su cumplimiento con el NIST AI RMF.

Para obtener más información sobre la implementación del NIST AI RMF con Secureframe, contáctenos para programar una demostración con uno de nuestros expertos.