Von der Automatisierung manueller Aufgaben bis hin zur fortschrittlichen Bedrohungsabwehr ist die künstliche Intelligenz nicht nur ein zusätzliches Werkzeug in der Cybersicherheits-Toolbox – sie wird schnell zur Rückgrat einer neuen Ära der digitalen Verteidigung. Doch obwohl KI erhebliche Effizienzgewinne bietet, bringt sie auch eine Reihe von Risiken mit sich, denen sich Organisationen stellen müssen.

Als Reaktion auf die durch KI-Technologien entstandenen Bedrohungen und Chancen hat das National Institute of Standards and Technology (NIST) den Rahmen für das Risikomanagement für künstliche Intelligenz (AI RMF) entwickelt. Dieser Rahmen soll Organisationen dabei helfen, KI-Systeme verantwortungsvoll und ethisch zu entwerfen, zu entwickeln, einzusetzen und zu nutzen.

In diesem Artikel werden wir die verschiedenen Aspekte des NIST AI RMF, seine ergänzenden Ressourcen, das NIST AI RMF Playbook und das NIST AI RMF Generative AI Profile durchgehen und erklären, wie Organisationen den Rahmen anwenden können, um den Einsatz ihrer KI-Systeme zu leiten.

Den Rahmen für das Risikomanagement für künstliche Intelligenz des NIST verstehen

Die Risiken, die von KI-Systemen ausgehen, unterscheiden sich von den Risiken herkömmlicher Softwaresysteme. Diese Risiken sind nicht nur einzigartig und komplex, sondern können auch weitreichende und signifikante Auswirkungen auf Einzelpersonen, Organisationen, Gemeinschaften und die Zivilgesellschaft haben.

AI-Modelle können beispielsweise auf Datensätzen trainiert werden, die sich im Laufe der Zeit ändern und somit die Funktionalität auf schwer verständliche Weise beeinflussen. Und da AI-Systeme so oft menschliche Interaktionen erfordern, werden sie auch vom menschlichen Verhalten und sozialen Dynamiken beeinflusst.

Die Funktionalität eines KI-Systems kann erheblich durch Faktoren beeinflusst werden wie:

• Wie wird das System genutzt?
• Interagiert es mit anderen KI-Systemen?
• Wer betreibt es?
• Welcher soziale oder organisatorische Kontext herrscht bei seinem Einsatz?

Ein gutes Verständnis dieser Risiken kann Organisationen helfen, die Einschränkungen von KI-Technologien gut zu verstehen und zu berücksichtigen, wodurch Leistung, Zuverlässigkeit und die Wahrscheinlichkeit, dass KI auf nützliche Weise eingesetzt wird, verbessert werden. Der Rahmen für das Risikomanagement für KI des NIST bietet eine strukturierte Methode, damit Organisationen ein angemessenes Verständnis der Risiken erlangen.

Veröffentlicht erstmals im Januar 2023, ist der NIST AI RMF 1.0 ein freiwilliger Rahmen, der Organisationen aus allen Sektoren und Branchen helfen soll, KI-Systeme verantwortungsvoll und ethisch zu entwerfen, zu entwickeln, einzusetzen und zu nutzen. Er bietet Leitlinien für die Entwicklung und den Einsatz von KI-Technologien, damit die Gesellschaft von den vielen Chancen der KI profitieren kann und gleichzeitig vor potenziellen Schäden geschützt wird.

Die Vorteile der Implementierung des NIST AI RMF

Viele Aspekte der künstlichen Intelligenz sind im Wandel, von den Technologien und Algorithmen selbst bis hin zu der Art und Weise, wie Organisationen und Einzelpersonen sie wahrnehmen und nutzen. Das NIST erkennt an, dass der AI RMF ein neuer Rahmen ist und seine praktische Wirksamkeit weitgehend noch zu bewerten ist.

Nichtsdestotrotz ist der Rahmen das Ergebnis mehrjähriger Zusammenarbeit zwischen Branchenexperten, und Organisationen, die den AI RMF implementieren, sollten eine Reihe von Vorteilen erfahren.

• Verbesserte Prozesse der KI-Governance, einschließlich der Kartierung, Messung und Verwaltung von KI-Risiken
• Eine Organisationskultur, die die Risiken von KI-Systemen und ihre potenziellen Auswirkungen besser versteht und die Identifizierung und Verwaltung von KI-Risiken priorisiert
• Verbesserte Sensibilisierung für die Beziehungen zwischen den Zuverlässigkeitseigenschaften von KI, soziotechnischen Ansätzen und KI-Risiken
• Definierte Prozesse für die Entscheidung, wann KI-Systeme beauftragt/eingesetzt werden sollen und wann nicht
• Definierte Prozesse, Richtlinien und Praktiken zur Verbesserung der organisatorischen Verantwortung in Bezug auf die Risiken von KI-Systemen
• Verbesserter Informationsaustausch innerhalb und zwischen Organisationen über die Risiken der KI
• Erhöhtes Kontextbewusstsein und -sensibilität für nachgelagerte Risiken
• Stärkung des Engagements und der Gemeinschaft unter den „KI-Akteuren“ (ein Begriff des NIST für Einzelpersonen und Organisationen, die an KI-Systemen beteiligt oder davon betroffen sind, wie Entwickler, Emittenten, Endbenutzer, betroffene Dritte und Regulierungs-/Gesetzgeber)
• Bessere Fähigkeit für das Testen, Bewerten, Verifizieren und Validieren (TEVV) von KI-Systemen und -Risiken

Definition der Merkmale vertrauenswürdiger KI

Der Zweck des Rahmens für das Risikomanagement von Künstlicher Intelligenz (NIST AI RMF) besteht darin, Organisationen dabei zu helfen, „vertrauenswürdige KI-Systeme“ zu entwickeln und einzusetzen – eine KI, die ethisch, zuverlässig und mit den gesellschaftlichen Werten und Normen übereinstimmend ist.

Laut NIST AI RMF besitzt eine vertrauenswürdige KI folgende Merkmale:

• Validiert und zuverlässig: KI-Systeme müssen in verschiedenen Bedingungen konsistent funktionieren und widerstandsfähig gegenüber Angriffen, Ausfällen und anderen Störungen sein. Sie müssen ihre Funktionalität aufrechterhalten und zuverlässige Ergebnisse liefern, auch in sich ändernden oder herausfordernden Umgebungen.
• Sicher, garantiert und resilient: KI-Systeme müssen robuste Sicherheitsmaßnahmen integrieren, um unbefugten Zugriff und Manipulationen zu verhindern. Sie müssen sicher für den Einsatz sein, die Risiken für Einzelpersonen und Gemeinschaften minimieren und sicherstellen, dass sie keinen unbeabsichtigten Schaden verursachen.
• Verantwortlich und transparent: KI-Systeme müssen über Mechanismen verfügen, die die Verantwortung für die Ergebnisse der von der KI getroffenen Entscheidungen sicherstellen. Dies umfasst eine klare Dokumentation der Entscheidungsprozesse und identifizierbare verantwortliche Parteien für die Entwicklung, den Einsatz und den Betrieb von KI-Systemen.
• Erklärbar und interpretierbar: Es muss Transparenz in der Funktionsweise von KI-Systemen geben, einschließlich einer Erklärung der Entscheidungen im Prozess. Die Beteiligten müssen verstehen können, wie und warum ein KI-System eine bestimmte Entscheidung getroffen hat, was eine einfachere Bewertung und Vertrauen in das System ermöglicht.
• Datenschutz: KI-Systeme müssen so gestaltet sein, dass sie die Privatsphäre der Nutzer respektieren, indem Datenschutzmaßnahmen ergriffen werden, die den Missbrauch persönlicher Informationen verhindern. Sie müssen den geltenden Gesetzen und Datenschutzbestimmungen entsprechen.
• Fair, mit verwalteten schädlichen Vorurteilen: Es sollten Anstrengungen unternommen werden, um Vorurteile in den Entscheidungsprozessen der KI zu minimieren. KI-Systeme müssen so entwickelt und überwacht werden, dass eine faire Behandlung aller Personen ohne Diskriminierung gewährleistet ist.

Diese Merkmale stimmen mit den breiteren Prinzipien der ethischen KI überein und sollen das Vertrauen der Nutzer, Entwickler, Implementierer und der Allgemeinheit in die von KI-Systemen beeinflussten Systeme stärken. Durch die Integration dieser Merkmale können Organisationen sicherstellen, dass ihre KI-Systeme nicht nur effektiv und effizient sind, sondern auch mit einem Fokus auf das menschliche Wohl entwickelt wurden, um die Entscheidungsfindung zu fördern, anstatt sie zu ersetzen.

Die Hauptfunktionen des NIST AI RMF

Die Entwicklung und Nutzung von KI-Systemen erfordert angemessene Kontrollen, um unerwünschte Ergebnisse zu mindern und zu verwalten. Der Kern des Rahmens beschreibt vier Funktionen, die entwickelt wurden, um Organisationen bei der Bewältigung der Risiken von KI-Systemen zu unterstützen: Regieren, Kartieren, Messen und Verwalten.

Regieren

Diese zentrale Funktion konzentriert sich auf die Etablierung und Aufrechterhaltung von Governance-Strukturen, die eine effektive Überwachung und Verantwortlichkeit für KI-Systeme sicherstellen. Dies beinhaltet die Definition klarer Rollen und Verantwortlichkeiten, die Festlegung von Zielen für die KI-Governance und die Sicherstellung der Einhaltung relevanter Gesetze und Vorschriften. Sie betont die Bedeutung ethischer Überlegungen und die Einbindung der Interessengruppen in den Governance-Prozess.

Zum Beispiel:

• Versteht die Organisation ihre gesetzlichen und regulatorischen Verpflichtungen in Bezug auf KI?
• Ergreift die Organisation Maßnahmen, um sicherzustellen, dass die Merkmale vertrauenswürdiger KI in diese Richtlinien und Prozesse integriert werden?
• Gibt es formelle Prozesse für das Risikomanagement und die Risikobewertung mit definierten Rollen und Verantwortlichkeiten? Werden sie regelmäßig überprüft und aktualisiert?
• Wie werden die Risiken dokumentiert und kommuniziert?
• Werden die KI-Systeme inventarisiert und gibt es einen Prozess zur sicheren Stilllegung der KI-Systeme?

Kartierung

Die zentrale Funktion der Kartierung besteht darin, das KI-Ökosystem einschließlich der Datenquellen, der KI-Modelle und der Umgebung, in der die KI operiert, zu verstehen und zu bewerten. Es erfordert die Identifizierung und Dokumentation des Datenflusses, der Funktionalität der KI-Systeme und deren Interaktion mit Benutzern und anderen Systemen. Diese Funktion ist entscheidend, um potenzielle Risiken und Schwachstellen im KI-Betrieb zu bewerten.

Zum Beispiel:

• Hat die Organisation ein umfassendes Verständnis dafür, wie das KI-System von verschiedenen Benutzern eingesetzt wird? Welche positiven und negativen Auswirkungen hat das System möglicherweise?
• Werden bei der Risikobewertung der KI sozio-technische Implikationen berücksichtigt?
• Hat die Organisation eine definierte Mission und Ziele für die KI-Technologie, und sind diese dokumentiert und kommuniziert?
• Hat die Organisation eine definierte und dokumentierte Risikotoleranz für KI?
• Gibt es definierte und dokumentierte Prozesse für menschliche Überwachung?

Messen

Diese Funktion zielt darauf ab, die Leistung der KI-Systeme und deren Übereinstimmung mit den definierten Zielen und Anforderungen zu bewerten. Sie umfasst die Festlegung von Leistungs-, Sicherheits- und Zuverlässigkeitskennzahlen für die KI. Das Messen umfasst auch die Überwachung des kontinuierlichen Betriebs der KI-Systeme, um Abweichungen von der erwarteten Leistung oder dem erwarteten Verhalten zu erkennen und darauf zu reagieren.

Zum Beispiel:

• Wie wird die Leistung des KI-Systems gemessen? Welche Test- oder Messsätze werden verwendet? Umfasst diese Bewertung das Feedback der Endbenutzer und betroffener Gemeinschaften?
• Wird das KI-System regelmäßig auf Sicherheitsrisiken überprüft? Wie wird die Leistung überwacht?
• Wird das KI-Modell erklärt, validiert und dokumentiert, damit es verantwortungsvoll eingesetzt werden kann?
• Werden Risiken für Datenschutz, Fairness und Verzerrungen sowie für die Umwelt dokumentiert?
• Gibt es Prozesse und Personal, um bestehende, neue und/oder unerwartete KI-Risiken zu identifizieren und zu verfolgen?

Verwalten

Die Verwaltungsfunktion besteht darin, Strategien zur Behebung der in den Funktionen Kartierung und Messen identifizierten Risiken umzusetzen. Dies umfasst die Entwicklung von Risikobehandlungsplänen, die Implementierung von Kontrollen zur Minderung identifizierter Risiken und die Sicherstellung der kontinuierlichen Verbesserung der KI-Systeme durch Updates und Verfeinerungen. Diese Funktion umfasst auch Strategien für das Incident-Management und die Wiederherstellung, um potenzielle Ausfälle oder Verstöße der KI zu bewältigen.

Zum Beispiel:

• Werden dokumentierte KI-Risiken nach Einfluss, Wahrscheinlichkeit und verfügbaren Ressourcen priorisiert?
• Gibt es dokumentierte Risikobehandlungspläne für priorisierte KI-Risiken (d.h. Minderung, Übertragung, Vermeidung oder Akzeptanz)? Sind nicht geminderte nachgelagerte Risiken dokumentiert und kommuniziert?
• Gibt es Mechanismen, um KI-Systeme, die inkonsistente Leistungen oder Ergebnisse zeigen, durch andere zu ersetzen, zu deaktivieren oder zu deaktivieren?
• Werden Vorfälle und Fehler den relevanten KI-Akteuren und betroffenen Gemeinschaften kommuniziert?

Nach dem AI-RMF ist das Risikomanagement kein einmaliges Ereignis, sondern ein kontinuierlicher Prozess, der während des gesamten Lebenszyklus eines KI-Systems durchgeführt wird. Diese vier Funktionen sind so konzipiert, dass sie an verschiedene Arten von Organisationen und KI-Anwendungen anpassbar und anwendbar sind. Sie bieten einen strukturierten, ganzheitlichen und kontinuierlichen Ansatz für das KI-Risikomanagement.

Das NIST hat eine Roadmap veröffentlicht, die zukünftige Aktivitäten zur Bewertung der Wirksamkeit des AI-RMF beschreibt. Es wird betont, dass die Verbesserung und Iteration des Rahmens ein kollaborativer Prozess ist, der kontinuierliches Feedback von Organisationen sowie von Akteuren und Interessengruppen der KI erfordert.

Der KI-Rahmen sollte spätestens 2028 offiziell überprüft und überarbeitet werden.

Der NIST-Ansatz zum Aufbau einer soliden KI-Governance

Das NIST AI-RMF legt großen Wert auf die KI-Governance als grundlegendes Element zur Verwaltung des Einsatzes und Betriebs von KI-Systemen. Die folgenden Aktivitäten werden empfohlen, um solide Praktiken der KI-Governance zu etablieren und aufrechtzuerhalten:

Insgesamt betont das NIST AI-RMF, dass die effektive KI-Governance dynamisch ist und sich weiterentwickelt, wenn neue Herausforderungen und Perspektiven im Bereich der KI auftauchen.

Praxis umsetzen: Das NIST AI-RMF-Handbuch

Das NIST AI-RMF-Handbuch ist eine zusätzliche Ressource, die Organisationen dabei helfen soll, sich im AI-RMF zurechtzufinden und es in die Praxis umzusetzen. Es ist keine Checkliste oder eine strenge Reihe von Anforderungen, sondern vielmehr empfohlene Aktionen, die Organisationen unternehmen können, um ihre Implementierung des Rahmens zu leiten und ihnen zu helfen, das Beste daraus zu machen.

Das Handbuch ist in Abschnitte für jede der vier Hauptfunktionen und ihre Unterkategorien unterteilt.

Zum Beispiel erklärt der Abschnitt über Govern 1.1 den Grundsatz detailliert: „Rechtliche und regulatorische Anforderungen in Bezug auf KI werden verstanden, verwaltet und dokumentiert.“ Dies liefert einen tieferen Kontext, warum dieser Grundsatz wichtig ist und welche Herausforderungen er mit sich bringt, wie z.B. komplexe regulatorische Anforderungen, unterschiedliche Testprozesse von KI-Systemen auf Bias und unterschiedliche Benutzererfahrungen (wie Benutzer mit Behinderungen oder Beeinträchtigungen, die ihre Verwendung des KI-Systems beeinflussen könnten).

Das Handbuch schlägt dann eine Reihe empfohlener Maßnahmen vor, wie z.B. die Einrichtung spezifischer Rollen zur Überwachung des rechtlichen und regulatorischen Umfelds, die Ausrichtung der Risikomanagementbemühungen an den anwendbaren Anforderungen und die kontinuierliche Schulung, um sicherzustellen, dass das Personal mit den Vorschriften, die sich auf die Gestaltung, Entwicklung und Bereitstellung von KI auswirken können, auf dem neuesten Stand bleibt.

Zusätzlich zu den vorgeschlagenen Maßnahmen bietet das Handbuch Empfehlungen für spezifische Dokumentationen, die Organisationen unterhalten können, und teilt anwendbare Ressourcen. Zum Beispiel:

• Hat die Organisation alle gesetzlichen Vorschriften und Mindeststandards, denen sie folgen muss, identifiziert und klar dokumentiert?
• Wurde eine gründliche Überprüfung durchgeführt, um sicherzustellen, dass das System alle relevanten Gesetze, Vorschriften, Standards und Richtlinien erfüllt?

Insgesamt umfasst das Handbuch über 140 Seiten mit Empfehlungen und zusätzlichen Ressourcen, die Organisationen bei der praktischen Umsetzung des AI RMF unterstützen sollen. Sowohl das AI RMF-Dokument als auch das Handbuch sind Teil des NIST Trustworthy and Responsible AI Resource Center.

Das generative KI-Profil des NIST AI RMF

Zusätzlich zum Playbook veröffentlichte das NIST im April 2024 den Rahmen für das Management von Risiken im Zusammenhang mit Künstlicher Intelligenz: Generative Künstliche Intelligenz Profil als ergänzendes Dokument zum AI RMF. Es hilft Organisationen, die einzigartigen Risiken im Zusammenhang mit generativen KI-Technologien (GAI) zu verstehen, und bietet empfohlene Maßnahmen zur Minderung dieser Risiken.

Die Generative AI Public Working Group (GAI PWG) des NIST hat 12 Hauptrisiken der generativen KI identifiziert:

1. CBRN-Informationen : Erleichterter Zugang zu gefährlichen Informationen über chemische, biologische, radiologische oder nukleare Waffen.
2. Konfabulation : Erstellung falscher oder ungenauer Informationen, die jedoch überzeugend präsentiert werden.
3. Gefährliche oder gewalttätige Empfehlungen : Erleichterte Erstellung und Zugang zu Inhalten, die Gewalt, radikale Ansichten, Selbstverletzung oder illegale Aktivitäten fördern.
4. Datenschutz : Risiken des Verlusts sensibler Informationen wie biometrischer, gesundheitlicher oder persönlicher Daten.
5. Umwelt : Hoher Ressourcenverbrauch beim Training von KI-Modellen, der der Umwelt schaden könnte.
6. Mensch-KI-Konfiguration : Probleme aus der Zusammenarbeit zwischen Menschen und KI-Systemen, wie übermäßige Abhängigkeit von der KI, schlecht ausgerichtete Ziele oder irreführendes Verhalten der KI.
7. Integrität der Information : Erleichterte Erstellung und Verbreitung nicht verifizierter Inhalte, die für Desinformations- oder Fehlinformationskampagnen verwendet werden können.
8. Informationssicherheit : Reduzierung der Barrieren für Cyberangriffe wie Hacking und Malware durch die KI.
9. Geistiges Eigentum: Einfachere Erstellung und Nutzung von Inhalten, die Urheberrechte oder Markenrechte verletzen könnten.
10. Obszöne, erniedrigende und/oder missbräuchliche Inhalte: Einfacherer Zugang zu schädlichen oder missbräuchlichen Bildern, einschließlich illegalen Inhalten.
11. Toxizität, Voreingenommenheit und Homogenisierung: Herausforderungen bei der Kontrolle der Exposition gegenüber schädlichen oder voreingenommenen Inhalten sowie Probleme mit der Datenvielfalt, die die Leistung der KI beeinflussen.
12. Wertschöpfungskette und Komponentenintegration: Probleme bei der intransparenten Integration von Drittkomponenten in KI-Systeme, einschließlich Fragen der Datenqualität und der Lieferantenüberprüfung.

Das Dokument „Profil der Generativen KI“ beschreibt spezifische Maßnahmen, die Organisationen ergreifen können, um diese mit der GAI verbundenen Risiken zu bewältigen, geordnet nach den Grundfunktionen des AI RMF. Jede Maßnahme ist einer Identifikationsnummer zugeordnet, die der spezifischen Funktion und Unterfunktion entspricht. Zum Beispiel:

GV-1.1-001 ist die erste Maßnahme, die zu Govern 1.1 gehört: Rechtliche und regulatorische Anforderungen, die die KI betreffen, werden verstanden, verwaltet und dokumentiert. Die Maßnahme lautet: Die Nutzung der GAI mit den anwendbaren Gesetzen und Vorschriften in Einklang bringen, einschließlich derjenigen, die sich auf den Datenschutz sowie die Nutzung, Veröffentlichung oder Verbreitung von lizenziertem, patentiertem, markenrechtlich geschütztem, urheberrechtlich geschütztem oder geschütztem Material beziehen.

GV-1.2-001 ist die erste Maßnahme, die zu Govern 1.2 gehört: Merkmale vertrauenswürdiger KI werden in die organisatorischen Richtlinien, Prozesse, Verfahren und Praktiken integriert. Die Maßnahme lautet: Neue GAI-Richtlinien, -Verfahren und -Prozesse mit bestehenden IT-Modellen, -Daten und -Governance sowie mit den Rechts-, Compliance- und Risikofunktionen verbinden.

Das Profil der Generativen KI umfasst mehr als 50 Seiten mit 467 einzigartigen Maßnahmen und ist damit ein umfassender Begleiter des AI RMF speziell für das Risikomanagement im Zusammenhang mit der GAI.

Ein schnellerer und einfacherer Weg zur Implementierung des NIST AI RMF

Secureframe hilft Organisationen dabei, die Compliance mit dem NIST AI RMF zu erreichen, indem es Werkzeuge und Vorlagen bereitstellt, die auf den Rahmen zugeschnitten sind.

• Über 200 Integrationen in Ihren bestehenden Technologie-Stack automatisieren die Sammlung von Nachweisen in Bezug auf die spezifischen Kontrollen und Tests des NIST AI RMF.
• Von internen Experten und ehemaligen Prüfern entwickelte und überprüfte Richtlinien- und Prozessvorlagen, die auf die spezifischen Anforderungen des NIST AI RMF zugeschnitten sind.
• Kontinuierliche Überwachung für Echtzeit-Alarme bei Cloud-Testfehlern, um sicherzustellen, dass Ihre Systeme ständig die Anforderungen und Kontrollen des NIST AI RMF einhalten.
• Identifizieren und verwalten Sie einfach die mit KI verbundenen Risiken, die Ihre Compliance mit dem NIST AI RMF beeinträchtigen könnten.

Um mehr über die Implementierung des NIST AI RMF mit Secureframe zu erfahren, kontaktieren Sie uns, um eine Demo mit einem unserer Experten zu vereinbaren.