Geschrieben am 03.09.2026 von:
Team MORGENSTERN
MORGENSTERN: Innovativ in Datenschutz, IT-Sicherheit und Digitalisierung.
zum Profil
Kontaktiere mich:
+49 (0) 6232 – 100119 44
E-Mail senden
Am 31. August 2026 haben das Bundesministerium für Digitales und Staatsmodernisierung und das Bundesministerium des Innern die Gründung des AI Safety and Security Institute Deutschland, kurz AISI Deutschland, bekanntgegeben.
Das Institut soll die Chancen und Risiken fortschrittlicher KI-Modelle bewerten und die Resilienz im Umgang mit Künstlicher Intelligenz stärken. In der ersten Aufbauphase bilden BSI und Bundesnetzagentur einen virtuellen Nukleus. Die Aufgabenteilung orientiert sich an den Bereichen Cybersecurity und Safety. Ein Schwerpunkt liegt auf der technischen Evaluierung leistungsfähiger KI-Systeme, insbesondere ihrer Fähigkeiten und Risiken für die Cybersicherheit.
Für Unternehmen ist daran weniger die neue Behördenbezeichnung interessant als die dahinterstehende Verschiebung der Sicherheitsfrage. Bei klassischen Assistenzsystemen stand bisher häufig die Qualität der erzeugten Antwort im Vordergrund. Bei agentischen Systemen kommt eine weitere Ebene hinzu: Ein KI-System kann mit Werkzeugen verbunden werden, Informationen aus verschiedenen Quellen zusammenführen und eigenständig Aktionen auslösen. Je nach Konfiguration kann es etwa Dateien verändern, Tickets anlegen, Code ausführen oder Nachrichten versenden. Damit wird nicht nur die inhaltliche Richtigkeit einer Antwort relevant. Entscheidend ist auch, welche Handlungsmöglichkeiten das System besitzt, welche Grenzen technisch erzwungen werden und wie ein Fehlverhalten erkannt und beendet werden kann.
Der Begriff Kontrollverlust beschreibt dabei nicht zwangsläufig ein spektakuläres Szenario, in dem ein System vollständig aus einer Umgebung ausbricht. In der Praxis kann Kontrollverlust bereits dann entstehen, wenn ein Agent eine nicht vorgesehene Handlung ausführt, Berechtigungen ausweitet, vertrauliche Informationen an ein falsches Ziel übermittelt oder eine fehlerhafte Entscheidung automatisiert weiterverarbeitet. Die BSI-Einordnung zu den Auswirkungen aktueller KI-Entwicklungen auf die Cybersicherheit weist zugleich darauf hin, dass vollständig autonome Angriffe auf IT-Infrastrukturen derzeit nicht verfügbar sind. Gleichzeitig wachsen die Fähigkeiten von KI-Systemen bei der Analyse von Software, der Erstellung von Code und der Unterstützung von Angriffen. Für Unternehmen ist deshalb weder eine Verharmlosung noch eine reine Zukunftsdebatte angemessen. Gefragt ist eine Sicherheitsarchitektur, die mit den Fähigkeiten der Systeme Schritt hält.
Für die Einführung agentischer KI sollte zunächst ein belastbares Inventar erstellt werden. Es sollte nicht nur den Anbieter und das verwendete Modell erfassen, sondern auch die angeschlossenen Werkzeuge, Datenquellen, Berechtigungen, Protokollierungsfunktionen und menschlichen Freigabepunkte. Anschließend ist für jeden Anwendungsfall zu bestimmen, welche Aktionen der Agent selbstständig ausführen darf. Das Prinzip der geringsten Berechtigung sollte technisch umgesetzt werden. Schreibende oder löschende Aktionen, der Versand externer Nachrichten und der Zugriff auf besonders schützenswerte Daten sollten grundsätzlich eine zusätzliche Freigabe oder eine technisch begrenzte Umgebung erfordern.
Ebenso wichtig sind Tests vor dem produktiven Einsatz. Dazu gehören Tests mit fehlerhaften oder manipulierten Eingaben, Versuche zur Umgehung von Anweisungen sowie die Prüfung, ob der Agent Daten aus unzuverlässigen Quellen als Handlungsauftrag interpretiert. Jede relevante Aktion sollte nachvollziehbar protokolliert werden. Für kritische Systeme braucht es eine Möglichkeit, Verbindungen zu Werkzeugen sofort zu unterbrechen und Zugangsdaten zu sperren. Anbieter sollten außerdem offenlegen, welche Sicherheitsmechanismen, Modellversionen und Unterauftragnehmer eingesetzt werden und wie Sicherheitsvorfälle gemeldet werden.
Das AISI Deutschland schafft keine pauschale Freistellung für Unternehmen und ersetzt keine eigene Risikoanalyse. Seine Einrichtung ist aber ein deutliches Signal: Die Sicherheit leistungsfähiger KI wird zunehmend als eigenständige technische und organisatorische Aufgabe behandelt. Wer agentische KI einführt, sollte deshalb nicht nur fragen, ob das System produktiv ist. Die entscheidende Frage lautet, welche Handlungen es ausführen darf, wie diese Handlungen begrenzt werden und wer im Ernstfall eingreifen kann.
Was Unternehmen jetzt tun sollten
- KI-Systeme und Agenten einschließlich Werkzeuge, Datenquellen und Berechtigungen in einem zentralen Inventar erfassen.
- Für jeden Anwendungsfall zulässige Aktionen, Freigabepunkte und Abbruchmöglichkeiten festlegen.
- Least-Privilege-Prinzip, Protokollierung, Secrets-Management und isolierte Testumgebungen technisch umsetzen.
- Sicherheitsvorfälle, Modelländerungen und neue Agentenfunktionen in bestehende Incident- und Change-Prozesse einbinden.
Quelle: BMDS, AISI Deutschland gegründet, 31. August 2026; BSI, AISI Deutschland; BSI, Auswirkungen auf die Cybersicherheit von Organisationen durch die Entwicklung im Bereich Künstlicher Intelligenz (https://bmds.bund.de/aktuelles/pressemitteilungen/detail/aisi-deutschland-gegruendet)