Agentic AI, also KI-Agenten, die weitgehend autonom mehrstufige Aufgaben planen und ausführen können, verspricht ein Spektrum an Anwendungen, das deutlich über die Möglichkeiten nicht-agentischer KI hinausgeht. Ob als Coding‑Assistenten oder automatisierte Kundenservice-Agenten: Sie übernehmen bereits heute komplexe Tätigkeiten, interagieren mit Systemen, passen eigenständig Daten an und treffen Entscheidungen. Doch mit dieser neuen Autonomie entstehen auch neue Risiken. Die Agenten greifen auf sensible Daten zu, binden interne und externe Tools in ihre Arbeit ein, verändern Systeme eigenständig und entfalten in Multi‑Agenten-Umgebungen potenziell unvorhersehbare Dynamiken.

Um Chancen und Risiken in Einklang zu bringen, hat Singapur im Januar 2026 das „Model AI Governance Framework for Agentic AI“ veröffentlicht. Es richtet sich an Organisationen, die KI‑Agenten entwickeln oder einsetzen, und bietet einen strukturierten Ansatz, um Vertrauen, Sicherheit und ein angemessenes Maß an menschlicher Aufsicht zu fördern. Das Framework umfasst vier zentrale Handlungsfelder:

1. Risiken frühzeitig erkennen und begrenzen

Agentic‑AI‑Projekte benötigen ein vorausschauendes Risikomanagement: Bereits in der Konzeptphase sollte potenzielles Fehlverhalten analysiert und das entsprechende Risiko durch Designentscheidungen minimiert werden. Dazu zählen u. a.:

• die Begrenzung des Handlungsspielraums der Agenten (Daten‑, Tool‑ und Systemzugriffe nur im notwendigen Umfang).
• transparente und nachvollziehbare Aktionen, die klar einem Agenten zugeordnet werden können.
• ein robustes Identitäts- und Berechtigungsmanagement inkl. der Regel, dass ein Agent nie höhere Berechtigungsstufen als ein Mensch erhalten sollte.

Der Grundsatz lautet: Risiken eindämmen, bevor ein Agentensystem in Betrieb geht.

2. Menschliche Verantwortlichkeit sichern

Trotz der Autonomie von Systemen bleibt der Mensch letzlichverantwortlich. Das Framework fordert klare Rollen, Zuständigkeiten und Eskalationswege – intern und gegenüber Drittanbietern. Besonders wichtig sind:

• Anpassungen klassischer Human‑in‑the‑Loop‑Mechanismen auf die durch Agenten entstehenden technischen Möglichkeiten.
• zwingende Freigabepunkte bei sensiblen oder irreversiblen Aktionen als Maßnahme gegen einen Automatisierungsbias.
• Die regelmäßige Überprüfung und Anpassung der Mensch-Maschine-Interaktionskonzepte bei Bedarf.

Governance‑Strukturen sollen zudem dynamisch weiterentwickelt werden, sobald neue Agenten‑Fähigkeiten entstehen.

3. Technische Kontrollen und Lifecycle‑Prozesse

Damit Agenten sicher agieren können, ist neben einem frühzeitigen Risikomanagement auch die Einhaltung technischer Leitplanken über den gesamten Lebenszyklus hinweg erforderlich: Dazu zählen:

• klare Leitplanken für Tool‑ und Datenzugriffe („least privilege“).
• Tests für Genauigkeit, Policy‑Einhaltung und korrekte Tool‑Nutzung, um non-compliant Verhalten seitens der Agenten zu vermeiden.
• ein kontinuierliches Monitoring nach dem Rollout – inklusive Logging, Anomalie‑Alerts oder Meta‑Agenten, die andere Agenten überwachen.
• ein schrittweiser Rollout von Agenten und eine sequentielle Ergänzung von Fähigkeiten

Solche technischen Kontrollen stellen sicher, dass die Governance nicht allein durch konzeptionelle Maßnahmen erfolgt, sondern dass notwendige Vorgaben auch auf konstruktiver Ebene umgesetzt werden.

4. Endnutzer befähigen und Verantwortung fördern

Vertrauenswürdige Agentic‑AI‑Einführung gelingt nur, wenn Nutzer verstehen, wie Agenten arbeiten und wo ihre Grenzen liegen. Organisationen sollten daher:

• Transparenz über Fähigkeiten, Datenzugriffe und Verantwortungsbereiche schaffen.
• befähigende Maßnahmen vermitteln, damit angemessene menschliche Aufsicht über Agentensysteme ausgeübt werden kann.
• eigene Mitarbeitende schulen, die mit Agenten interagieren oder diese kollaborativ in ihre eigenen Arbeitsprozesse einbinden.

Diese Instruktionen sind neben technischen Maßnahmen erforderlich, um eine verantwortungsvolle Zusammenarbeit zwischen Mensch und Agent nicht nur konzeptionell, sondern auch im Arbeitsalltag zu fördern.

Fazit

Das „Model Governance Framework for Agentic AI“ bietet Organisationen einen Orientierungsrahmen, um autonome KI-Agenten sicher und verantwortungsvoll einzusetzen. Die vier Dimensionen – frühzeitiges Risiko­management, Verantwortlichkeit, technische Kontrollen und Nutzerkompetenz – liefern praxisnahe Vorgaben, um Agentic AI strategisch und vertrauenswürdig zu skalieren.

Originalquelle:

Model AI Governance Framework for Agentic AI Governance