KI-Agenten im Unternehmen: Wer haftet, wenn die KI Fehler macht?

KI-Agenten beantworten Kundenanfragen, bearbeiten Dokumente, verwalten Termine und greifen zunehmend eigenständig auf Unternehmenssysteme zu. Doch was passiert, wenn ein KI-Agent eine falsche Entscheidung trifft, vertrauliche Daten weitergibt oder einen finanziellen Schaden verursacht? Wer trägt die Verantwortung – das Unternehmen, der Entwickler oder der KI-Anbieter?

Wenn KI-Agenten selbstständig handeln

Künstliche Intelligenz entwickelt sich von einem unterstützenden Werkzeug zu einer Technologie, die zunehmend eigenständig Aufgaben ausführen kann. Während klassische Chatbots hauptsächlich Informationen bereitstellen, können moderne KI-Agenten externe Werkzeuge und APIs verwenden.

Sie können beispielsweise:

• Kundenanfragen bearbeiten und beantworten
• Termine vereinbaren
• Angebote vorbereiten und versenden
• Daten in CRM-Systemen aktualisieren
• Bestellungen auslösen
• Dokumente analysieren und weiterleiten
• Geschäftsprozesse automatisieren

Diese Fähigkeiten eröffnen erhebliche Effizienzpotenziale. Gleichzeitig entstehen neue Risiken. Denn je mehr Handlungsspielraum ein KI-Agent erhält, desto größer können die Folgen einer fehlerhaften Entscheidung werden.

Ein Beispiel: Der KI-Agent verursacht einen finanziellen Schaden

Stellen wir uns ein mittelständisches Unternehmen vor, das einen KI-Agenten für die Kundenkommunikation einsetzt. Der Agent hat Zugriff auf Produktinformationen, Kundendaten und das CRM-System. Ein Kunde fragt nach einem individuellen Angebot. Der KI-Agent interpretiert eine interne Preisliste falsch und versendet ein Angebot mit einem erheblich zu niedrigen Preis. Der Kunde nimmt das Angebot an.

Nun stellt sich die Frage: Ist das Unternehmen an das Angebot gebunden, obwohl es von einer KI erstellt wurde? Die Antwort hängt von mehreren Faktoren ab. Entscheidend ist unter anderem, ob durch die automatisierte Kommunikation eine rechtlich wirksame Erklärung abgegeben wurde, wie der Agent eingesetzt wurde und ob vertragliche oder gesetzliche Möglichkeiten zur Anfechtung bestehen. Der bloße Hinweis, dass eine KI den Fehler verursacht hat, beseitigt mögliche rechtliche Verpflichtungen nicht automatisch.

Kann ein KI-Agent selbst haften?

Nach geltendem deutschen Recht besitzt ein KI-Agent keine eigene Rechtspersönlichkeit. Er ist weder eine natürliche Person noch eine juristische Person. Ein KI-Agent kann deshalb nicht wie ein Unternehmen oder ein Mensch selbst Vertragspartner werden oder als eigenständiger Schuldner Schadensersatz leisten.

Die rechtliche Verantwortung muss vielmehr den beteiligten Personen oder Organisationen zugeordnet werden. Dazu gehören insbesondere:

• Das Unternehmen, das den Agenten einsetzt
• Der Anbieter des KI-Systems
• Der Entwickler oder Integrationsdienstleister
• Weitere beteiligte Hersteller oder Dienstleister

Wer im konkreten Fall haftet, hängt von den jeweiligen Pflichten, Vertragsverhältnissen, möglichen Fehlern und dem entstandenen Schaden ab.

Wer trägt die Verantwortung für KI-Fehler?

Unternehmen, die KI-Agenten in ihren Geschäftsprozessen einsetzen, müssen sich mit den rechtlichen Folgen dieser Nutzung auseinandersetzen. Sie können ihre Verantwortung gegenüber Kunden oder anderen Betroffenen nicht allein dadurch ausschließen, dass eine Entscheidung automatisiert getroffen wurde. Ein Unternehmen kann beispielsweise verantwortlich sein, wenn es einem KI-Agenten weitreichende Berechtigungen erteilt, ohne angemessene Kontrollen vorzusehen. Besonders kritisch sind automatisierte Handlungen mit finanziellen oder rechtlichen Auswirkungen.

Auch Entwickler und IT-Dienstleister können unter bestimmten Voraussetzungen haften. Beispielsweise dann, wenn eine vertraglich geschuldete Sicherheitsfunktion fehlt, eine fehlerhafte Integration verursacht wurde oder vereinbarte technische Anforderungen nicht erfüllt wurden. Die konkrete Haftung hängt unter anderem vom Vertrag, den zugesicherten Leistungen und der Ursache des Schadens ab.

KI-Anbieter können ebenfalls Verantwortung tragen. Dies kommt beispielsweise bei fehlerhaften Produkten, unzureichenden Sicherheitsmaßnahmen oder der Verletzung vertraglicher Pflichten in Betracht. Allerdings führt nicht jede unzutreffende Antwort eines Sprachmodells automatisch zu einer Haftung des Modellanbieters. Die rechtliche Bewertung hängt vom konkreten Einsatz, dem Fehler und der anwendbaren Haftungsgrundlage ab.

Der EU AI Act: Welche Pflichten gelten für Unternehmen?

Mit dem EU AI Act hat die Europäische Union einen umfassenden Rechtsrahmen für künstliche Intelligenz geschaffen. Die Verordnung verfolgt einen risikobasierten Ansatz. Nicht jedes KI-System unterliegt denselben Anforderungen. Entscheidend sind unter anderem der Verwendungszweck, die Risikokategorie und die Rolle des jeweiligen Unternehmens.

Der AI Act unterscheidet insbesondere zwischen verbotenen KI-Praktiken, Hochrisiko-KI-Systemen und Systemen, für die bestimmte Transparenzpflichten gelten. Ein einfacher KI-Assistent zur internen Zusammenfassung unkritischer Dokumente unterliegt nicht automatisch denselben Anforderungen wie ein KI-System, das bei Entscheidungen über Beschäftigung oder Kreditwürdigkeit eingesetzt wird.

Für Betreiber von Hochrisiko-KI-Systemen sieht Artikel 26 des AI Act unter anderem Anforderungen an folgende Bereiche vor:

• Nutzung entsprechend den bereitgestellten Anweisungen
• Geeignete menschliche Aufsicht
• Überwachung des Betriebs
• Angemessene Eingabedaten, soweit kontrollierbar
• Aufbewahrung bestimmter automatisch erzeugter Protokolle
• Meldung bestimmter Risiken und schwerwiegender Vorfälle

Auch außerhalb des Hochrisikobereichs können Transparenzpflichten bestehen. Bei bestimmten direkt interaktiven KI-Systemen müssen Menschen darüber informiert werden, dass sie mit künstlicher Intelligenz kommunizieren, sofern dies nicht bereits offensichtlich ist. Für Unternehmen bedeutet das: Ein KI-Agent im Kundenservice sollte nicht einfach als menschlicher Mitarbeiter ausgegeben werden.

Datenschutz: Wenn KI-Agenten personenbezogene Daten verarbeiten

Neben dem AI Act spielt die Datenschutz-Grundverordnung (DSGVO) eine entscheidende Rolle. Ein KI-Agent kann beispielsweise Zugriff auf Namen, E-Mail-Adressen, Kundennummern, Vertragsinformationen oder andere personenbezogene Daten erhalten. Dabei müssen Unternehmen prüfen, ob die Verarbeitung rechtmäßig ist und welche technischen und organisatorischen Maßnahmen erforderlich sind.

• Unbefugte Datenweitergabe: Ein KI-Agent übermittelt Informationen an einen nicht berechtigten Empfänger
• Zu umfangreiche Zugriffsrechte: Ein Agent kann Daten abrufen, die für seine Aufgabe nicht notwendig sind
• Fehlerhafte Datenverarbeitung: Personenbezogene Informationen werden falsch zugeordnet oder verändert
• Unkontrollierte externe Schnittstellen: Vertrauliche Daten gelangen an externe Dienste ohne die erforderlichen rechtlichen und technischen Voraussetzungen

Je nach Sachverhalt können daraus Datenschutzverletzungen, Schadensersatzansprüche oder aufsichtsrechtliche Maßnahmen entstehen. Besonders relevant ist außerdem Artikel 22 DSGVO, wenn ausschließlich automatisierte Entscheidungen gegenüber Personen rechtliche Wirkungen entfalten oder sie in ähnlicher Weise erheblich beeinträchtigen.

Das neue Produkthaftungsrecht und KI-Systeme

Ein weiterer wichtiger Rechtsbereich ist die europäische Produkthaftung. Die Richtlinie (EU) 2024/2853 modernisiert die Produkthaftung und berücksichtigt ausdrücklich Software und KI-Systeme. Damit können unter den gesetzlichen Voraussetzungen auch Hersteller entsprechender Systeme für Schäden durch fehlerhafte Produkte verantwortlich sein.

Allerdings ist diese Haftung nicht mit einer allgemeinen Garantie für fehlerfreie KI-Ausgaben gleichzusetzen. Außerdem erfasst die Produkthaftung nicht jede Art wirtschaftlichen Schadens. Insbesondere reine Vermögensschäden sind von den erfassten Schadenskategorien zu unterscheiden. Die Mitgliedstaaten müssen die neue Richtlinie bis zum 9. Dezember 2026 in nationales Recht umsetzen.

Fünf typische Haftungsrisiken beim Einsatz von KI-Agenten

Ein KI-Agent macht unzutreffende Angaben zu Preisen, Lieferzeiten oder Vertragsbedingungen. Je nach Gestaltung der Kommunikation können daraus rechtliche Verpflichtungen oder Schadensersatzansprüche entstehen.

Ein KI-System bewertet Bewerbungen, priorisiert Kunden oder unterstützt Entscheidungen über Leistungen. Wenn dabei diskriminierende oder rechtswidrige Ergebnisse entstehen, können arbeitsrechtliche, datenschutzrechtliche und weitere rechtliche Fragen relevant werden.

Ein Agent gibt vertrauliche Informationen weiter oder verarbeitet personenbezogene Daten ohne ausreichende Rechtsgrundlage.

Ein KI-Agent erhält zu weitreichende API-Berechtigungen und verändert oder löscht wichtige Unternehmensdaten.

Ein Agent löst Bestellungen, Zahlungen oder andere Transaktionen aus, obwohl die notwendigen Voraussetzungen nicht erfüllt sind. Das größte Risiko entsteht häufig nicht durch eine einzelne falsche Antwort, sondern durch die Kombination aus fehlerhafter KI-Ausgabe und automatisierter Handlung.

Wie können Unternehmen das Haftungsrisiko reduzieren?

Bei kritischen Aktionen sollte ein Mensch die endgültige Freigabe übernehmen. Beispiele sind Vertragsabschlüsse, Zahlungen, Preisänderungen, Löschung wichtiger Daten und der Versand rechtlich relevanter Dokumente. Nicht jeder Arbeitsschritt muss manuell geprüft werden – entscheidend ist, die Kontrollmechanismen an das jeweilige Risiko anzupassen.

Ein KI-Agent sollte ausschließlich auf die Daten und Funktionen zugreifen können, die er tatsächlich benötigt. Ein Agent für die Terminvereinbarung benötigt beispielsweise normalerweise keinen Zugriff auf Finanztransaktionen. Technisch lässt sich dies durch rollenbasierte Berechtigungen, begrenzte API-Schlüssel und getrennte Systemzugänge umsetzen.

Unternehmen sollten nachvollziehen können, welche Aktionen ein Agent ausgeführt hat. Dazu gehören Zeitpunkt einer Aktion, verwendetes Modell und relevante Versionen, aufgerufene Werkzeuge, ausgeführte API-Aktionen, Freigaben durch Mitarbeiter sowie Fehlermeldungen und Sicherheitsereignisse. Dabei müssen Datenschutz, Vertraulichkeit und angemessene Speicherfristen berücksichtigt werden.

KI-Agenten sollten nicht ausschließlich durch natürlichsprachliche Anweisungen kontrolliert werden. Zusätzliche technische Mechanismen sind erforderlich, darunter API-Berechtigungsprüfungen, Transaktionslimits, Eingabevalidierung, geschützte Ausführungsumgebungen, Freigabeworkflows und automatische Abschaltmechanismen. Diese Kontrollen sollten möglichst unabhängig vom Sprachmodell durchgesetzt werden.

KI-Systeme können sich durch Modellupdates, neue Daten oder veränderte Umgebungen anders verhalten. Deshalb sollten Unternehmen ihre Agenten kontinuierlich überwachen. Besonders wichtig sind Tests mit unerwarteten Eingaben, fehlerhaften Daten und möglichen Manipulationsversuchen.

KI-Governance: Unternehmen brauchen klare Verantwortlichkeiten

Technische Sicherheitsmaßnahmen sind nur ein Teil der Lösung. Unternehmen benötigen außerdem organisatorische Regeln für den Einsatz künstlicher Intelligenz. Eine KI-Governance-Strategie sollte beispielsweise folgende Punkte festlegen:

• Verantwortlichkeit: Wer ist für den jeweiligen KI-Agenten zuständig?
• Freigaben: Welche Aktionen darf der Agent eigenständig ausführen?
• Risikobewertung: Welche Folgen können Fehlentscheidungen haben?
• Kontrolle: Wie werden Ergebnisse und Aktionen überprüft?
• Incident Response: Was geschieht bei einem Sicherheitsvorfall oder einer fehlerhaften Entscheidung?
• Dokumentation: Wie lassen sich Entwicklung, Änderungen und Betrieb nachvollziehen?

Was bedeutet das für kleine und mittelständische Unternehmen?

Auch kleinere Unternehmen können KI-Agenten produktiv einsetzen, ohne eine umfangreiche eigene Compliance-Abteilung aufzubauen. Entscheidend ist ein risikoorientierter Einstieg. Ein KI-Agent, der interne Dokumente zusammenfasst, stellt andere Anforderungen als ein Agent, der Kundendaten verändert oder Bestellungen ausführt.

Unternehmen sollten deshalb zunächst Anwendungsfälle mit begrenztem Risiko identifizieren. Anschließend können sie die Automatisierung schrittweise erweitern und für kritischere Aktionen zusätzliche Kontrollen einführen. So entsteht eine KI-Infrastruktur, die Innovation ermöglicht, ohne Verantwortung und Sicherheit zu vernachlässigen.

Fazit: KI kann Aufgaben übernehmen – aber nicht die rechtliche Verantwortung

KI-Agenten eröffnen Unternehmen neue Möglichkeiten der Automatisierung. Gleichzeitig verändern sie die Art, wie Entscheidungen getroffen und Geschäftsprozesse ausgeführt werden. Die zentrale rechtliche Erkenntnis lautet: Ein KI-Agent kann eigenständig handeln, aber er ist kein eigenständiger rechtlicher Verantwortungsträger.

Wer für einen Fehler haftet, hängt von der konkreten Situation und den anwendbaren gesetzlichen oder vertraglichen Regeln ab. Unternehmen sollten deshalb bereits bei der Entwicklung und Integration ihrer KI-Agenten auf klare Verantwortlichkeiten, begrenzte Berechtigungen, nachvollziehbare Abläufe und geeignete Kontrollmechanismen achten.

Wer KI strukturiert im Unternehmen einführen möchte, sollte mit einer KI-Beratung starten — bevor die erste Zeile Code geschrieben wird. eyedia analysiert Ihre Prozesse, zeigt konkrete Automatisierungspotenziale und entwickelt eine priorisierte KI-Roadmap.