Wenn die KI die Arbeit erledigt, wer unterzeichnet dann die Bilanzen?

Bei den „Future CFO Talks“ von Payhawk in München berichtete ein Finanzexperte von einem Rechnungsbearbeitungsprozess, der bereits nahezu durchgängig automatisiert war. Rechnungen wurden direkt an der Quelle erfasst, die Kontierung wurde automatisch vorgeschlagen, die Genehmigungen erfolgten gemäß den Richtlinien, und die freigegebenen Daten flossen direkt in das ERP-System ein, ohne dass jemand sie manuell von einem System in ein anderes übertragen musste.

Nur eine einzige manuelle Kontrollinstanz war noch beteiligt. Vor der Freigabe überprüfte ein Buchhalter die Buchungen und Steuercodes.

Dann kam die Frage vom Podium: Wie lange würde diese abschließende Überprüfung noch Bestand haben?

Die Antwort hieß letztendlich: vorerst.

Diese Aussage spiegelt die Unsicherheit wider, die in fast jeder Finanzabteilung zu spüren ist, die mit KI experimentiert. Die Grenze des menschlichen Einflusses verschiebt sich, und die meisten Teams erkennen, dass sich dieser Trend auch weiterhin fortsetzen wird. Allerdings haben weitaus weniger Teams eine bewusste Entscheidung darüber getroffen, wo diese Grenze letztendlich liegen soll.

Der Großteil diskutiert weiterhin über die Leistungsfähigkeit. Kann eine KI die Daten extrahieren, die Rechnung erfassen, eine Anomalie erkennen oder eine Entscheidung mit ausreichender Genauigkeit treffen? Solche Fragen sind zwar wichtig, betreffen jedoch nur die Hälfte des Problems. Die schwierigere Frage lautet: Was sollte ein KI-System tun dürfen, ohne jedes Mal einen Menschen um Erlaubnis zu bitten, und wenn das System handelt, wessen Name steht dann hinter der Entscheidung?

Die Linie verschiebt sich, noch bevor sie gezeichnet wurde

Finanzteams ersetzen menschliche Beteiligung nicht in einem einzigen Schritt. Dies geschieht vielmehr durch Hunderte kleinerer Entscheidungen.

Zunächst hören Beschäftigte auf, Daten einzugeben. Dann hören sie auf, diese abzugleichen. Einfache Transaktionen erfordern keine manuelle Kontierung mehr, und Genehmigungen von geringem Wert verschwinden nach und nach. Jede einzelne Entscheidung erscheint für sich genommen sinnvoll, da die Maschine schneller ist, der Prozess übersichtlicher verläuft und der Prüfpfad möglicherweise sogar besser ist.

Die Gesamtauswirkung ist jedoch weitreichender als jede einzelne Entscheidung. Der Punkt, an dem ein Mensch eingreifen muss, rückt immer weiter in den Hintergrund. Oftmals entscheidet niemand bewusst darüber, wo letztlich die Grenze gezogen werden sollte.

Auf diese Weise werden Verantwortlichkeiten ganz unbeabsichtigt neu gestaltet.

Fragt man einen finanziellen Entscheidungsträger, in welchen Bereichen KI bereits in die Workflows des Unternehmens eingreift, fällt die Antwort oft unvollständig aus. Nicht etwa, weil jemand nachlässig gewesen wäre, sondern weil kein einzelner Einsatz jemals groß genug erschien, um eine vollständige Bestandsaufnahme zu erfordern. Was sich dabei abzeichnet, ist ein Verantwortungsbereich, der eher durch Anhäufung als durch Absicht abgesteckt wird.

„Vorerst“ – so klingt es, wenn man es laut ausspricht.

Drei mögliche Antworten, von denen keine zufriedenstellend ist

Wenn Unternehmen darüber beraten, in welchen Bereichen menschliches Mitwirken weiterhin erforderlich sein sollte, greifen sie in der Regel auf eine Kombination aus drei Kriterien zurück: Genauigkeit, Compliance und Intuition.

Bei der Prüfung der Genauigkeit wird argumentiert, dass eine Person dort tätig bleiben sollte, wo die KI nicht zuverlässig genug ist. Dies klingt zwar vernünftig, verwechselt jedoch Leistung mit Verantwortung. Die Genauigkeit kann Aufschluss darüber geben, ob ein System in der Lage ist, die Aufgabe zu erledigen, sie kann jedoch nicht darüber entscheiden, ob die Organisation die Entscheidung delegieren sollte.

Ein Modell mag zwar in 99,9 % der Fälle korrekt sein, der verbleibende Anteil ist jedoch nach wie vor von Bedeutung, wenn die Fehler doppelte Zahlungen, eine fehlerhafte steuerliche Abwicklung oder Transaktionen betreffen, die sich nicht ohne Weiteres rückgängig machen lassen. Wichtiger noch: Eine Unterschrift hat noch nie etwas darüber ausgesagt, dass der Unterzeichner der genaueste Beteiligte in diesem Prozess ist. Sie bedeutet vielmehr, dass jemand für das Ergebnis verantwortlich ist.

Die Prüfung der Compliance legt fest, dass eine Person dort anwesend sein sollte, wo ein Prüfer oder eine Aufsichtsbehörde dies verlangt. Vorschriften sind zwar wichtig, legen jedoch lediglich die Mindestanforderungen fest, anstatt das gesamte Betriebsmodell zu gestalten. Ein vorgeschriebener Kontrollpunkt kann zur schwächsten Kontrollinstanz im Prozess werden, wenn von einer Person erwartet wird, Hunderte von maschinell getroffenen Entscheidungen zu überprüfen, ohne dass ihr die Zeit, die Informationen oder die praktische Befugnis zur Verfügung stehen, diese zu hinterfragen.

Das hat nichts mit sinnvoller Kontrolle zu tun. Es ist ein eine bloße Scheinprüfung. Die bloße Anwesenheit einer Person erweckt zwar den Anschein von Kontrolle, ohne jedoch nennenswerte Ergebnisse zu liefern.

Die Intuitions-Prüfung ist einfacher: Der Mensch bleibt dort eingebunden, wo die Entscheidung zu wichtig erscheint, um sie zu automatisieren. Dieser Ansatz ist in der Praxis wahrscheinlich am üblichsten, aber auch am wenigsten vertretbar, da das „Gefühl, dass etwas wichtig ist“ in der Regel eher auf Vertrautheit als auf das tatsächliche Risiko zurückzuführen ist. Teams behalten die menschliche Beteiligung bei Aufgaben bei, die sie verstehen, und automatisieren die Arbeit, die sie als repetitiv oder mühsam empfinden, obwohl einige der größten Finanzrisiken in gewöhnlichen Entscheidungen verborgen sind, die in großem Umfang wiederholt werden.

Die Grenze sollte daher anhand der Wesentlichkeit, der Umkehrbarkeit und der Folgen eines Scheiterns gezogen werden, nicht aufgrund von Gewohnheit oder Unbehagen.

Im Finanzbereich zeichnen sich bereits erste Ansätze einer Lösung ab

Eine gute Neuformulierung wäre, dass es sich hierbei nicht wirklich um eine Debatte über Aufgaben handelt. Es ist eine Debatte über die Übertragung von Befugnissen. Die Finanzbranche beschäftigt sich bereits seit Jahrzehnten mit diesem Problem.

Jede seriöse Finanzabteilung verfügt über eine Art Matrix zur Befugnisübertragung. Diese legt fest, wer was bis zu welchem Betrag, unter welchen Bedingungen und mit welchen Ausnahmen genehmigen darf. Niemand erwartet, dass der CFO jede Transaktion persönlich genehmigt. Die Verantwortlichkeit ist skalierbar, da die Befugnisse begrenzt und dokumentiert sind und Eskalationswege bestehen.

Die KI erfordert keine völlig neue Philosophie. Sie benötigt vielmehr einen Platz innerhalb der Philosophie, die im Finanzbereich bereits Anwendung findet.

Das bedeutet nicht, dass einer Software rechtliche Verantwortung übertragen oder so getan werden sollte als könne eine Maschine für eine Entscheidung einstehen. Es bedeutet vielmehr, dass es festzulegen gilt, was das unter welchen Bedingungen tun darf und ab welchem Punkt die Entscheidung wieder an einen Menschen zurückgegeben werden muss.

Die menschliche Unterschrift verschwindet nicht. Sie verlagert sich.

Anstatt jedes einzelne Ergebnis abzuzeichnen, werden vermehrt die Betriebsregeln festgelegt: Welche Entscheidungen darf das System treffen, welche Schwellenwerte gelten, welche Ausnahmen müssen eskaliert werden, welche Nachweise müssen aufbewahrt werden und wer ist befugt, einzugreifen?

Diese Form der Kontrolle ist zwar skalierbarer, aber auch aufwändiger. Die Genehmigung einer einzelnen Zahlung bedeutet, die Verantwortung für diese eine Zahlung zu übernehmen. Die Genehmigung der Regeln, nach denen ein System Tausende von Zahlungen freigibt, bedeutet, die Verantwortung für den gesamten Rahmen dieser Zahlungen zu übernehmen.

Die Anzahl der manuellen Unterschriften könnte zurückgehen, während das Gewicht der verbleibenden Unterschriften zunimmt.

Die Münchner Runde lebte dieses Modell bereits vor

Der interessanteste Teil der Diskussion war, dass die Fachleute auf der Bühne bereits damit begonnen hatten, diese Grenzen zu ziehen, obwohl sie diese nicht ausdrücklich so bezeichneten.

Ein Treasury-Spezialist bei einem weltweit tätigen Hersteller erklärte, dass KI Anomalien aufzeigen könne, wie beispielsweise eine ungewöhnlich hohe Rechnung, inkonsistente Stammdaten oder ein anderes Muster, das nicht den Erwartungen entspreche. Dennoch verließ keine bedeutende Zahlung das Unternehmen ohne menschliche Freigabe.

Die Grenze richtete sich nicht danach, was die Technologie technisch leisten konnte. Sie richtete sich nach dem Risiko.

Die Finanzdirektorin beschrieb die andere Seite desselben Modells. Ihr Unternehmen hatte umfassendere Experimente mit KI-Tools zugelassen, aber die Nutzung innerhalb des Finanzbereichs wurde so lange zurückgehalten, bis rechtliche Rahmenbedingungen und akzeptable Hosting-Vereinbarungen vorlagen.

Dieses Unterscheidungsmerkmal ist wesentlich, da Experimentieren und Delegieren nicht dasselbe sind. Unternehmen benötigen Spielraum, um zu testen, wofür sich KI eignet, bevor jede Idee unter monatelangen Prozessen begraben wird. Sobald ein System jedoch sensible Daten verarbeitet, finanzielle Entscheidungen beeinflusst oder Maßnahmen in großem Umfang ergreift, müssen sich die Standards ändern.

Das Prinzip lautet weder „alles regeln, bevor man anfängt“ noch „schnell handeln und später kontrollieren“. Es ist viel zielgerichteter als beide Extreme:

Es gilt, umfassend zu experimentieren, gezielt zu delegieren und Entscheidungen entsprechend dem Risiko zu treffen.

„Human in the Loop“ ist das falsche Endziel

Der Ausdruck „Human in the Loop“ hat sich im Bereich der Unternehmens-KI zu einer Art „Sicherheitsdecke“ entwickelt, da er Vorständen und Aufsichtsbehörden die Gewissheit vermittelt, dass irgendwo noch ein Mensch involviert ist. Doch Beteiligung ist nicht dasselbe wie Kontrolle, und Kontrolle ist nicht dasselbe wie Verantwortlichkeit.

Eine Person kann ein Ergebnis prüfen, ohne die Befugnis zu haben, es abzulehnen. Sie kann einen Vorgang genehmigen, ohne zu verstehen, wie das Ergebnis zustande gekommen ist. Sie kann nominell für den Prozess verantwortlich sein, während die Technologie, der Anbieter und das Unternehmen jeweils davon ausgehen, dass jemand anderes die Verantwortung trägt, wenn der Prozess fehlschlägt.

Diese Lücke stellt das eigentliche Risiko dar.

Die Finanzabteilung geht möglicherweise davon aus, dass die Technik für das Modell verantwortlich ist, während die Technik davon ausgeht, dass die Finanzabteilung für den Prozess verantwortlich ist. Das Unternehmen geht möglicherweise davon aus, dass der Anbieter für das Ergebnis verantwortlich ist, während der Anbieter auf seine Allgemeinen Geschäftsbedingungen verweist. Alle waren beteiligt, doch niemand ist eindeutig rechenschaftspflichtig.

Die wichtigere Frage ist nicht, ob in jedem Schritt ein Mensch beteiligt bleibt. Es geht vielmehr darum, ob eine namentlich genannte Person erklären kann, warum das System handeln durfte, unter welchen Bedingungen dies geschah, wie sich seine Entscheidungen rekonstruieren lassen und was geschieht, wenn es einen Fehler macht.

So sieht Kontrolle aus, wenn Menschen nicht mehr jede einzelne Transaktion manuell bearbeiten.

Wer also trägt letztendlich die Verantwortung?

Die abschließende Überprüfung durch den Buchhalter könnte in ihrer derzeitigen Form irgendwann wegfallen. Die Kontierungs- und Steuerprüfungen werden sich verbessern, Ausnahmen lassen sich leichter erkennen, und Routinebuchungen erfordern weniger manuellen Aufwand.

Die Bücher werden nicht herrenlos, wenn die Aufgabe wegfällt.

Eine ausgereifte Finanzabteilung wird nicht für jede Transaktion eine bestimmte Person zuweisen, sondern für jedes System eine verantwortliche Person benennen. Die letzte Unterschrift steht daher nicht dauerhaft auf der Rechnung, der Zahlung oder dem Buchungssatz. Sie rückt eine Ebene höher, auf das Betriebsmodell selbst.

Was darf die KI tun? Wo muss sie an ihre Grenzen stoßen? Welche Entscheidungen sind zu wesentlich oder zu unwiderruflich, um sie zu delegieren? Welche Nachweise muss sie aufbewahren? Wer kann ihre Entscheidungen außer Kraft setzen? Und wessen Name steht hinter diesen Entscheidungen?

Künstliche Intelligenz kann die Arbeit übernehmen und ihr können Befugnisse übertragen werden, doch sie kann keine Verantwortung übernehmen.

Dieser Punkt benötigt noch einen Namen.