Wie prüft man Künstliche Intelligenz? Der neue IDW EPS 861

Digitalisierung & Innovation

28. Juni 2022

Die Digitalisierung ist ein Megatrend, der auch die Buchhaltung erfasst hat. Aus Effizienzgründen setzen viele Unternehmen auf neue Technologien wie beispielsweise Künstliche Intelligenz (KI). Damit diese im Rahmen der Abschlussprüfung angemessen beurteilt werden kann, hat das IDW einen neuen Standard erlassen, den EPS 861. Kann er helfen? Wo liegen seine Grenzen? Und vor welchen Herausforderungen stehen Prüfer*innen, wenn sie sich im Rahmen einer Jahresabschlussprüfung bei einem rechnungslegungsrelevanten IT-System von der Rechtmäßigkeit der Datenverarbeitung überzeugen sollen?

Grundlagen der KI

„Künstliche Intelligenz“ bzw. „Artificial Intelligence“ (AI) steht für einen methodischen Ansatz, bei dem zur Verfügung stehende Daten und Informationen in einer Art ausgewertet und Entscheidungen daraus resultierend getroffen werden, welche dem Vorgehen eines menschlichen Subjekts ähneln.

Heute unterscheidet man in der KI-Forschung, insbesondere aber bei den Geisteswissenschaften, zwischen verschiedenen KI-/AI-Arten:

Die „Narrow-AI“, d. h. geschickt ausgeklügelte Algorithmen in Rechenmodellen, findet in unserem Alltag immer häufiger praktische Anwendung.
Die „General-AI“, also selbstlernende Systeme mit einer annähernden „menschlichen Intelligenz“, befindet sich aktuell in der Phase, bei der die Ergebnisse der Grundlagenforschung noch recht beschränkt in die Praxis umgesetzt werden. Bekannt sind beispielsweise Chat-Bots, die nicht nur vorgegebene Antworten auf erkannte Standardfragen zu Themen auswählen, sondern aus einem Gespräch Informationen extrahieren, strukturieren und ein Modell der Kommunikationspartner*innen aufbauen, welches später zur Generierung von Antworten genutzt wird.
Die „Future-AI“ ist eine Intelligenz, die bessere und überraschendere Entscheidungen trifft als der Mensch – und sich (zum Glück) noch in einer sehr frühen Phase befindet.

Methoden der heutigen KI im Einsatz

Zumeist basieren die Anwendungen der modernen KI auf den Methoden des „Maschinellen Lernens“ (ML). Hierbei geht man in der Regel dreistufig vor:

Definieren eines Lernmodells oder des Ansatzes zur Näherung an die Problemlösung
„Trainieren“ des ausgewählten Modells mit verfügbaren Daten und Informationen
Anwenden des aus dem „Training“ erzeugten Modells auf die zu bewerteten Daten

Einige verbreitete Modelle bieten ein wissenschaftliches Teilgebiet des Maschinellen Lernens, die sogenannten „neuronalen Netze“, zur Auswahl. Hierbei können viele kleine und einfache Recheneinheiten auf unterschiedliche Art und Weise zusammengeschaltet werden. Jede Recheneinheit funktioniert dabei in Anlehnung an die biologische Funktionsweise einer neuronalen Zelle. Sie verfügt über mehrere Eingabekanäle und berechnet daraus einen Ergebniswert als ein Funktionsergebnis der gewichteten Summe von Eingaben. Dieses wird über einen Ausgabekanal an andere gleichartige Recheneinheiten weitergegeben. Dabei können unterschiedliche Topologien neuronaler Netze, mitunter auch hybride Modelle dieser Arten, zum Einsatz kommen:

„Feed-forward“ oder „geschichtete“ Netze, die Neuronen in mehreren Schichten organisiert betrachten, wobei jede vorhergehende Schicht das Ergebnis an die Neuronen der Folgeschicht weitergibt
Rekursive neuronale Netze, bei denen alle Neuronen in nur einer Schicht liegen und mit allen anderen Neuronen „verbunden“ sind
Selbstorganisierende Netze (auch oft als „Karten“ bezeichnet), welche basierend auf dem Trainingssatz der Daten selbst entscheiden, ob ein Neuron mit einem anderen eine Verbindung eingeht

Manche Unternehmen setzen heute bereits allgemein implementierte KI-basierte Bausteine ein, um sehr große Datenmengen zu strukturieren und zu analysieren. Die Hoffnung ist, Entscheidungen aus den umfangreichen Datenbeständen der rechnungsrelevanten Daten- und Informationssysteme im Rahmen der Abwicklung von Geschäftsprozessen schneller und genauer treffen zu können. Die Hintergründe solcher Entscheidungen bleiben dabei oft in den KI-Bausteinen verborgen. Sie können, ähnlich wie bei einem Menschen, nicht immer vollständig nachvollzogen werden.

Das Dilemma der Wirtschaftsprüfung

Wirtschaftsprüfer*innen müssen sich im Rahmen einer Jahresabschlussprüfung bei einem rechnungslegungsrelevanten IT-System durch vorgegebene Methoden und Verfahren von der Rechtmäßigkeit der Datenverarbeitung überzeugen. Was aber tun, wenn bestimmte Entscheidungen durch KI-basierte IT-Systeme getroffen wurden, deren Hintergründe nicht nachvollziehbar sind? Ein Urteil über ein solches KI-basiertes IT-System stellt die Wirtschaftsprüfer*innen vor folgendes Dilemma: Es kann lediglich mit einem Risiko-basierten Ansatz gefällt werden. Dazu hat der IDW einen neuen Prüfungsstandard entwickelt: den EPS 861. Der Knackpunkt: Er lässt wenig Spielraum für die Anwendung „echter“ KI in rechnungslegungsrelevanten IT-Systemen übrig.

Was regelt der neue IDW-Standard?

Grund für den Entwurf des IDW Prüfungsstandards „Prüfung von KI-Systemen (IDW EPS 861 (02.2022))“ ist der zunehmende Einsatz von KI-Systemen in den Unternehmen. Durch das Potenzial dieser Technologie ist eine standardisierte Prüfung anhand geeigneter Kriterien notwendig. Diese müssen bestimmte Anforderungen erfüllen, die miteinander in Wechselwirkung stehen.

Als ein geeignetes Kriterium nennt der IDW beispielhaft den KI-Algorithmus bzw. das KI-Modell. Dort ist das Verfahren für die Entwicklung bzw. Anpassung des KI-Algorithmus und KI-Modells geeignet und wird so ausgestaltet, dass die Ergebnisse bzw. die getroffenen Entscheidungen des KI-Algorithmus nachvollziehbarsind. Des Weiteren werden die vom Unternehmen definierten ethischen Werte eingehalten und eingearbeitet. Zudem sind technische Maßnahmen zur Überwachung der Leistungsfähigkeit eingerichtet. Es sind technische und organisatorische Maßnahmen umgesetzt, sodass die IT-Sicherheit des KI-Algorithmus und KI-Modells gegeben ist.

Weitere laut IDW geeignete Kriterien sind: KI-Governance/KI-Compliance/KI-Monitoring, Daten, KI-Anwendung und IT-Infrastruktur.

Und welche Anforderungen stellt der IDW an diese Kriterien? Ein geeignetes Kriterium muss einerseits die rechtlichen und ethischen Anforderungen erfüllen. Diese ethischen Anforderungen werden dabei jeweils von den Unternehmen selbst festgelegt. Andererseits soll das Kriterium bestimmte Anforderungen der IT-Sicherheit befolgen. Des Weiteren soll es leistungsfähig sein. Unter Leistungsfähigkeit versteht der IDW, inwieweit das KI-System aufgrund interner Betriebspraktiken oder Technologie in der Lage ist, den vom Unternehmen definierten Anforderungen zu entsprechen.

Die entscheidende Anforderung ist die Nachvollziehbarkeit: Das Unternehmen muss in der Lage sein, Entscheidungen des KI-Systems nachvollziehbar darzulegen. Die konkrete Auswahl der Kriterien liegt jedoch in der Verantwortung der gesetzlichen Vertreter*innen des Unternehmens und hängt insbesondere von der Art des KI-Systems ab.

Passt alles oder gibt es weiteren Handlungsbedarf?

Problematisch könnte die Anforderung der Nachvollziehbarkeit sein. Denn die Frage ist: Können Unternehmen die Entscheidungen immer nachvollziehen? Falls eine geschäftliche Entscheidung durch menschliche Datenanalystinnen oder Geschäftsführerinnen getroffen wird, basiert diese zwar meist auf Darstellungen der Daten. Oft ist sie jedoch zusätzlich geprägt und gesteuert durch Eindrücke und Erfahrungen der Entscheidungsträgerinnen. Diese sind nicht immer objektiv. Stellt sich eine getroffene Entscheidung im Nachgang als falsch heraus, hat man stets die Möglichkeit, die Entscheiderinnen juristisch oder disziplinarisch zu belangen. Wenn ein KI-basiertes IT-System eine geschäftliche Entscheidung trifft, gründet es diese stets nur auf vorliegende Daten und Informationen. Eine Rechenmaschine hat keinen Spielraum für Eindrücke. Gerade KI-Methoden befähigen die IT-Systeme, auch „Erfahrungswerte“ in die Entscheidungsfindung einzubeziehen. Bei Letzteren handelt es sich aber um Erfahrungen des IT-Systems, die trotz ihres deterministischen Ursprungs für den Menschen nicht verständlich dargestellt werden können. Für vermeintlich falsche Entscheidungen kann aber das KI-System nicht juristisch zur Rechenschaft herangezogen werden.

Für einen Versuch, die Hintergründe einer KI-basierten Entscheidung in einem solchen System nachvollziehen zu können, braucht es unbedingt Fachexpertinnen für KI. Sie müssen sich nicht nur mit dem eingesetzten Lernmodell gut auskennen, sondern auch die für den Trainingsvorgang zugrunde liegenden Daten analysieren können. Da die meisten Wirtschaftsprüferinnen keine KI-Expert*innen sind, erscheint die Forderung zur Nachvollziehbarkeit der KI-basierten Entscheidungen aus dem neuen IDW Prüfungsstandard ohne zusätzliche Ressourcen nur schwer umsetzbar.

Fazit

Künstliche Intelligenz ist ein weites Themengebiet. Für die Bewertung von KI-gestützten rechnungslegungsrelevanten IT-Systemen sollten Wirtschaftsprüfer*innen auf fachkundige KI-Expert*innen zugreifen.

Trotzdem bleibt die Umsetzung des neuen IDW EPS 861 hochkomplex. Das gilt insbesondere für die Nachvollziehbarkeit von KI-Entscheidungen, aber auch für den Abgrenzungsbereich zwischen KI-Algorithmus und vorhandenen Trainingsdaten. Für einzelne (und wenige) Transaktionen mögen Entscheidungen durch Reproduktion der Ergebnisse nachvollziehbar sein. Für die Fülle an Variationen, die es gibt, ist dies jedoch nicht möglich. In der praktischen Anwendung wäre es daher hilfreich, wenn das Kriterium der Nachvollziehbarkeit weiter spezifiziert und um Risikokriterien ergänzt würde.

Für weitere Themen rund um die Wirtschaftsprüfung und Mazars folgen Sie uns auch auf LinkedIn, X und XING.