Was ist erklärbare KI (XAI)? Modellentscheidungen verstehen

Was ist erklärbare KI?

Erklärbare KI (XAI, Explainable AI) bezeichnet Methoden und Entwurfsentscheidungen, die zeigen, warum ein Modell der künstlichen Intelligenz eine bestimmte Entscheidung getroffen hat, und zwar in einer Form, die Menschen verstehen. Das Ziel ist also ein nachvollziehbarer Grund zur Ausgabe. Dadurch können Sie Entscheidungen hinterfragen, prüfen und bei Fehlern korrigieren.

Ein einfacher Vergleich hilft daher weiter. Stellen Sie sich eine Ärztin vor, die nur sagt: "Sie brauchen eine Behandlung." Stellen Sie sich dann eine zweite Ärztin vor, die das Röntgenbild zeigt, auf die Befunde deutet und dieselbe Schlussfolgerung erklärt. Bei der zweiten können Sie nachfragen, einen Fehler entdecken und bewusst entscheiden, ob Sie dem Ergebnis trauen.

Viele KI Modelle verhalten sich wie die erste Ärztin. Sie liefern zum Beispiel eine Antwort, aber verraten die Begründung nicht. Erklärbare KI versucht deshalb, genau diese Lücke zu schließen. In diesem Leitfaden erklären wir den Begriff auf Konzeptebene, also ohne Code und ohne Installationsschritte.

Der Begriff hat außerdem drei verschiedene Leser. Die betroffene Person fragt: "Warum ist mir das passiert?" Die Prüferin fragt: "Verhält sich das System konsistent?" Der Entwickler fragt: "Was hat das Modell falsch gelernt?" Ein guter Ansatz muss alle drei Fragen beantworten können.

Was ist erklärbare KI und was bedeutet das Black Box Problem?

Eine Black Box ist ein System, bei dem Sie Eingabe und Ausgabe sehen, aber nicht nachvollziehen können, was im Inneren passiert. Zum Beispiel gehören komplexe Modelle wie tiefe neuronale Netze oft dazu. Millionen interne Einstellungen arbeiten zusammen, daher erklärt keine einzelne Einstellung eine Entscheidung.

Das verursacht an zwei Stellen Probleme. Erstens geht es um Vertrauen, denn einem System, dessen Gründe Sie nicht kennen, übergeben Sie ungern eine wichtige Aufgabe. Zweitens geht es um Fehler. Ein Modell kann überzeugende Ergebnisse liefern, weil es sich auf einen falschen Hinweis stützt, und die Genauigkeitswerte allein verraten das nicht.

Erklärbarkeit beantwortet also eine andere Frage als Genauigkeit. Genauigkeit fragt, wie gut das Modell vorhersagt. Erklärbarkeit dagegen fragt, warum es zu diesem Ergebnis kam. Verwechseln Sie beides nicht, denn hohe Genauigkeit garantiert nicht, dass das Modell aus dem richtigen Grund entscheidet.

Ein Beispiel dazu: Ein Modell lernt, gesunde von auffälligen Aufnahmen zu trennen, und schneidet im Test sehr gut ab. Dann stellt sich heraus, dass es ein Gerätelabel am Bildrand las. Das ist ein erfundenes Szenario, doch es beschreibt ein echtes Problem namens Shortcut Learning. Deshalb deckt eine Erklärung solche Abkürzungen am schnellsten auf.

Was ist der Unterschied zwischen einem interpretierbaren Modell und einer nachträglichen Erklärung?

Das ist die wichtigste Unterscheidung im ganzen Feld. Zunächst ist ein interpretierbares Modell durch seinen Aufbau verständlich. Ein Entscheidungsbaum, eine einfache lineare Gleichung oder eine kurze Regelliste gehören dazu. Das Modell selbst ist die Erklärung, also brauchen Sie keine zusätzliche Schicht.

Eine nachträgliche Erklärung (Post hoc Erklärung) ist dagegen ein zweites Werkzeug auf einem komplexen Modell. Das Modell bleibt dabei, wie es ist. Danach prüft eine andere Methode sein Verhalten von außen und fasst es zusammen. Anders gesagt: Die Erklärung ist nicht das Modell, sondern ein Kommentar über das Modell.

Dieser Unterschied zählt, weil beide Ansätze nicht dieselbe Sicherheit geben. Bei einem interpretierbaren Modell ist die sichtbare Logik die echte Logik. Bei einer nachträglichen Erklärung sehen Sie allerdings nur eine ungefähre Sicht auf die Logik. Fragen Sie beim Vergleich deshalb, welche Variante das Modell treuer abbildet.

Ein kurzes Beispiel: Eine Entscheidungsliste mit drei Regeln zeigt genau, welche Eingabe zu welchem Ergebnis führt. Ein Netz mit hunderten Schichten kann dasselbe Ergebnis erreichen, doch den Grund können Sie nur mit einer Erklärmethode vermuten. Im ersten Fall gibt es also keine Vermutung, im zweiten schon.

Wann reichen interpretierbare Modelle aus?

Bei Tabellendaten, also Zeilen und Spalten wie Kunden oder Antragsdaten, schneiden einfache Modelle oft überraschend gut ab. Dann lohnt es sich, zuerst ein interpretierbares Modell zu testen, bevor Sie zu einem komplexen wechseln.

Dazu gibt es eine bekannte wissenschaftliche Position. So argumentiert Cynthia Rudin, dass man bei Entscheidungen mit hohem Risiko von Anfang an von Natur aus interpretierbare Modelle nutzen sollte, statt Black Boxes nachträglich zu erklären. Die Zusammenfassung finden Sie auf arXiv. Es ist keine Regel für jeden Fall, aber dennoch ein bedenkenswerter Blickwinkel.

Die praktischen Schlüsse sind einfach:

• Bei Tabellendaten probieren Sie zuerst ein einfaches, verständliches Modell.
• Bringt ein komplexes Modell keinen klaren Gewinn, bleiben Sie daher beim einfachen.
• Bei Bildern, Audio und freiem Text sind komplexe Modelle oft unvermeidbar.
• Betreffen Ergebnisse Menschen direkt, machen Sie Erklärbarkeit von Anfang an zur Anforderung.

Wie funktionieren nachträgliche Erklärmethoden?

Die meisten dieser Methoden beruhen auf derselben Idee. Zunächst verändern Sie die Eingabe ein wenig und beobachten dann, wie sich die Ausgabe ändert. Schwächen Sie zum Beispiel eine Angabe im Kundendatensatz ab und die Vorhersage sinkt, dann hat diese Angabe die Entscheidung beeinflusst.

Dieses Experiment wiederholen Sie mit vielen kleinen Änderungen. Danach fassen Sie die Ergebnisse zusammen. Die Zusammenfassung kann eine Rangliste der wichtigen Angaben sein oder eine Heatmap. Bei Bildmodellen zeigt die Heatmap, welcher Bereich des Fotos zum Ergebnis beigetragen hat.

Entscheidend ist, dass die Methode das Innere des Modells nicht liest. Sie testet stattdessen nur das Verhalten. Deshalb müssen Sie zusätzlich fragen, wie treu die Erklärung die echte Arbeitsweise des Modells abbildet. Darauf kommen wir im Abschnitt über die Grenzen zurück.

Was ist erklärbare KI und welche Arten von Erklärungen gibt es?

Eine Erklärung hat nicht nur eine Form. Denn je nach Methode und Datentyp erhalten Sie unterschiedliche Ausgaben. Die folgenden Arten begegnen Ihnen in der Praxis am häufigsten.

• Rangliste der Merkmale: Sie ordnet die Eingaben nach ihrem Einfluss auf die Entscheidung.
• Heatmap: Sie zeigt farblich, welcher Teil eines Bildes oder Textes zum Ergebnis beigetragen hat.
• Kontrafaktische Erklärung: Sie beantwortet die Frage, ob sich das Ergebnis ändern würde, wenn eine Angabe anders wäre.
• Beispielbasierte Erklärung: Sie zeigt frühere Fälle, die dem aktuellen am ähnlichsten sind.
• Regelzusammenfassung: Sie bringt ein komplexes Modell auf wenige verständliche Regeln.

Für betroffene Personen ist die kontrafaktische Erklärung oft die nützlichste. Denn sie verrät nicht nur das Warum, sondern auch, was sich ändern müsste. Allerdings funktioniert nicht jede Art bei jedem Modell oder Datensatz. Wählen Sie die Methode daher passend zu Ihren Daten.

Was ist Feature Importance, also die Wichtigkeit von Merkmalen?

Ein Merkmal (Feature) ist eine einzelne Information, die das Modell als Eingabe nutzt. In einem Kundendatensatz sind etwa Branche, Bestellhäufigkeit oder Zeit seit dem letzten Besuch jeweils ein Merkmal. Die Wichtigkeit ist also eine Rangfolge, wie stark jedes Merkmal die Entscheidung beeinflusst.

Sie können die Wichtigkeit auf zwei Ebenen betrachten. Erstens schauen Sie auf der globalen Ebene schauen Sie auf alle Entscheidungen und sehen, welche Angaben im Durchschnitt am meisten Gewicht haben. Zweitens sehen Sie auf der Ebene einer Einzelentscheidung, welche Angaben das Ergebnis für einen bestimmten Kunden nach oben oder unten gedrückt haben.

Beachten Sie: Wichtigkeit bedeutet keine Ursache. Hat eine Angabe im Modell viel Gewicht, beweist das allerdings nicht, dass sie das Ergebnis in der echten Welt verursacht. Zum Beispiel kann sich das Modell auf ein verwandtes, aber irrelevantes Signal stützen. Lesen Sie die Wichtigkeit daher als Hinweis und nicht als Urteil.

Was machen SHAP und LIME konzeptionell?

Diese beiden Namen hören Sie bei nachträglichen Erklärmethoden am häufigsten. Deshalb erklären wir nur das Konzept und geben keinen Code und keine Installationsschritte.

LIME erklärt eine einzelne Entscheidung, indem es nahe an diesem Punkt ein einfaches Modell baut, das das komplexe nachahmt. Die Idee: Ein komplexes Modell ist überall komplex, aber direkt um einen Punkt herum reicht oft eine einfache Näherung. Die Zusammenfassung der Originalarbeit finden Sie auf arXiv.

SHAP leiht sich den Shapley Wert aus der Spieltheorie. Stellen Sie sich zum Beispiel ein Teamspiel vor, bei dem Sie den Erfolg fair auf die Spieler verteilen wollen. SHAP gibt jedem Merkmal für eine bestimmte Vorhersage einen solchen Anteil. Die Zusammenfassung steht ebenfalls auf arXiv.

Beide Methoden beruhen auf Annahmen und liefern Näherungen. Stellen Sie ihre Ausgabe daher nicht als absolute Wahrheit dar.

In der Praxis gehen Teams meist so vor: Zunächst wählen sie die Entscheidung, die sie erklären wollen. Dann starten sie die Methode und zeigen die Rangliste jemandem mit Fachwissen. Wirkt sie für diese Person unlogisch, liegt das Problem im Modell, in den Daten oder in der Methode. Somit prüfen Sie alle drei getrennt.

Was ist der Unterschied zwischen lokaler und globaler Erklärung?

Eine lokale Erklärung konzentriert sich auf eine Entscheidung. Konkret beantwortet sie Fragen wie "Warum wurde dieser Antrag abgelehnt?" oder "Warum gilt dieser Kunde als abwanderungsgefährdet?" Wollen Sie die betroffene Person informieren, brauchen Sie eine lokale Erklärung.

Eine globale Erklärung fasst das Verhalten des ganzen Modells zusammen. Sie beantwortet also die Frage, auf welche Angaben sich das Modell generell stützt. Sie eignet sich besser für Prüfer, Produktverantwortliche und Datenteams, weil sie zeigt, ob das Modell stimmig oder seltsam arbeitet.

Beide ersetzen sich nicht gegenseitig, denn das globale Bild kann gesund aussehen, während eine Einzelentscheidung einen unsinnigen Grund hat. Umgekehrt beweisen ein paar gute lokale Beispiele nicht, dass das Modell insgesamt gesund ist. Deshalb schaut eine seriöse Prüfung auf beides.

Wer soll eine Erklärung lesen und in welcher Sprache?

Dieselbe Erklärung passt nicht für alle. Zum Beispiel kann eine Rangliste, die für Entwickler taugt, kann für die betroffene Person eine sinnlose Zahlenliste sein. Genau darauf zielt daher der Grundsatz der Verständlichkeit im NIST Papier.

Drei einfache Regeln helfen. Erstens geben Sie der betroffenen Person einen kurzen Grund in Alltagssprache, der zum Handeln anleitet. Zweitens geben Sie der Prüferin eine Zusammenfassung des Gesamtverhaltens und der Modellgrenzen. Drittens liefern Sie dem Entwickler ein detailliertes, wiederholbares Protokoll.

Verschönern Sie außerdem keine Zahlen. Eine genau wirkende Aussage wie "diese Angabe hatte exakt diesen Prozentanteil am Ergebnis" kann irreführen, wenn sie aus einer Näherungsmethode stammt. Wer Unsicherheit offen benennt, macht die Erklärung folglich glaubwürdiger.

Was ist erklärbare KI und was macht eine gute Erklärung aus?

Damit eine Erklärung als gut gilt, braucht sie einen Maßstab. Dazu nennt das US Institut NIST (National Institute of Standards and Technology) nennt in seinem Papier "Four Principles of Explainable Artificial Intelligence" vier Prinzipien. Sie finden es auf der NIST Seite zur Publikation.

Wir fassen die Prinzipien in eigenen Worten zusammen:

• Erklärung: Das System soll zu seiner Ausgabe Belege oder Gründe liefern.
• Verständlichkeit: Die Erklärung soll zum Wissensstand der lesenden Person passen.
• Genauigkeit der Erklärung: Sie soll korrekt abbilden, wie das System die Ausgabe tatsächlich erzeugt hat.
• Wissensgrenzen: Das System soll nur unter den Bedingungen arbeiten, für die es entworfen wurde, oder wenn es genug Sicherheit hat.

In der Praxis dient diese Liste als Checkliste. Eine schön aussehende Erklärung, die die Wirklichkeit nicht abbildet, verletzt das zweite und dritte Prinzip. Prüfen Sie daher jeden angezeigten Grund mit einer Frage: Passt das zu dem, was das Modell wirklich tut?

Warum ist Erklärbarkeit bei Entscheidungen mit hohem Risiko wichtig?

Empfiehlt ein Modell Musik, ist ein Fehler billig. Die Nutzerin überspringt zum Beispiel einen Titel und macht weiter. Prüft ein Modell dagegen einen Antrag, entscheidet es über eine Leistung oder markiert es eine Transaktion als verdächtig, trifft ein Fehler einen echten Menschen.

Kreditprüfung und Personalauswahl dienen deshalb oft als Beispiele. Ein konkretes Finanzszenario schreiben wir hier nicht, aber der Grundsatz gilt allgemein: Prägt eine Entscheidung die Chancen eines Menschen, sollten diese Person und die Prüfer den Grund nachvollziehen können.

Drei Vorteile stechen hervor. Erstens ermöglicht der Grund Widerspruch und Korrektur, denn wer ihn nicht kennt, kann nicht widersprechen. Zweitens hilft er bei der Fehlersuche: Ist der Grund absurd, hat das Modell etwas Falsches gelernt. Drittens stärkt er die Rechenschaft, weil eine Organisation Vertrauen gewinnt, wenn sie die Logik ihrer Entscheidungen zeigen kann.

Wie behandeln Regelwerke die Transparenz?

Dieser Abschnitt ist keine Rechtsberatung. Länder und Branchen wenden nämlich unterschiedliche Regeln an, und Regeln ändern sich mit der Zeit. Sprechen Sie für Ihren Fall mit einer Rechtsberatung und prüfen Sie den aktuellen Text in der offiziellen Quelle.

Das allgemeine Bild sieht so aus. So verlangen viele Vorschriften und Leitlinien verlangen bei KI gestützten Entscheidungen Transparenz, menschliche Aufsicht und Begründbarkeit. Auch das Datenschutzrecht kann Regelungen enthalten, die Menschen ein Auskunftsrecht zu automatisierten Entscheidungen geben. Den breiteren Datenkontext finden Sie in unserem Leitfaden zur datenschutzkonformen Website.

Eine weitere Orientierung bietet das NIST AI Risk Management Framework. Zudem nennt es "erklärbar und interpretierbar" unter den Eigenschaften vertrauenswürdiger KI. Die Einzelheiten stehen auf der NIST Seite. Zusammengefasst wachsen die Erwartungen an Transparenz, doch die genaue Pflicht hängt von Ihrer Branche und Ihrem Land ab.

Fragt jemand in einer Compliance Runde, was ist erklärbare KI, lautet die sicherste Gewohnheit: Führen Sie von Anfang an Erklärprotokolle. Dann haben Sie bei einer späteren Anfrage ein konkretes Dokument.

Wo hilft erklärbare KI in der Praxis wirklich?

Drei Nutzungsmuster stechen hervor. Alle sind Beispielszenarien und keine echten Kundenfälle.

Das erste ist Vertrieb und Marketing. Stellen Sie sich ein Team vor, das mit einem Modell Interessenten bewertet. Eine Erklärschicht zeigt, warum Interessenten mit hoher Punktzahl so bewertet wurden. Dadurch weiß der Vertrieb, welchen Signalen er trauen kann, und erkennt also früh, wenn das Modell einem seltsamen Hinweis folgt.

Das zweite ist die Bildverarbeitung. Konkret fällt womöglich auf, wenn man sieht, auf welche Region eines Fotos ein Produktklassifikator schaut, fällt womöglich auf, dass er den Hintergrund betrachtet und nicht das Produkt. Das ist ein klassischer Fehler in der Computer Vision. Dabei findet das Modell die richtige Klasse aus dem falschen Grund, und seine Genauigkeit bricht ein, sobald sich die Umgebung ändert.

Das dritte ist die interne Revision. Zum Beispiel möchte eine Organisation die Stimmigkeit automatisierter Entscheidungen regelmäßig prüfen. Eine globale Tabelle der Merkmalswichtigkeit bietet dafür einen schlichten Startpunkt.

Allen drei Beispielen ist gemeinsam: Eine Erklärung ändert die Entscheidung nicht, aber sie macht ein Gespräch darüber möglich. Ohne Gespräch gibt es keine Korrektur, und ohne Korrektur setzen sich die Fehler des Modells mit der Zeit fest.

Beispielszenario: Wie zeigt eine Erklärung, dass ein Modell das Falsche gelernt hat?

Stellen Sie sich ein E-Commerce Team vor, das ein Modell zur Vorhersage von Kundenabwanderung baut. Auf den Testdaten wirkt das Modell sehr erfolgreich. Das Team freut sich, doch dann überrascht die globale Wichtigkeitstabelle: Das stärkste Signal ist ein technisches Feld, das festhält, wie das Kundenkonto angelegt wurde.

In den historischen Daten hängt dieses Feld zufällig mit verlorenen Kunden zusammen. In der echten Welt dagegen bedeutet es nichts. Das Modell hat also diese technische Spur gelernt, nicht das Kundenverhalten. Ohne Erklärung hätte das Team das Modell mit Zuversicht eingesetzt und nicht das erwartete Ergebnis gesehen.

Dieses Beispiel ist eng verwandt mit Overfitting und Shortcut Learning. Das Thema haben wir in unserem Leitfaden zu Overfitting im maschinellen Lernen behandelt. Somit ist Erklärbarkeit ein praktischer Weg, solche Probleme vor dem Start zu finden.

Was tut das Team danach? Es entfernt das technische Feld, trainiert das Modell neu und prüft die Wichtigkeitstabelle erneut. Beschreiben die stärksten Signale nun echtes Kundenverhalten, kann das Team dem Modell mehr trauen. Das ist ein reines Beispielszenario, aber echte Projekte verlaufen ähnlich.

Wie hängt erklärbare KI mit KI Bias und RLHF zusammen?

Bias bedeutet, dass ein Modell manche Gruppen systematisch anders behandelt. Zudem ist Erklärbarkeit eines der Werkzeuge, die Bias sichtbar machen. Sie kann zeigen, dass eine Entscheidung auf einem geschützten Merkmal oder einem Stellvertreter dafür beruht. Das Thema selbst behandeln wir in unserem Beitrag Was ist KI Bias. Hier wiederholen wir es nicht.

RLHF ist ein eigener Begriff für die Ausrichtung eines Modells mit menschlichem Feedback. Verwechseln Sie ihn nicht mit Erklärbarkeit. RLHF bringt nämlich in das Training, was das Modell tun soll. Erklärbarkeit dagegen lässt Sie nachträglich prüfen, was das Modell getan hat. Einzelheiten finden Sie in unserem Beitrag zu RLHF.

Man kann die Beziehung in der Praxis so sehen. Die Bias Prüfung fragt: "Wer wird anders behandelt?" Erklärbarkeit fragt: "Auf welche Signale stützt es sich?" Die Ausrichtung mit menschlichem Feedback fragt: "Wie soll es sich verhalten?" Die Fragen unterscheiden sich, doch die Antworten ergänzen sich.

Kurz gesagt: Alle drei sind Teile desselben Vertrauensziels. Eines macht Fehler sichtbar, eines misst Ungleichheit, und eines steuert das Verhalten.

Können große Sprachmodelle ihre eigenen Entscheidungen erklären?

Sie können ein Chatmodell fragen: "Warum hast du so geantwortet?" Das Modell schreibt eine flüssige Begründung. Diese Begründung muss allerdings keine genaue Darstellung der inneren Abläufe sein. Das Modell kann auch einfach eine plausibel klingende Geschichte erzeugen.

Das hängt direkt mit dem Prinzip der Genauigkeit der Erklärung aus dem NIST Papier zusammen. Ein als Text geschriebener Grund muss daher nicht zur echten Ursache der Ausgabe passen. Überzeugend zu sein heißt nicht, richtig zu sein. Sehen Sie die Selbstauskunft des Modells daher als Hinweis und nicht als Beleg. Vergleichen Sie die Begründung bei wichtigen Ergebnissen mit einer unabhängigen Quelle oder einem Menschen.

Einen breiteren Blick auf diese Modelle bietet unser Leitfaden zu großen Sprachmodellen. Eine erbetene Begründung allein macht sie nicht verlässlicher. Sie kombinieren stattdessen Schutzmaßnahmen wie Quellenangaben, Prüfung der Ausgaben und menschliche Aufsicht.

Was sind die Grenzen und Risiken erklärbarer KI?

Erklärbarkeit ist kein Wundermittel. Daher sind die wichtigsten Grenzen, die Sie kennen sollten, sind diese:

• Eine nachträgliche Erklärung ist eine Näherung. Sie erzählt eine schöne Geschichte über das Modell, bildet die Wirklichkeit aber vielleicht nur teilweise ab.
• Verschiedene Methoden können dieselbe Entscheidung unterschiedlich ordnen. Dann müssen Sie klären, welcher Sie trauen.
• Eine Erklärung kann falsche Sicherheit erzeugen. Leser hören womöglich auf zu hinterfragen, nur weil es eine Erklärung gibt.
• Sie kostet außerdem Rechenleistung. Denn bei großen Modellen und vielen Entscheidungen dauert das Erzeugen von Erklärungen.
• Erklärungen lassen sich missbrauchen. Wer weiß, worauf das Modell schaut, kann versuchen, das System auszutricksen.

Eine weitere Grenze ist die Stabilität. Denn ändert eine kleine Änderung der Eingabe die Erklärung stark, ist es riskant, sich darauf zu verlassen. Erzeugen Sie die Erklärung für dieselbe Entscheidung deshalb mehrmals und auf mehrere Arten und prüfen Sie, ob die Ergebnisse stimmig bleiben.

Diese Grenzen sind kein Grund, auf Erklärbarkeit zu verzichten. Sie sind stattdessen eine Warnung, sie richtig einzusetzen. Behandeln Sie eine Erklärung als Prüfwerkzeug und nicht als endgültigen Beweis. Denken Sie außerdem daran, die Qualität der Erklärungen selbst zu messen.

Sind Erklärbarkeit, Interpretierbarkeit und Transparenz dasselbe?

Nein. Im Alltag verschwimmen die Begriffe, doch jeder beantwortet eine andere Frage. Die Tabelle fasst die Unterschiede zusammen.

Wie die Tabelle zeigt, ist Erklärbarkeit nur ein Mitglied einer Familie von Begriffen. Hören Sie den Satz "unser Modell ist erklärbar", fragen Sie deshalb, in welchem Sinn er gemeint ist.

Wie bewertet ein Unternehmen die Erklärbarkeit?

Eine solide Bewertung gelingt Ihnen auf Managementebene auch ohne technische Details. Dabei hilft die folgende Checkliste hilft beim Start eines KI Projekts oder beim Kauf eines Produkts.

1. Bestimmen Sie die Wirkung der Entscheidung: Trifft ein Fehler einen Menschen direkt?
2. Schreiben Sie auf, wer die Erklärung liest: Kunde, Prüferin, Produktverantwortlicher oder Entwickler.
3. Testen Sie zuerst ein interpretierbares Modell und prüfen Sie, ob es reicht.
4. Nutzen Sie ein komplexes Modell, halten Sie fest, welche Erklärmethode Sie gewählt haben und warum.
5. Testen Sie die Erklärung an echten Beispielen: Passt der Grund zum Modellverhalten?
6. Betrachten Sie sowohl die globale Ebene als auch die Ebene der Einzelentscheidung.
7. Legen Sie menschliche Aufsicht und einen Weg für Widersprüche fest.
8. Dokumentieren Sie die Wissensgrenzen des Modells: Unter welchen Bedingungen darf es nicht laufen?

Diese acht Schritte passen auch zu den NIST Prinzipien. Außerdem funktionieren sie schon in einem kleinen Team. In einer kurzen Besprechung ist es ein guter Anfang, jeden Punkt mit "ja, nein oder wissen wir nicht" zu beantworten.

Welche Fragen sollten Sie Anbietern oder Entwicklern stellen?

Kaufen Sie ein fertiges KI Produkt oder bauen Sie mit einem Team ein Modell, besprechen Sie die Erklärbarkeit vor der Unterschrift. Die Fragen sind meist einfach, denn sie drehen sich um Grenzen, Gründe und Kontrolle.

• Für welche Art von Entscheidungen wurde das Modell entworfen, und wann darf es nicht laufen?
• Können Sie für eine Einzelentscheidung einen Grund erzeugen, und wie zeigen Sie ihn?
• Wie haben Sie geprüft, dass die Erklärung dem Modell treu ist?
• Mit welchen Daten wurde es trainiert, und was können Sie über diese Daten mitteilen?
• Wie läuft die menschliche Prüfung, wenn jemand einer Entscheidung widerspricht?
• Wie beobachten Sie das Modell, wenn sich sein Verhalten mit der Zeit ändert?

Unklare Antworten sind trotzdem eine Information. Außerdem schaffen Mitarbeitende, die nicht freigegebene Werkzeuge nutzen, ein eigenes Risiko. Dazu lesen Sie unseren Beitrag zu Shadow AI. Für das Bewusstsein im Team ist KI Kompetenz zudem eine solide Grundlage.

Braucht jedes Modell Erklärbarkeit?

Nein. Erklärbarkeit kostet etwas und schafft nicht überall denselben Wert. Konkret genügt bei Anwendungen mit geringem Risiko, die sich leicht rückgängig machen lassen und Menschen nicht direkt betreffen, genügt ein leichter Ansatz. Ein Inhaltsvorschlag oder eine interne Suchreihenfolge sind Beispiele.

Mit dem Einsatz steigt daher auch die Erwartung. Beeinflusst eine Ausgabe die Chancen, Rechte oder die Sicherheit von Menschen, gehört Erklärbarkeit an den Anfang des Entwurfs. Sie später nachzurüsten, ist dann teuer und reicht oft nicht aus.

Es gibt auch einen Mittelweg. Statt für jede Entscheidung eine ausführliche Erklärung zu erzeugen, erzeugen Sie sie nur für Entscheidungen nahe einer Schwelle, bei Widerspruch oder bei menschlicher Prüfung. So bleiben die Kosten im Griff, und Sie haben trotzdem dort einen Grund, wo es am wichtigsten ist.

Stellen Sie sich zwei Fragen. Erstens: Wer kommt bei einer falschen Entscheidung zu Schaden? Zweitens: Wer bemerkt den Schaden, und wie? Sind die Antworten unklar, brauchen Sie wahrscheinlich Erklärbarkeit.

Wie denken Sie Erklärbarkeit bei Datenanalyse und Inferenz mit?

Nach dem Training heißt das Erzeugen einer Vorhersage Inferenz. Eine Erklärung zu erzeugen, bedeutet zusätzliche Arbeit während der Inferenz. Wollen Sie zu jeder Vorhersage eine Erklärung, planen Sie sie von Anfang an in Tempo und Kosten ein. Das Konzept erklärt unser Beitrag zu Inferenz bei KI.

Auch auf der Datenseite helfen Erklärungen daher stark. Zeigen Sie in Berichten neben der Vorhersagetabelle eine Zusammenfassung der Signale hinter der Vorhersage, erleichtert das den Entscheidern die Arbeit. Praktische Ideen bietet unser Leitfaden zur Datenanalyse mit KI.

Schließlich sollten Sie auch die Erklärungen selbst protokollieren. Zieht jemand eine Entscheidung in Zweifel, ist die Antwort auf "worauf hat das Modell an jenem Tag geschaut?" ein wichtiger Teil des Vertrauens in eine Organisation.

Wie helfen wir bei erklärbarer KI?

Als Talha Aslan und Team beginnen wir KI Projekte mit der Geschäftsfrage und nicht mit technischen Details. Welche Entscheidung wird automatisiert, wen betrifft sie, und wer sieht den Grund? Die Antworten auf diese drei Fragen bestimmen Ihren Bedarf an Erklärbarkeit.

Danach klären wir gemeinsam mit Ihnen den passenden Modelltyp, die Protokollierung und den Ablauf der menschlichen Aufsicht. Bei Bedarf schulen wir außerdem Ihr Team kurz. Diese Arbeit finden Sie auf unserer Seite zur KI Beratung.

Was ist erklärbare KI also in einem Satz? Es ist der Ansatz, der die Entscheidung eines Modells an einen Grund bindet, den Menschen hinterfragen können. Die lange Antwort hängt von Daten, Entscheidung und Leser ab. Fragen Sie in jedem Projekt zuerst, wie viel Erklärung wir wem schulden, und wählen Sie dann die Methode.

Dieser Leitfaden dient der allgemeinen Information. Brauchen Sie ein verbindliches Ergebnis zu rechtlicher oder branchenspezifischer Compliance, sprechen Sie mit einer Rechtsberatung. Modellnamen, Versionen und Einzelheiten der Regulierung ändern sich schnell, prüfen Sie aktuelle Angaben deshalb stets in den offiziellen Dokumenten des Anbieters und der Behörde.