Der ultimative Leitfaden, um SHAP mit Leichtigkeit zu meistern

Erklärbare Künstliche Intelligenz (engl. Explainable Artificial Intelligence, kurz XAI) ist ein wichtiges Teilgebiet der Künstlichen Intelligenz, das sich darauf konzentriert, Entscheidungsprozesse von maschinellen Lernverfahren für den Menschen nachvollziehbar zu machen. Dies ist besonders wichtig bei Black-Box-Modellen, wie Ensemble- oder Deep-Learning-Algorithmen, die aufgrund ihrer Komplexität selbst von Experten nicht verstanden werden können (siehe auch meinen Artikel über Erklärbare Künstliche Intelligenz). Ein besseres Verständnis solcher Black-Box-Modelle führt unter anderem zu mehr Vertrauen bei den Anwendern und gibt Hinweise, wie ein Modell verbessert werden kann.

Eine beliebte Methode der Erklärbaren Künstlichen Intelligenz ist SHAP (SHapley Additive ExPlanations). SHAP kann auf beliebige Modelle des maschinellen Lernens angewendet werden und erklärt, wie einzelne Merkmale (engl. Features) die Vorhersagen eines Modells beeinflussen. Diese Beitragsreihe gibt Dir eine leicht verständliche Einführung in die Erklärungsmethode SHAP und das spieltheoretische Konzept der Shapley-Werte, das dabei eine zentrale Rolle spielt. Außerdem lernst Du anhand eines praktischen Programmierbeispiels, wie Du die Vorhersagen von Black-Box-Modellen mit Hilfe der Python-Bibliothek SHAP erklären kannst. Die Beitragsreihe besteht aus den folgenden 3 Artikeln:

• Wie kann man Black-Box-Modelle mit Shapley-Werten erklären?
• Der ultimative Leitfaden, um SHAP mit Leichtigkeit zu meistern
• Ein umfassendes Python-Tutorial zum schnellen Einstieg in SHAP

Dies ist der zweite Artikel in dieser Beitragsreihe. In diesem Artikel wirst Du lernen, wie die Erklärungsmethode SHAP verwendet werden kann, um maschinelle Lernverfahren zu erklären. Du wirst auch erfahren, welche mathematischen Eigenschaften SHAP hat und was die Vor- und Nachteile von SHAP sind. Am Ende dieses Artikels wirst Du ein solides Verständnis von SHAP haben und wissen, wie SHAP Dir helfen kann, Black-Box-Modelle besser zu verstehen.

Überblick

Dieser Blog-Artikel ist in die folgenden Abschnitte unterteilt:

• Was ist SHAP?
• Wie lautet die mathematische Definition von SHAP?
• Was sind die Vorteile von SHAP?
• Was sind die Nachteile von SHAP?
• In welchen Programmbibliotheken ist SHAP implementiert?

Was ist SHAP?

SHAP (SHapley Additive exPlanations) ist eine Erklärungsmethode, die beschreibt, wie verschiedene Merkmale der Eingabedaten die einzelnen Vorhersagen eines maschinellen Lernmodells beeinflussen. Genau genommen ist SHAP ein Sammelbegriff für verschiedene Methoden zur Schätzung klassischer Shapley-Werte aus der kooperativen Spieltheorie. Es gibt sowohl modellspezifische SHAP-Methoden, die speziell auf bestimmte Modellarchitekturen zugeschnitten sind, als auch modellagnostische SHAP-Methoden, die auf beliebige maschinelle Lernverfahren angewendet werden können.

Da es sich bei SHAP um eine Post-Hoc-Erklärungsmethode handelt, wird sie nach dem Training des Modells angewendet. SHAP kann nicht nur für Regressionsmodelle, sondern auch für Klassifikationsmodelle verwendet werden, wenn die Ausgabe des Klassifikationsmodells eine Wahrscheinlichkeit ist. Darüber hinaus ist SHAP für verschiedene Datentypen geeignet, einschließlich tabellarischer Daten, Bilddaten und Textdaten. Die verschiedenen SHAP-Methoden wurden erstmals von Lundberg und Lee im Jahr 2017 vorgeschlagen.

Um die Vorhersage eines maschinellen Lernmodells für eine Instanz eines Datensatzes zu erklären, schätzt SHAP einen Shapley-Wert für jedes Merkmal der Instanz, siehe Abbildung 1. Dabei zerlegt SHAP die Vorhersage für diese Instanz in die Summe der Beiträge der einzelnen Merkmale, die als Feature-Attributionen bezeichnet werden. Der Shapley-Wert eines Merkmals ist der Beitrag des Merkmals zur Vorhersage des Modells für diese bestimmte Instanz.

Eigenschaften der Shapley-Werte

Ein Shapley-Wert kann negativ oder positiv sein, je nachdem, ob die Merkmalsausprägung die Modellvorhersage im Vergleich zu einem Basiswert verringert oder erhöht. Der Basiswert ist der Erwartungswert aller Modellvorhersagen. In der Praxis kann dieser Erwartungswert geschätzt werden, indem der Durchschnitt der Modellvorhersagen für alle Instanzen des Datensatzes berechnet wird. Die Summe aus Basiswert und Shapley-Werten der einzelnen Merkmale einer Instanz entspricht immer genau der Modellvorhersage für diese Instanz.

Die Shapley-Werte eines Merkmals variieren für die verschiedenen Instanzen eines Datensatzes in Abhängigkeit von der Ausprägung dieses Merkmals und den Ausprägungen der anderen Merkmale. Aus der Größenordnung des absoluten Shapley-Wertes eines Merkmals kann auch die Bedeutung des Merkmals für die Vorhersage im Vergleich zu den anderen Merkmalen abgeleitet werden. Somit kann SHAP verwendet werden, um zu bestimmen, wie verschiedene Merkmale zur Vorhersage eines maschinellen Lernverfahrens beitragen.

Die mit SHAP geschätzten Shapley-Werte stellen zunächst nur eine lokale Erklärung dar, d.h. sie erklären nur einzelne Vorhersagen eines maschinellen Lernverfahrens. Neben lokalen Erklärungen bietet SHAP jedoch auch die Möglichkeit, globale Erklärungen zu generieren. Globale Erklärungen beschreiben das gesamte Verhalten eines Modells.

Globale Erklärungen können durch Aggregation der Shapley-Werte für Gruppen von Instanzen (z.B. der Shapley-Werte aller Instanzen eines Datensatzes) erzeugt werden. Für die Aggregation können verschiedene statistische Maße verwendet werden, wie z. B. der Mittelwert oder die Maximumsfunktion. Diese aggregierten Erklärungen geben Aufschluss über die globale Bedeutung der Merkmale und die globalen Zusammenhänge zwischen den verschiedenen Merkmalsausprägungen und den Modellvorhersagen.

Eignet sich SHAP für Kausalanalysen?

Es ist zu beachten, dass SHAP-Analysen in der Regel keine Rückschlüsse auf kausale Zusammenhänge zwischen den Merkmalen und der Zielvariablen zulassen. Daher ist Vorsicht geboten, wenn aus einer SHAP-Analyse Aussagen abgeleitet werden wie: „Wenn wir Merkmal X erhöhen, wirkt sich das positiv auf die Zielvariable aus“. SHAP beschreibt lediglich das Verhalten eines maschinellen Lernmodells im Kontext der Daten, auf denen es trainiert wurde. Daher liefert SHAP nur Informationen über die Beziehungen zwischen den Merkmalen und den Vorhersagen des Modells für die Zielvariable. Diese Beziehungen müssen nicht notwendigerweise den tatsächlichen Beziehungen zwischen den Merkmalen und der Zielvariablen in der realen Welt entsprechen, wie z.B. in diesem Artikel beschrieben.

Arten von SHAP-Methoden

Es gibt verschiedene Arten von SHAP-Methoden. Die vier wichtigsten, die Du kennen solltest, sind Tree SHAP, Deep SHAP, Linear SHAP und Kernel SHAP. Die Kernel SHAP-Methode ist modellagnostisch, d.h. sie funktioniert mit jedem maschinellen Lernverfahren. Mit SHAP können daher Shapley-Werte für beliebige maschinelle Lernverfahren geschätzt werden. Darüber hinaus gibt es eine Reihe von speziellen SHAP-Methoden für verschiedene Arten von maschinellen Lernverfahren. Diese SHAP-Methoden sind speziell auf die jeweilige Architektur dieser Modelle zugeschnitten und können daher Shapley-Werte besonders effizient und schnell approximieren. Die wichtigsten SHAP-Methoden sind in der folgenden Tabelle zusammengefasst:

SHAP-Methode	Geeignet für	Besonderheiten
Tree SHAP	Baumbasierte maschinelle Lernmodelle (Entscheidungsbäume, Random Forests, XGBoost, LightGBM, etc.)	Schnell und präzise
Deep SHAP	Deep Learning Modelle	Schnell aber nur approximativ
Linear SHAP	Lineare Modelle	Berücksichtigt Korrelationen zwischen Merkmalen
Kernel SHAP	Beliebige maschinelle Lernverfahren	Modell-agnostisch, aber langsamer als andere modell-spezifische SHAP-Methoden

SHAP auf einen Blick

Fassen wir noch einmal die wichtigsten Details von SHAP zusammen:

• SHAP schätzt für jedes Merkmal einer Instanz einen Shapley-Wert.
• Die Größe des absoluten Shapley-Wertes gibt Auskunft über die Bedeutung des Merkmals im Vergleich zu den anderen Merkmalen.
• Der Shapley-Wert eines Merkmals kann positiv oder negativ sein, je nachdem, ob die Merkmalsausprägung die Vorhersage des Modells im Vergleich zu einem Basiswert erhöht oder verringert.
• Der Basiswert ist der Erwartungswert aller Modellvorhersagen.
• Die Modellvorhersage für eine Instanz ist genau die Summe des Basiswertes und der Shapley-Werte aller Merkmale für diese Instanz.

Wie lautet die mathematische Definition von SHAP?

Lundberg und Lee haben gezeigt, dass die Shapley-Werte als sogenannte additive Feature-Attributionsmethode dargestellt werden können. Additive Feature-Attributionsmethoden sind lineare Erklärungsmodelle, die das ursprüngliche Modell lokal approximieren. Dabei spezifizieren additive Feature-Attributionsmethoden die Erklärung für eine Vorhersage in folgender Form:

\[
g \left( z ^\prime \right) = \phi _0 + \sum\limits_{i=1}^n \phi _i z ^\prime _i
\]

Das Erklärungsmodell g erklärt das lokale Verhalten des ursprünglichen Modells durch seine Parameter φ₀ und φ_i. Der Kombinationsvektor z’∈{0,1}ⁿ beschreibt, welche Merkmale in einer Merkmalskombination enthalten sind (Wert 1) und welche nicht (Wert 0). Dabei ist n die Gesamtzahl der Merkmale. Erklärungsmethoden mit Erklärungsmodellen, die additiven Feature-Attributionsmethoden entsprechen, ordnen jedem Merkmal einen Beitragswert φ_i zu. Ein solches interpretierbares Erklärungsmodell hat den Vorteil, dass es wesentlich einfacher zu verstehen ist als die komplexen maschinellen Lernverfahren, die es erklären soll.

SHAP als additive Feature-Attributionsmethode

Wenn alle Merkmale vorhanden sind, besteht der Vektor z‘ nur aus Einsen. In diesem Fall vereinfacht sich die Formel:

\[
g \left( z ^\prime \right) = \phi _0 + \sum\limits_{i=1}^n \phi _i
\]

Dies bedeutet, dass die Vorhersage für eine Instanz als Summe der Beiträge der verschiedenen Merkmale zu dieser Vorhersage und der Konstanten φ₀ dargestellt werden kann.

Dieses Konzept ist Dir bereits von den Shapley-Werten bekannt. Bei den Shapley-Werten entspricht φ_i dem Shapley-Wert für ein Merkmal i. Dieser Shapley-Wert wird als gewichtetes Mittel aller marginalen Beiträge des Merkmals i zu allen möglichen Merkmalskombinationen, die das Merkmal i enthalten, berechnet. Alle Shapley-Werte sind relativ zu einem Basiswert. Der Basiswert ist die Konstante φ₀ in der obigen Formel. Für Shapley-Werte entspricht φ₀ dem Erwartungswert aller Modellvorhersagen. Dieser Erwartungswert kann in der Praxis durch den Mittelwert der Modellvorhersagen für alle Instanzen des Datensatzes geschätzt werden.

Im Falle der Shapley-Werte wird die Vorhersage eines maschinellen Lernmodells also durch die Summe des Basiswertes und der berechneten Shapley-Werte der einzelnen Merkmale dargestellt. Pseudo-mathematisch ausgedrückt gilt also immer genau:

\[
\text{Modellvorhersage} = \text{Basiswert} + \sum \text{(Shapley-Werte der Merkmale)}.
\]

Mathematische Eigenschaften von SHAP

Die Besonderheit von SHAP besteht darin, dass SHAP nachweislich die einzige additive Feature-Attributionsmethode ist, die alle drei folgenden wünschenswerten mathematischen Eigenschaften erfüllt:

• Lokale Genauigkeit: Mindestens für die Instanz x, deren Vorhersage durch das Erklärungsmodell erklärt werden soll, muss die Vorhersage des tatsächlichen Modells exakt mit der Vorhersage des Erklärungsmodells übereinstimmen.
• Fehlende Merkmale: Ein fehlendes Merkmal wird mit einem Shapley-Wert von Null bewertet (d. h. φ_i = 0). Diese Eigenschaft ist in der Praxis jedoch nur für konstante Merkmale relevant.
• Konsistenz: Wenn ein Modell so verändert wird, dass der marginale Beitrag eines Merkmalswertes steigt oder gleich bleibt (unabhängig von anderen Merkmalen), dann steigt auch der Shapley-Wert oder bleibt gleich.

Wie Lundberg und Lee gezeigt haben, gehören u.a. auch die Erklärungsmethoden LIME, DeepLIFT und Layer-wise Relevance Propagation (LRP) zur Klasse der additiven Feature-Attributionsmethoden. Sie verwenden somit dasselbe Erklärungsmodell wie SHAP. Keine dieser Methoden erfüllt jedoch alle drei mathematischen Eigenschaften gleichzeitig (sie verletzen die lokale Genauigkeit und/oder die Konsistenz). SHAP vereinheitlicht daher diese drei Methoden und bietet darüber hinaus bessere mathematische Eigenschaften. Insbesondere bietet SHAP mehr mathematische Garantien für die Genauigkeit der Erklärungen als diese drei Erklärungsmethoden.

Was sind die Vorteile von SHAP?

Die Erklärungsmethode SHAP zeichnet sich insbesondere durch folgende Vorteile aus:

1. Vielseitige Anwendbarkeit:
   • SHAP kann auf jedes maschinelle Lernverfahren angewendet werden.
   • SHAP kann sowohl für Klassifikations- als auch für Regressionsaufgaben verwendet werden.
   • SHAP ist für verschiedene Datentypen geeignet (tabellarische Daten, Bilddaten, Textdaten, usw.).
   • SHAP bietet sowohl lokale als auch globale Erklärungsmöglichkeiten, wobei die globalen Erklärungen mit den lokalen Erklärungen konsistent sind.
   • SHAP erlaubt auch kontrastive Erklärungen. Anstatt eine Vorhersage mit dem Erwartungswert aller Modellvorhersagen zu vergleichen, kann sie auch mit einer Teilmenge des Datensatzes oder sogar mit einer einzelnen Instanz verglichen werden.
2. Mathematische Grundlage: SHAP basiert auf Shapley-Werten, die eine solide theoretische Grundlage in der Spieltheorie haben.
3. Kurze Rechenzeit: Durch die Verwendung recheneffizienter Näherungsverfahren kann SHAP auch in Fällen eingesetzt werden, in denen die exakte Berechnung von Shapley-Werten zu langsam wäre (insbesondere für baumbasierte maschinelle Lernmodelle und Deep-Learning-Algorithmen existieren sehr schnelle SHAP-Methoden).
4. Vollständige Erklärungen: SHAP berechnet den Effekt jedes Merkmals auf eine Vorhersage so, dass die Effekte gleichmäßig auf die Merkmalswerte der jeweiligen Instanz verteilt sind und in Summe der Differenz zwischen der tatsächlichen Modellvorhersage für die Instanz und dem Basiswert entsprechen.
5. Intuitive Einheit: Shapley-Werte haben die gleiche Einheit wie die Zielvariable, die das Modell vorhersagen soll, und sind daher leichter zu interpretieren.

Was sind die Nachteile von SHAP?

Die Erklärungsmethode SHAP hat folgende Nachteile:

1. Unsicherheit: Die Zuverlässigkeit der Erklärungen von SHAP kann nicht garantiert werden.
   • SHAP ist ein Näherungsverfahren, das Approximationsfehler enthalten kann.
   • Mit SHAP können absichtlich irreführende Erklärungen erstellt werden, wie diese Studie gezeigt hat.
2. Fehlinterpretation: Shapley-Werte können leicht falsch interpretiert werden.
   • Der Shapley-Wert eines Merkmals ist nicht die Auswirkung auf die Vorhersage, wenn das Merkmal aus dem Modelltraining entfernt wird. Stattdessen gibt der Shapley-Wert den Beitrag eines Merkmals zur Differenz zwischen der tatsächlichen Vorhersage und der durchschnittlichen Vorhersage im Kontext der anderen Merkmale an.
   • SHAP zeigt nicht notwendigerweise die tatsächlichen Beziehungen zwischen den Merkmalen und der Zielvariablen in der realen Welt. SHAP beschreibt lediglich das Verhalten des Modells im Kontext der Daten, auf denen es trainiert wurde.
3. Datenzugang: Um Shapley-Werte für neue Instanzen berechnen zu können, ist in der Regel Zugang zu den Daten erforderlich.
4. Lange Rechenzeit: Die exakte Berechnung von Shapley-Werten ist sehr rechenintensiv. Obwohl SHAP die Berechnung von Shapley-Werten erheblich beschleunigt, sind einige Approximationsalgorithmen (z.B. Kernel SHAP) immer noch langsam und daher für große Datenmengen ungeeignet.

In welchen Programmbibliotheken ist SHAP implementiert?

Die folgenden Programmierbibliotheken implementieren die Erklärungsmethode SHAP in den Programmiersprachen Python, R oder Julia:

Bibliothek	Programmiersprache
SHAP	Python (u.a. für Modelle in scikit-learn, PyTorch, Tensorflow, XGBoost, LightGBM etc.)
Captum	Python (nur für PyTorch-Modelle)
shapper	R
fastshap	R
shapr	R
ShapML	Julia

Im nächsten Artikel dieser Beitragsreihe erfährst Du, wie man SHAP ganz einfach in Python verwenden kann.

Weiterführende Literatur

In diesem Abschnitt findest Du weiterführende Literatur, die Dir helfen wird, tiefer in das Thema SHAP einzusteigen.

Bücher

• Molnar, C. (2022). Interpretable Machine Learning: A Guide for Making Black Box Models Explainable (2nd ed.). christophm.github.io/interpretable-ml-book/

Wissenschaftliche Publikationen

• Lundberg, Scott M., and Su-In Lee. “A unified approach to interpreting model predictions.” Advances in Neural Information Processing Systems (2017).
• Lundberg, Scott M., et al. „From local explanations to global understanding with explainable AI for trees.“ Nature machine intelligence 2.1 (2020): 56-67.

Zusammenfassung

In diesem Blogbeitrag hast Du gelernt, wie man die Erklärungsmethode SHAP verwenden kann, um die Funktionsweise von maschinellen Lernverfahren zu erklären.

Konkret hast Du gelernt:

• SHAP ist ein Sammelbegriff für verschiedene Methoden zur Schätzung von Shapley-Werten.
• Shapley-Werte beschreiben die Beiträge verschiedener Merkmale zur Vorhersage eines maschinellen Lernmodells relativ zu einem Basiswert.
• SHAP vereinheitlicht die Erklärungsmethoden LIME, DeepLIFT und Layer-Wise Relevance Propagation und besitzt darüber hinaus bessere mathematische Eigenschaften als diese Methoden.

Hast Du noch Fragen?

Schreibe Deine Fragen gerne unten in die Kommentare und ich werde mein Bestes tun, sie zu beantworten.

P.S.: Natürlich freue ich mich auch über konstruktives Feedback zu diesem Blogpost 😊