Was ist Backpropagation? Gradientenabstieg einfach erklärt

Was ist Backpropagation?

Backpropagation (deutsch: Rückwärtspropagierung) ist der Algorithmus, der den Vorhersagefehler eines neuronalen Netzes rückwärts durch die Schichten schickt und für jedes Gewicht berechnet, wie stark es zum Fehler beigetragen hat. Mit diesen Werten kann der Gradientenabstieg also die Gewichte in Richtung des kleineren Fehlers anpassen.

Kurz gesagt beantwortet Backpropagation die Frage: Wer trägt wie viel Schuld? Der Machine Learning Crash Course von Google nennt sie den verbreitetsten Trainingsalgorithmus für neuronale Netze. Außerdem macht sie den Gradientenabstieg bei Netzen mit mehreren Schichten überhaupt erst praktikabel.

Dieser Beitrag bleibt bei einer einzigen Frage: Was ist Backpropagation, und wie lernt ein Netz aus seinen Fehlern? Wenn Sie zunächst das Gesamtbild sehen möchten, lesen Sie unseren Deep Learning Leitfaden. Hier verzichten wir auf Formeln und erklären mit Worten, denn die Idee ist einfacher als die Mathematik dahinter.

Warum passt das Bild vom Abstieg im Nebel so gut?

Stellen Sie sich vor, Sie stehen im dichten Nebel auf einem Berggipfel und müssen ins Tal. Sie sehen nicht weit, doch Sie spüren das Gefälle unter Ihren Füßen. Daher machen Sie einen kleinen Schritt in die Richtung, die bergab führt.

Genau so arbeitet der Gradientenabstieg. Zum Beispiel ist die Höhe des Berges der Fehler des Modells, und das Tal ist der Punkt mit dem geringsten Fehler. Außerdem entspricht Ihre Position den aktuellen Gewichten. Daher gehen Sie bei jedem Schritt dorthin, wo der Fehler am schnellsten sinkt.

Doch was ist Backpropagation in diesem Bild, und woher kennen Sie das Gefälle? Hier kommt also die Backpropagation ins Spiel. Statt Millionen Gewichte einzeln zu testen (was passiert mit dem Fehler, wenn ich dieses Gewicht ein wenig ändere?), schickt sie den Fehler rückwärts und berechnet alle Gefälle in einem einzigen Durchlauf.

• Der Berg: die Form der Fehlerlandschaft, also der Verlustfläche.
• Ihre Position: die aktuellen Gewichte des Netzes.
• Das Gespür für das Gefälle: der Gradient, also der Einfluss jedes Gewichts auf den Fehler.
• Ihre Schrittweite: die Lernrate.
• Das Tal: der Bereich mit geringem Fehler, in dem das Modell gut vorhersagt.

Wie läuft eine Trainingsrunde eines neuronalen Netzes ab?

Das heißt, Training ist immer dieselbe Schleife, die sehr oft läuft. Zunächst sieht das Netz in jeder Runde Beispiele, macht eine Vorhersage, misst seinen Fehler und korrigiert die Gewichte ein wenig. Die Schleife hat vier Teile, denn jeder baut auf dem vorigen auf.

1. Vorwärtsdurchlauf: Die Eingabe wandert durch die Schichten und wird zu einer Vorhersage.
2. Verlustberechnung: Das Modell vergleicht die Vorhersage mit dem wahren Wert und erzeugt eine einzige Fehlerzahl.
3. Rückwärtsdurchlauf: Der Algorithmus trägt den Fehler von der Ausgabe zur Eingabe zurück und findet den Gradienten jedes Gewichts.
4. Aktualisierung: Der Gradientenabstieg verändert jedes Gewicht ein kleines Stück in die Richtung, die den Verlust senkt.

Danach beginnt die Schleife mit neuen Beispielen von vorn. Sie läuft dann, bis die Fehlerkurve flach wird. Zum Beispiel sortiert ein Modell Produktfotos für einen Onlineshop. Erst nach tausenden Runden unterscheidet es somit zuverlässig einen Schuh von einer Tasche.

Besonders gut sehen Sie diese Struktur beim überwachten Lernen, denn das richtige Label bildet den Anker der Fehlerberechnung.

Was ist eine Verlustfunktion und warum beginnt alles dort?

Eine Verlustfunktion (englisch: loss function) ist eine einzige Zahl, die sagt, wie weit die Vorhersage des Modells von der Wahrheit entfernt liegt. Eine große Zahl bedeutet also große Fehler, eine kleine Zahl bedeutet, dass das Modell nah dran ist. Daher soll das Training diese Zahl möglichst klein machen.

Ohne Verlustfunktion hat das Wort besser keine Bedeutung. Denn der Gradientenabstieg wählt seine Richtung anhand dieser Zahl. Deshalb gleicht eine falsche Verlustfunktion einem selbstbewussten Marsch zum falschen Ziel.

Allerdings hängt die Wahl vom Problem ab. Wenn Sie eine Zahl vorhersagen, zum Beispiel den Wochenumsatz, messen Sie die Größe der Abweichung. Wenn Sie dagegen eine Kategorie vorhersagen, etwa den Objekttyp auf einem Foto, bestrafen Sie selbstsichere Fehlentscheidungen.

Der entscheidende Punkt: Die Verlustfunktion ist nämlich das einzige Feedback, das das Modell je sieht. Definieren Sie sie schlecht, wird das Modell also perfekt in einem Verhalten, das Sie nie wollten.

Was ist ein Gradient und warum sprechen wir von Gefälle?

Ein Gradient sagt Ihnen, wie stark und in welche Richtung sich der Verlust ändert, wenn Sie ein Gewicht minimal verändern. Zum Beispiel ist das auf einem eindimensionalen Hügel schlicht die Steigung. Dagegen hat bei einem Modell mit Millionen Gewichten jedes Gewicht sein eigenes Gefälle, und alle zusammen bilden den Gradienten.

Ist der Gradient positiv, erhöht ein größeres Gewicht den Verlust. Dann sollten Sie das Gewicht senken. Ist er negativ, dann gilt das Gegenteil. Das heißt, das Vorzeichen zeigt die Richtung, und der Betrag zeigt, wie wichtig dieses Gewicht ist.

Die gesamte Update Regel passt in eine einzige symbolische Zeile: neues Gewicht = altes Gewicht minus Lernrate mal Gradient. Das Minus bedeutet, dass Sie gegen das Gefälle gehen, also bergab.

In der Mathematik heißt der Gradient Ableitung. Allerdings müssen Sie nichts ableiten können, um diesen Beitrag zu verstehen. Denken Sie also einfach an ein Maß für Einfluss.

Wie funktioniert der Gradientenabstieg?

Der Gradientenabstieg (englisch: gradient descent) ist ein schrittweises Optimierungsverfahren, das die Gewichte mit dem geringsten Verlust sucht. Die Seite zum Gradientenabstieg beschreibt die Schleife so: aktuellen Verlust berechnen, Gradienten bestimmen, Parameter gegen den Gradienten verschieben und wiederholen, bis der Verlust nicht mehr sinkt.

Sinkt der Verlust nicht mehr, dann spricht man von Konvergenz. In der Praxis zeigt eine flache Verlustkurve, dass weiteres Training kaum etwas bringt. Deshalb ist der Blick auf diese Kurve die nützlichste Gewohnheit beim Training.

Zunächst sollten Sie zwei Rollen trennen. Der Gradientenabstieg legt dabei Richtung und Schrittweite fest. Die Backpropagation liefert dagegen die Gradienten, die er dafür braucht. Somit funktioniert bei einem Netz mit mehreren Schichten das eine nicht ohne das andere.

• Start: Die Gewichte beginnen mit kleinen Zufallswerten.
• Messen: Das Modell sagt für eine Gruppe von Beispielen voraus, und wir berechnen den Verlust.
• Richtung: Die Backpropagation liefert den Gradienten für jedes Gewicht.
• Schritt: Jedes Gewicht bewegt sich ein kleines Stück gegen seinen Gradienten.
• Wiederholen: Die Schleife läuft, bis der Verlust flach wird.

Was ist Backpropagation und wie nutzt sie die Kettenregel?

Zunächst besteht ein neuronales Netz aus vielen kleinen Rechenschritten, die ineinandergreifen. Der Fehler der letzten Schicht hängt von der Ausgabe der vorigen Schicht ab, und diese wiederum von der davor. Somit multipliziert die Backpropagation den Einfluss jedes Gliedes entlang dieser Kette. In der Mathematik nennt man das die Kettenregel.

Zum Beispiel können Sie an eine Fertigungsstraße denken, an deren Ende ein Produkt einen Defekt hat. Um die Ursache zu finden, gehen Sie dann die Straße rückwärts ab und wägen ab, wie viel jede Station beigetragen hat. Die Backpropagation läuft genauso rückwärts und berechnet den Verantwortungsanteil jedes Gewichts.

Außerdem ist der größte Vorteil die Geschwindigkeit. Denn Gewichte einzeln zu verändern und das Ergebnis zu beobachten, ist bei großen Modellen praktisch unmöglich. Die Backpropagation liefert dagegen alle Gradienten in einem Rückwärtsdurchlauf, der ähnlich teuer ist wie der Vorwärtsdurchlauf. Deshalb lassen sich heutige Transformer Architektur und große Sprachmodelle überhaupt trainieren.

Historisch haben Rumelhart, Hinton und Williams das Verfahren in einem Fachartikel in Nature vorgestellt. Außerdem beschreiben sie darin eine Lernprozedur, die die Verbindungsgewichte immer wieder anpasst, um den Abstand zwischen tatsächlicher und gewünschter Ausgabe zu verkleinern. Laut Artikel lernen die verdeckten Einheiten dabei wichtige Merkmale der Aufgabe.

Lässt sich die Idee mit einem einzigen Gewicht zeigen?

Ja, dafür verkleinern wir das Netz auf ein einziges Gewicht. Das ist eine Beispielrechnung, und die Zahlen zeigen nur die Logik. Konkret sagt das Modell voraus, indem es die Eingabe mit seinem Gewicht multipliziert. Die Eingabe sei zwei, und die richtige Antwort sei zehn.

1. Zunächst steht das Gewicht bei drei. Das Modell sagt sechs voraus, das Ziel ist aber zehn. Somit beträgt die Abweichung vier, und der Verlust (das Quadrat der Abweichung) beträgt sechzehn.
2. Danach findet die Backpropagation den Gradienten: das Doppelte der Abweichung mal die Eingabe, hier also minus sechzehn. Das Minus sagt also, dass ein größeres Gewicht den Verlust senkt.
3. Wir wählen eine kleine Lernrate, etwa ein Zwanzigstel (0,05). Dann schiebt der Gradientenabstieg das Gewicht von drei auf ungefähr drei Komma acht.
4. Dann liegt die neue Vorhersage bei sieben Komma sechs, und der Verlust fällt auf etwa fünf Komma sieben sechs.
5. Danach führt ein weiterer Schritt das Gewicht auf etwa vier Komma zwei acht, und der Verlust sinkt auf ungefähr zwei Komma null sieben.

Die Schritte werden kleiner, weil der Gradient mit dem Fehler schrumpft. Das ideale Gewicht liegt nämlich bei fünf. Nach einigen weiteren Schritten nähert sich das Gewicht diesem Wert, und der Verlust wird flach nahe null.

In der Praxis läuft in einem echten Netz dieselbe Logik für Millionen Gewichte gleichzeitig. Dennoch bleibt die Geschichte jedes Gewichts gleich: Fehler, Einfluss, kleiner Schritt.

Warum ist die Lernrate so wichtig?

Zunächst legt die Lernrate fest, wie groß jeder Aktualisierungsschritt ist. Die Seite zu den Hyperparametern beschreibt sie als die Einstellung, die beeinflusst, wie schnell das Modell konvergiert. Ist sie zu klein, kriecht das Training. Ist sie dagegen zu groß, konvergiert das Modell womöglich nie.

Also zurück zum Berg im Nebel: Mit winzigen Schritten brauchen Sie Tage bis ins Tal. Mit riesigen Schritten dagegen springen Sie über das Tal hinweg, landen am Gegenhang und pendeln hin und her.

• Zu klein: Der Verlust sinkt sehr langsam, und das Training kann Stunden oder Tage dauern.
• Zu groß: Der Verlust springt hin und her oder steigt sogar, und das Modell kommt nie zur Ruhe.
• Gut gewählt: Der Verlust sinkt anfangs schnell, dann langsamer und wird schließlich flach.
• Mit der Zeit sinkend: Große Schritte am Anfang, feine Korrekturen am Ende.

In der Praxis ist die Lernrate die am häufigsten angepasste Einstellung. Außerdem zeigt die Verlustkurve am schnellsten, ob der Wert passt. Sinkt die Kurve gleichmäßig, liegen Sie richtig. Zittert sie dagegen, verkleinern Sie die Rate.

Was bedeuten Epoche, Batch und Iteration?

Zunächst: Diese drei Wörter verwechselt man ständig. Eine Epoche ist ein vollständiger Durchlauf aller Trainingsdaten durch das Modell. Danach ist ein Batch die Gruppe von Beispielen, die das Modell sieht, bevor es die Gewichte aktualisiert. Schließlich ist eine Iteration ein einzelner Aktualisierungsschritt.

Die Kursseiten von Google definieren eine Epoche als einen vollständigen Durchlauf durch den gesamten Datensatz. Außerdem erklären sie, dass Modelle meist mehrere Epochen zum Konvergieren brauchen. Zudem beeinflusst die Batchgröße sowohl die Trainingsgeschwindigkeit als auch das Rauschen im Gradienten.

Ein einfaches Beispielszenario: Ihre Trainingsdaten enthalten tausend Beispiele, und die Batchgröße beträgt zwanzig. Dann ergibt eine Epoche fünfzig Iterationen. Trainieren Sie also zehn Epochen, führen Sie fünfhundert Updates aus. Das ist eine Beispielrechnung und kein Messwert.

Allerdings unterscheiden sich diese Einstellungen von den Parametern des Modells. Gewichte und Bias findet das Training nämlich von selbst. Lernrate, Batchgröße und Epochenzahl wählen dagegen Sie, und man nennt sie Hyperparameter.

Warum nutzen die meisten Teams stochastischen Gradientenabstieg mit Mini Batches?

Denn für jeden Schritt den gesamten Datensatz zu verwenden, ist langsam. Der stochastische Gradientenabstieg (SGD) nutzt deshalb pro Schritt nur ein einzelnes Beispiel. Die Kursseiten von Google erklären, dass das verrauschte, aber rechnerisch günstige Updates liefert.

Der Mini Batch Ansatz dagegen geht den Mittelweg. Konkret mittelt er den Gradienten über eine kleine Gruppe von Beispielen. Dadurch sinkt das Rauschen eines einzelnen Beispiels, und Sie sparen trotzdem die Kosten für den gesamten Datensatz.

Allerdings ist Rauschen nicht immer schlecht. Kleine Zufallsschwankungen können ein Modell aus einer schlechten Mulde heraushelfen. Zudem ist moderne Hardware darauf ausgelegt, Gruppen parallel zu verarbeiten, weshalb Mini Batches zum praktischen Standard wurden.

In der Praxis meint jemand, der sagt, ein Modell sei mit SGD trainiert, meist Mini Batch Training. Denn der Begriff wird locker benutzt. Prüfen Sie deshalb in der Dokumentation immer die Batchgröße.

Was machen Optimierer wie Adam eigentlich?

Zunächst ist ein Optimierer die Regel, die einen Gradienten in eine Gewichtsänderung übersetzt. Zum Beispiel multipliziert der einfachste Optimierer den Gradienten mit der Lernrate. Fortgeschrittene berücksichtigen außerdem vergangene Schritte.

Das Prinzip Momentum ähnelt einem Ball, der beim Rollen bergab Fahrt aufnimmt. Dazu behält er einen laufenden Mittelwert der letzten Gradienten und rollt über kleine Hindernisse hinweg. Adaptive Verfahren wie Adam stellen die Schrittweite für jedes Gewicht selbst ein. Dann gehen sie kleinere Schritte bei oft aktualisierten Gewichten und größere bei seltenen.

Ein Unterschied ist allerdings wichtig: Ein Optimierer findet den Gradienten nie selbst. Den liefert die Backpropagation, und der Optimierer entscheidet, was damit geschieht. Prüfen Sie aktuelle Standardwerte in der offiziellen Dokumentation Ihrer Bibliothek, denn Empfehlungen ändern sich.

Bei sehr großen Modellen beeinflusst die Optimierer Wahl auch die Trainingskosten. Dieses Thema gehört daher in die breitere Diskussion um Scaling Laws.

Sind lokale Minima und Sattelpunkte wirklich ein Problem?

Zunächst hat die Fehlerfläche eines einfachen linearen Modells nur eine Mulde, und der Gradientenabstieg erreicht zuverlässig den Boden. Die Kursseiten von Google nennen diese Eigenschaft für die lineare Regression ausdrücklich. Bei tiefen Netzen ist die Fläche allerdings viel zerklüfteter.

Zum Beispiel ist ein lokales Minimum ein Tal, das tiefer liegt als seine Umgebung, aber nicht das tiefste überhaupt. Ebenso wirkt ein Sattelpunkt in einer Richtung wie ein Hang und in einer anderen wie eine Mulde. An beiden Stellen geht der Gradient gegen null, deshalb scheint das Training zu stocken.

Die gute Nachricht: Die Lösungen, die große Netze erreichen, funktionieren meist gut genug. Sie brauchen nämlich nicht das perfekte Tal. Somit ist das praktische Ziel ein vernünftiger Bereich, der auf Validierungsdaten gut abschneidet.

• Trainieren Sie mehrmals mit unterschiedlichen Zufallsstarts, um einen unglücklichen Anfang zu umgehen.
• Das Rauschen der Mini Batches kann ein Modell aus flachen Mulden schütteln.
• Momentum und adaptive Optimierer beschleunigen den Fortschritt über flache Bereiche.
• Wenn der Validierungsverlust gut aussieht, ist ein verfehltes globales Minimum selten ein Problem.

Was sind verschwindende und explodierende Gradienten?

Zunächst laufen in sehr tiefen Netzen Gradienten durch wiederholte Multiplikation rückwärts. Sind die Faktoren kleiner als eins, schrumpft das Ergebnis, und die unteren Schichten bekommen fast nichts mehr. Das nennt man daher verschwindenden Gradienten. Die Kursseiten von Google beschreiben den Effekt so, dass untere Schichten sehr langsam oder gar nicht trainieren.

Andererseits gibt es das Gegenteil ebenfalls. Sind die Gewichte sehr groß, wächst der Gradient von Schicht zu Schicht, und das Training wird instabil. Das heißt, es handelt sich um einen explodierenden Gradienten. Somit laufen Zahlen über, und der Verlust springt plötzlich hoch oder wird undefiniert.

Die Kursseiten nennen dieselben Abhilfen. ReLU hilft gegen verschwindende Gradienten, während Batch Normalisierung und eine niedrigere Lernrate gegen Explosionen helfen. Dropout ist dagegen eine eigene Regularisierungstechnik, die Overfitting verringert.

Wie beeinflusst die Aktivierungsfunktion die Backpropagation?

Zunächst biegt eine Aktivierungsfunktion die Ausgabe einer Schicht in eine nichtlineare Form. Ohne sie würde sich ein Netz mit beliebig vielen Schichten wie eine einzige lineare Rechnung verhalten. Deshalb ist sie unerlässlich, um komplexe Muster zu erfassen.

Für die Backpropagation zählt allerdings, dass die Funktion eine berechenbare Ableitung hat. Dann multipliziert der Algorithmus im Rückwärtsdurchlauf den Fehler mit der Steigung der Funktion jeder Schicht. Ist diese Steigung fast null, erstirbt das Signal an dieser Stelle.

Andererseits werden ältere, glatte Kurven an ihren Enden flach und verkleinern den Gradienten. ReLU hält die Steigung für positive Werte konstant, daher mildert sie das Problem verschwindender Gradienten in tiefen Netzen. Auch die Kursseiten von Google nennen ReLU als verbreitete Lösung.

Allerdings hängt die beste Wahl von Architektur und Aufgabe ab. Für Einsteiger ist es am sichersten, mit der Standardfunktion zu starten, die Ihre Bibliothek und Ihre Architektur empfehlen.

Was sind automatische Differentiation und ein Berechnungsgraph?

Zunächst führen moderne Bibliotheken die Backpropagation für Sie aus. Die Idee dahinter heißt daher automatische Differentiation. Während des Vorwärtsdurchlaufs hält die Bibliothek jede Operation in einer Art Kassenbuch fest, dem Berechnungsgraphen. Danach liest sie im Rückwärtsdurchlauf dieses Buch von hinten nach vorn und erzeugt die Gradienten.

Folglich müssen Sie für eine neue Architektur keine Ableitungsformeln von Hand schreiben. Sie definieren also die Schichten, und die Bibliothek findet den Gradienten. Zudem läuft derselbe Mechanismus auf unterschiedlicher Hardware schnell.

Allerdings kostet das etwas. Der Rückwärtsdurchlauf braucht Zwischenwerte aus dem Vorwärtsdurchlauf, deshalb muss die Bibliothek sie im Speicher halten. Das ist zum Beispiel ein Faktor für den Speicherbedarf großer Trainingsläufe. Dennoch sparen manche Verfahren Speicher, indem sie Werte bei Bedarf neu berechnen, statt sie zu speichern.

Zusammengefasst schreiben Sie als Ingenieur die Backpropagation selten selbst, Sie steuern sie. Verlust, Lernrate und Daten richtig aufzusetzen, bleibt Ihre Aufgabe.

Was ist Backpropagation im Vergleich zu Gradientenabstieg und Vorwärtsdurchlauf?

Kurz gesagt sind diese vier Begriffe Kapitel derselben Geschichte. Man verwechselt sie, weil sie in derselben Trainingsschleife direkt hintereinander laufen. Außerdem vergleicht die Tabelle die Aufgabe jedes Begriffs in einer Zeile.

Der häufigste Fehler ist, Backpropagation und Gradientenabstieg gleichzusetzen. Das heißt, die Backpropagation berechnet nur Gradienten. Die Gewichte ändert dagegen der Gradientenabstieg oder eine seiner Optimierer Varianten.

Diese Ideen tauchen außerdem in anderen Gebieten wieder auf. Ein verwandtes Beispiel finden Sie in unserem Beitrag zum Reinforcement Learning.

Wo begegnet uns Backpropagation im Alltag und im Unternehmen?

Zum Beispiel arbeiten Gesichtserkennung am Smartphone, der Spamfilter im Postfach, Übersetzungs Apps und Chatbots mit neuronalen Netzen, die per Backpropagation trainiert wurden. Auch die großen Sprachmodelle hinter den heutigen Foundation Models folgen derselben Trainingslogik. Somit unterscheiden Maßstab und Datenmenge sie.

Zunächst zu einem Unternehmensbeispiel: Ein Support Team möchte eingehende Tickets automatisch nach Thema sortieren. Das ist ein Beispielszenario. Konkret beschriftet das Team frühere Tickets, das Modell trainiert mit diesen Labels, und jede falsche Zuordnung erhöht den Verlust. Dann finden Backpropagation und Gradientenabstieg die Gewichte, die diese Fehler senken.

Die meisten Unternehmen müssen diesen Algorithmus nie selbst schreiben, denn fertige Bibliotheken übernehmen ihn. Wichtig ist allerdings, eine Verlustkurve lesen und die Datenqualität prüfen zu können. Wenn Sie ein KI Projekt im Unternehmen planen, zeigt Ihnen unsere Seite zur KI Automatisierung, wobei wir unterstützen.

• Bildklassifikation: Produktfotos in Kategorien sortieren.
• Textklassifikation: Supportanfragen oder Bewertungen nach Thema gruppieren.
• Prognosen: Zahlenwerte wie Nachfrage oder Lagerbedarf vorhersagen.
• Generative Modelle: Systeme trainieren, die Text und Bilder erzeugen.

Welche Grenzen und Risiken hat Backpropagation?

Was ist Backpropagation nicht? Keine Magie, auch wenn sie mächtig ist. Außerdem nutzt sie jede Information, die Sie ihr geben, um den Verlust zu senken. Sind die Daten schlecht, lernt das Modell also schlecht. Folglich hat ein Modell mit hervorragendem Trainingsverlust, das bei neuen Daten versagt, nur auswendig gelernt. Dieses Problem behandeln wir in unserem Beitrag zu Overfitting.

• Datenabhängigkeit: Sind Labels falsch oder einseitig, übernimmt das Modell diesen Fehler.
• Rechenaufwand: Das Training großer Modelle braucht viel Energie und Hardware.
• Empfindliche Einstellungen: Lernrate und Batchgröße verändern das Ergebnis spürbar.
• Erklärbarkeit: Nach dem Training erzählen die Gewichte keine Geschichte, die ein Mensch lesen kann.
• Biologie: Niemand behauptet, das Gehirn nutze genau dieses Verfahren. Stattdessen ist der Algorithmus eine Ingenieurslösung.

Der Trainingsverlust allein ist kein Erfolgsmaß, deshalb beobachten Sie zusätzlich einen getrennten Validierungsdatensatz. Bei Anwendungen mit rechtlichen oder ethischen Folgen, etwa mit personenbezogenen Daten, ersetzt dieser Beitrag keine Rechtsberatung. Ziehen Sie dann Fachleute hinzu.

Welche Checkliste hilft beim Überwachen des Trainings?

Die kurze Antwort auf die Frage was ist Backpropagation lautet: ein Rückwärtsfluss der Verantwortung. Zunächst folgt die Checkliste, die uns in der Praxis hilft. Denn jeder Punkt beruht auf einem Konzept aus diesem Beitrag.

1. Erstens: Prüfen Sie, ob die Verlustfunktion zu Ihrem echten Ziel passt.
2. Zeichnen Sie Trainings und Validierungsverlust in dasselbe Diagramm.
3. Zittert die Kurve, dann senken Sie die Lernrate.
4. Sinkt der Verlust dagegen nie, prüfen Sie Rate, Startgewichte und Daten.
5. Fällt der Trainingsverlust, während der Validierungsverlust steigt, denken Sie an frühes Stoppen und Regularisierung.
6. Notieren Sie außerdem Epochen und Batchgröße, damit Sie das Ergebnis reproduzieren können.
7. Springt der Verlust dann plötzlich hoch, vermuten Sie einen explodierenden Gradienten.

Natürlich löst diese Liste nicht jedes Problem. Dennoch lassen sich die meisten Trainingsprobleme auf einen dieser sieben Punkte zurückführen. Wenn etwas hakt, schauen Sie erst auf die Daten, dann auf die Einstellungen. Den Algorithmus zu beschuldigen, ist daher meist der letzte Schritt.

Wer hat Backpropagation bekannt gemacht und wie?

Die Idee, aus Fehlern zu lernen, ist alt, doch sie in Netzen mit mehreren Schichten zum Laufen zu bringen, dauerte. Der Fachartikel in Nature von Rumelhart, Hinton und Williams machte das Verfahren in der Forschung bekannt. Sein Titel bedeutet sinngemäß: Repräsentationen lernen durch rückwärts propagierte Fehler.

Der Artikel betonte, dass verdeckte Schichten Merkmale darstellen lernen können, die in Eingabe und Ausgabe nie ausdrücklich vorkommen. Somit wurde diese Einsicht zu einem Fundament des Deep Learning.

In den folgenden Jahrzehnten ließen bessere Hardware und mehr Daten dieselbe Idee in sehr großem Maßstab laufen. Deshalb trainieren die meisten heutigen Modelle im Kern noch immer mit dieser Rückwärtslogik.

Welche Irrtümer über Backpropagation sollten Sie ablegen?

• "Backpropagation ist ein Lernalgorithmus." Tatsächlich berechnet sie Gradienten. Erst dann vervollständigt eine Update Regel wie der Gradientenabstieg vervollständigt das Lernen.
• "Eine größere Lernrate lernt schneller." Eine zu große Rate zerstört nämlich das Training.
• "Null Verlust heißt perfektes Modell." Der Trainingsverlust kann null erreichen, während das Modell bei neuen Daten versagt.
• "Der Gradientenabstieg findet immer die beste Lösung." Die Fläche eines tiefen Netzes ist zerklüftet, und eine Garantie gibt es nicht.
• "Das Gehirn lernt so." Dafür gibt es keinen Beleg. Künstliche Netze sind stattdessen nur von der Biologie inspiriert.

Die Frage was ist Backpropagation löst viele Irrtümer aus, weil man alle diese Begriffe in einen Topf wirft. Deshalb spart Ihnen die Tabelle oben beim Fehlersuchen Zeit.

Für praktische Übung ist unsere Python Roadmap für KI ein guter nächster Schritt. Sie hilft Ihnen außerdem, diese Konzepte im eigenen Code auszuprobieren.

Fazit: Wie lernt eine KI?

Was ist Backpropagation also in einem Satz? Es ist der Rückwärtsdurchlauf, der jedem Gewicht sagt, wie stark es sich ändern soll. Kurz gesagt lernt eine KI, indem sie ihre eigenen Fehler korrigiert. Der Vorwärtsdurchlauf macht eine Vorhersage, die Verlustfunktion misst den Fehler, die Backpropagation berechnet den Anteil jedes Gewichts, und der Gradientenabstieg korrigiert die Gewichte in kleinen Schritten. Dann läuft diese Schleife millionenfach.

Schließlich bestimmen Lernrate, Batchgröße und Optimierer Tempo und Stabilität dieser Reise. Probleme wie verschwindende Gradienten, explodierende Gradienten und Overfitting erkennen Sie früh, wenn Sie die Verlustkurven beobachten.

Zudem dient dieser Beitrag der Bildung und empfiehlt kein Produkt und keinen Anbieter. Prüfen Sie schnell veränderliche Details in der offiziellen Dokumentation Ihrer Bibliothek und Ihres Anbieters.