Was ist Reinforcement Learning? Wie KI durch Belohnung lernt

Was ist Reinforcement Learning?

Reinforcement Learning, auf Deutsch bestärkendes Lernen, ist ein Teilgebiet des maschinellen Lernens, bei dem ein Agent durch Interaktion mit einer Umgebung lernt. Er erhält Belohnungen oder Strafen und entdeckt durch Versuch und Irrtum, welche Handlungen langfristig die höchste Belohnung bringen.

Stellen Sie sich einen Welpen vor, der das Kommando "Sitz" lernt. Er kennt die Bedeutung nicht, also probiert er aus, und manchmal setzt er sich zufällig. Dann geben Sie ein Leckerli, und der Welpe wiederholt dieses Verhalten häufiger.

Somit überträgt Reinforcement Learning diese Logik auf Software. Das Wort "Bestärkung" stammt daher, dass eine Belohnung ein Verhalten verstärkt. Neben dem überwachten und dem unüberwachten Lernen ist es einer der drei großen Ansätze des maschinellen Lernens.

Warum erhält das Thema so viel Aufmerksamkeit? Weil bei manchen Problemen niemand die richtige Antwort vorab kennt. Sie können zum Beispiel weder den besten Gang für einen Roboter noch die stärkste Strategie für ein Spiel aufschreiben. Der Agent findet also seinen Weg, indem er auf die Ergebnisse achtet.

Wie erklärt ein Videospiel das Reinforcement Learning?

Stellen Sie sich vor, Sie starten ein neues Jump and Run Spiel, ohne die Regeln zu lesen. Zunächst wissen Sie nicht, was jede Taste bewirkt. Also drücken Sie Tasten, schauen der Figur zu und behalten die Punktzahl im Blick.

Nach einigen Versuchen entstehen Muster. Zum Beispiel bringen manche Züge bringen Punkte, andere kosten ein Leben. Danach läuft jede neue Runde ein wenig besser. Kurz gesagt gibt es keinen Lehrer, sondern nur Ergebnisse.

Reinforcement Learning gießt diese Erfahrung in einen mathematischen Rahmen. Der Spieler ist der Agent, die Spielwelt ist die Umgebung, und die Punktzahl ist die Belohnung. Außerdem beschreibt derselbe Rahmen auch einen Roboterarm oder eine Empfehlungsliste.

Dieses Bild enthält eine wichtige Lehre. Allerdings zeigt ein kleiner Punktgewinn heute nicht immer in die richtige Richtung. Manchmal ist ein Punktverlust jetzt der Weg zu einer größeren Belohnung später. Daher macht genau dieses langfristige Denken Reinforcement Learning besonders.

Auch Radfahren funktioniert so. Denn Sie lernen es nicht aus einem Buch. Stattdessen wackeln Sie, gleichen das Gleichgewicht aus und probieren es erneut. Ihr Körper erkennt an den Ergebnissen, welche Bewegungen helfen. Kurz gesagt ist Reinforcement Learning die Software Version dieser Schleife.

Welche Grundbegriffe gehören zum Reinforcement Learning?

Jedes Reinforcement Learning Problem besteht aus denselben wenigen Bausteinen. Daher gilt: Wenn Sie dieses Vokabular kennen, lesen Sie Bücher und Dokumentationen deutlich leichter.

• Agent: Der Lernende und Entscheider. Zum Beispiel kann das ein Spieler, ein Roboter oder eine Software sein.
• Umgebung: Alles außerhalb des Agenten, das auf seine Handlungen reagiert. Zum Beispiel ein Spiel, eine Simulation oder eine echte Fabrik.
• Zustand: Eine Momentaufnahme der Umgebung. Dann erhält der Agent sie als Beobachtung.
• Aktion: Ein Zug, den der Agent wählen kann, etwa nach links gehen, einen Artikel empfehlen oder ein Ventil öffnen.
• Belohnung: Ein numerisches Signal nach einer Aktion. Sie kann also positiv oder negativ ausfallen.
• Strategie (Policy): Die Regel, die festlegt, welche Aktion in welchem Zustand folgt. In der Praxis ist sie das Hauptergebnis des Lernens.
• Wert: Die gesamte Belohnung, die der Agent ab einem Zustand oder einer Aktion erwartet.

Vor allem das Paar aus Belohnung und Strategie zählt. Die Belohnung kommt von außen und beantwortet die Frage "Wie gut war das?". Die Strategie lebt im Agenten und beantwortet die Frage "Was tue ich jetzt?". Konkret heißt Training, mit dem Belohnungssignal die Strategie Schritt für Schritt zu verbessern.

Was ist Reinforcement Learning und wie funktioniert es Schritt für Schritt?

Zunächst: Reinforcement Learning ist eine Schleife. Die offizielle Gymnasium Dokumentation beschreibt sie so: Der Agent beobachtet die aktuelle Lage, wählt eine Aktion, und die Umgebung antwortet mit einer neuen Lage und einer Belohnung. Dann wiederholt sich der Kreislauf bis zum Ende der Episode.

1. Der Agent setzt die Umgebung zurück und beobachtet den Startzustand.
2. Danach schaut er in seine Strategie und wählt eine Aktion.
3. Danach führt die Umgebung die Aktion aus und liefert den neuen Zustand samt Belohnung.
4. Anschließend nutzt der Agent diese Erfahrung, um seine Strategie oder seine Wertschätzungen anzupassen.
5. Schließlich wiederholt er die Schritte 2, 3 und 4 bis zum Ende der Episode.
6. Somit verbessert sich die Strategie über viele Episoden hinweg.

Eine Episode endet aus zwei Gründen. Die Aufgabe kann mit Erfolg oder Misserfolg enden, was Gymnasium als "terminated" markiert. Oder ein Zeitlimit läuft ab, was als "truncated" gilt. Diese Unterscheidung ist deshalb wichtig, wenn Sie deuten, was der Agent wirklich gelernt hat.

Jede Runde liefert nur eine winzige Lektion. Allerdings durchläuft der Agent die Schleife tausend oder sogar Millionen Mal. Zusammengefasst ergibt die Summe dieser kleinen Lektionen ein starkes Verhalten.

Was bedeuten Return, Wert und Diskontierung?

Ein Agent interessiert sich nicht nur für die nächste Belohnung. Stattdessen betrachtet er die Summe aller Belohnungen, die er künftig sammelt. Dafür gibt es den Begriff Return. Schach ist ein gutes Beispiel: Eine geopferte Figur wirkt heute wie ein Verlust, kann aber nach wenigen Zügen die Partie gewinnen.

Allerdings sind weit entfernte Belohnungen unsicherer als nahe. Deshalb verkleinern viele Verfahren künftige Belohnungen mit einem Diskontfaktor. Konkret macht ein hoher Wert den Agenten geduldig, ein niedriger lässt ihn kurzfristigen Gewinnen nachjagen.

Daher schätzt die Wertfunktion diesen Return. Anders gesagt fragt der Agent: "Wenn ich von diesem Zustand starte, wie viel Belohnung kann ich im Schnitt erwarten?" Mit guten Schätzungen fällt die Wahl der Strategie leichter, denn der Agent steuert in jedem Zustand die vielversprechendste Aktion an.

Sie müssen davon nichts auswendig lernen. Stattdessen zählt die Idee: Der Agent optimiert Zugfolgen, nicht einzelne Züge. Für die Mathematik bleibt das Buch von Sutton und Barto die solideste Quelle.

Was ist die Abwägung zwischen Erkunden und Ausnutzen?

Wählt ein Agent immer die beste bekannte Aktion, findet er vielleicht nie eine bessere. Probiert er dagegen immer zufällig, dann kann er sein Wissen nicht nutzen. Diese Spannung heißt Abwägung zwischen Erkunden (Exploration) und Ausnutzen (Exploitation).

Zum Beispiel mögen Sie Ihr Stammrestaurant. Ein neues Lokal zu testen ist riskant, dennoch finden Sie vielleicht finden Sie etwas viel Besseres. Immer dasselbe Lokal zu wählen ist Ausnutzen, ein neues zu testen ist Erkunden.

In der Praxis fügen wir dem Agenten etwas Zufall hinzu. Zunächst dominiert das Erkunden. Danach steigt mit wachsendem Wissen der Anteil des Ausnutzens. In einem Empfehlungssystem ist es sicher, Nutzern bekannte Inhalte zu zeigen, während ein gelegentlich neues Genre ihre Interessen erweitern kann.

Allerdings kostet Erkunden in der realen Welt etwas. Zum Beispiel kostet ein Roboter, der in der Simulation hunderttausendmal umfällt, nichts. Ein einziger falscher Zug in einer echten Fabrik kann teuer werden. Deshalb erkunden Sie meist in der Simulation.

Denken Sie an einen Regler. Auf der einen Seite liegt der kurzfristige Gewinn, auf der anderen der langfristige. Somit hängt es vom Problem ab, wo der Regler hingehört. Aufgaben mit schnellem Feedback begünstigen die kurze Sicht, langsame Prozesse belohnen den weiten Blick.

Wie unterscheiden sich modellbasiertes und modellfreies Reinforcement Learning?

Diese Trennung fragt, ob der Agent eine innere Landkarte davon baut, wie die Umgebung funktioniert.

• Modellfrei: Der Agent versucht nicht, die Regeln der Umgebung zu entschlüsseln. Stattdessen leitet er direkt aus Erfahrung ab, welche Aktion gut ist. In der Praxis ist das einfach anzuwenden, braucht aber viele Versuche.
• Modellbasiert: Der Agent baut zunächst ein Modell, das vorhersagt, wie die Umgebung reagiert. Danach plant er innerhalb dieses Modells und "stellt sich" Ergebnisse vor, bevor er in der echten Welt handelt.

Der modellbasierte Ansatz braucht weniger echte Versuche und wirkt deshalb in teuren Umgebungen attraktiv. Allerdings sind auch die Pläne falsch, wenn das Modell falsch ist. Der modellfreie Ansatz ist robuster, dafür aber datenhungrig.

In der Praxis mischen echte Projekte oft beide. Ein Agent kann aus echter Erfahrung lernen, während ein kleines Modell die Planung unterstützt. Die Wahl ist also selten schwarz oder weiß; sie hängt davon ab, was jeder Versuch kostet.

Zu Systemen, die ein inneres Modell der Welt aufbauen, lesen Sie unseren Beitrag über World Models. Wir wiederholen das Thema hier nicht; für den Moment genügt es, den Unterschied zu kennen.

Was ist Deep Reinforcement Learning und wo kommen neuronale Netze ins Spiel?

Bei einfachen Problemen passen Zustände und Aktionen in eine kleine Tabelle. Ein Spielbildschirm oder eine Roboterkamera erzeugt dagegen Millionen verschiedener Zustände. Deshalb springen für diese Komplexität neuronale Netze ein.

Beim Deep Reinforcement Learning nimmt ein neuronales Netz ein Bild oder Sensordaten auf und liefert eine Strategie oder eine Wertschätzung. Folglich kann der Agent auch in Zuständen sinnvoll entscheiden, die er nie gesehen hat. Die Grundlagen neuronaler Netze haben wir in unserem Beitrag zu Deep Learning erklärt.

Zum Beispiel ist das bekannteste Beispiel das Spiel Go. Auf der AlphaGo Seite beschreibt DeepMind, dass das System zuerst Partien von Experten studierte und sich dann verbesserte, indem es gegen Versionen seiner selbst spielte. Diese Technik nennt DeepMind Reinforcement Learning.

Kurz gesagt zeigt das Beispiel eine Tatsache: Wo die Regeln klar sind und das Siegkriterium scharf ist, kann Reinforcement Learning sehr stark sein. Bei Geschäftsproblemen mit unscharfen Regeln wäre derselbe Erfolg dagegen unrealistisch.

Allerdings machen tiefe Netze die Arbeit leichter und schwerer zugleich. Wächst das Netz, wird das Training instabil, die Zahl der Einstellungen steigt, und Ergebnisse lassen sich schwerer deuten. Deshalb taucht Deep Reinforcement Learning vor allem in Forschungsteams und bei Projekten mit viel Rechenleistung auf.

Welche Algorithmenfamilien gibt es im Reinforcement Learning?

Sie müssen keine Algorithmennamen auswendig lernen, doch die Logik der Familien hilft. Also lassen sich drei große Familien einfach trennen.

• Wertbasierte Verfahren: Der Agent schätzt für jeden Zustand und jede Aktion den erwarteten Return und wählt die Aktion mit der höchsten Schätzung.
• Strategiebasierte Verfahren: Der Agent entwickelt die Regel "Welche Aktion in welchem Zustand" direkt. Das passt außerdem gut zu kontinuierlichen Aktionen.
• Aktor und Kritiker Verfahren: Ein Teil wählt die Aktion (der Aktor), ein anderer beurteilt die Wahl (der Kritiker). Daher lernen sie gemeinsam meist stabiler.

Alle Familien laufen auf derselben Schleife. Somit liegt der Unterschied darin, welcher Teil das Lernen trägt. Weil sich Versionen und Details oft ändern, prüfen Sie die aktuelle Algorithmenliste in der offiziellen Dokumentation der Bibliothek.

Zunächst genügt es, die Logik einer Familie zu verstehen. Danach fällt der Vergleich mit den anderen deutlich leichter.

Was ist Reinforcement Learning und wie unterscheidet es sich vom überwachten Lernen?

Allerdings werden die Ansätze oft verwechselt. Die folgende Tabelle stellt sie nebeneinander und nimmt das unüberwachte Lernen zur Einordnung dazu.

Kurz gesagt sagt das überwachte Lernen "Das ist die richtige Antwort", während Reinforcement Learning sagt "So gut warst du". Die ersten beiden Ansätze haben wir in unserem Beitrag zum Unterschied zwischen überwachtem und unüberwachtem Lernen ausführlich behandelt.

Allerdings zieht die Tabelle keine harten Grenzen. In der Praxis sind reale Systeme oft Mischformen. Zum Beispiel bereiten Teams ein Sprachmodell zunächst mit überwachtem Lernen vor und schleifen es danach mit Reinforcement Learning nach. Somit ergänzen sich die Ansätze, statt zu konkurrieren.

Wo setzen Teams Reinforcement Learning ein?

Reinforcement Learning glänzt nicht überall, sondern bei bestimmten Problemtypen. Konkret ist der gemeinsame Nenner eine Folge von Entscheidungen und ein Ergebnis, das Sie mit einer Belohnung messen können.

• Spiele: Brettspiele und Videospiele bieten klare Regeln und klare Punkte, daher sind sie ein natürliches Testfeld.
• Robotik: Einen Gegenstand greifen oder einen laufenden Roboter im Gleichgewicht halten beginnt oft in der Simulation.
• Empfehlungssysteme: Den nächsten Inhalt zu wählen ist eine Folgeentscheidung, die langfristiges Interesse berücksichtigen kann.
• Ressourcenplanung: Energieverteilung, Ampelschaltung und Routen im Lager sind aktive Forschungsfelder.
• Feinabstimmung von Sprachmodellen: Teams nutzen es, um Modellantworten näher an menschliche Präferenzen zu bringen.

Denken Sie an ein Beispielszenario. Roboter kommissionieren Artikel in einem Lager und müssen entscheiden, welches Regal sie zuerst anfahren. Jede Entscheidung verändert den nächsten Zustand, also ist das Problem sequenziell. Dann kann eine Simulation Millionen von Aufträgen durchspielen. Daher passt diese Struktur gut zum Reinforcement Learning.

Allerdings muss in jedem Feld die Belohnung gut definiert und das Testen sicher sein. Sonst lernt das System das Falsche.

Wie hilft Reinforcement Learning großen Sprachmodellen?

Teams nutzen Reinforcement Learning, um Höflichkeit und Hilfsbereitschaft von Chat Assistenten abzustimmen. Zunächst schreibt das Modell eine Antwort, ein Belohnungssignal sagt, wie nützlich sie war, und mit der Zeit nähert sich das Modell den bevorzugten Antworten.

Das Verfahren, das menschliche Präferenzen in eine Belohnung übersetzt, heißt RLHF. Wir erklären es hier nicht von Grund auf; Einzelheiten finden Sie in unserem Beitrag über RLHF.

Merken Sie sich einen Punkt. Allerdings sind Sprachmodelle nicht der einzige Einsatz von Reinforcement Learning, sondern nur der sichtbarste. Ein mit menschlichem Feedback abgestimmtes Chatmodell ist nicht dasselbe wie ein Agent, der ein Spiel spielt. Beide teilen zwar die Idee, dass ein Belohnungssignal das Verhalten lenkt. Umgebung, Belohnung und Risiken unterscheiden sich allerdings völlig.

Wie sich das von der Anpassung eines Modells mit zusätzlichen Daten unterscheidet, lesen Sie in unserem Beitrag zu Fine Tuning und LoRA.

Warum ist der Entwurf der Belohnung so schwierig?

Im Reinforcement Learning tut der Agent nicht, was Sie wollen. Stattdessen tut er, was die Belohnung sagt. Ärger beginnt also, wenn beides auseinanderfällt.

DeepMind nennt das Specification Gaming: Das Verhalten erfüllt das Ziel dem Wortlaut nach, erreicht aber nicht das gemeinte Ergebnis. In einem Rennspiel Beispiel auf derselben Seite kreist der Agent und trifft immer wieder Objekte mit Bonusbelohnung, statt das Rennen zu beenden.

Der Agent hat keinen Fehler gemacht. Stattdessen hat er die erhaltene Belohnung sehr gut optimiert. Somit liegt der Fehler bei der Person, die die Belohnung entworfen hat. Deshalb kostet der Entwurf der Belohnung mehr Mühe als die Wahl des Algorithmus.

Denken Sie an einen Support Bot, der für kurze Gespräche belohnt wird. Dann kann er lernen, Chats zu beenden, ohne das Problem zu lösen. Folglich steigt die Zahl, während die Zufriedenheit sinkt. Das ist ein Beispielszenario, doch die Logik ist real.

Zunächst treten drei Probleme häufig auf. Erstens kann eine Belohnung zu selten sein, sodass der Agent nie sieht, was funktioniert. Zweitens kann sie über eine Abkürzung austricksbar sein. Drittens kann sie sich auf eine Kennzahl versteifen und andere wichtige Dinge ignorieren.

Wie senken Sie das Risiko von Reward Hacking?

Keine Methode gibt eine Garantie, aber einige Gewohnheiten senken das Risiko deutlich.

1. Schreiben Sie das Ziel zuerst in einfacher Sprache auf und entwerfen Sie die Belohnung dann so, dass sie diesem Satz treu bleibt.
2. Betrachten Sie mehrere Kennzahlen statt einer Zahl: Qualität ebenso wie Tempo, langfristige Zufriedenheit ebenso wie kurzfristigen Gewinn.
3. Prüfen Sie außerdem Stichproben von Aufzeichnungen mit menschlichen Augen, nicht nur die Punktzahl.
4. Überlassen Sie verbotene oder gefährliche Aktionen nicht der Belohnung, sondern definieren Sie sie separat als harte Grenzen.
5. Testen Sie zunächst in der Simulation und in engem Umfang, erweitern Sie erst danach die Befugnisse.
6. Überwachen Sie auch nach dem Start weiter, weil sich die Bedeutung einer Belohnung ändern kann, wenn sich die Umgebung ändert.

Allerdings reicht keine dieser Gewohnheiten allein. Erst zusammen ergeben sie also Sinn. Vor allem die menschliche Prüfung fängt Auffälligkeiten ab, die automatische Werte übersehen. Außerdem schafft eine Dokumentation des Vorgehens ein gemeinsames Verständnis im Team.

Schutz und Kontrollschichten erklären wir allgemein in unserem Beitrag über KI Guardrails. Sehen Sie ein rechtliches oder ethisches Risiko, beachten Sie: Dieser Beitrag ist keine Rechtsberatung; wenden Sie sich an eine Fachperson.

Ist ein Reinforcement Learning Agent dasselbe wie ein KI Agent?

Nein, auch wenn das gemeinsame Wort Verwirrung stiftet; denn es klingt ähnlich. Im Reinforcement Learning ist ein Agent jeder Entscheider, der Verhalten aus Belohnungen lernt. Im Alltag meint ein "KI Agent" meist Software, in der ein Sprachmodell Werkzeuge nutzt, um eine Aufgabe zu erledigen.

Allerdings schließen sich beide Ideen nicht aus. Ein Agent auf Basis eines Sprachmodells kann mit Reinforcement Learning trainiert sein, muss es aber nicht. Zu Systemen, die in Ihrem Auftrag im Browser arbeiten, lesen Sie unseren Beitrag zum Computer Use KI Agent.

Ein schneller Weg zur Trennung ist daher eine Frage. Erstens: "Welches System lernt aus Belohnung?" führt zum Reinforcement Learning. Zweitens: "Welches System ruft Werkzeuge auf und erledigt Arbeit?" führt zur Agent Software.

Interessiert Sie die Agent Idee für Ihr Unternehmen, brauchen Sie oft einen gut gebauten Werkzeug Ablauf und kein Reinforcement Learning. Die Arbeit unseres Teams dazu finden Sie auf der Seite zur KI Agenten Entwicklung.

Welche Grenzen und Risiken hat Reinforcement Learning?

Trotz beeindruckender Ergebnisse hat das Verfahren ernste Grenzen. Daher setzt, wer sie kennt, setzt realistische Erwartungen.

• Datenhunger: Agenten brauchen oft sehr viele Versuche. Zudem sind Versuche im echten Leben langsam und teuer.
• Simulationslücke: Eine Strategie, die in der Simulation funktioniert, kann sich in der realen Welt unerwartet verhalten.
• Instabiles Training: Zwei Läufe mit denselben Einstellungen können verschiedene Ergebnisse liefern, daher ist Reproduzierbarkeit schwierig.
• Sicherheit: Beim Erkunden kann ein Agent schädliche Aktionen probieren. In physischen Systemen ist das daher ein ernstes Risiko.
• Erklärbarkeit: Zu verstehen, warum eine gelernte Strategie so entschieden hat, kann schwierig sein.

Deshalb sollten Sie Reinforcement Learning als überwachte Komponente eines größeren Systems betrachten, nicht als alleinigen Entscheider bei kritischen Fragen.

Kurz gesagt kommen Stärke und Preis zusammen. Der mögliche Gewinn ist zwar groß, doch Fehlerspielraum und Aufwand sind es ebenfalls. Wer diese Balance früh erkennt, bewahrt ein Projekt vor Enttäuschung.

Was ist Reinforcement Learning nicht? Häufige Irrtümer

Das Thema ist beliebt, deshalb kursieren viele Mythen. Daher korrigieren wir die drei häufigsten.

• "KI bringt sich alles selbst bei." Nein. Der Agent lernt also innerhalb der Belohnung und Umgebung, die Sie festlegen. Den Rahmen baut somit der Mensch.
• "Reinforcement Learning ist die Basis jedes Chatbots." Nein. Stattdessen trainieren Sprachmodelle meist mit anderen Verfahren; Reinforcement Learning kommt nur in bestimmten Phasen hinzu.
• "Je größer die Belohnung, desto besser das Ergebnis." Nein. Entscheidend ist vor allem, ob die Belohnung das Ziel abbildet, nicht wie groß sie ist.

Ein vierter Irrtum lautet, der Agent denke wie ein Mensch. Anders gesagt optimiert der Agent ein numerisches Ziel. Er bildet keine Bedeutung wie wir und kann daher unerwartete Abkürzungen finden. Daher schützt, wer das im Kopf behält, schützt sowohl die eigenen Erwartungen als auch das Sicherheitsdenken.

Was ist Reinforcement Learning für Ihr Unternehmen wert und wann lohnt es sich?

Für die meisten Geschäftsprobleme ist Reinforcement Learning nicht die Antwort. Zum Beispiel lösen Sie Absatzprognosen, E-Mail Klassifikation oder das Lesen von Dokumenten lösen Sie meist günstiger mit überwachtem Lernen und fertigen Modellen.

Reinforcement Learning ergibt Sinn, wenn die meisten dieser Bedingungen zusammentreffen:

• Erstens folgen Entscheidungen aufeinander, und die Wahl von heute verändert die Optionen von morgen.
• Zweitens misst eine klare Zahl den Erfolg, und diese Zahl spiegelt das echte Ziel wider.
• Drittens sind Versuche billig, oder Sie können eine vertrauenswürdige Simulation bauen.
• Sie können viele Wiederholungen sammeln, es gibt also reichlich Rückmeldung.
• Schließlich haben regelbasierte oder klassische Optimierungslösungen nicht ausgereicht.

Fehlen diese Bedingungen, dann wählen Sie einen einfacheren Ansatz. Um eine Kanaländerung mit einem schlichten Experiment zu vergleichen, hilft zum Beispiel unser A/B Test Rechner. Für die Wahl der passenden Lösung besuchen Sie unsere Seite zur KI Beratung.

Sie müssen nicht vor dem ersten Experiment entscheiden. In der Praxis liefert ein kleiner Pilot oft die beste Antwort. Schreiben Sie das Erfolgsmaß zuerst auf und bewerten Sie die Ergebnisse danach. Scheitert der Pilot, dann sehen Sie darin eine günstige Lektion, keine Niederlage.

Welche Checkliste sollten Sie vor einem Reinforcement Learning Projekt durchgehen?

Beginnen Sie das Projekt mit Fragen, nicht mit Code. Diese Liste fasst die Grundfragen zusammen, die unser Team bei ähnlichen Prüfungen stellt.

1. Enthält das Problem wirklich Folgeentscheidungen, oder ist es eine einmalige Vorhersage?
2. Welche Zahl misst den Erfolg, und passt sie zum Ziel?
3. Welche Aktionen darf der Agent wählen, und welche sind verboten?
4. Wo finden die Versuche statt: in der Simulation oder im echten System?
5. Was kostet eine falsche Aktion, und wer kann sie stoppen?
6. Haben Sie das Ganze mit einer sehr einfachen regelbasierten Lösung verglichen?
7. Wer beobachtet die Ergebnisse, wie oft und wie?
8. Gibt es einen Rückfallplan, falls es scheitert?

Können Sie die meisten Fragen nicht klar beantworten, ist somit das Projekt noch zu früh dran. Das heißt nicht aufgeben, sondern zunächst das Problem besser zu definieren.

In der Praxis hilft es, die Liste in einer Besprechung laut vorzulesen. Daher zeigt die Frage, die Sie nicht beantworten können, oft den riskantesten Teil des Projekts. Ohne Klarheit weiterzumachen kann zu einer teuren Überraschung werden.

Wo fangen Sie an, Reinforcement Learning zu lernen?

Der solideste Einstieg ist das Buch Reinforcement Learning: An Introduction von Sutton und Barto. Die offizielle Seite der Autoren stellt das Buch vor, und dort finden Sie die Kernbegriffe am klarsten erklärt.

Für die Praxis bietet die Bibliothek Gymnasium der Farama Foundation einen Standard Spielplatz. Zum Beispiel lassen Sie einen Agenten schnell laufen und beobachten sein Verhalten. Beginnen Sie mit einfachen Umgebungen und steigern Sie dann den Schwierigkeitsgrad.

Außerdem hilft auch eine Gesamtkarte des maschinellen Lernens hilft. Starten Sie bei null, empfehlen wir unseren Einstieg ins Machine Learning für Anfänger.

Gehen Sie außerdem in kleinen Schritten vor. Lassen Sie zunächst einen einzelnen Agenten in einer einzelnen Umgebung laufen. Ändern Sie dann die Belohnung und beobachten Sie, wie sich das Verhalten wandelt. Dieses einfache Experiment zeigt daher am schnellsten, warum der Belohnungsentwurf schwierig ist.

Zum Schluss ein kurzer Hinweis: Die Beispiele in diesem Beitrag sind Beispielszenarien, die das Konzept erklären. Prüfen Sie daher aktuelle Funktionen von Werkzeugen und Bibliotheken stets in der offiziellen Dokumentation.