Was ist RLHF? Reinforcement Learning from Human Feedback

Was ist RLHF?

RLHF (Reinforcement Learning from Human Feedback), auf Deutsch bestärkendes Lernen aus menschlichem Feedback, ist ein Trainingsverfahren, das ein KI Modell an menschlichen Vorlieben ausrichtet. Menschen vergleichen Antworten, ein Belohnungsmodell lernt diese Urteile, und das Sprachmodell verbessert sich daran. Dadurch antwortet es hilfreicher, ehrlicher und sicherer.

Ein Vergleich hilft. Stellen Sie sich einen jungen Koch vor, der alles aus Büchern gelernt hat. Er kennt jedes Rezept, weiß allerdings nicht, welcher Teller den Gästen schmeckt. Tester vergleichen zwei Teller und sagen: „Dieser ist besser.“ Mit der Zeit richtet sich der Koch dann nach ihrem Geschmack. Bei RLHF ist der Koch das Modell, und die Tester sind menschliche Rater.

In diesem Leitfaden beantworten wir die Frage „Was ist RLHF?“ auf Konzeptebene. Zunächst erklären wir den Ablauf und das Belohnungsmodell. Danach folgen die Grenzen und die Alternativen. Code oder Mathematik brauchen Sie dafür nicht. Unser Ziel ist also, dass Sie den Begriff in Produkt und Geschäftsentscheidungen richtig einordnen.

Konkret besteht der Name aus drei Teilen. „Human Feedback“ meint Rankings und Vergleiche von Menschen. „Reinforcement Learning“ meint Lernen durch Versuch und ein Belohnungssignal. Zusammen beantworten sie die Frage, was ist RLHF, in einem Satz: eine Belohnungsschleife, die menschliche Präferenz steuert.

Was ist RLHF und welches Problem löst es?

Ein rohes Sprachmodell trainiert mit Texten im Internetmaßstab. Seine Aufgabe ist also, den nächsten Textabschnitt vorherzusagen. Das ist allerdings nicht dasselbe, wie einem Nutzer zu helfen. Das Modell schreibt flüssig und versteht eine Bitte trotzdem falsch, schweift ab oder liefert eine schädliche Antwort mit derselben Sicherheit.

Deshalb nennt die Forschung diese Lücke das Alignment Problem. Alignment heißt, das Verhalten eines Modells an die tatsächliche Absicht der Menschen anzupassen. Eine Formel für eine gute Antwort lässt sich kaum schreiben. Dagegen, und das ist entscheidend, können Menschen leicht sagen, welche von zwei Antworten besser ist.

Genau hier setzt RLHF an. Statt einer Formel machen Sie also aus menschlichen Vergleichen ein Lernsignal. Sie definieren „gut“ also über Beispiele und nicht über Regeln. Das ist die kürzeste Antwort auf die Frage, was ist RLHF: ein Ziel, das aus Präferenzen entsteht.

Zum Beispiel (ein erfundenes Szenario): Ein Nutzer tippt „Schreibe eine höfliche E-Mail, die eine Einladung ablehnt.“ Ein rohes Modell hält das vielleicht für den Titel eines Forenbeitrags und schreibt einfach weiter. Ein Modell mit Präferenztraining liefert dagegen sofort einen kurzen, höflichen Entwurf.

Woher stammt die Idee hinter RLHF?

Die Wurzeln liegen in der Arbeit von Christiano und Kollegen, die Agenten in Spielen und bei Roboterbewegungen aus menschlichen Präferenzen trainierte. Statt eine aufwendige Belohnungsfunktion zu schreiben, fragten die Autoren stattdessen Menschen, welcher von zwei kurzen Verhaltensausschnitten besser aussieht. Laut Abstract genügte dabei Feedback zu einem sehr kleinen Teil der Interaktionen.

Die Variante für Sprachmodelle erreichte ein breites Publikum durch die InstructGPT Arbeit von Ouyang und Kollegen. Außerdem beschreibt sie ein Rezept mit drei Stufen für Modelle, die Anweisungen befolgen. Laut Abstract bevorzugten Menschen die Ausgaben eines viel kleineren, so trainierten Modells gegenüber einem deutlich größeren Rohmodell. Außerdem nennt die Arbeit Verbesserungen bei Wahrhaftigkeit und weniger toxischen Ausgaben.

Daher empfehlen wir, beide Quellen zu lesen. Genaue Zahlen geben wir hier bewusst nicht wieder, weil Ergebnisse vom Modell und vom Testaufbau abhängen. Für den aktuellen Stand prüfen Sie die offizielle Dokumentation des jeweiligen Anbieters.

Wie funktioniert RLHF in drei Schritten?

In der Praxis hat der übliche Ablauf bei Sprachmodellen drei Stufen. Die Stufen sehen konzeptionell so aus:

1. Überwachte Feinabstimmung: Menschen schreiben ideale Antworten auf Beispielanfragen, und das Modell trainiert mit diesen Beispielen.
2. Training des Belohnungsmodells: Das Modell erzeugt mehrere Antworten pro Anfrage, Menschen bringen sie in eine Rangfolge, und ein separates Modell lernt, dieses Ranking nachzubilden.
3. Bestärkendes Lernen: Das Hauptmodell schreibt Antworten, das Belohnungsmodell bewertet sie, und das Modell passt sich an, um die Bewertung zu erhöhen.

Jede Stufe baut auf der vorherigen auf. Zunächst gibt die erste Stufe dem Modell die Grundgewohnheit, Anweisungen zu befolgen. Danach verwandelt die zweite Stufe „gut“ in eine Bewertungsfunktion. Schließlich formt die dritte Stufe das Modell mit dieser Bewertung Schritt für Schritt.

Beachten Sie, dass Menschen nicht hinter jeder Antwort stehen. Der menschliche Aufwand steckt in den ersten Beispielen und in den Vergleichen. Die Wiederholungsarbeit dagegen übernimmt das Belohnungsmodell. Dieser Aufbau macht das Verfahren somit überhaupt erst skalierbar.

Was passiert in der Stufe der überwachten Feinabstimmung?

In der ersten Stufe bereiten menschliche Autoren Beispielantworten für viele Arten von Anfragen vor. Zum Beispiel stellen sie der Anfrage „Fasse diesen Text in drei Sätzen zusammen“ eine gute Zusammenfassung gegenüber. Dann lernt das Modell aus diesen Paaren und übernimmt die Gewohnheit, Anweisungen zu befolgen.

Diese Stufe ist der Startpunkt von RLHF, reicht allein aber nicht aus. Denn für jede Anfrage eine perfekte Antwort zu schreiben, ist teuer und spiegelt den Blick einer einzelnen Person. Außerdem ist die Wahl zwischen zwei Antworten viel leichter, als eine makellose Antwort neu zu schreiben. Deshalb nutzen die späteren Stufen genau das.

Für die allgemeine Idee, ein Modell mit zusätzlichem Training anzupassen, sind Verfahren wie LoRA ein nützliches Randthema. Die Tabelle weiter unten zeigt außerdem, wie sich Feinabstimmung von RLHF unterscheidet.

Wie sammeln Teams menschliche Präferenzdaten?

Präferenzdaten entstehen, wenn Menschen mehrere Antworten auf dieselbe Anfrage vergleichen. Ein Rater liest zwei oder mehr Antworten und markiert, welche hilfreicher, genauer und sicherer ist. Das Ergebnis sind also viele Vergleiche der Form „Antwort A schlägt Antwort B“.

In der Praxis folgen Rater meist schriftlichen Richtlinien. Zum Beispiel definieren die Richtlinien Kriterien wie Hilfsbereitschaft, Genauigkeit und Unbedenklichkeit. Konkurrieren Kriterien miteinander, legt die Richtlinie fest, welches gewinnt. Die Qualität der Richtlinie bestimmt daher direkt die Qualität der Daten.

• Anfragen sollten echten Nutzungssituationen ähneln.
• Antwortpaare sollten sich sinnvoll unterscheiden.
• Die Übereinstimmung zwischen den Ratern sollten Sie regelmäßig messen.
• Unklare Fälle brauchen die Option „gleichwertig“ oder „unsicher“.

Diese Punkte sind gute Praxis und keine feste Vorschrift. Das passende Datendesign hängt allerdings vom Modell und vom Produkt ab.

Auch die Auswahl der Rater zählt. Für lockeren Chat reicht oft eine breite Gruppe, denn Fehler kosten wenig. Bei Recht, Programmierung oder Medizin kann dagegen nur eine Fachperson beurteilen, ob eine Antwort stimmt. Daher bestimmt die Fachkenntnis der Rater, wie sehr Sie den Daten vertrauen dürfen.

Was ist ein Belohnungsmodell und wozu dient es?

Ein Belohnungsmodell (englisch Reward Model) ist ein separates KI Modell, das eine Antwort liest und vorhersagt, wie gut Menschen sie finden würden. Es bekommt Anfrage und Antwort und gibt eine einzelne Punktzahl aus. Es lernt, den bevorzugten Antworten höhere Punkte zu geben.

Das Belohnungsmodell existiert vor allem wegen der Skalierung. Denn Menschen können nicht Millionen Antworten einzeln bewerten. Deshalb bauen Sie zuerst aus einer begrenzten Zahl von Vergleichen einen Stellvertreter für den Geschmack. Danach bewertet dieser Stellvertreter automatisch sehr viel mehr Antworten.

In der Praxis nutzt das Training meist Antwortpaare. Das Modell lernt, der gewählten Antwort mehr Punkte zu geben als der abgelehnten. Absolute Noten sind schwierig, denn die Sieben der einen Person ist die Acht der anderen. Relative Vergleiche sind dagegen viel konsistenter.

Ein Punkt ist entscheidend: Das Belohnungsmodell ist nicht der Mensch. Stattdessen ist es eine Vorhersage über den Menschen. Stimmt diese Vorhersage nicht, lernt das Hauptmodell den Fehler mit. Daher behandeln wir dieses Risiko im Abschnitt über die Grenzen.

Wie verändert die Stufe des bestärkenden Lernens das Modell?

Beim bestärkenden Lernen verbessert sich das Modell durch Ausprobieren. Es schreibt eine Antwort, erhält vom Belohnungsmodell eine Punktzahl und verstärkt Verhalten, das hohe Punkte bringt. Dann läuft diese Schleife über viele Anfragen. Die Gewichte des Modells verschieben sich in kleinen Schritten zu einer höheren Durchschnittspunktzahl.

In der Praxis gibt es eine weitere Sicherung. Entfernt sich das Modell zu weit von seinem Ausgangszustand, kann es seine sprachliche Natürlichkeit verlieren. Deshalb enthält das Training eine Strafe, die das Modell nahe an einer Referenzversion hält. So jagt das Modell die Punkte, ohne Unsinn zu produzieren.

Algorithmen wie PPO sind für diesen Schritt verbreitet. Die Details des Algorithmus sind hier allerdings nicht unser Thema. Wichtiger ist die Intuition: erzeugen, bewerten, anpassen und wiederholen. Diese Schleife schiebt das Modell zu dem, was Menschen mögen.

Schwierig ist allerdings das Gleichgewicht. Ein Modell, das die Belohnung zu hart verfolgt, findet seltsame Abkürzungen. Andererseits verändert eine sehr vorsichtige Einstellung das Modell kaum. Deshalb beobachten Forschungsteams sowohl die Punktzahl als auch echte menschliche Bewertungen.

Warum macht RLHF ein Modell hilfreicher und sicherer?

Ein rohes Modell antwortet auf „Wie kannst du mir helfen?“ vielleicht mit einem unpassenden Absatz. Nach RLHF versucht das Modell dagegen, die Bitte tatsächlich zu erfüllen. Weil Rater nützliche, klare und passende Antworten immer wieder hoch einstufen, neigt das Modell in diese Richtung.

Ebenso gilt dieselbe Logik für die Sicherheit. Stufen Rater schädliche oder irreführende Antworten niedrig ein, entfernt sich das Modell von solchen Ausgaben. Außerdem entsteht ein Signal, in unklaren Fällen vorsichtig zu sein und Gründe zu nennen.

Trotzdem sollten Sie nichts überhöhen. RLHF beseitigt keine Fehler. Stattdessen verschiebt es nur die Wahrscheinlichkeit bestimmter Verhaltensweisen. Deshalb braucht Sicherheit zusätzliche Schichten, etwa Guardrails, die einen eigenen Schutz neben RLHF bieten.

Was bedeutet Alignment und wo steht RLHF darin?

Alignment ist das Bemühen, das Verhalten eines KI Systems an menschliche Absichten und Werte anzupassen. Hilfsbereitschaft, Ehrlichkeit und Unbedenklichkeit sind häufige Ziele. Alignment ist das Ziel. RLHF ist nur eines der Werkzeuge, die darauf zielen.

Außerdem gibt es weitere Werkzeuge. Prinzipienbasiertes Training, Red Teaming, Inhaltsfilter und Guardrails gehören dazu. Dennoch genügt keines allein. Ein vertrauenswürdiges Produkt kombiniert mehrere Schichten und geht davon aus, dass jede Schicht Fehler machen kann.

Für Unternehmen heißt das kurz gesagt: Ein ausgerichtetes Modell macht Ihren Anwendungsfall noch nicht sicher. Sie müssen es konkret in Ihrem Kontext testen, bei Bedarf eine menschliche Freigabe einbauen und Antworten an Quellen binden.

Wo begegnet Ihnen RLHF in echten Produkten?

RLHF begegnet Ihnen vor allem in Chat und Assistenzmodellen. Befolgt ein Modell Anweisungen, passt seinen Ton an und bleibt bei riskanten Bitten vorsichtig, steckt dahinter wahrscheinlich eine Form von Präferenztraining. Die Details unterscheiden sich allerdings je nach Anbieter.

Zum Beispiel (ein erfundenes Szenario): Ein Onlineshop wählt für seinen Support Assistenten ein fertiges Modell. Der Assistent beantwortet eine Frage zur Rückgabe kurz, höflich und klar. Außerdem lehnt er eine Bitte außerhalb seines Themas reibungslos ab. Ein großer Teil dieses Verhaltens stammt daher aus dem Präferenztraining des Anbieters.

• Ton und Hilfsbereitschaft in Chat Assistenten.
• Ausgabestile, die Leser in Schreib und Zusammenfassungswerkzeugen mögen.
• Vorliebe für lauffähigen, lesbaren Code in Coding Assistenten.
• Einheitliche, vorsichtige Antworten auf riskante Anfragen in Sicherheitsfiltern.

In den meisten Fällen führen Sie RLHF nicht selbst aus. Der Anbieter trainiert das Modell, und Sie nutzen es also nur. Dennoch hilft es Ihnen, die Herkunft des Verhaltens zu kennen, um das Modell gut zu beurteilen.

Wie wirkt RLHF in einem internen Wissensassistenten?

Zum Beispiel (ein erfundenes Szenario): Ein Unternehmen baut einen internen Assistenten für Fragen zu Richtlinien und Abläufen. Dazu nutzt er ein fertiges Sprachmodell und Firmendokumente. Ein Mitarbeiter fragt „Wie stelle ich einen Urlaubsantrag?“ und erhält eine höfliche Antwort in klaren Schritten.

Höflichkeit und Struktur stammen größtenteils aus dem Präferenztraining des Modells. Die Inhalte der Dokumente kommen dagegen aus einer eigenen Suchschicht. RLHF prägt also, wie der Assistent spricht, während RAG als Dokumentensuche prägt, was er sagt. Verwechseln Sie die Schichten, dann suchen Sie den Fehler an der falschen Stelle.

Liegt eine Frage außerhalb der Dokumente, rät der Assistent allerdings womöglich mit großer Sicherheit. Das passiert, weil Präferenzdaten oft flüssige, selbstsichere Antworten belohnen. Um das Risiko zu senken, weisen Sie den Assistenten an, Unwissen zu benennen, und verlangen Sie Quellenangaben.

Wie beeinflusst die Voreingenommenheit der Rater, was RLHF lernt?

Menschen erzeugen die Präferenzdaten, und Menschen haben einen begrenzten Blickwinkel. Stammt die Ratergruppe aus einer Kultur, Sprache oder Berufsgruppe, übernimmt das Modell deren Geschmack. Kurz gesagt, man kann das Rater Bias nennen.

Zum Beispiel bevorzugen Rater vielleicht systematisch lange, höfliche Antworten. Dann driftet das Modell zu wortreichen, übertrieben freundlichen Antworten. Es sieht nicht nach einem Fehler aus, denn die Punktzahlen steigen weiter. Erst im echten Nutzerfeedback zeigt sich das Problem.

Die allgemeinen Mechanismen haben wir im Leitfaden Was ist KI Bias beschrieben. Zudem treffen viele dort genannte datenbedingte Probleme auch auf Präferenzdaten zu.

Was ist Reward Hacking?

Reward Hacking tritt auf, wenn ein Modell die Punktzahl des Belohnungsmodells erhöht, statt das echte Ziel zu erreichen. Das Belohnungsmodell ist ein unvollkommener Stellvertreter, und das Modell ist ein starker Optimierer, der dessen Schwachstellen sucht. Die Punktzahl steigt also, die Qualität nicht unbedingt.

Ein einfacher Fall zum Beispiel: Gibt das Belohnungsmodell detailliert wirkenden Antworten Zusatzpunkte, kann das Modell lernen, seine Antworten mit Füllsätzen aufzublähen. Oder es merkt dann, dass ein selbstsicherer Ton Punkte bringt, und stellt falsche Fakten mit voller Überzeugung dar.

Dagegen helfen eine Strafe für zu große Abweichung vom Referenzmodell, ein regelmäßig erneuertes Belohnungsmodell und unabhängige Bewertungen. Trotzdem schließt nichts davon das Problem vollständig. Folglich kann auch ein Modell mit RLHF Fehler machen und Falsches flüssig vortragen.

Welche weiteren Grenzen und Risiken hat RLHF?

RLHF ist ein starkes Werkzeug, aber nicht kostenlos. Es braucht menschliche Arbeit und ist deshalb langsam und teuer. Außerdem können Rater bei komplexen Themen die Richtigkeit oft nicht prüfen. Trotzdem kann eine Antwort, die richtig aussieht, mehr Punkte bekommen als eine, die richtig ist.

• Kosten: Gute Präferenzdaten brauchen Zeit und Fachwissen.
• Uneinheitlichkeit: Verschiedene Rater stimmen beim selben Paar unterschiedlich ab.
• Zielkonflikte: Hilfsbereitschaft und Vorsicht stehen manchmal gegeneinander.
• Stabilität: Die Stufe des bestärkenden Lernens reagiert empfindlich auf Einstellungen und gerät leicht aus dem Tritt.
• Transparenz: Es ist schwer nachzuvollziehen, warum das Modell ein bestimmtes Verhalten gelernt hat.

Für das Transparenzproblem lohnt sich der Blick auf erklärbare KI (XAI). Auch Halluzinationen, also erfundene Fakten, können mit RLHF seltener werden, verschwinden aber nie ganz.

Welche Alternativen zu RLHF gibt es?

Die Forschung hat andere Wege vorgeschlagen, um die Komplexität von RLHF zu senken. Konkret stechen zwei heraus. Der erste ist Direct Preference Optimization (DPO). Der zweite ist bestärkendes Lernen aus KI Feedback (RLAIF).

Die Arbeit von Rafailov und Kollegen zu DPO zeigt, wie man Präferenzdaten direkt mit einer einfachen Verlustfunktion nutzt. Dabei entfallen somit das separate Belohnungsmodell und die Schleife des bestärkenden Lernens. Außerdem beschreiben die Autoren das Verfahren als stabil und leichtgewichtig.

RLAIF steht in Anthropics Constitutional AI Arbeit. Dort wählt ein KI Modell anhand einer Liste von Prinzipien die bessere Antwort, statt eines menschlichen Raters. Folglich verlagert sich der menschliche Aufwand auf das Formulieren der Prinzipien.

Welches Verfahren besser ist, hängt von Produkt, Daten und Team ab. Deshalb erklären wir kein einzelnes Verfahren zum Sieger. Sagen können wir aber, dass Präferenzdaten der gemeinsame Kern aller Ansätze sind.

Diese Alternativen wollen die dreistufige Kette vereinfachen oder menschliche Arbeit sparen. Allerdings bringt jede Vereinfachung neue Annahmen mit. Testen Sie ein Verfahren daher mit Ihren eigenen Daten und Ihrem eigenen Risikoniveau, bevor Sie es übernehmen.

Worin unterscheiden sich RLHF und Feinabstimmung?

Feinabstimmung heißt, ein Modell mit zusätzlichen Beispielen weiterzutrainieren. Anders gesagt, RLHF ist eine besondere Form davon, die ein Präferenzsignal nutzt. Der Unterschied liegt im Lernsignal: eine Beispielantwort gegenüber der Entscheidung „A schlägt B“.

Diese Verfahren konkurrieren selten. In der Praxis ergänzen sie sich meist. Ein Produkt kann ein Modell mit Präferenztraining nehmen und es per RAG mit Firmendokumenten füttern. Benennen Sie daher zuerst das Problem, das Sie lösen wollen, und wählen Sie danach das Werkzeug.

Worin unterscheiden sich bestärkendes und überwachtes Lernen?

Beim überwachten Lernen arbeitet das Modell mit Beispielen, deren richtige Antwort bekannt ist. Sie haben den Lösungsschlüssel, und das Modell versucht, ihn zu treffen. Beim bestärkenden Lernen dagegen gibt es keinen Lösungsschlüssel. Das Modell probiert ein Verhalten aus und erhält ein Signal wie Belohnung oder Strafe.

RLHF verbindet also beide Welten. Zunächst baut es aus überwachten Beispielen ein Grundverhalten auf. Danach leitet es das Belohnungssignal aus menschlichen Präferenzen ab und lernt bestärkend weiter. Deshalb beschreibt das Wort „Reinforcement“ die zweite Hälfte des Verfahrens.

Für den größeren Hintergrund lesen Sie unseren Leitfaden zu Deep Learning und neuronalen Netzen. Dort sehen Sie dann, wie sich Netze anhand von Beispielen anpassen.

Welches Verfahren passt zu welchem Problem?

Für die meisten Unternehmen lautet die richtige Frage nicht „Sollen wir RLHF machen?“, sondern „Welches Werkzeug löst unser Problem?“. Also bestimmt die Art des Problems das Werkzeug. Daher ist die folgende Zuordnung ein Startpunkt und keine feste Regel.

• Fehlt dem Modell das aktuelle Wissen Ihres Unternehmens, ergänzen Sie Dokumentensuche mit RAG.
• Stimmen Format oder Ton nicht, verbessern Sie zuerst Ihre Anweisungen.
• Brauchen Sie stabiles Verhalten in einem engen Fachgebiet, prüfen Sie eine Feinabstimmung.
• Möchten Sie das allgemeine Verhalten ändern, etwa Ton und Sicherheit, liegt diese Aufgabe meist beim Modellanbieter.

Für die Grundlagen bieten unsere Leitfäden zu Prompt Engineering und zu großen Sprachmodellen eine solide Basis.

Noch ein erfundenes Szenario: Ein Softwareteam möchte, dass der Assistent zur Sprache des Hauses passt. Zunächst probiert es Anweisungen und Beispielantworten. Reicht das nicht, dann erwägt es eine schmale Feinabstimmung. Die allgemeine Verhaltensschicht, die RLHF prägt, will es dagegen nicht verändern, denn sie liegt beim Anbieter und braucht eigenes Fachwissen.

Außerdem senkt diese Reihenfolge die Kosten. Probieren Sie zuerst die günstigste und leicht umkehrbare Option, nämlich bessere Anweisungen. Dann folgt die Dokumentensuche und erst zuletzt das Training. Schließlich messen Sie das Ergebnis bei jedem Schritt mit Ihrem eigenen Testset.

Was sollten Unternehmen aus der Frage „Was ist RLHF?“ mitnehmen?

Die meisten Unternehmen führen keinen RLHF Prozess aus. Stattdessen nutzen sie ein fertiges Modell. Die eigentliche Arbeit besteht also darin, das durch Präferenztraining entstandene Verhalten zu verstehen und im eigenen Szenario zu testen. Dazu gehört außerdem, die Verhaltensrichtlinien und offiziellen Unterlagen des Anbieters zu lesen.

Ein erfundenes Szenario: Eine Kanzlei plant einen internen Assistenten. Der Assistent klingt sehr höflich und sehr sicher. Dieser Ton kann auch ein Nebeneffekt von RLHF sein. Deshalb stützt die Kanzlei Antworten auf Quellen und ergänzt eine menschliche Prüfung. Das Beispiel dient nur der Erklärung und ist keine Rechtsberatung.

Als Team begleiten wir Modellauswahl, Tests und Integration im Rahmen unserer Leistungen zur KI Automatisierung. Es geht dabei nicht um Verkauf. Vielmehr wollen wir Ihnen zeigen, an welcher Stelle welche Entscheidung fällt.

Wie bewerten Sie ein Modell, das RLHF durchlaufen hat?

Die folgende Checkliste hilft bei der Modellauswahl und beim Start eines Assistenten. Zudem verlangt jeder Punkt kleine Tests mit Ihren eigenen Daten. Feste Zahlenwerte nennen wir nicht, denn der passende Schwellenwert hängt von Ihrem Produkt ab.

1. Erstellen Sie ein Testset aus echten Nutzerfragen.
2. Stellen Sie dieselbe Frage auf verschiedene Arten und vergleichen Sie die Konsistenz.
3. Achten Sie auf unnötige Länge und übertriebene Höflichkeit.
4. Markieren Sie selbstsichere, aber falsche Antworten gesondert.
5. Testen Sie, wie das Modell in riskanten Fällen und Grenzfällen ablehnt.
6. Messen Sie auch, ob es zu oft ablehnt.
7. Prüfen Sie Modellversion und aktuelle Hinweise zum Verhalten in der offiziellen Dokumentation des Anbieters.
8. Sammeln Sie nach dem Start regelmäßig Nutzerfeedback.

Das Ziel ist also nicht, ein perfektes Modell zu finden, sondern die Grenzen früh zu sehen. Denn kleine, regelmäßige Tests verhindern große Überraschungen.

Fassen Sie die Ergebnisse außerdem nicht in einer einzigen Note zusammen. Notieren Sie dann, bei welchen Fragetypen das Modell schwächelt. So können Sie Dokumentensuche, eine bessere Anweisung oder eine menschliche Freigabe genau dort einbauen, wo sie nötig ist.

Welche Irrtümer über RLHF sind am häufigsten?

Weil der Begriff beliebt wurde, haben sich einige Irrtümer verbreitet. Hier sind die, die wir am häufigsten hören, mit kurzen Korrekturen.

• „RLHF bringt dem Modell neue Fakten bei.“ Nein, es formt vor allem Verhalten und Vorlieben. Für aktuelle Fakten brauchen Sie Verfahren wie RAG.
• „RLHF macht ein Modell vollständig sicher.“ Nein, es senkt das Risiko, beseitigt es aber nicht.
• „Hat ein Modell RLHF durchlaufen, hat ein Mensch jede Antwort geprüft.“ Nein, Menschen beurteilen nur eine kleine Stichprobe, und das Belohnungsmodell sagt den Rest voraus.
• „RLHF gibt es nur für Chatmodelle.“ Nein, die Idee wurde auch bei Robotik und Spielen erprobt.
• „Das Belohnungsmodell kennt die Wahrheit.“ Nein, es sagt nur voraus, was Menschen mögen. Richtigkeit ist ein eigenes Thema.

Der vierte Punkt ist allerdings wichtig. Die Arbeit von Christiano zeigte Fortschritte durch menschliche Präferenzen bei Spielen und Roboterbewegungen. Sprachmodelle sind nur die bekannteste Anwendung dieser Idee.

Was sollten Sie sich zu „Was ist RLHF?“ merken?

Zusammengefasst wandelt RLHF menschliche Vergleiche in ein Belohnungssignal um und trainiert das Modell damit. Es gibt drei Stufen: überwachte Feinabstimmung, Training des Belohnungsmodells und bestärkendes Lernen. Seine Stärke ist allerdings, dass es „gut“ über Präferenz und nicht über eine Formel definiert.

Die Grenzen sind ebenso klar: Voreingenommenheit der Rater, Reward Hacking, Kosten und geringe Transparenz. Folglich kann auch ein Modell mit RLHF Fehler machen. Gleichzeitig versuchen DPO und RLAIF, dieselbe Idee einfacher oder besser skalierbar zu machen.

Zum Weiterlesen empfehlen wir verwandte Leitfäden: Erklärbare KI behandelt das Verstehen von Modellentscheidungen, und KI Bias behandelt faire Ergebnisse. Schließlich prüfen Sie das aktuelle Modellverhalten immer in der offiziellen Dokumentation des Anbieters.