Was ist ein Small Language Model (SLM)? Unterschied zu LLMs

Was ist ein Small Language Model?

Ein Small Language Model (SLM) ist ein Sprachmodell mit deutlich weniger Parametern als ein großes Sprachmodell. Es konzentriert sich auf bestimmte Aufgaben und arbeitet günstig und schnell. Es liest, sortiert und schreibt Texte, versucht aber nicht, alles zu wissen. Eine enge Aufgabe löst es also gut.

In diesem Beitrag beantworten wir die Frage "Was ist ein Small Language Model?" auf der Ebene des Konzepts. Zunächst sehen Sie die Definition und einen Vergleich aus dem Alltag. Danach zeigen wir, wie Teams solche Modelle gewinnen, wo sie glänzen, wo sie an Grenzen stoßen und wie Sie sie mit einem großen Modell kombinieren.

Ein Hinweis vorab: Wir nennen bewusst keine Modellnamen, Versionen, Parameterzahlen oder Preise. Solche Angaben veralten nämlich schnell, daher nennen wir sie nicht. Prüfen Sie aktuelle Werte deshalb in der offiziellen Dokumentation des Anbieters.

Was ist ein Small Language Model, anschaulich erklärt?

Stellen Sie sich ein großes Sprachmodell wie eine komplette Enzyklopädie vor. Ein Small Language Model gleicht dagegen einem Fachhandbuch, das in Ihre Jackentasche passt. Die Enzyklopädie deckt jedes Thema ab, ist aber schwer und langsam zu durchsuchen. Das Handbuch deckt ein Thema ab, antwortet dafür aber schnell und praxisnah.

Ein zweiter Vergleich: Eine Allgemeinärztin weiß ein bisschen über alles, ein Facharzt kennt ein Gebiet sehr genau. Zum Beispiel verhält sich ein kleines Modell wie der Spezialist in Ihrem Team.

Daraus folgt allerdings ein wichtiger Punkt für Ihre Entscheidung. Ein kleines Modell ist keine billige Kopie eines großen. Es weiß weniger, liefert bei der passenden Aufgabe aber gute Ergebnisse mit einem Bruchteil der Ressourcen. Also sollte die Aufgabe Ihre Wahl bestimmen und nicht der Hype.

Wie funktioniert ein Small Language Model?

Ein kleines Modell beruht auf derselben Grundidee wie sein großer Verwandter. Es zerlegt Text in Bausteine, sogenannte Tokens, lernt die Beziehungen zwischen diesen Bausteinen und sagt den nächsten Baustein voraus. Daraus entsteht dann Wort für Wort die Antwort. Die Architektur ist meist ähnlich, der Unterschied liegt im Maßstab.

Ein kleines Modell hat weniger Schichten, eine geringere innere Breite und insgesamt weniger lernbare Werte. Deshalb passt es leichter in den Speicher. Außerdem braucht jede Antwort weniger Rechenarbeit, sodass sie schneller eintrifft.

Wie leistet ein Modell mit weniger Kapazität trotzdem Gutes? Die Antwort liegt in den Daten und im Training, denn Qualität schlägt hier Menge. Teams trainieren kleine Modelle meist mit sorgfältig gefilterten, bereinigten Daten, die nah an der Zielaufgabe liegen. Manche lernen zudem aus Beispielen, die ein größeres Modell geschrieben hat.

Kurz gesagt folgt ein SLM dem Prinzip "weniger, aber sauberer". Es verzichtet auf breites Allgemeinwissen und gewinnt Tempo, niedrige Kosten und Kontrolle. Dieser Kompromiss bestimmt daher seine Einsatzfelder.

Wie kommt man an ein Small Language Model?

Zwei Wege führen zu einem kleinen Modell: Sie trainieren es von Anfang an klein, oder Sie verdichten ein größeres. In der Praxis kombinieren Teams mehrere Verfahren. Jedes Verfahren hat einen eigenen Beitrag bei uns, daher fassen wir hier nur die Rolle zusammen.

• Destillation: Ein großes Lehrermodell gibt sein Wissen an ein kleines Schülermodell weiter. Konkret übernimmt der Schüler Antworten und Denkspuren des Lehrers. Details finden Sie im Beitrag zu Knowledge Distillation.
• Quantisierung: Sie speichern die inneren Werte des Modells mit weniger genauen Zahlen. Dadurch sinkt der Speicherbedarf, und das Modell läuft schneller. Mehr dazu lesen Sie bei Quantisierung.
• Beschneiden: Sie entfernen Verbindungen, die kaum zur Ausgabe beitragen. Das Modell wird schlanker, die Qualität müssen Sie aber im Blick behalten.
• Gezielte Daten: Sie trainieren mit sauberen Beispielen, die zu Ihrer Aufgabe passen. Datenqualität wiegt nämlich oft schwerer als Datenmenge.

Ein technischer Bericht von Microsoft Forschenden zeigt diese Idee anschaulich. Laut Bericht bleibt ein kleines Modell, das auf gefilterten Webdaten und synthetischen Daten lernt, leicht genug für den lokalen Betrieb auf einem Telefon und kommt dennoch in die Nähe viel größerer Modelle. Die Einzelheiten lesen Sie am besten im Original: technischer Bericht zu einem kleinen Modell (arXiv).

Warum werden kleine Modelle immer wichtiger?

Ein großes Modell kann fast alles, aber jede Aufgabe kostet. Wer täglich Tausende kurze Nachrichten sortieren will und dafür das größte Modell ruft, fährt mit dem Lastwagen zum Bäcker um die Ecke. Kleine Modelle beenden also diese Verschwendung.

Vier Gründe stechen heraus:

• Kosten: Weniger Rechenleistung bedeutet einen niedrigeren Preis pro Anfrage.
• Antwortzeit: Antworten kommen früher, sodass Nutzer nicht warten.
• Datenschutz: Läuft das Modell auf Ihrem Server oder Gerät, bleiben die Daten in Ihrer Umgebung.
• Energie: Weniger Rechenarbeit senkt den Stromverbrauch.

Außerdem lassen sich kleine Modelle leichter steuern. Zum Beispiel können Sie eine Version festhalten, die Ausgabe testen und das Verhalten vorhersagen. In produktiven Systemen zählt diese Verlässlichkeit ebenso viel wie rohe Intelligenz.

Worin unterscheiden sich SLM und großes Sprachmodell (LLM)?

Zunächst gehören beide Modelltypen zur selben Familie. Allerdings unterscheiden sie sich in Größe, Kosten und Zweck. Die folgende Tabelle vergleicht allgemeine Tendenzen und hilft bei der Entscheidung. Genaue Werte hängen daher von Anbieter und Aufgabe ab.

Die Lehre aus der Tabelle ist schlicht: Kein Modell gewinnt überall, aber für jede Aufgabe passt eines. Offene, mehrstufige oder wissensintensive Aufgaben sprechen für ein LLM. Andererseits sprechen wiederkehrende, klar definierte Aufgaben mit hohem Volumen oft für ein SLM. Die Seite der großen Modelle beleuchten wir im Beitrag über große Sprachmodelle.

Für welche Aufgaben eignet sich ein Small Language Model?

Ein SLM arbeitet am besten, wenn die Ausgabe begrenzt und leicht zu prüfen ist. Je klarer Sie die Aufgabe beschreiben, desto zuverlässiger arbeitet das kleine Modell. Die vier Aufgaben unten sehen wir in der Praxis am häufigsten.

• Klassifizierung: Sie ordnen eine eingehende Nachricht Kategorien zu, zum Beispiel Rechnung, Technik oder Rückgabe.
• Weiterleitung: Sie schicken eine Frage an das richtige Team, Werkzeug oder Modell.
• Formulardaten auslesen: Sie machen aus Freitext strukturierte Felder wie Name, Datum oder Bestellnummer.
• Assistent auf dem Gerät: Sie bearbeiten kurze Befehle und Zusammenfassungen auf dem Telefon oder Laptop ohne Internetverbindung.

Diese Aufgaben haben außerdem etwas gemeinsam. Die Antwort ist eine kurze, gemusterte Ausgabe und keine lange Gedankenkette. Deshalb ist ein kleines Modell hier schnell und gut genug. Binden Sie die Ausgabe zusätzlich an ein festes Schema, steigt die Verlässlichkeit weiter.

Dazu ein einfacher Test, denn viele Teams fragen danach. Wenn Sie einem Menschen die Aufgabe mit einem kurzen Merkzettel beibringen können, lernt sie ein kleines Modell wahrscheinlich auch. Zum Beispiel passt die Einordnung einer Nachricht als Beschwerde oder Frage auf eine Karte. Risikoklauseln in einem Vertrag zu bewerten, erfordert dagegen lange Fachkenntnis.

Was ist ein Small Language Model in der Praxis? Ein Beispielszenario

Das folgende Beispielszenario ist frei erfunden und kein echtes Kundenergebnis. Stellen Sie sich einen Onlineshop vor, dessen Kundenservice jeden Tag viele Nachrichten erhält. Die meisten fragen dann nach Bestellstatus, Rückgabe und Versand.

Zunächst schickt der Shop jede Nachricht an ein großes Modell. Die Ergebnisse stimmen, allerdings schmerzen Kosten und Wartezeit. Dann übernimmt ein kleines Modell eine enge Rolle: Es ordnet nur die Kategorie zu und liest die Bestellnummer aus.

Folglich landen Routinenachrichten binnen Sekunden in der richtigen Warteschlange. Komplizierte oder verärgerte Nachrichten gehen an einen Menschen oder an das große Modell. Der Shop gewinnt Tempo und spart Kosten, ohne an Qualität zu verlieren.

Der Kniff an diesem Aufbau: Das kleine Modell bekommt nur die leichte Arbeit. Schwere Fälle laden Sie ihm deshalb nie auf. Wenn Sie einen solchen Ablauf an Ihre Systeme anpassen möchten, finden Sie unsere Leistungen zur KI Automatisierung hilfreich.

Wie nutzen Sie ein kleines Modell als Assistent auf dem Gerät?

Vor allem der Betrieb auf dem Gerät ist das eindrucksvollste Einsatzgebiet. Läuft das Modell auf dem Telefon oder Laptop, verlässt Ihre Nachricht das Gerät nicht. Es arbeitet also ohne Internet, die Antwortzeit sinkt, und die Daten bleiben lokal.

Typische Beispiele sind Rechtschreibkorrektur, kurze Zusammenfassungen, Antwortvorschläge und die Umsetzung eines Sprachbefehls in eine Aktion. Für diese Aufgaben brauchen Sie also kein enzyklopädisches Wissen. Tempo und Verlässlichkeit zählen mehr.

Natürlich gibt es allerdings Grenzen. Speicher, Akku und Prozessor des Geräts begrenzen die Modellgröße. Darum kommen dann Verfahren zur Verdichtung ins Spiel. Die Hardware und Architektur haben wir im Beitrag über Edge AI und KI auf dem Gerät behandelt, daher wiederholen wir sie hier nicht.

Ein kleines Modell auf dem eigenen Server folgt einer ähnlichen Logik. Den Weg zur Einrichtung zeigt unsere Anleitung für Modelle auf dem eigenen Server Schritt für Schritt.

Welche Grenzen haben Small Language Models?

Wer die Schwächen früh kennt, erlebt daher weniger Enttäuschungen. Zwei Grenzen stechen hervor: Allgemeinwissen und langes Schlussfolgern. Denn mit weniger Parametern bleibt auch weniger Wissen im Modell.

• Allgemeinwissen: Bei seltenen Themen, aktuellen Ereignissen und Detailfakten kann es falsch oder leer antworten.
• Langes Schlussfolgern: Außerdem fallen ihm mehrstufige Logik, komplexe Planung und lange Dokumente schwer.
• Vage Anfragen: Beschreiben Sie die Aufgabe unklar, antwortet es uneinheitlich.
• Sprachabdeckung: In manchen Sprachen und Fachgebieten bleibt die Abdeckung schmal, daher testen Sie immer in Ihrer eigenen Sprache.

Das Problem der Halluzination, das auch große Modelle kennen, tritt bei kleinen oft deutlicher auf. Der Grund ist einfach, denn dem Modell steht weniger Wissen zur Verfügung. Überlassen Sie bei faktenlastigen Aufgaben ein kleines Modell deshalb nicht sich selbst. Stützen Sie es mit einer RAG (Retrieval Augmented Generation) Schicht, die die Fakten von außen holt.

Zusammengefasst glänzt ein SLM innerhalb seiner Grenzen. Treiben Sie es dagegen darüber hinaus, sinkt die Qualität auf eine Weise, die man schwer bemerkt.

Wie kombinieren Sie große und kleine Modelle?

Der klügste Ansatz lautet selten "klein oder groß". Stattdessen verbinden Sie beide in einem gestuften Ablauf. Das kleine Modell steht als Empfang an der Tür, das große Modell als erfahrener Experte für die schweren Fälle.

Konkret steht im Zentrum dieses Ablaufs der Router. Ein Router schaut sich eine eingehende Anfrage an und entscheidet, welches Modell sie übernimmt. Einfache Anfragen gehen also an das kleine Modell, schwierige an das große.

Der Router selbst ist oft ein kleines Modell oder ein Satz einfacher Regeln. Entscheiden ist schließlich leichter als eine Antwort zu schreiben. So rufen Sie das große Modell nur dann, wenn Sie es wirklich brauchen.

Diese Kombination hat einen weiteren Vorteil: Sie verteilen das Risiko. Irrt sich das kleine Modell, dann kann eine Prüfung am Eingang das auffangen. Verlangsamt sich das große Modell, dann arbeitet das kleine weiter. Somit hängen Sie nicht an einem einzigen Punkt, und das System wird robuster.

In der Praxis arbeiten in solchen Aufbauten oft mehrere KI Werkzeuge zusammen und reichen Aufgaben weiter. Wie Agenten miteinander sprechen, erklärt unser Beitrag zum A2A Protokoll. Zum Aufruf von Werkzeugen lesen Sie den Beitrag zu Function Calling.

Wie bauen Sie einen Weiterleitungsablauf Schritt für Schritt auf?

Auf der Ebene des Konzepts bleibt die Weiterleitung zudem einfach. Die folgende Reihenfolge liefert ein Grundgerüst, das für viele Unternehmen taugt. Denn wer bei jedem Schritt misst, muss nicht raten.

1. Listen Sie Ihre Anfragetypen auf und markieren Sie, wie schwer jeder Typ ist.
2. Weisen Sie die leichten, häufigen Typen dem kleinen Modell zu.
3. Geben Sie schwere, seltene oder riskante Typen an das große Modell oder an einen Menschen.
4. Bauen Sie ein Sicherheitstor ein, das zum großen Modell weitergibt, wenn das kleine unsicher ist.
5. Verfolgen Sie Genauigkeit, Antwortzeit und Kosten für jeden Pfad getrennt.
6. Prüfen Sie die Verteilung der Anfragen regelmäßig und passen Sie die Schwellen an.

Der vierte Schritt ist allerdings besonders wichtig. Ein kleines Modell kann selbstsicher klingen und trotzdem falschliegen. Daher lohnt sich ein Unsicherheitssignal, eine zweite Prüfung oder eine Stichprobe, um die Antworten zu kontrollieren.

Mit welchen Begriffen wird ein SLM verwechselt?

Kleine Modelle überschneiden sich mit mehreren Nachbarbegriffen, daher entsteht schnell Verwirrung. Zudem beschreiben manche Begriffe das Modell selbst, andere den Weg dorthin. Die folgende Tabelle schafft daher Klarheit.

Verwechseln Sie Mixture of Experts (MoE) nicht mit einem SLM. Bei einer Mixture of Experts läuft pro Anfrage nur ein Teil eines sehr großen Modells. Ein SLM dagegen ist von Anfang an klein, also anders gebaut. Die Feinabstimmung behandeln wir in einem eigenen Beitrag, und zusammen mit einem kleinen Modell hält sie die Kosten niedrig.

Welche Checkliste hilft bei der Wahl eines Small Language Models?

Ein Modell wählen Sie durch einen Test mit eigenen Daten und nicht durch eine Demo. Die Liste unten ist eine praktische Checkliste für die Entscheidungsrunde. Beantworten Sie dann jeden Punkt mit Ja oder Nein.

• Kann ich die Aufgabe in einem Satz beschreiben?
• Kann ich die Ausgabe schnell prüfen, am besten mit einem automatischen Test?
• Ist das Anfragevolumen so hoch, dass die Kosten eines großen Modells weh tun würden?
• Ist die Antwortzeit für meine Nutzer wichtig?
• Müssen die Daten in meiner eigenen Umgebung bleiben?
• Habe ich das Modell in meiner Sprache und meinem Fachgebiet getestet?
• Gibt es einen Ausweichpfad zu einem großen Modell oder einem Menschen, wenn das Modell unsicher ist?
• Passen die Lizenzbedingungen zu meinem Vorhaben?
• Habe ich aktuelle Größe, Version und Preis in der offiziellen Dokumentation des Anbieters geprüft?

Haben Sie fünf oder mehr Punkte mit Ja beantwortet, lohnt sich ein ernsthafter Test des kleinen Modells. Überwiegt dagegen die Antwort Nein, passt eher ein großes Modell oder ein Aufbau mit RAG (Retrieval Augmented Generation) Schicht.

Betreiben Sie ein kleines Modell in der Cloud oder in der eigenen Umgebung?

Diese Frage ist für viele Teams also die zweite große Entscheidung. Die erste betrifft die Modellgröße, die zweite den Ort des Modells. Es gibt drei verbreitete Optionen, und jede hat ihren eigenen Preis.

• Cloud Dienst des Anbieters: Der Einrichtungsaufwand ist am geringsten. Allerdings gehen die Daten an den Anbieter, und die Kosten wachsen mit der Zahl der Anfragen.
• Eigener Server: Sie behalten die volle Kontrolle über Daten und Version. Dafür liegen allerdings Infrastruktur, Updates und Überwachung bei Ihnen.
• Das Gerät selbst: Die Antwortzeit ist am kürzesten und der Datenschutz am höchsten. Andererseits begrenzt der Gerätespeicher die Modellgröße.

Die richtige Wahl hängt von der Sensibilität der Daten und vom Anfragevolumen ab. Zum Beispiel rücken bei sensiblen Daten die eigene Umgebung und das Gerät nach vorn. Bei niedrigem Volumen und gewöhnlichen Daten ist ein Cloud Dienst der schnellste Start.

Wir sind kein Hosting Anbieter und betreiben deshalb keine Server für Sie. Wir helfen Ihnen jedoch, die Architektur zu entwerfen und einzubinden. Wiederholten Prompt Text zu verkürzen senkt zudem die Kosten, und unser Beitrag zu Prompt Caching zeigt, wie das geht.

In welcher Reihenfolge spezialisieren Sie ein kleines Modell für Ihr Unternehmen?

Zunächst beginnt die Spezialisierung damit, die Eingabe zu verbessern, bevor Sie das Modell ändern. Oft reichen günstige Methoden, also schöpfen Sie diese aus, bevor Sie zu teuren greifen. Die Reihenfolge unten geht von niedrigen zu hohen Kosten.

1. Schärfen Sie die Aufgabenbeschreibung und zeigen Sie im Prompt ein paar gute Beispiele.
2. Binden Sie die Ausgabe an ein festes Format, zum Beispiel an eine Auswahl aus wenigen Kategorien.
3. Brauchen Sie frisches Wissen, ergänzen Sie eine Schicht, die Daten aus einer externen Quelle holt.
4. Reicht das nicht, testen Sie eine leichte Feinabstimmung mit Ihren eigenen Beispielen.
5. Zuletzt prüfen Sie ein Training mit Beispielen, die ein größeres Modell geschrieben hat.

Ein Unterschied ist hier wichtig. RAG schließt eine Wissenslücke, während die Feinabstimmung eine Lücke bei Verhalten oder Format schließt. Verwechseln Sie beides, dann verschwenden Sie Aufwand. Zum Beispiel ist es ein Wissensproblem, wenn das Modell Ihren Produktkatalog nicht kennt. Schreibt es Kategorien im falschen Format, ist das ein Verhaltensproblem.

Wie messen Sie die Qualität eines kleinen Modells?

Ohne Messung bleibt der Vergleich zwischen kleinem und großem Modell Spekulation. Die gute Nachricht: Enge Aufgaben lassen sich leicht messen, weil Sie die richtige Antwort meist vorher kennen.

Zunächst bauen Sie aus echten Anfragen eine kleine Testmenge. Halten Sie leichte, schwere und Grenzfälle im Gleichgewicht. Ein Mensch sollte für jedes Beispiel die erwartete Antwort bestätigen. Entfernen Sie in diesem Schritt personenbezogene Daten.

Danach lassen Sie dieselbe Menge durch das kleine und das große Modell laufen. Schreiben Sie Genauigkeit, Antwortzeit und Kosten pro Anfrage nebeneinander. Ist der Abstand klein und vertretbar, haben Sie einen starken Grund für den Wechsel zum kleinen Modell.

Bei freien Texten kann ein weiteres Modell als Richter dienen. Diese Methode und ihre Fallen beschreiben wir im Artikel zu LLM Evals. Dennoch sollte bei kritischen Entscheidungen eine menschliche Stichprobe das letzte Wort haben.

Schließlich messen Sie nicht nur einmal. Echte Nutzeranfragen ändern sich mit der Zeit, und die Qualität kann sinken, obwohl das Modell gleich bleibt. Erneuern Sie Ihre Testmenge daher regelmäßig.

Warum können kleine Modelle mit guten Daten große erreichen?

Die Antwort liegt in der Datenqualität. Große Modelle lernen meist aus sehr breiten, gemischten Daten. Ein kleines Modell muss seine begrenzte Kapazität auf die wertvollsten Beispiele verwenden. Folglich zählt saubere Datenauswahl noch mehr.

Der technische Bericht von Microsoft stellt diesen Ansatz in den Mittelpunkt. Er beschreibt, wie gefilterte Webdaten und synthetische Daten zusammen ein kleines Modell stärken. Zahlen nennen wir hier nicht, denn sie veralten schnell, und Sie sollten sie im Originaltext prüfen.

Eine andere Forschungslinie untersucht, nicht nur die Antwort, sondern auch die Begründung eines großen Modells an den Schüler weiterzugeben. Der Schüler erhält so zusätzliche Hinweise, warum eine Antwort stimmt. Deshalb passt er sich mit weniger Daten an. Die akademische Sicht finden Sie im Artikel zur schrittweisen Destillation.

Was bedeutet das für Sie? Wollen Sie ein kleines Modell trainieren oder anpassen, investieren Sie in Sammlung und Bereinigung der Daten. Einige hundert saubere, abwechslungsreiche Beispiele leisten oft mehr als Tausende schlampige. Das ist eine Tendenz aus der Praxis und keine Garantie. Zur Datenseite lesen Sie unseren Beitrag über synthetische Daten.

Wie beeinflussen kleine Modelle Team und Abläufe?

Der Wechsel zu einem kleinen Modell ist nicht nur eine technische Wahl. Er verändert auch die Arbeitsweise Ihres Teams. Je kleiner das Modell, desto günstiger wird jeder Versuch, sodass Sie in kürzerer Zeit mehr Ideen testen.

Zum Beispiel bleiben Teams vorsichtig und testen wenig, wenn jedes Experiment teuer ist. Sinkt der Preis, nehmen die Experimente zu, und das Lernen beschleunigt sich. Ein kleines Modell kauft also oft Tempo und nicht nur Ersparnis.

Andererseits geht die Verantwortung auf Sie über. Betreiben Sie das Modell in Ihrer eigenen Umgebung, gehören Versionsverwaltung, Überwachung und Sicherheitsupdates zu Ihren Aufgaben. Ignorieren Sie diese Last, taucht dort eine Überraschungsrechnung auf, wo Sie Ersparnis erwartet haben.

Entscheiden Sie deshalb nicht allein mit der Frage, ob das Modell günstig ist. Betrachten Sie die Gesamtkosten des Betriebs, also Infrastruktur, Wartung und Teamzeit zusammen. Dieser Blick gibt Geldgebern und Team ein ehrliches Bild.

Worauf achten Sie bei Datenschutz und Sicherheit mit einem kleinen Modell?

Einer der größten Vorteile kleiner Modelle ist, dass Sie die Daten in der eigenen Umgebung halten können. Trotzdem heißt "läuft lokal" nicht "ist sicher". Sie müssen außerdem an Zugriffsrechte, Protokolle und Ausgabekontrolle denken.

• Legen Sie vorab fest, welche Daten in das Modell dürfen.
• Sammeln und protokollieren Sie personenbezogene Daten nicht ohne Grund.
• Prüfen Sie die Modellausgabe, bevor Sie sie mit Systemen verbinden, die Aktionen ausführen.
• Lesen Sie die Lizenz des Modells und seiner Gewichte.
• Beschränken Sie den Zugriff nach Rollen und führen Sie Nutzungsprotokolle.

Auch Angriffe wie Prompt Injection gelten hier. Ein kleines Modell lässt sich durch einen bösartigen Text lenken. Behandeln Sie fremden Text daher als nicht vertrauenswürdige Daten und begrenzen Sie von Anfang an, was das Modell tun darf. Ruft das Modell Werkzeuge auf, prüfen Sie jeden Aufruf einzeln.

Ihre Pflichten beim Umgang mit personenbezogenen Daten hängen von Branche und Land ab. Dieser Beitrag ist keine Rechtsberatung, besprechen Sie Datenschutzfragen also mit Ihrer Rechtsberatung. Planen Sie ein Modell in der eigenen Umgebung, hilft Ihnen unsere Seite zu lokale Sprachmodelle.

Welche Fehler machen Teams bei der Wahl eines kleinen Modells?

Die häufigsten Fehler betreffen die Planung und nicht die Technik. Wer sie früh kennt, spart Zeit und Budget. Die Beispiele unten kommen Ihnen vielleicht bekannt vor.

• Entscheiden nach Demo: Ein paar schöne Antworten stehen nicht für Tausende echte Anfragen.
• Nicht messen: Wer Genauigkeit, Antwortzeit und Kosten nicht in Zahlen verfolgt, kann sie nicht verbessern.
• Jede Aufgabe dem kleinen Modell geben: Ohne Ausweichpfad für schwere Fälle sinkt die Qualität unbemerkt.
• Wissensarbeit dem Modell überlassen: Frische Fakten brauchen eine externe Quelle oder RAG.
• Die Lizenz übergehen: Die Bedingungen für kommerzielle Nutzung unterscheiden sich von Modell zu Modell.

Noch ein Hinweis: Ein schlechtes erstes Ergebnis heißt nicht, dass der Ansatz schlecht ist. Meist fehlt es an Prompt, Beispielen oder Datenvorbereitung. Beheben Sie zuerst diese Punkte und bewerten Sie danach das Modell.

Keiner dieser Fehler liegt am kleinen Modell selbst. Alle entstehen, weil das Werkzeug für die falsche Aufgabe eingesetzt wird. Wählen Sie also zuerst die Aufgabe und dann das Modell.

Wo beginnt ein Unternehmen, das wissen will, was ein Small Language Model ist?

Beginnen Sie mit einem kleinen Pilotprojekt. Wählen Sie eine wiederkehrende Aufgabe, zum Beispiel das Sortieren eingehender Anfragen. Messen Sie danach Genauigkeit, Dauer und Kosten Ihres aktuellen Ablaufs, denn das wird Ihre Vergleichsbasis.

Testen Sie als Nächstes zwei oder drei Kandidaten mit derselben Beispielmenge. Bauen Sie die Menge aus echten Anfragen und entfernen Sie personenbezogene Daten. Schreiben Sie die Ergebnisse in eine Tabelle und vergleichen Sie Genauigkeit, Tempo und Kosten.

Genügt das kleine Modell, machen Sie weiter. Genügt es nicht, ergänzen Sie Feinabstimmung, bessere Beispiele oder eine Weiterleitung an ein großes Modell. Kontrollieren Sie die Ergebnisse in jeder Phase auch mit menschlichem Blick.

Ersetzen World Models und andere neue Ideen kleine Modelle?

Nein, sie beantworten andere Fragen. Konzepte wie World Models untersuchen, wie KI die physische Welt lernt. Ein SLM dagegen ist eine Effizienzfrage in der Sprachverarbeitung.

Anders gesagt beschreibt das eine eine Forschungsrichtung und das andere eine Entscheidung der Technik. Für ein Unternehmen lautet die eigentliche Frage: "Welches ist das kleinste Modell, das für diese Aufgabe gut genug ist?" Die Antwort schützt sowohl Ihr Budget als auch das Nutzererlebnis.

Dieser Blick hilft Ihnen, Technik nach Bedarf zu wählen und nicht nach Schlagwort. Unser Team geht in Projekten in derselben Reihenfolge vor: erst die Aufgabe, dann die Daten, zuletzt das Modell.