"Wir müssen das Modell auf unsere Firma trainieren" — so beginnen viele Erstgespräche. Und in neun von zehn Fällen ist das nicht, was die Betriebe wirklich brauchen. Sie brauchen ein System, das auf ihre Fragen mit firmen-spezifischem Wissen antwortet. Das ist etwas anderes als ein trainiertes Modell. In diesem Artikel ordnen wir die drei Wege ein, ein Sprachmodell auf Ihren Betrieb zu trimmen — und helfen Ihnen, die richtige Entscheidung zu treffen, bevor Sie Zeit und Geld in die falsche Richtung investieren.
Die drei Ansätze im Kern
Prompting
Prompting ist die einfachste Form der Anpassung: Sie geben dem Sprachmodell einen gut formulierten Auftrag. Das beinhaltet Rolle ("Du bist ein technischer Redakteur für Maschinenbau"), Format ("Antworte in Stichpunkten"), Stil ("Formell, präzise, ohne Marketing-Sprache") und Grenzen ("Wenn du etwas nicht weißt, sage es"). Gute Prompts sind ausführlich, systematisch, getestet — und kostenlos, denn sie verändern das Modell nicht.
Die Qualität moderner Modelle wie Claude von Anthropic oder GPT-4 von OpenAI ist 2026 so hoch, dass ein gut konstruierter Prompt überraschend weit trägt. Das ist der Grund, warum wir in Projekten immer mit Prompting anfangen und erst dann zu tieferen Ansätzen greifen, wenn Prompting spezifische Grenzen erreicht.
RAG (Retrieval-Augmented Generation)
RAG reichert das Modell zur Laufzeit mit Ihren Firmen-Dokumenten an. Das Modell bleibt unverändert, aber vor jeder Antwort werden relevante Passagen aus Ihrer Dokumentenbasis herangezogen. Das ist die Standard-Lösung für jede Anwendung, die firmen-spezifisches Wissen braucht — und deshalb in unseren +15 Projekten die Default-Architektur.
Die Umsetzung erfordert eine Vector-Datenbank, Retrieval-Logik und Kontextmanagement — alles Komponenten, die 2026 gut verstanden und produktiv einsetzbar sind. Die Model-Dokumentation bei Anthropic ordnet RAG-Patterns regelmäßig neu ein, und die Community auf Hugging Face liefert kontinuierlich Open-Source-Bausteine.
Fine-Tuning
Fine-Tuning verändert das Modell selbst. Sie trainieren es mit eigenen Beispieldaten nach, sodass es bestimmte Verhaltensweisen, Stile oder Fachvokabular "einprägt". Das ist der teuerste und komplexeste Weg — aber in spezifischen Fällen unschlagbar.
Hugging Face Models ist die wichtigste Plattform für Fine-Tuning im Open-Source-Bereich. OpenAI, Anthropic und Google bieten ebenfalls Fine-Tuning-APIs für ihre proprietären Modelle — mit unterschiedlich hohen Einstiegs-Schwellen.
Wann welcher Ansatz passt
Aus unseren +15 Projekten lässt sich eine klare Entscheidungsmatrix ableiten:
Use-Case: E-Mail-Entwürfe, Meeting-Zusammenfassungen, Recherche. Allgemeine Produktivitäts-Anwendungen. → Prompting reicht fast immer.
Use-Case: Technik-Chatbot, Dokument-Agent, Angebots-KI, Ausschreibungs-Agent. Firmen-spezifisches Wissen nötig. → Prompting + RAG ist die Standard-Architektur.
Use-Case: Sehr standardisierte, hochfrequente Aufgabe (z. B. Vertragsklauseln, juristische Schriftsätze nach festem Schema). → Prompting + RAG + eventuell Fine-Tuning, wenn Qualität messbar über das mögliche Prompting-Niveau hinausgehoben werden soll.
Use-Case: Kostenoptimierung bei sehr hohem Volumen. Wenn ein Use-Case pro Tag tausende Male läuft und das Flaggschiff-Modell zu teuer ist, kann ein fein-getuntes kleineres Modell wirtschaftlich sein. → Fine-Tuning als Kosten-Hebel.
Use-Case: Sehr spezifischer Stil oder sehr spezielles Fachvokabular. Beispielsweise ein juristisches Kanzleisystem, das immer in einem bestimmten formalen Stil schreibt. → Fine-Tuning kann den Stil tief verankern.
Einordnung für den sächsischen Mittelstand
In unseren Projekten sieht die Verteilung so aus:
- 80 Prozent: Prompting + RAG. Die überwältigende Mehrheit der Use-Cases.
- 15 Prozent: Nur Prompting. Vor allem bei allgemeinen Produktivitäts-Tools.
- 5 Prozent: Fine-Tuning im Einsatz — meist bei sehr spezifischen Stil-Anforderungen oder in Kombination mit RAG.
Die Zahl ist nicht zufällig. Moderne LLMs sind 2026 so stark, dass gutes Prompting und sauberes Retrieval weit tragen. Fine-Tuning wird oft gefordert — und ist fast nie nötig. Die Berichterstattung bei Heise zur KI-Praxis bestätigt diesen Trend: Selbst größere Firmen reduzieren ihren Fine-Tuning-Einsatz zugunsten von RAG und agentic-Workflows.
Fine-Tuning ist oft das Erste, was Betriebe fragen — und das Letzte, was sie wirklich brauchen. In den meisten Fällen lösen gutes Prompting plus RAG das Problem eleganter, schneller und günstiger.
Gründe, warum Betriebe trotzdem oft nach Fine-Tuning fragen:
- Mentales Modell aus Marketing-Texten. Viele KI-Artikel reden über "Training eigener Modelle", ohne die Alternativen zu erwähnen.
- Falsche Vorstellung von Kontrolle. "Ein trainiertes Modell ist mehr 'meins'" — das stimmt emotional, aber praktisch liefert RAG oft das, was gewollt ist.
- Unterschätzung der Prompt-Kunst. Gute Prompts sind keine Zaubersprüche, sondern systematische Arbeit — und der Aufwand wird oft unterschätzt.
Praxis-Empfehlungen: Wie Sie richtig entscheiden
1. Immer mit Prompting starten
Bauen Sie den ersten Prototyp mit reinem Prompting. In 30 Prozent der Fälle reicht das bereits. In 100 Prozent der Fälle lernen Sie so, was das Modell wirklich kann — und wo Sie an Grenzen stoßen. Das Claude-Modell-Portfolio liefert dabei exzellente Basis-Qualität, die oft weit trägt.
2. Zu RAG wechseln, wenn firmen-spezifisches Wissen nötig wird
Sobald das Modell Antworten liefert, die "allgemein richtig, firmen-falsch" sind, ist RAG der nächste Schritt. Das ist der Normalfall bei Technik-Chatbots, Dokument-Agenten, Angebots-KI. Die Community auf Hugging Face bietet exzellente Open-Source-Bausteine dafür.
3. Fine-Tuning nur bei klarem Business-Case
Fine-Tuning ist teuer, wartungsintensiv und muss bei Modell-Wechseln neu gemacht werden. Nur sinnvoll, wenn Sie einen klaren, messbaren Vorteil sehen: spezifischer Stil, Kostenhebel bei hohem Volumen, Fachvokabular. Sonst Finger weg.
4. EFRE-Förderung mitdenken
Alle drei Ansätze sind grundsätzlich EFRE-förderfähig, wenn sie Teil eines Digitalisierungs-Projekts sind. Der 50-Prozent-Zuschuss bis 60 000 Euro macht aus einem 80 000-Euro-Projekt ein 40 000-Euro-Projekt. Fine-Tuning-Projekte lohnen sich dadurch eher, bleiben aber meist trotzdem wirtschaftlich nur bei spezifischen Use-Cases.
5. Dokumentation und Iteration als Teil des Projekts
Egal, welcher Ansatz: Prompts müssen dokumentiert, versioniert und getestet werden. RAG-Systeme brauchen laufende Pflege. Fine-Tuning-Datensätze müssen aktuell gehalten werden. Das gehört in den Projektplan von Tag eins. Der Heise-Überblick zu KI-Betrieb zeigt regelmäßig, wie Mittelständler mit diesem Teil hadern.
Unser Take
In +15 Projekten ist die Reihenfolge immer gleich: Prompting, RAG, dann (in seltenen Fällen) Fine-Tuning. Wer mit Fine-Tuning startet, investiert früh in eine Lösung, die in 80 Prozent der Fälle nicht nötig ist. Wer mit Prompting startet, lernt in Tagen, was funktioniert, und entscheidet dann bewusst, ob der nächste Schritt RAG oder mehr Prompting ist.
Die wichtigste Botschaft: Sie müssen das Modell nicht "auf Ihre Firma trainieren", um KI produktiv einzusetzen. Sie müssen das Modell mit den richtigen Informationen und den richtigen Anweisungen versorgen. Das ist 2026 fast immer die bessere Lösung.
Häufige Fragen
Prompting gibt dem Modell gute Anweisungen. RAG reichert das Modell mit Ihren Dokumenten an. Fine-Tuning trainiert das Modell mit Ihren Daten nach. Die ersten beiden lassen das Modell unverändert, Fine-Tuning verändert es.
Stand: April 2026 — die Grenze zwischen den Ansätzen verschiebt sich (Fine-Tuning wird günstiger, RAG bekommt agentic-Features). Wir aktualisieren unsere Empfehlungen laufend.