"Wir müssen das Modell auf unsere Firma trainieren", so beginnen viele Analysegespräche. Und in neun von zehn Fällen ist das nicht, was die Betriebe wirklich brauchen. Sie brauchen ein System, das auf ihre Fragen mit firmen-spezifischem Wissen antwortet. Das ist etwas anderes als ein trainiertes Modell. In diesem Artikel ordnen wir die drei Wege ein, ein Sprachmodell auf Ihr Büro zu trimmen, und helfen Ihnen, die richtige Entscheidung zu treffen, bevor Sie Zeit und Geld in die falsche Richtung investieren.
Die drei Ansätze im Kern
Prompting
Prompting ist die einfachste Form der Anpassung: Sie geben dem Sprachmodell einen gut formulierten Auftrag. Das beinhaltet Rolle ("Du bist ein technischer Redakteur für Maschinenbau"), Format ("Antworte in Stichpunkten"), Stil ("Formell, präzise, ohne Marketing-Sprache") und Grenzen ("Wenn du etwas nicht weißt, sage es"). Gute Prompts sind ausführlich, systematisch, getestet und kostenlos, denn sie verändern das Modell nicht.
Die Qualität moderner Modelle wie Claude von Anthropic oder GPT-4 von OpenAI ist 2026 so hoch, dass ein gut konstruierter Prompt überraschend weit trägt. Das ist der Grund, warum wir in Projekten immer mit Prompting anfangen und erst dann zu tieferen Ansätzen greifen, wenn Prompting spezifische Grenzen erreicht.
RAG (Retrieval-Augmented Generation)
RAG reichert das Modell zur Laufzeit mit Ihren Firmen-Dokumenten an. Das Modell bleibt unverändert, aber vor jeder Antwort werden relevante Passagen aus Ihrer Dokumentenbasis herangezogen. Das ist die Standard-Lösung für jede Anwendung, die firmen-spezifisches Wissen braucht, und deshalb in unseren über 15 Projekten die Default-Architektur.
Die Umsetzung erfordert eine Vector-Datenbank, Retrieval-Logik und Kontextmanagement, alles Komponenten, die 2026 gut verstanden und produktiv einsetzbar sind. Die Model-Dokumentation bei Anthropic ordnet RAG-Patterns regelmäßig neu ein, und die Community auf Hugging Face liefert kontinuierlich Open-Source-Bausteine.
Fine-Tuning
Fine-Tuning verändert das Modell selbst. Sie trainieren es mit eigenen Beispieldaten nach, sodass es bestimmte Verhaltensweisen, Stile oder Fachvokabular "einprägt". Das ist der teuerste und komplexeste Weg, aber in spezifischen Fällen unschlagbar.
Hugging Face Models ist die wichtigste Plattform für Fine-Tuning im Open-Source-Bereich. OpenAI, Anthropic und Google bieten ebenfalls Fine-Tuning-APIs für ihre proprietären Modelle, mit unterschiedlich hohen Einstiegs-Schwellen.
Für welche Büro-Aufgabe welcher Weg taugt
An drei typischen Aufgaben wird die Wahl eindeutig:
| Aufgabe | Weg | Warum |
|---|---|---|
| „Was stand im Vorbescheid zu den Abstandsflächen?" | Suche über den Bestand | Die Antwort steht in einem Dokument, sie muss gefunden, nicht erzeugt werden |
| Ein Protokoll aus Stichworten | Anweisung an das Modell | Reine Formaufgabe |
| Ein Nachweis oder eine Abweichungsbegründung | Keiner davon | Das verantwortet ein Mensch mit Unterschrift |
Die teuerste Verwechslung ist die erste Zeile: Wer eine Frage an den Bestand mit einem trainierten Modell beantworten will, bekommt eine plausible Antwort ohne Fundstelle. Vor der Prüfstelle ist die wertlos.
Wann welcher Ansatz passt
Aus unseren über 15 Projekten lässt sich eine klare Entscheidungsmatrix ableiten:
Use-Case: E-Mail-Entwürfe, Meeting-Zusammenfassungen, Recherche. Allgemeine Produktivitäts-Anwendungen. → Prompting reicht fast immer.
Use-Case: Technik-Chatbot, Dokument-Agent, Angebots-KI, Ausschreibungs-Agent. Firmen-spezifisches Wissen nötig. → Prompting + RAG ist die Standard-Architektur.
Use-Case: Sehr standardisierte, hochfrequente Aufgabe (z. B. Vertragsklauseln, juristische Schriftsätze nach festem Schema). → Prompting + RAG + eventuell Fine-Tuning, wenn Qualität messbar über das mögliche Prompting-Niveau hinausgehoben werden soll.
Use-Case: Kostenoptimierung bei sehr hohem Volumen. Wenn ein Use-Case pro Tag tausende Male läuft und das Flaggschiff-Modell zu teuer ist, kann ein fein-getuntes kleineres Modell wirtschaftlich sein. → Fine-Tuning als Kosten-Hebel.
Use-Case: Sehr spezifischer Stil oder sehr spezielles Fachvokabular. Beispielsweise ein juristisches Kanzleisystem, das immer in einem bestimmten formalen Stil schreibt. → Fine-Tuning kann den Stil tief verankern.
Einordnung für sächsische Planungsbüros
In unseren Projekten sieht die Verteilung so aus:
- 80 Prozent: Prompting + RAG. Die überwältigende Mehrheit der Use-Cases.
- 15 Prozent: Nur Prompting. Vor allem bei allgemeinen Produktivitäts-Tools.
- 5 Prozent: Fine-Tuning im Einsatz, meist bei sehr spezifischen Stil-Anforderungen oder in Kombination mit RAG.
Die Zahl ist nicht zufällig. Moderne LLMs sind 2026 so stark, dass gutes Prompting und sauberes Retrieval weit tragen. Fine-Tuning wird oft gefordert und ist fast nie nötig. Die Berichterstattung bei Heise zur KI-Praxis bestätigt diesen Trend: Selbst größere Firmen reduzieren ihren Fine-Tuning-Einsatz zugunsten von RAG und agentic-Workflows.
Fine-Tuning ist oft das Erste, was Betriebe fragen, und das Letzte, was sie wirklich brauchen. In den meisten Fällen lösen gutes Prompting plus RAG das Problem eleganter, schneller und günstiger.
Gründe, warum Betriebe trotzdem oft nach Fine-Tuning fragen:
- Mentales Modell aus Marketing-Texten. Viele KI-Artikel reden über "Training eigener Modelle", ohne die Alternativen zu erwähnen.
- Falsche Vorstellung von Kontrolle. "Ein trainiertes Modell ist mehr 'meins'", das stimmt emotional, aber praktisch liefert RAG oft das, was gewollt ist.
- Unterschätzung der Prompt-Kunst. Gute Prompts sind keine Zaubersprüche, sondern systematische Arbeit, und der Aufwand wird oft unterschätzt.
Praxis-Empfehlungen: Wie Sie richtig entscheiden
1. Immer mit Prompting starten
Bauen Sie den ersten Prototyp mit reinem Prompting. In 30 Prozent der Fälle reicht das bereits. In 100 Prozent der Fälle lernen Sie so, was das Modell wirklich kann, und wo Sie an Grenzen stoßen. Das Claude-Modell-Portfolio liefert dabei exzellente Basis-Qualität, die oft weit trägt.
2. Zu RAG wechseln, wenn firmen-spezifisches Wissen nötig wird
Sobald das Modell Antworten liefert, die "allgemein richtig, firmen-falsch" sind, ist RAG der nächste Schritt. Das ist der Normalfall bei Technik-Chatbots, Dokument-Agenten, Angebots-KI. Die Community auf Hugging Face bietet exzellente Open-Source-Bausteine dafür.
3. Fine-Tuning nur bei klarem Business-Case
Fine-Tuning ist teuer, wartungsintensiv und muss bei Modell-Wechseln neu gemacht werden. Nur sinnvoll, wenn Sie einen klaren, messbaren Vorteil sehen: spezifischer Stil, Kostenhebel bei hohem Volumen, Fachvokabular. Sonst Finger weg.
4. EFRE-Förderung mitdenken
Alle drei Ansätze sind grundsätzlich EFRE-förderfähig, wenn sie Teil eines Digitalisierungs-Projekts sind. Für Vorhaben in Sachsen greift der EFRE-Digitalisierungszuschuss, die Quote hängt an Ihrer Betriebsgröße: bis zu 60 Prozent für Kleinstunternehmen im Heranführungsvorhaben, bis zu 50 Prozent für Kleinst- und kleine Unternehmen im Transformationsvorhaben, bis zu 35 Prozent für mittlere Unternehmen. Die Höchstbeträge des Programms begrenzen die zuwendungsfähigen Ausgaben, nicht den Zuschuss. Seit dem 17. Juli 2026 ist die Antragstellung nur noch in der Stadt Leipzig, im Landkreis Leipzig und im Landkreis Nordsachsen möglich. Fine-Tuning-Projekte lohnen sich mit Förderung eher, bleiben aber meist trotzdem wirtschaftlich nur bei spezifischen Use-Cases.
5. Dokumentation und Iteration als Teil des Projekts
Egal, welcher Ansatz: Prompts müssen dokumentiert, versioniert und getestet werden. RAG-Systeme brauchen laufende Pflege. Fine-Tuning-Datensätze müssen aktuell gehalten werden. Das gehört in den Projektplan von Tag eins. Der Heise-Überblick zu KI-Betrieb zeigt regelmäßig, wie Planungsbüros mit diesem Teil hadern.
Unser Take
In über 15 Projekten ist die Reihenfolge immer gleich: Prompting, RAG, dann (in seltenen Fällen) Fine-Tuning. Wer mit Fine-Tuning startet, investiert früh in eine Lösung, die in 80 Prozent der Fälle nicht nötig ist. Wer mit Prompting startet, lernt in Tagen, was funktioniert, und entscheidet dann bewusst, ob der nächste Schritt RAG oder mehr Prompting ist.
Die wichtigste Botschaft: Sie müssen das Modell nicht "auf Ihre Firma trainieren", um KI produktiv einzusetzen. Sie müssen das Modell mit den richtigen Informationen und den richtigen Anweisungen versorgen. Das ist 2026 fast immer die bessere Lösung.
Häufige Fragen
Was ist der Unterschied zwischen Prompting, RAG und Fine-Tuning?
Prompting gibt dem Modell gute Anweisungen. RAG reichert das Modell mit Ihren Dokumenten an. Fine-Tuning trainiert das Modell mit Ihren Daten nach. Die ersten beiden lassen das Modell unverändert, Fine-Tuning verändert es.
Was ist am günstigsten?
Prompting ist praktisch kostenlos. RAG kostet einmaligen Aufwand für Vector-Datenbank und Retrieval-Logik. Fine-Tuning ist der teuerste Weg, weil Datensatz, Training und Evaluation dazukommen und bei jedem Modell-Wechsel erneut anfallen. Die Zahl für Ihren Fall nennen wir im Konzeptgespräch.
Wann brauche ich Fine-Tuning wirklich?
Selten. Sinnvoll bei spezifischem Stil, Kostenhebel durch kleinere Modelle oder hochstandardisierten Aufgaben. Für die meisten Fälle in Planungsbüros reichen RAG und gutes Prompting.
Können die Verfahren kombiniert werden?
Ja. Fein-getunte Modelle mit RAG-Anbindung und sauberem Prompting sind in Benchmarks sehr stark. Für Büros aber nur bei sehr spezifischen, hoch-skalierten Use-Cases wirtschaftlich.
Was empfehlen Sie als Standard-Einstieg?
RAG plus gutes Prompting. 80 Prozent unserer über 15 Projekte kommen ohne Fine-Tuning aus. Fine-Tuning lohnt sich nur bei klarem Business-Case.
Stand: April 2026. Die Grenze zwischen den Ansätzen verschiebt sich (Fine-Tuning wird günstiger, RAG bekommt agentic-Features). Wir aktualisieren unsere Empfehlungen laufend.