RAG lokal
Antwort mit Quelle aus den eigenen Dokumenten, komplett auf dem eigenen Server
Entscheidung
RAG oder Feintuning
anbinden schlägt umtrainieren, fast immer.
Die Frage kommt in jedem zweiten Gespräch: Müssen wir das Modell mit unseren Daten trainieren? Fast immer lautet die Antwort nein. Anbinden ist schneller, billiger und lässt sich zurücknehmen.
- Für wen
- Betriebe, die vor der Entscheidung stehen, wie ihr Wissen ins Modell kommt
- Aufwand
- Ab 2 Wochen Entwicklungszeit, je nach Umfang
- Förderung
- Wird für Ihr Bundesland geprüft
- Datenhaltung
- Komplett auf Ihrem Server, nichts geht nach außen
- Erster Schritt
- Kostenloses Analysegespräch, 30 Minuten
Kurz gesagt
RAG bindet Ihre Dokumente an ein fertiges Modell an, Feintuning verändert das Modell selbst. Für Unternehmenswissen gewinnt RAG fast immer: neue Dokumente wirken sofort, Rechte bleiben prüfbar, Fundstellen sind nachvollziehbar, und ein Modellwechsel kostet einen Nachmittag. Feintuning lohnt bei sehr eigener Fachsprache, festen Textformen oder wenn ein kleines Modell eine eng umrissene Aufgabe perfekt können soll.
Stand: Oktober 2026
PhoenixOne AI aus Leipzig ist der Spezialist für Firmen-KI im deutschen Mittelstand. Ihre Firmen-KI läuft auf Wunsch komplett auf Ihrem eigenen Server, Ihre Daten bleiben im Haus. Ihr erster Baustein steht ab 2 Wochen und soll sich schnell rechnen. Danach wachsen wir langfristig mit Ihnen weiter.
Der Engpass
Warum Feintuning trotzdem manchmal richtig ist
Wenn ein Betrieb eine sehr eigene Sprache hat, etwa Prüfberichte mit festem Aufbau und eigenen Kürzeln, kann ein feingetuntes kleines Modell diese Form besser treffen als ein großes allgemeines. Das ist dann ein Zusatz, kein Ersatz: Das Wissen kommt weiter aus dem Index, nur die Form kommt aus dem Training. Beides zusammen ist die Ausnahme, nicht der Anfang.
Im Detail
Wann sich Feintuning lohnt und wann nicht
Sie brauchen für den üblichen Fall kein Feintuning. Wenn es darum geht, dass ein System Ihre Dokumente kennt, ist RAG der richtige Weg: Neue Dokumente sind sofort verfügbar, alte lassen sich entfernen, und jede Antwort kann ihre Quelle nennen. Ein feingetuntes Modell kann das nicht, es hat das Wissen verschluckt und kann nicht sagen, woher es kommt.
Feintuning lohnt sich bei etwas anderem: wenn ein Modell eine bestimmte Form beherrschen soll. Ihre Berichtsstruktur, Ihre Terminologie, Ihr Antwortstil. Das ist keine Wissensfrage, sondern eine Verhaltensfrage, und dafür ist Feintuning das richtige Mittel.
In der Praxis kommt beides zusammen, aber in dieser Reihenfolge: erst RAG, weil es den Nutzen bringt, und Feintuning erst dann, wenn die Form nach einigen Monaten Betrieb immer noch nicht sitzt. Wer umgekehrt beginnt, zahlt für etwas, das die Wissenslücke nicht schließt.
Anwendungen
Sechs Unterschiede, die in der Praxis zählen
Aus Projekten, in denen beides geprüft wurde. In fünf von sechs Punkten liegt RAG vorn.
- Aktualität: neue Dokumente wirken nach der Indexierung sofort, Feintuning braucht einen neuen Lauf
- Rechte: bei RAG filtert das System vor der Antwort, ein trainiertes Modell kennt keine Berechtigungen
- Nachvollziehbarkeit: RAG nennt die Fundstelle, ein trainiertes Modell kann es nur behaupten
- Aufwand: RAG braucht eine saubere Pipeline, Feintuning braucht Daten, Rechenzeit und Fachleute
- Rücknahme: falsche Dokumente aus dem Index löschen ist einfach, aus Modellgewichten nicht
- Stil und Format: hier ist Feintuning stark, wenn immer dieselbe Textform mit eigener Sprache gefragt ist
Bausteine
Was wir dafür entwickeln
Baustein 1
Firmen-KI im DetailFirmen-KI: Ihr KI-Gedächtnis über RAG, die Grundlage in fast jedem Projekt
Baustein 2
Kalkulations-Assistent im DetailKalkulations-Assistent: Angebote in Ihrer Form, wo Feintuning eines kleinen Modells helfen kann
Baustein 3
Fachautorität im DetailFachautorität: Marketing, Google und KI-Suche, Texte in Ihrer Sprache aus eigenen Vorlagen
RAG bringt Wissen ins System. Feintuning bringt Form. Das sind zwei verschiedene Probleme.
Zielgruppen
Für wen sich das lohnt
GeschäftsführungSie haben gehört, man müsse KI trainieren. Meist stimmt das nicht, und das spart Ihnen Geld und Zeit.
IT und EntwicklungSie kennen beide Wege. Wir liefern die Messung, nach der sich entscheiden lässt, statt einer Meinung.
FachabteilungSie merken den Unterschied an der Fundstelle: Die gibt es nur bei RAG.
Ablauf
So entscheiden wir zwischen beidem
- Schritt 1
Aufgaben sortieren
Geht es um Wissen oder um Form. Wissen spricht für RAG, feste Form mit eigener Sprache kann für Feintuning sprechen.
- Schritt 2
Testsatz
Dieselben Fragen an das RAG-System und an ein Modell mit Vorlagen. Sie sehen die Antworten nebeneinander.
- Schritt 3
Entscheidung mit Aufwand
Wir nennen den Aufwand beider Wege ehrlich. In fast allen Fällen fällt die Entscheidung auf RAG, oft einstimmig.
Nachschlagen
Fachwörter auf dieser Seite
Erklärt im Glossar
Fragen
Was Betriebe an dieser Stelle fragen
Einwand
Ist Feintuning nicht genauer?
Bei Stil und Format ja, beim Wissen nein. Ein trainiertes Modell vermischt Gelerntes und kann die Quelle nicht mehr nennen. Für Fachfragen ist das ein Nachteil.
Einwand
Was kostet Feintuning?
Es braucht aufbereitete Beispieldaten, Rechenzeit auf der Grafikkarte und Prüfung. Der Aufwand steht nach dem Audit mit Ihren Mengen fest, vorher wäre jede Zahl geraten.
Einwand
Können wir später noch feintunen?
Ja. Das RAG-System bleibt bestehen, ein feingetuntes Modell tritt daneben. Die Reihenfolge ist erst anbinden, dann messen, dann eventuell trainieren.
Einwand
Was ist mit Prompt-Vorlagen?
Die sind der dritte Weg und oft der günstigste: feste Anweisungen und Beispiele je Aufgabe. Damit fangen wir meistens an.
Einwand
Gibt es Fördermittel für lokale KI?
Oft ja. Ob ein Zuschuss oder ein Darlehen greift, hängt an Ihrem Bundesland, an der Betriebsgröße und am Vorhaben. Hardware zählt in der Regel mit, wenn sie Teil des Vorhabens ist. Wir prüfen das vor dem Termin und sagen Ihnen, ob sich der Antragsaufwand lohnt.
Weiterlesen
Verwandte Seiten
Erster SchrittKostenloses Analysegespräch, 30 MinutenWo es in Ihrem Unternehmen hakt und ob eine Firmen-KI zu Ihnen passt. Per Video, ohne Verpflichtung.
Modellwahl mit Testsatz
Welches offene Modell zu Ihnen passt, entscheidet nicht die Bestenliste, sondern Ihr Testsatz
Kleine Modelle lokal
Modelle unter zehn Milliarden Parametern: auf jedem Rechner, für klare Aufgaben
Programme
Programme, mit denen Sie arbeiten
Zu jedem steht, was sich anbinden lässt, was dabei herauskommt und wo die Grenze liegt.
TestsatzEchte Fragen mit bekannter Antwort, gemessen statt behauptet
PilotbetriebEin Bereich, vier Wochen Alltag, feste Messpunkte
DatenqualitätSchlechte Daten blockieren nicht, sie kosten Trefferqualität
Der nächste Schritt
Unser Ziel: keine Suchzeit mehr.
Sie fragen, die belegte Antwort steht mit Quelle da. Im kostenlosen Analysegespräch, 30 Minuten, sehen wir uns Ihr Unternehmen an und sagen Ihnen, wo die Firmen-KI zuerst hilft. Wir denken langfristig. Der erste Schritt soll sich für Sie schnell rechnen, deshalb steht Ihr erster Baustein ab 2 Wochen. Danach wachsen wir mit Ihnen weiter: Wir suchen langfristige Partnerschaften, keine Einmalprojekte.
- Festpreis je Schritt
- Stopp-Punkt mit Zwischenabnahme
- Eigener Code, der Ihnen gehört