Lokale RAG-Systeme
RAG lokal betreiben
Antwort mit Quelle, ohne Cloud.
RAG heißt auf Deutsch: erst suchen, dann antworten. Das Modell erfindet nichts, es liest die Stellen, die die Suche gefunden hat. Genau deshalb funktioniert es lokal so gut: Das Wissen kommt aus Ihren Dateien, nicht aus dem Internet.
*KI-generiert- Für wen
- Jeder Betrieb mit Dokumentenbestand, der Antworten mit Beleg braucht
- Aufwand
- Ab 2 Wochen Entwicklungszeit, je nach Umfang
- Förderung
- Wird für Ihr Bundesland geprüft
- Datenhaltung
- Komplett auf Ihrem Server, nichts geht nach außen
- Erster Schritt
- Kostenloses Analysegespräch, 30 Minuten
RAG steht für Retrieval Augmented Generation. Das System sucht zuerst in Ihren eigenen Dokumenten die passenden Abschnitte und legt sie dem Sprachmodell vor. Das Modell antwortet nur daraus und nennt die Fundstelle. Lokal betrieben laufen Suche, Index und Modell auf einem Server im Haus, ohne Cloud im Datenpfad. Das ist der Unterschied zwischen einer belegten Antwort und einem gut klingenden Satz.
PhoenixOne AI aus Leipzig ist der Spezialist für Firmen-KI im deutschen Mittelstand. Ihre Firmen-KI läuft auf Wunsch komplett auf Ihrem eigenen Server, Ihre Daten bleiben im Haus. Ihr erster Baustein steht ab 2 Wochen und soll sich schnell rechnen. Danach wachsen wir langfristig mit Ihnen weiter.
Der Engpass
Warum die meisten RAG-Projekte an der Suche scheitern
Fast alle Aufmerksamkeit geht ins Sprachmodell, fast alle Qualität kommt aus der Suche. Findet die Suche den falschen Abschnitt, hilft das beste Modell nicht. Deshalb messen wir zuerst die Suche an einem Testsatz mit bekannten Fundstellen und stellen Zerlegung, Embedding und Reranker ein. Erst danach reden wir über Modelle.
Im Detail
Wo RAG in der Praxis gut wird und wo es scheitert
Sie bekommen mit RAG keine klügere KI, sondern eine, die Ihren Bestand kennt. Das Verfahren zerlegt Ihre Dokumente in Abschnitte, sucht bei jeder Frage die passenden heraus und gibt sie dem Modell mit. Das Modell formuliert dann aus dem, was da steht, statt aus dem, was es einmal gelernt hat.
Die Qualität entscheidet sich nicht am Modell, sondern an der Zerlegung. Zu kleine Abschnitte verlieren den Zusammenhang, zu große verwässern die Suche. Bei Tabellen, Plänen und gescannten Dokumenten kommt hinzu, dass die Reihenfolge im Text nicht der Reihenfolge auf der Seite entspricht, und dann findet das System zwar etwas, aber nicht das Richtige.
Der zweite Stolperstein sind Versionen. Wenn Entwurf, Zwischenstand und Endfassung nebeneinander im Bestand liegen, antwortet das System aus dem, was es zuerst findet. Deshalb gehört zur Einrichtung die Entscheidung, was gültig ist und was Archiv, und diese Entscheidung kann Ihnen kein System abnehmen.
Anwendungen
Sechs Bausteine, aus denen ein lokales RAG-System besteht
So sieht die Kette aus, die aus einer Frage eine belegte Antwort macht. Jeder Baustein läuft im Haus.
01 · Was hereinkommt
- Datei-Wächter: neue und geänderte Dokumente in Ablage, Postfach und Programmen werden erkannt
- Parsing und Texterkennung: PDF, Word, Tabellen und Scans werden zu Text mit Struktur
02 · Was daraus wird
- Zerlegung: Dokumente werden in Abschnitte geschnitten, Tabellen bleiben zusammen
- Embeddings und Index: jeder Abschnitt bekommt eine Bedeutungsposition in der Vektordatenbank
03 · Was danach anders ist
- Suche und Reranker: erst breit, dann eng, am Ende bleiben die zwei bis fünf passenden Stellen
- Antwort mit Fundstelle: das Sprachmodell formuliert nur aus diesen Stellen, alles andere wird als unbelegt markiert
Bausteine
Was wir dafür entwickeln
- 1
Firmen-KI: Ihr KI-Gedächtnis, das genau diese Kette im Haus betreibt
- 2
Post-Lotse: Posteingang, damit neue Mails und Anhänge sofort im Index landen
- 3
Kundenablage: CRM, damit die Suche weiß, zu welchem Kunden ein Dokument gehört
Für wen
Jeder Betrieb mit Dokumentenbestand, der Antworten mit Beleg braucht
Datenhaltung
Komplett auf Ihrem Server, nichts geht nach außen
Die Qualität entscheidet sich an der Zerlegung Ihrer Dokumente, nicht am Modell.
Zielgruppen
Für wen sich das lohnt
Ablauf
So entsteht ein lokales RAG-System
- 1
Schritt 1
Daten- und Netz-Audit
Was liegt wo, wie viele Scans, welche Rechtegruppen, welcher Serverraum. Das Audit ist Tag 1 der Umsetzung, am Ende steht die Spezifikation für Server und Software.
- 2
Schritt 2
Aufbau im getrennten Netz
Server im eigenen Netzsegment, Modell lauffähig, Anmeldung über Ihr Active Directory, erster Test mit hundert echten Dokumenten.
- 3
Schritt 3
Einlesen, Härten, Betrieb
Bestand einlesen, Rechte vererben, Sicherheitsprüfung durch Dritte, Pilot mit einer Abteilung, dann Betrieb mit monatlichem Bericht.
Aufwand
Ab 2 Wochen Entwicklungszeit, je nach Umfang
Erster Schritt
Kostenloses Analysegespräch, 30 Minuten
Fragen
Häufig gefragt
Was ist der Unterschied zu einer Volltextsuche?
Muss das Modell dafür trainiert werden?
Kann RAG auch halluzinieren?
Läuft das wirklich komplett lokal?
Gibt es Fördermittel für lokale KI?
Weiterlesen
Verwandte Seiten
Programme
Programme, mit denen Sie arbeiten
Zu jedem steht, was sich anbinden lässt, was dabei herauskommt und wo die Grenze liegt.
Der nächste Schritt
Unser Ziel: keine Suchzeit mehr.
Sie fragen, die belegte Antwort steht mit Quelle da. Im kostenlosen Analysegespräch, 30 Minuten, sehen wir uns Ihr Unternehmen an und sagen Ihnen, wo die Firmen-KI zuerst hilft. Wir denken langfristig. Der erste Schritt soll sich für Sie schnell rechnen, deshalb steht Ihr erster Baustein ab 2 Wochen. Danach wachsen wir mit Ihnen weiter: Wir suchen langfristige Partnerschaften, keine Einmalprojekte.
- Festpreis je Schritt
- Stopp-Punkt mit Zwischenabnahme
- Eigener Code, der Ihnen gehört