Lokale KI · Embeddings
Wenn eine KI-Antwort schlecht ist, liegt es selten am Sprachmodell. Meist hat die Suche die falschen Abschnitte gefunden. Dafür ist das Embedding-Modell zuständig, und das läuft lokal genauso gut wie in der Cloud.
Kurz gesagt
Ein Embedding-Modell verwandelt Textabschnitte in Zahlenreihen, sogenannte Vektoren, damit die Suche Bedeutung statt nur Stichwörter findet. Lokal setzen wir BGE-M3 ein, mehrsprachig und stark für deutsche Fachtexte, dazu einen Reranker, der die gefundenen Abschnitte nach Passung sortiert. Beide laufen auf Ihrem Server neben dem Sprachmodell. Hier entsteht die Qualität der Antwort, mehr als im Sprachmodell.
Anwendungen
Aus dem Aufbau lokaler Wissensdatenbanken. Der Unterschied zwischen findet und findet nicht liegt hier.
01 · Was hereinkommt
02 · Was daraus wird
03 · Was danach anders ist
Bausteine
Büro-Gedächtnis: Ihr KI-Gedächtnis, dessen Trefferqualität aus Embedding und Reranker kommt
Kundenablage: CRM, erfassen, wer hereinkommt, mit Bedeutungssuche über alte Kontakte
Normenrecherche als Teil des Gedächtnisses: Fundstelle statt Vermutung, weil die Suche trifft
Der Engpass
Das Sprachmodell antwortet nur aus dem, was die Suche ihm gibt. Findet sie den falschen Abschnitt, ist die Antwort falsch, egal wie gut das Modell ist. Deshalb messen wir die Suche am Testsatz getrennt vom Sprachmodell und stellen Zerlegung, Embedding und Reranker ein, bevor wir über Modelle reden.
Im Detail
Sie merken von diesem Modell nichts, und es bestimmt trotzdem, ob die Suche etwas taugt. Es übersetzt Ihre Dokumente und Ihre Frage in eine vergleichbare Form, und wie gut es das für deutsche Fachsprache tut, entscheidet, ob die Frage nach der Abnahmeniederschrift das Protokoll findet oder das Angebot.
Überwiegend englisch trainierte Modelle schneiden bei deutschen Fachtexten deutlich schlechter ab. Weil man davon im Betrieb nichts sieht, sondern nur schlechtere Treffer bekommt, gehört dieser Baustein ausdrücklich in den Testsatz, und zwar mit denselben Fragen wie das Sprachmodell.
Ein Wechsel später ist möglich, kostet aber ein vollständiges Neueinlesen des Bestands. Bei großen Archiven ist das eine Nacht Rechenzeit. Deshalb wird diese Entscheidung vor dem ersten vollständigen Durchlauf getroffen.
Ablauf
Schritt 1
Fünfzig Fragen mit bekannter Fundstelle. Gemessen wird, ob die richtige Stelle unter den ersten Treffern ist.
Schritt 2
Abschnittsgröße, Überlappung, Tabellen als Ganzes. Dann BGE-M3 mit Hybrid-Suche, gemessen am Testsatz.
Schritt 3
Reranker dazu, Rechtefilter vor der Antwort, Berechtigungs-Leak-Test. Erst dann sieht das Sprachmodel die Treffer.
Aufwand
15 Arbeitstage bis zur Spezifikation
Erster Schritt
Webinar am 1. Dezember, danach Ihr Analysegespräch
Von einem schlechten Embedding-Modell sehen Sie nichts. Sie bekommen nur schlechtere Treffer.
Zielgruppen
Nachschlagen
Fragen
Weiterlesen
Der nächste Schritt
Sie fragen, die belegte Antwort steht mit Quelle da. Wie das geht, zeigen wir im Webinar: live mit Ronja, Eric und Max, mit echten Fragen aus Planungsbüros, gezeigt an einem Beispiel-Archiv. 60 Minuten, online, kostenlos. Nur für Planungs-, Ingenieur- und Architekturbüros.