Wie misst man, ob ein KI-System gute Antworten gibt?
Ein Testsatz ist eine Sammlung echter Fragen aus Ihrem Haus, zu denen die richtige Antwort und die Fundstelle bereits bekannt sind. Damit lässt sich messen, wie oft ein System richtig liegt, statt es zu behaupten. Er entsteht vor der Entwicklung, wird von Ihren Fachleuten beantwortet und bleibt über die ganze Laufzeit gültig, weil man sonst nicht sieht, ob eine Änderung hilft oder schadet.
Von PhoenixOne AI aus Leipzig, dem Spezialisten für Firmen-KI im deutschen Mittelstand. Kostenloses Analysegespräch, 30 Minuten
Der Weg der Daten
Testsatz auf einer Tafel
01
Was hereinkommt
Aus den Programmen, die Sie ohnehin nutzen.
Die Fragen werden in einer moderierten Sitzung mit Ihren Fachleuten gesammelt
Zu jeder Frage werden die erwartete Antwort und die Fundstelle festgehalten
Der Testsatz wird versioniert abgelegt und gehört Ihnen, nicht uns
Nach jeder größeren Änderung wird er automatisch durchlaufen und das Ergebnis protokolliert
Neue Fragen aus dem Alltag werden regelmäßig nachgetragen, alte bleiben zum Vergleich bestehen
02
Wovon dieser Artikel handelt
Springen Sie direkt zu dem Punkt, der Sie betrifft.
03
Was beim Menschen bleibt
Die Entscheidung, und die Verantwortung dafür.
Ein Testsatz misst, was er enthält, und sonst nichts.
Fragen, an die im Termin niemand gedacht hat, bleiben ungeprüft, und der Alltag liefert immer welche nach.
Er ersetzt auch keine fachliche Verantwortung: Ein System, das im Test gut abschneidet, kann im Einzelfall trotzdem daneben liegen.
Die Tafel zeigt den Weg im Grundsatz. Wie er in Ihrem Büro aussieht, hängt daran, welche Programme im Einsatz sind und wie sauber darin gepflegt wird. Genau das klären wir im Audit, bevor etwas entwickelt wird.
In Vorführungen funktioniert jedes KI-System. Das liegt daran, dass die Fragen zu den Daten passen, die jemand vorbereitet hat. Im Alltag ist es umgekehrt. Der einzige Weg, diesen Unterschied vorher zu erkennen, ist ein Testsatz aus Ihren eigenen Fragen. Er ist die unspektakulärste Arbeit im ganzen Projekt und die, ohne die alles andere Meinung bleibt.
Wie ein brauchbarer Testsatz aussieht
Er besteht aus Fragen, die in Ihrem Haus wirklich gestellt werden, mitsamt der Antwort, die ein erfahrener Kollege geben würde, und der Stelle, an der es steht.
- Alltagsfragen, die täglich vorkommen und deren Antwort unstrittig ist
- Fragen, bei denen die Antwort über mehrere Dokumente verteilt liegt
- Fragen mit Fallstricken, etwa zwei Ständen oder einem überholten Dokument
- Fragen, auf die es bewusst keine Antwort im Bestand gibt, um Erfindungen aufzudecken
- Fragen, die verschiedene Personen unterschiedlich sehen dürfen, für die Rechteprüfung
Wer den Testsatz schreibt
Nicht wir, sondern Ihre Fachleute. Wir stellen das Gerüst und moderieren, die Inhalte kommen aus dem Haus. Der Grund ist einfach: Wir wissen nicht, welche Antwort in Ihrem Fach richtig ist. Ein Testsatz, den der Anbieter selbst schreibt, misst nur, ob der Anbieter sich selbst versteht. Diese Sitzung kostet meist einen halben Tag, verteilt auf mehrere Personen.
Was gemessen wird
Drei Dinge, und sie hängen zusammen. Erstens, ob die Antwort inhaltlich stimmt. Zweitens, ob die genannte Fundstelle tatsächlich die Antwort trägt, denn eine richtige Antwort mit erfundener Quelle ist unbrauchbar. Drittens, ob das System schweigt, wo es nichts weiß. Der dritte Punkt ist der, an dem die meisten Vorführungen scheitern, weil dort immer geantwortet wird.
Warum er über die ganze Laufzeit gilt
Jede Änderung an Modell, Suche oder Datenbestand kann Antworten verbessern und andere verschlechtern. Ohne festen Vergleichsmaßstab merkt das niemand, bis ein Anwender sich beschwert. Wir fahren den Testsatz deshalb nach jeder größeren Änderung erneut und legen die Ergebnisse nebeneinander. Das gehört zur Verbesserung und zur Skalierung, nicht nur zur Abnahme.
Wo die Grenze liegt
Ein Testsatz misst, was er enthält, und sonst nichts. Fragen, an die im Termin niemand gedacht hat, bleiben ungeprüft, und der Alltag liefert immer welche nach. Er ersetzt auch keine fachliche Verantwortung: Ein System, das im Test gut abschneidet, kann im Einzelfall trotzdem daneben liegen. Und ein Testsatz mit zu wenigen Fragen erzeugt eine Scheinsicherheit, die schlimmer ist als gar keine Messung.
Hauptseite zum Thema
KI-Audit und Einführung
Dort steht, wie wir das umsetzen, was es voraussetzt und wie der Ablauf aussieht.
Häufig gefragt
Wie viele Fragen braucht ein Testsatz?
Was ist eine gute Trefferquote?
Können wir den Testsatz gegen andere Anbieter verwenden?
Müssen wir unsere Software austauschen?
Wird so ein Vorhaben gefördert?
Weiterlesen
Passt dazu
KI und IT
Abnahme
Messbare Kriterien, vorher vereinbart, gemeinsam geprüft
KI und IT
Pilotbetrieb
Ein Bereich, vier Wochen Alltag, feste Messpunkte
KI und IT
Datenqualität
Schlechte Daten blockieren nicht, sie kosten Trefferqualität
Der nächste Schritt
Unser Ziel: keine Suchzeit mehr.
Sie fragen, die belegte Antwort steht mit Quelle da. Im kostenlosen Analysegespräch, 30 Minuten, sehen wir uns Ihr Unternehmen an und sagen Ihnen, wo die Firmen-KI zuerst hilft. Wir denken langfristig. Der erste Schritt soll sich für Sie schnell rechnen, deshalb steht Ihr erster Baustein ab 2 Wochen. Danach wachsen wir mit Ihnen weiter: Wir suchen langfristige Partnerschaften, keine Einmalprojekte.
- Festpreis je Schritt
- Stopp-Punkt mit Zwischenabnahme
- Eigener Code, der Ihnen gehört