Fachartikel · KI und IT

Wie misst man, ob ein KI-System gute Antworten gibt?

◆Kurz gesagt

Ein Testsatz ist eine Sammlung echter Fragen aus Ihrem Haus, zu denen die richtige Antwort und die Fundstelle bereits bekannt sind. Damit lässt sich messen, wie oft ein System richtig liegt, statt es zu behaupten. Er entsteht vor der Entwicklung, wird von Ihren Fachleuten beantwortet und bleibt über die ganze Laufzeit gültig, weil man sonst nicht sieht, ob eine Änderung hilft oder schadet.

In Vorführungen funktioniert jedes KI-System. Das liegt daran, dass die Fragen zu den Daten passen, die jemand vorbereitet hat. Im Alltag ist es umgekehrt. Der einzige Weg, diesen Unterschied vorher zu erkennen, ist ein Testsatz aus Ihren eigenen Fragen. Er ist die unspektakulärste Arbeit im ganzen Projekt und die, ohne die alles andere Meinung bleibt.

Stand: September 2026

Ein offener Serverschrank mit leuchtendem Glaskern, von dem Kupferleitungen zu vier Endpunkten führen

◆Der weg der daten

Testsatz auf einer Tafel

01

Was hereinkommt

Aus den Programmen, die Sie ohnehin nutzen.

  • Die Fragen werden in einer moderierten Sitzung mit Ihren Fachleuten gesammelt
  • Zu jeder Frage werden die erwartete Antwort und die Fundstelle festgehalten
  • Der Testsatz wird versioniert abgelegt und gehört Ihnen, nicht uns
  • Nach jeder größeren Änderung wird er automatisch durchlaufen und das Ergebnis protokolliert
  • Neue Fragen aus dem Alltag werden regelmäßig nachgetragen, alte bleiben zum Vergleich bestehen
02

Wovon dieser Artikel handelt

Springen Sie direkt zu dem Punkt, der Sie betrifft.

03

Was beim Menschen bleibt

Die Entscheidung, und die Verantwortung dafür.

  • Ein Testsatz misst, was er enthält, und sonst nichts.
  • Fragen, an die im Termin niemand gedacht hat, bleiben ungeprüft, und der Alltag liefert immer welche nach.
  • Er ersetzt auch keine fachliche Verantwortung: Ein System, das im Test gut abschneidet, kann im Einzelfall trotzdem daneben liegen.

Die Tafel zeigt den Weg im Grundsatz. Wie er in Ihrem Büro aussieht, hängt daran, welche Programme im Einsatz sind und wie sauber darin gepflegt wird. Genau das klären wir im Audit, bevor etwas entwickelt wird.

01

Wie ein brauchbarer Testsatz aussieht

Er besteht aus Fragen, die in Ihrem Haus wirklich gestellt werden, mitsamt der Antwort, die ein erfahrener Kollege geben würde, und der Stelle, an der es steht.

  • Alltagsfragen, die täglich vorkommen und deren Antwort unstrittig ist
  • Fragen, bei denen die Antwort über mehrere Dokumente verteilt liegt
  • Fragen mit Fallstricken, etwa zwei Ständen oder einem überholten Dokument
  • Fragen, auf die es bewusst keine Antwort im Bestand gibt, um Erfindungen aufzudecken
  • Fragen, die verschiedene Personen unterschiedlich sehen dürfen, für die Rechteprüfung
02

Wer den Testsatz schreibt

Nicht wir, sondern Ihre Fachleute. Wir stellen das Gerüst und moderieren, die Inhalte kommen aus dem Haus. Der Grund ist einfach: Wir wissen nicht, welche Antwort in Ihrem Fach richtig ist. Ein Testsatz, den der Anbieter selbst schreibt, misst nur, ob der Anbieter sich selbst versteht. Diese Sitzung kostet meist einen halben Tag, verteilt auf mehrere Personen.

03

Was gemessen wird

Drei Dinge, und sie hängen zusammen. Erstens, ob die Antwort inhaltlich stimmt. Zweitens, ob die genannte Fundstelle tatsächlich die Antwort trägt, denn eine richtige Antwort mit erfundener Quelle ist unbrauchbar. Drittens, ob das System schweigt, wo es nichts weiß. Der dritte Punkt ist der, an dem die meisten Vorführungen scheitern, weil dort immer geantwortet wird.

04

Warum er über die ganze Laufzeit gilt

Jede Änderung an Modell, Suche oder Datenbestand kann Antworten verbessern und andere verschlechtern. Ohne festen Vergleichsmaßstab merkt das niemand, bis ein Anwender sich beschwert. Wir fahren den Testsatz deshalb nach jeder größeren Änderung erneut und legen die Ergebnisse nebeneinander. Das gehört zur Verbesserung und zur Skalierung, nicht nur zur Abnahme.

◆Wo die Grenze liegt

Ein Testsatz misst, was er enthält, und sonst nichts. Fragen, an die im Termin niemand gedacht hat, bleiben ungeprüft, und der Alltag liefert immer welche nach. Er ersetzt auch keine fachliche Verantwortung: Ein System, das im Test gut abschneidet, kann im Einzelfall trotzdem daneben liegen. Und ein Testsatz mit zu wenigen Fragen erzeugt eine Scheinsicherheit, die schlimmer ist als gar keine Messung.

Häufig gefragt

Wie viele Fragen braucht ein Testsatz?

So viele, dass die Bandbreite Ihres Alltags abgedeckt ist, üblicherweise mehrere Dutzend bis einige Hundert. Entscheidend ist nicht die Zahl, sondern die Streuung: einfache Fragen, verteilte Fragen, Fallstricke und Fragen ohne Antwort im Bestand.

Was ist eine gute Trefferquote?

Das hängt am Fach. In eng geregelten Bereichen mit sauberer Dokumentation liegt die Messlatte hoch, in gewachsenen Beständen niedriger. Wir legen die Schwelle gemeinsam vor der Entwicklung fest, damit später niemand die Latte nachträglich verschiebt.

Können wir den Testsatz gegen andere Anbieter verwenden?

Ja, und das ist ausdrücklich erwünscht. Er gehört Ihnen. Wer Ihnen ein System anbietet, das Ihren eigenen Fragen nicht standhält, hat Ihnen eine Vorführung verkauft und kein Werkzeug.

Müssen wir unsere Software austauschen?

Nein. Wir setzen auf das auf, was Sie nutzen, und lesen daraus, was gebraucht wird. Ein Austausch bringt selten mehr Nutzen als Ärger, und er schiebt den Start um Monate. Die Oberflächen, in denen Ihre Leute arbeiten, bleiben dieselben.

Wird so ein Vorhaben gefördert?

Oft ja, und das hängt an Ihrem Bundesland, an der Betriebsgröße und daran, was genau umgesetzt wird. Wir prüfen das vor dem Erstgespräch für Ihren Fall und sagen Ihnen ehrlich, ob sich der Antragsaufwand lohnt. Wenn ja, liefern wir die Unterlagen, die von uns kommen müssen.

Sie wollen wissen, was sich bei Ihnen anbinden lässt?

Dreißig Minuten, per Video oder Telefon. Wir fragen nach Ihren Programmen und nach Zahlen, nicht nach Ihrem Interesse an KI.

Termin vereinbaren

◆Der nächste Schritt

Was kostet Sie das Suchen
im Monat?

Die wenigsten Büros haben das je ausgerechnet. Im Termin machen wir es zusammen: Stunden pro Woche, was eine Stunde bei Ihnen kostet, was im letzten Jahr deswegen schiefgegangen ist. Über uns reden wir erst danach.

  • Dreißig Minuten, per Video oder Telefon
  • Wir fragen nach Zahlen, nicht nach Ihrem Interesse an KI
  • Danach wissen Sie, ob sich das für Sie lohnt. Auch wenn die Antwort nein ist

Keine Folien, keine Verkaufsshow. Wenn es nicht passt, sagen wir das im Termin.