Woran macht man fest, dass ein KI-System fertig ist?
Fertig ist ein System, wenn es vorher vereinbarte Kriterien nachweislich erfüllt: eine Trefferquote auf dem gemeinsamen Testsatz, eine Antwortzeit unter Last, korrekte Quellenangaben, geprüfte Rechte und ein dokumentierter Wiederanlauf. Diese Punkte werden vor der Entwicklung festgeschrieben und am Ende gemeinsam durchgegangen. Was sich nicht messen lässt, gehört nicht in eine Abnahme, sonst wird aus Prüfung eine Geschmacksfrage.
Von PhoenixOne AI aus Leipzig, dem Spezialisten für Firmen-KI im deutschen Mittelstand. Kostenloses Analysegespräch, 30 Minuten
Der Weg der Daten
Abnahme auf einer Tafel
01
Was hereinkommt
Aus den Programmen, die Sie ohnehin nutzen.
Die Kriterien und ihre Schwellen werden vor der Entwicklung schriftlich vereinbart
Der gemeinsame Testsatz wird bei der Abnahme vollständig durchlaufen, nicht in Auszügen
Die Antwortzeit wird unter der vereinbarten Gleichzeitigkeit gemessen
Die Rechteprüfung erfolgt mit echten Testkonten mehrerer Rollen
Wiederanlauf und Einweisung werden abgehakt und mit Datum festgehalten
Die nächsten Messpunkte nach der Abnahme werden gleich mitvereinbart
02
Wovon dieser Artikel handelt
Springen Sie direkt zu dem Punkt, der Sie betrifft.
03
Was beim Menschen bleibt
Die Entscheidung, und die Verantwortung dafür.
Eine bestandene Abnahme ist keine Garantie für gute Antworten in jedem Einzelfall.
Sie belegt, dass das System die vereinbarten Fragen in der vereinbarten Zeit richtig beantwortet hat, mehr nicht.
Fragen, die niemand vorhergesehen hat, bleiben ungeprüft.
Die Tafel zeigt den Weg im Grundsatz. Wie er in Ihrem Büro aussieht, hängt daran, welche Programme im Einsatz sind und wie sauber darin gepflegt wird. Genau das klären wir im Audit, bevor etwas entwickelt wird.
Die Abnahme ist der Moment, in dem sich zeigt, ob ein Projekt ehrlich aufgesetzt war. Wo keine Kriterien vereinbart wurden, wird sie zur Vorführung: Der Anbieter zeigt, was gut läuft, der Kunde nickt, und drei Monate später ist niemand zufrieden. Wo Kriterien stehen, ist die Abnahme ein halber Tag mit einer Liste, und am Ende weiß jeder, woran er ist.
Die Kriterien, die wir immer vereinbaren
Sie sind in jedem Projekt ähnlich, weil sie an den Stellen ansetzen, an denen Systeme tatsächlich scheitern. Die Schwellen dahinter sind projektabhängig und werden vorher gemeinsam festgelegt.
- Trefferquote auf dem gemeinsamen Testsatz, getrennt nach einfachen und schweren Fragen
- Richtigkeit der Quellenangaben, geprüft an einer Stichprobe der Antworten
- Antwortzeit unter der vereinbarten Gleichzeitigkeit, nicht im leeren System
- Rechteprüfung mit Testkonten verschiedener Rollen, einschließlich gesperrter Inhalte
- Wiederanlauf einmal durchgespielt, mit gestoppter Dauer
- Anwender eingewiesen, mit einer kurzen Anleitung in ihrer eigenen Sprache
Warum die Schwellen vorher feststehen müssen
Eine Trefferquote ohne vorher vereinbarte Schwelle ist eine Zahl, über die sich streiten lässt. Wird die Schwelle erst am Ende diskutiert, gewinnt der, der besser argumentiert, und nicht der, der recht hat. Wir schreiben diese Werte deshalb in der Planung fest, gemeinsam und schriftlich. Das ist unbequem für beide Seiten und der Grund, warum Abnahmen bei uns selten strittig sind.
Was ausdrücklich nicht in die Abnahme gehört
Zufriedenheit gehört nicht hinein, weil sie sich nicht messen lässt und an der Tagesform hängt. Nutzungszahlen gehören nicht hinein, weil sie erst nach Monaten aussagekräftig sind. Und Wünsche, die im Verlauf entstanden sind, gehören in die Verbesserung, nicht in die Prüfung des ursprünglich Vereinbarten. Diese Trennung schützt beide Seiten, vor allem den Kunden vor einem Projekt, das nie endet.
Nach der Abnahme hört es nicht auf
Die Abnahme schließt die Implementierung ab, nicht das Vorhaben. Danach folgen Einarbeitung, Verbesserung und Skalierung, und in diesen Stufen entsteht der Nutzen, für den das System überhaupt angeschafft wurde. Wir vereinbaren deshalb gleich mit der Abnahme die nächsten Messpunkte, üblicherweise nach einigen Monaten. Ein System, das nach der Abnahme nie wieder gemessen wird, driftet unbemerkt ab.
Wo die Grenze liegt
Eine bestandene Abnahme ist keine Garantie für gute Antworten in jedem Einzelfall. Sie belegt, dass das System die vereinbarten Fragen in der vereinbarten Zeit richtig beantwortet hat, mehr nicht. Fragen, die niemand vorhergesehen hat, bleiben ungeprüft. Außerdem verschiebt sich die Grundlage im Betrieb, weil Daten dazukommen und Modelle aktualisiert werden. Ohne wiederkehrende Messung sagt eine Abnahme nach einem Jahr nichts mehr über den heutigen Zustand.
Hauptseite zum Thema
KI-Audit und Einführung
Dort steht, wie wir das umsetzen, was es voraussetzt und wie der Ablauf aussieht.
Häufig gefragt
Wer nimmt ab, die IT oder die Fachabteilung?
Was passiert, wenn ein Kriterium nicht erfüllt ist?
Wie lange dauert eine Abnahme?
Müssen wir unsere Software austauschen?
Wird so ein Vorhaben gefördert?
Weiterlesen
Passt dazu
KI und IT
Testsatz
Echte Fragen mit bekannter Antwort, gemessen statt behauptet
KI und IT
Pilotbetrieb
Ein Bereich, vier Wochen Alltag, feste Messpunkte
KI und IT
Laufender Betrieb
Überwachen, aktualisieren, jemanden benennen
Der nächste Schritt
Unser Ziel: keine Suchzeit mehr.
Sie fragen, die belegte Antwort steht mit Quelle da. Im kostenlosen Analysegespräch, 30 Minuten, sehen wir uns Ihr Unternehmen an und sagen Ihnen, wo die Firmen-KI zuerst hilft. Wir denken langfristig. Der erste Schritt soll sich für Sie schnell rechnen, deshalb steht Ihr erster Baustein ab 2 Wochen. Danach wachsen wir mit Ihnen weiter: Wir suchen langfristige Partnerschaften, keine Einmalprojekte.
- Festpreis je Schritt
- Stopp-Punkt mit Zwischenabnahme
- Eigener Code, der Ihnen gehört