Was ist Inferenz?
Auch genannt: Ausführung, Serving, vLLM, Ollama
◆Kurz gesagt
Inferenz ist das Ausführen eines trainierten Modells, also der Vorgang, bei dem aus Ihrer Frage eine Antwort wird. Die Software dafür entscheidet, wie viele Menschen gleichzeitig arbeiten können: Für Einzeltests reicht ein einfacher Server, für einen Betrieb braucht es einen, der Anfragen bündelt.
Stand: September 2026
Was das für Ihr Büro heißt
Wer mit einem Werkzeug für Einzeltests in den Betrieb geht, erlebt bei vier gleichzeitigen Nutzern einen Einbruch. Das ist ein häufiger und vermeidbarer Fehler bei ersten lokalen Installationen.
Ein Fall aus dem Alltag
Ein Mitarbeiter tippt eine Frage und wartet. Was in dieser Zeit passiert, ist Inferenz: Das Modell rechnet die Antwort Wort für Wort aus. Deshalb erscheint die Antwort schrittweise, und deshalb hängt die gefühlte Geschwindigkeit daran, wie schnell das erste Wort kommt.
Wie wir es umsetzen
Wir setzen für den Betrieb vLLM ein, das Anfragen bündelt und eine Schnittstelle bietet, die zu gängigen Werkzeugen passt. Zwei Modelle können sich eine Karte teilen: eines für Sprache, eines für Tempo.
Der häufigste Irrtum
Oft verwechselt mit dem Training. Training ist das einmalige, sehr aufwendige Erzeugen des Modells. Inferenz ist die tägliche Nutzung. Beim Betrieb im eigenen Haus findet nur Inferenz statt, trainiert wird nichts, und Ihre Daten fließen in kein Training ein.
Wo die Grenze liegt
Auch der beste Server macht ein zu großes Modell auf einer zu kleinen Karte nicht schnell. Hardware und Software müssen zusammenpassen.
◆Wo das bei uns vorkommt
Verwandte Begriffe
Grafikkarte für KI
Das Bauteil, das bestimmt, wie viele Menschen die KI gleichzeitig nutzen können
Quantisierung
Modelle verkleinern, damit sie auf die Karte passen, ohne viel zu verlieren
Token
Die Recheneinheit der KI, nach der Cloud-Anbieter abrechnen
Mixture of Experts
Warum ein großes Modell trotzdem schnell sein kann
Sie wollen wissen, ob Inferenz in Ihrem Büro etwas bringt?
Dreißig Minuten, per Video oder Telefon. Wir fragen nach Zahlen, nicht nach Ihrem Interesse an KI.
Termin vereinbaren◆Der nächste Schritt
Was kostet Sie das Suchen
im Monat?
Die wenigsten Büros haben das je ausgerechnet. Im Termin machen wir es zusammen: Stunden pro Woche, was eine Stunde bei Ihnen kostet, was im letzten Jahr deswegen schiefgegangen ist. Über uns reden wir erst danach.
- Dreißig Minuten, per Video oder Telefon
- Wir fragen nach Zahlen, nicht nach Ihrem Interesse an KI
- Danach wissen Sie, ob sich das für Sie lohnt. Auch wenn die Antwort nein ist
Keine Folien, keine Verkaufsshow. Wenn es nicht passt, sagen wir das im Termin.