Glossar · Architektur und Betrieb

Was ist Inferenz?

Inferenz ist das Ausführen eines trainierten Modells, also der Vorgang, bei dem aus Ihrer Frage eine Antwort wird. Die Software dafür entscheidet, wie viele Menschen gleichzeitig arbeiten können: Für Einzeltests reicht ein einfacher Server, für einen Betrieb braucht es einen, der Anfragen bündelt.

Auch genannt: Ausführung, Serving, vLLM, Ollama

Stand:

Von PhoenixOne AI aus Leipzig, dem Spezialisten für Firmen-KI im deutschen Mittelstand. Kostenloses Analysegespräch, 30 Minuten

KI-generiertes Bild: Eine einzelne große Glaskarte mit Kupferkante im Vordergrund, dahinter unscharf eine Schublade voller kleinerer Karten
Ein Begriff, eine Seite, eine Erklärung ohne Fachjargon. Danach wissen Sie, ob er für Ihr Unternehmen überhaupt eine Rolle spielt.

Was das für Ihr Unternehmen heißt

Wer mit einem Werkzeug für Einzeltests in den Betrieb geht, erlebt bei vier gleichzeitigen Nutzern einen Einbruch. Das ist ein häufiger und vermeidbarer Fehler bei ersten lokalen Installationen.

Ein Fall aus dem Alltag

Ein Mitarbeiter tippt eine Frage und wartet. Was in dieser Zeit passiert, ist Inferenz: Das Modell rechnet die Antwort Wort für Wort aus. Deshalb erscheint die Antwort schrittweise, und deshalb hängt die gefühlte Geschwindigkeit daran, wie schnell das erste Wort kommt.

Wie wir es umsetzen

Wir setzen für den Betrieb vLLM ein, das Anfragen bündelt und eine Schnittstelle bietet, die zu gängigen Werkzeugen passt. Zwei Modelle können sich eine Karte teilen: eines für Sprache, eines für Tempo.

Der häufigste Irrtum

Oft verwechselt mit dem Training. Training ist das einmalige, sehr aufwendige Erzeugen des Modells. Inferenz ist die tägliche Nutzung. Beim Betrieb im eigenen Haus findet nur Inferenz statt, trainiert wird nichts, und Ihre Daten fließen in kein Training ein.

Grenze

Wo die Grenze liegt

Auch der beste Server macht ein zu großes Modell auf einer zu kleinen Karte nicht schnell. Hardware und Software müssen zusammenpassen.

Wo das bei uns vorkommt

Weiterlesen

Verwandte Begriffe

  • Architektur und Betrieb

    Grafikkarte für KI

    Das Bauteil, das bestimmt, wie viele Menschen die KI gleichzeitig nutzen können

  • Architektur und Betrieb

    Quantisierung

    Modelle verkleinern, damit sie auf die Karte passen, ohne viel zu verlieren

  • KI-Grundlagen

    Token

    Die Recheneinheit der KI, nach der Cloud-Anbieter abrechnen

  • KI-Grundlagen

    Mixture of Experts

    Warum ein großes Modell trotzdem schnell sein kann

Der nächste Schritt

Unser Ziel: keine Suchzeit mehr.

Sie fragen, die belegte Antwort steht mit Quelle da. Im kostenlosen Analysegespräch, 30 Minuten, sehen wir uns Ihr Unternehmen an und sagen Ihnen, wo die Firmen-KI zuerst hilft. Wir denken langfristig. Der erste Schritt soll sich für Sie schnell rechnen, deshalb steht Ihr erster Baustein ab 2 Wochen. Danach wachsen wir mit Ihnen weiter: Wir suchen langfristige Partnerschaften, keine Einmalprojekte.

Analysegespräch buchenErst ansehen: Webinar am 1. Dezember
  • Festpreis je Schritt
  • Stopp-Punkt mit Zwischenabnahme
  • Eigener Code, der Ihnen gehört
Analysegespräch buchen30 Minuten, kostenlos