Was ist Mixture of Experts?
Auch genannt: MoE, Expertenmodell, aktive Parameter
◆Kurz gesagt
Bei einem Mixture-of-Experts-Modell rechnet nicht das ganze Modell an jeder Antwort, sondern nur ein Teil davon. Ein Modell mit hundert Milliarden Parametern nutzt pro Token vielleicht zehn. Dadurch hat es die Qualität eines großen und das Tempo eines kleinen Modells. Das macht lokale KI auf einer Grafikkarte praktikabel.
Stand: September 2026
Was das für Ihr Büro heißt
Genau diese Bauweise ist der Grund, warum ein einzelner Server im Büro heute ein Modell tragen kann, das vor zwei Jahren ein Rechenzentrum gebraucht hätte. Sie zahlen Speicher für das ganze Modell, aber Rechenzeit nur für den aktiven Teil.
Ein Fall aus dem Alltag
Zwei Modelle haben dieselbe Gesamtgröße, aber eines antwortet spürbar schneller. Der Grund kann in dieser Bauweise liegen: Es werden nicht alle Teile des Modells für jede Anfrage genutzt, sondern nur ein Teil. Für Ihren Server heißt das mehr Durchsatz bei gleicher Karte.
Wie wir es umsetzen
Wir wählen für lokale Systeme Modelle dieser Bauweise in der Größenklasse, die in den Speicher der Grafikkarte passt, und betreiben sie mit einem Server, der mehrere Anfragen bündelt.
Der häufigste Irrtum
Oft verwechselt mit mehreren spezialisierten Modellen. Es handelt sich um ein einziges Modell, dessen innere Teile sich die Arbeit teilen. Für den Betrieb müssen Sie trotzdem das ganze Modell im Speicher halten.
Wo die Grenze liegt
Der Speicherbedarf richtet sich nach dem ganzen Modell, nicht nach dem aktiven Teil. Eine kleine Karte reicht deshalb trotzdem nicht.
◆Wo das bei uns vorkommt
Verwandte Begriffe
Sprachmodell
Das Programm, das Text versteht und schreibt, Grundlage jeder KI-Anwendung
Quantisierung
Modelle verkleinern, damit sie auf die Karte passen, ohne viel zu verlieren
Inferenz
Das Ausführen eines Modells, und warum die Software dafür zählt
Grafikkarte für KI
Das Bauteil, das bestimmt, wie viele Menschen die KI gleichzeitig nutzen können
Sie wollen wissen, ob Mixture of Experts in Ihrem Büro etwas bringt?
Dreißig Minuten, per Video oder Telefon. Wir fragen nach Zahlen, nicht nach Ihrem Interesse an KI.
Termin vereinbaren◆Der nächste Schritt
Was kostet Sie das Suchen
im Monat?
Die wenigsten Büros haben das je ausgerechnet. Im Termin machen wir es zusammen: Stunden pro Woche, was eine Stunde bei Ihnen kostet, was im letzten Jahr deswegen schiefgegangen ist. Über uns reden wir erst danach.
- Dreißig Minuten, per Video oder Telefon
- Wir fragen nach Zahlen, nicht nach Ihrem Interesse an KI
- Danach wissen Sie, ob sich das für Sie lohnt. Auch wenn die Antwort nein ist
Keine Folien, keine Verkaufsshow. Wenn es nicht passt, sagen wir das im Termin.