Qwen lokal
Das Allround-Modell für Deutsch, lange Dokumente und Bilder auf einer Grafikkarte
Lokale KI · Modellwahl
Welches KI-Modell für Ihr Unternehmen
Ihr Testsatz entscheidet, nicht die Bestenliste.
Jede Woche erscheint ein neues Modell mit einer neuen Bestenliste. Für Ihr Unternehmen zählt nur eines: Beantwortet es Ihre Fragen aus Ihren Dokumenten richtig, auf Deutsch, in brauchbarer Zeit. Das misst kein Benchmark, das misst Ihr Testsatz.
*KI-generiert- Für wen
- Betriebe, die zwischen Qwen, gpt-oss, Mistral und Gemma schwanken
- Aufwand
- Ab 2 Wochen Entwicklungszeit, je nach Umfang
- Förderung
- Wird für Ihr Bundesland geprüft
- Datenhaltung
- Testsatz und Modelle laufen auf Ihrem Server, nicht bei uns
- Erster Schritt
- Kostenloses Analysegespräch, 30 Minuten
Kurz gesagt
Das richtige Modell entscheidet nicht die Bestenliste, sondern Ihr Testsatz: fünfzig echte Fragen aus Ihrem Alltag mit bekannter Antwort. Damit prüfen wir drei bis vier offene Modelle auf Deutsch, Quellentreue und Tempo auf Ihrer Hardware. Für die meisten Betriebe gewinnt ein Modell der Klasse um 120 Milliarden Parameter, das auf eine Profi-Grafikkarte passt.
Stand: Oktober 2026
PhoenixOne AI aus Leipzig ist der Spezialist für Firmen-KI im deutschen Mittelstand. Ihre Firmen-KI läuft auf Wunsch komplett auf Ihrem eigenen Server, Ihre Daten bleiben im Haus. Ihr erster Baustein steht ab 2 Wochen und soll sich schnell rechnen. Danach wachsen wir langfristig mit Ihnen weiter.
Ein Modell, das plausibel danebenliegt, ist gefährlicher als eines, das nichts gefunden hat.
Anwendungen
Sechs Fragen, die in jeden Testsatz gehören
Der Testsatz kommt aus Ihrem Alltag. Diese sechs Typen decken ab, woran Modelle unterschiedlich scheitern.
01 · Was hereinkommt
- Eine Fachfrage, deren Antwort in einem einzigen Absatz eines bekannten Dokuments steht
- Eine Frage, deren Antwort über drei Dokumente verteilt ist und zusammengeführt werden muss
02 · Was daraus wird
- Eine Frage mit Tabelle als Quelle, etwa ein Wert aus einer Leistungsbeschreibung
- Eine Frage, auf die es in Ihrem Bestand keine Antwort gibt, um zu sehen, ob das Modell erfindet
03 · Was danach anders ist
- Eine Frage in Umgangssprache mit Tippfehlern, so wie sie um halb fünf getippt wird
- Eine lange Zusammenfassung eines Protokolls mit zwanzig Seiten, geprüft auf Auslassungen
Der Engpass
Warum die Bestenliste Sie in die Irre führt
Benchmarks messen englische Rätsel und Programmieraufgaben. Ihr Alltag ist deutscher Fachtext mit Tabellen, Scans und Abkürzungen. Ein Modell, das auf der Liste vorn liegt, kann bei Ihren Protokollen steif oder ungenau antworten. In unseren Tests lagen Qwen 3.5, gpt-oss 120B und Mistral Small 4 je nach Betrieb vorn, nie dasselbe Modell bei allen. Deshalb testen wir immer auf Ihrer Hardware mit Ihren Fragen.
Im Detail
Wie ein Testsatz aussieht, der wirklich entscheidet
Sie brauchen dafür keine Wissenschaft, sondern dreißig Fragen, deren richtige Antwort Sie kennen. Nehmen Sie echte Fragen aus dem Alltag, nicht ausgedachte: die Frage, die letzte Woche jemand im Flur gestellt hat, und die Unterlage, in der die Antwort steht.
Bewertet wird nicht, ob die Antwort schön klingt, sondern drei Dinge: Ist sie sachlich richtig, nennt sie die richtige Fundstelle, und erfindet sie nichts dazu. Der dritte Punkt ist der wichtigste, denn ein Modell, das plausibel danebenliegt, ist gefährlicher als eines, das zugibt, nichts gefunden zu haben.
Derselbe Testsatz dient später als Prüfung vor jedem Update. Wenn eine neue Version das Antwortverhalten ändert, sehen Sie es an denselben dreißig Fragen, bevor es im Betrieb auffällt. Damit wird aus einer einmaligen Auswahl ein dauerhaftes Werkzeug.
Ablauf
So wählen wir das Modell
- 1
Schritt 1
Testsatz erheben
Fünfzig Fragen aus drei Abteilungen, jede mit der Stelle, wo die Antwort steht. Dauert zwei Termine mit Ihren Fachleuten.
- 2
Schritt 2
Drei bis vier Modelle laufen lassen
Auf Ihrem Server, mit denselben Dokumenten, demselben Index. Wir bewerten Treffer, Quelle, Deutsch und Antwortzeit.
- 3
Schritt 3
Entscheiden und festhalten
Ein Modell für Deutsch und lange Dokumente, bei Bedarf ein zweites für Tempo. Der Testsatz bleibt und prüft jedes spätere Update.
Aufwand
Ab 2 Wochen Entwicklungszeit, je nach Umfang
Erster Schritt
Kostenloses Analysegespräch, 30 Minuten
Bausteine
Was wir dafür entwickeln
Baustein 1
Firmen-KI im DetailFirmen-KI: Ihr KI-Gedächtnis, in dem das gewählte Modell aus Ihren Dokumenten antwortet
Baustein 2
Post-Lotse im DetailPost-Lotse: Posteingang, bei dem ein schnelles zweites Modell die Vorsortierung übernimmt
Baustein 3
Kalkulations-Assistent im DetailKalkulations-Assistent: Angebote, für die das Modell Tabellen sicher lesen muss
Zielgruppen
Für wen sich das lohnt
GeschäftsführungSie wollen keine Glaubensfrage, sondern eine Entscheidung mit Zahlen. Der Testsatz liefert sie in einer Tabelle.
FachabteilungSie schreiben die Fragen und kennen die richtigen Antworten. Damit werden Sie zum Maßstab, an dem sich jedes Modell messen muss.
IT-LeitungSie sehen, welches Modell auf Ihrer Karte wie schnell läuft. Keine Überraschung nach dem Go-live.
Fragen
Häufig gefragt
Welches Modell ist das beste für Deutsch?
Mistral Small 4 schreibt das idiomatischste Deutsch, Qwen 3.5 ist bei langen Dokumenten und Bildern stark, gpt-oss 120B ist am schnellsten und stark bei Logik, im Deutschen etwas steifer. Welches bei Ihnen gewinnt, zeigt der Testsatz.
Warum nicht einfach das größte Modell?
Weil es nicht auf eine Karte passt. DeepSeek V4 zum Beispiel ist sehr groß und braucht mehrere Karten. Die Klasse um 120 Milliarden Parameter mit wenigen aktiven Experten ist der Sweet Spot: große Qualität, kleine Geschwindigkeit.
Reicht ein europäisches Modell wie Teuken oder EuroLLM?
Für einfache Aufgaben und als Compliance-Argument ja. Mit sieben bis neun Milliarden Parametern sind sie für anspruchsvolles Fachtext-RAG zu klein. Wir nehmen sie in den Test auf, wenn Sie es wünschen.
Müssen wir das Modell später wechseln?
Manchmal lohnt es sich. Weil der Testsatz bleibt, ist der Wechsel ein Nachmittag: neues Modell laden, Testsatz laufen lassen, vergleichen, entscheiden.
Gibt es Fördermittel für lokale KI?
Oft ja. Ob ein Zuschuss oder ein Darlehen greift, hängt an Ihrem Bundesland, an der Betriebsgröße und am Vorhaben. Hardware zählt in der Regel mit, wenn sie Teil des Vorhabens ist. Wir prüfen das vor dem Termin und sagen Ihnen, ob sich der Antragsaufwand lohnt.
Weiterlesen
Verwandte Seiten
Erster SchrittKostenloses Analysegespräch, 30 MinutenWo es in Ihrem Unternehmen hakt und ob eine Firmen-KI zu Ihnen passt. Per Video, ohne Verpflichtung.
gpt-oss lokal
Das offene Modell von OpenAI: sehr schnell, stark bei Logik, wenig Speicher
Mistral lokal
Das europäische Modell mit dem natürlichsten Deutsch, Apache-Lizenz, lokal betreibbar
Programme
Programme, mit denen Sie arbeiten
Zu jedem steht, was sich anbinden lässt, was dabei herauskommt und wo die Grenze liegt.
TestsatzEchte Fragen mit bekannter Antwort, gemessen statt behauptet
PilotbetriebEin Bereich, vier Wochen Alltag, feste Messpunkte
AbnahmeMessbare Kriterien, vorher vereinbart, gemeinsam geprüft
Anthropic APIClaude für lange Dokumente, Auswertung und sauberes Deutsch
OpenAI APISprache, Bild und Stimme, wenn drei Arten Material zusammenkommen
Der nächste Schritt
Unser Ziel: keine Suchzeit mehr.
Sie fragen, die belegte Antwort steht mit Quelle da. Im kostenlosen Analysegespräch, 30 Minuten, sehen wir uns Ihr Unternehmen an und sagen Ihnen, wo die Firmen-KI zuerst hilft. Wir denken langfristig. Der erste Schritt soll sich für Sie schnell rechnen, deshalb steht Ihr erster Baustein ab 2 Wochen. Danach wachsen wir mit Ihnen weiter: Wir suchen langfristige Partnerschaften, keine Einmalprojekte.
- Festpreis je Schritt
- Stopp-Punkt mit Zwischenabnahme
- Eigener Code, der Ihnen gehört