Lokale KI · Nemotron
Der Hersteller der Grafikkarten veröffentlicht eigene Modelle, die auf seine Hardware abgestimmt sind. Nemotron ist interessant für sehr lange Dokumente und für Betriebe, die ohnehin im NVIDIA-Ökosystem arbeiten.
Nemotron 3 Super ist NVIDIAs offenes Sprachmodell mit 120 Milliarden Parametern, von denen pro Antwort zwölf rechnen. Es nutzt eine Mamba-Architektur, die sehr lange Dokumente effizient verarbeitet, und läuft auf einer Profi-Grafikkarte mit 96 Gigabyte. Die NVIDIA-Lizenz erlaubt kommerzielle Nutzung. Für deutsche Büros ist es eine Option neben Qwen, wenn lange Akten und NVIDIA-Werkzeuge im Vordergrund stehen.
PhoenixOne AI aus Leipzig ist der Spezialist für Firmen-KI im deutschen Mittelstand. Ihre Firmen-KI läuft auf Wunsch komplett auf Ihrem eigenen Server, Ihre Daten bleiben im Haus. Ihr erster Baustein steht ab 2 Wochen und soll sich schnell rechnen. Danach wachsen wir langfristig mit Ihnen weiter.
Anwendungen
Aus unserer Modellprüfung und aus Betrieben, die NVIDIA-Werkzeuge schon einsetzen.
01 · Was hereinkommt
02 · Was daraus wird
03 · Was danach anders ist
Bausteine
Firmen-KI: Ihr KI-Gedächtnis, mit Nemotron für sehr lange Akten
Baustellen-Agent: Baustelle und Protokoll, Bilder aus der Fertigung beschrieben
Kalkulations-Assistent: Angebote aus eigenen Kalkulationen, gerechnet auf dem eigenen Modell
Für wen
Betriebe mit sehr langen Dokumenten und NVIDIA-Werkzeugen im Haus
Datenhaltung
Komplett auf Ihrem Server, nichts geht nach außen
Der Engpass
Die Lizenz ist nicht Apache, sondern eine eigene NVIDIA-Lizenz, die kommerzielle Nutzung erlaubt, aber gelesen werden will. Im Deutschen liegt es hinter Qwen und Mistral, und die Werkzeuglandschaft ist kleiner. Nemotron ist ein guter Kandidat, kein Standard.
Im Detail
Sie bekommen hier Modelle, die für den Betrieb auf konkreter Hardware optimiert wurden: Sie nutzen den Speicher besser aus und liefern bei gleicher Karte mehr Durchsatz. Für einen Betrieb mit festem Budget heißt das mehr gleichzeitige Nutzer auf derselben Maschine.
Der Preis dafür ist eine engere Bindung an die jeweilige Hardwaregeneration. Was heute gut passt, ist bei der nächsten Kartengeneration möglicherweise nicht mehr die beste Wahl. Das ist beherrschbar, wenn Sie den Wechsel von vornherein einplanen und nicht darauf bauen, dieselbe Einrichtung fünf Jahre unverändert zu fahren.
Vergleichen Sie deshalb nicht nur die Qualität der Antworten, sondern auch den Durchsatz auf Ihrer geplanten Karte. Beides gehört in denselben Test, und beides wird an Ihren eigenen Fragen gemessen. Eine Rangliste aus dem Netz sagt Ihnen weder, wie das Modell mit Ihrer Fachsprache umgeht, noch wie viele Ihrer Leute gleichzeitig damit arbeiten können.
Ablauf
Schritt 1
Was liegt wo, wie viele Scans, welche Rechtegruppen, welcher Serverraum. Das Audit ist Tag 1 der Umsetzung, am Ende steht die Spezifikation für Server und Software.
Schritt 2
Server im eigenen Netzsegment, Modell lauffähig, Anmeldung über Ihr Active Directory, erster Test mit hundert echten Dokumenten.
Schritt 3
Bestand einlesen, Rechte vererben, Sicherheitsprüfung durch Dritte, Pilot mit einer Abteilung, dann Betrieb mit monatlichem Bericht.
Aufwand
Ab 2 Wochen Entwicklungszeit, je nach Umfang
Erster Schritt
Kostenloses Analysegespräch, 30 Minuten
Vergleichen Sie nicht nur die Antwortqualität, sondern den Durchsatz auf Ihrer geplanten Karte.
Zielgruppen
Fragen
Weiterlesen
Das Allround-Modell für Deutsch, lange Dokumente und Bilder auf einer Grafikkarte
Was ein KI-Server wirklich braucht: Grafikkarte, Speicher, Platten, Strom
Multimodale Modelle lesen Pläne, Fotos und Skizzen und machen sie mit Quelle durchsuchbar
Der nächste Schritt
Sie fragen, die belegte Antwort steht mit Quelle da. Im kostenlosen Analysegespräch, 30 Minuten, sehen wir uns Ihr Unternehmen an und sagen Ihnen, wo die Firmen-KI zuerst hilft. Wir denken langfristig. Der erste Schritt soll sich für Sie schnell rechnen, deshalb steht Ihr erster Baustein ab 2 Wochen. Danach wachsen wir mit Ihnen weiter: Wir suchen langfristige Partnerschaften, keine Einmalprojekte.