Was ist multimodale KI?
Ein multimodales Modell verarbeitet neben Text auch Bilder: Fotos, Pläne, gescannte Zeichnungen, Skizzen. Es beschreibt, was zu sehen ist, liest Schriftfelder und ordnet zu. Dadurch werden Bestände auffindbar, die bisher unsichtbar waren, weil sie nie in Worte gefasst wurden.
Auch genannt: Bildverständnis, Vision-Modell
Stand:Von PhoenixOne AI aus Leipzig, dem Spezialisten für Firmen-KI im deutschen Mittelstand. Kostenloses Analysegespräch, 30 Minuten
Was das für Ihr Unternehmen heißt
In einem Planungsbüro ist ein erheblicher Teil des Bestands kein Text. Erst wenn Pläne und Baustellenfotos beschrieben sind, findet die Suche das Fundamentdetail von 2009 oder das Foto zum Mangel von letzter Woche.
Ein Fall aus dem Alltag
Ein Geselle schickt ein Foto der Baustelle ohne Kommentar. Ein multimodales Modell beschreibt, was zu sehen ist, ordnet es dem Gewerk zu und bereitet einen Protokolleintrag vor. Die Bewertung, ob das ein Mangel ist, bleibt bei Ihnen.
Wie wir es umsetzen
Wir lassen Bilder beim Einlesen beschreiben und legen die Beschreibung zusammen mit Verweis auf das Original in den Index. Bei Zeichnungen lesen wir zusätzlich das Schriftfeld aus. Lokal übernimmt das ein multimodales Modell auf demselben Server.
Der häufigste Irrtum
Oft verwechselt mit Texterkennung. Die Texterkennung liest Buchstaben aus einem Bild. Ein multimodales Modell erfasst auch, was auf dem Bild zu sehen ist und wie es angeordnet ist, was bei Tabellen und Formularen den Unterschied macht.
Grenze
Wo die Grenze liegt
Ein Modell beschreibt einen Plan, es prüft ihn nicht. CAD-Geometrie liest es nicht als Volltext, dafür arbeiten wir mit Metadaten und Exporten.
Wo das bei uns vorkommt
Lösung · Baustelle und Protokoll
Baustellen-Agent
Ein Foto und ein Satz per WhatsApp
Lösung · Wissen mit Quelle, Ihre KI-Wissensdatenbank
Firmen-KI
Frage rein, Antwort mit Quelle raus
Themenseite
Multimodale Modelle lokal
Themenseite
Bilder und Pläne durchsuchen
Weiterlesen
Verwandte Begriffe
Daten und Suche
Texterkennung
Aus Bildern von Text werden durchsuchbare Dokumente
KI-Grundlagen
Sprachmodell
Das Programm, das Text versteht und schreibt, Grundlage jeder KI-Anwendung
Planen und Bauen
Bauzeichnung und CAD
Was eine KI an Plänen lesen kann, und was nicht
Daten und Suche
Embedding
Die Zahlenreihe, die Bedeutung beschreibt, Grundlage jeder guten Suche
Der nächste Schritt
Unser Ziel: keine Suchzeit mehr.
Sie fragen, die belegte Antwort steht mit Quelle da. Im kostenlosen Analysegespräch, 30 Minuten, sehen wir uns Ihr Unternehmen an und sagen Ihnen, wo die Firmen-KI zuerst hilft. Wir denken langfristig. Der erste Schritt soll sich für Sie schnell rechnen, deshalb steht Ihr erster Baustein ab 2 Wochen. Danach wachsen wir mit Ihnen weiter: Wir suchen langfristige Partnerschaften, keine Einmalprojekte.
- Festpreis je Schritt
- Stopp-Punkt mit Zwischenabnahme
- Eigener Code, der Ihnen gehört