KI-Modelle — ein Überblick

Nachdem ich die verschiedenen Modelle recherchiert hatte, dachte ich: Dieses Thema ist so banal, es ist eigentlich gar keinen Artikel wert. Es gibt verschiedene Modelle für verschiedene Zwecke, Sie müssen sie nicht verändern, so rufen Sie sie auf. Fertig.

Ich veröffentliche diesen Artikel trotzdem, denn er beweist:

Wo die wirklichen Schwierigkeiten liegen

Die eigentlichen Schwierigkeiten bei agentischen KI-Systemen liegen in verschiedenen anderen Bereichen — und in keinem dieser Bereiche hat ein US-KI-Riese mehr Erfahrung als die meisten Leute, die seit Jahren im Berufsleben stehen.

Denkt doch mal logisch nach: Die Herausforderungen liegen in folgenden Bereichen:

• Business verstehen
• Prozesse vereinfachen
• UI/UX und User Centricity verbessern
• Arbeitsweisen verändern
• organisatorische Strukturen aufbrechen und neu designen
• Daten in der richtigen Form zur richtigen Zeit am richtigen Ort zu haben
• Wissen kodifizieren
• Governance sauber aufsetzen
• stabile aber modulare Architekturen aufbauen
• richtig gutes klassisches Software Engineering
• etc.

Große US-KI-Firmen haben auch keine lange Tradition in diesen Disziplinen. Deshalb verbrüdern sie sich ja mit anderen Firmen, wie Unternehmensberatungen.

Eine politische Anmerkung zu Deutschland

Und hier meine vielleicht etwas politische Meinung, was Deutschland betrifft:

Wir alle leiden unter der Rezession der letzten Jahre. Wir brauchen Hoffnung und Aufbruchsstimmung.

Wenn ich höre, dass große bekannte deutsche Firmen Partnerschaften mit großen bekannten US-KI-Riesen eingehen, dann erzeugt das bei mir Unverständnis. Warum denn? Wir haben so viele top Leute! Wir haben alles Wissen, was man braucht, um richtig gute agentische KI zu bauen. Dann lasst es uns doch einfach machen!

Nachdem ich herausgefunden habe, wie banal es ist, ein Modell aufzurufen, frage ich mich ernsthaft, was ein US-KI-Riese an jahrzehntelanger Tradition in den wirklich wichtigen Disziplinen mitbringt — nämlich gar nichts, weil es diese Firmen noch gar nicht so lange gibt.

Also lasst es uns doch selbst bauen. Dann haben wir auch die Freiheit, mit lokaler KI zu bauen, wenn es sinnvoll und wichtig ist — und das wird vielleicht öfter der Fall sein, als man denkt.

Nun zum eigentlichen Thema

Es ist keine vollumfängliche Auflistung oder technische Anleitung. Dieser Artikel soll nur mal einen groben Überblick geben.

Für Nicht-Techies: Man muss die Begriffe zumindest mal gehört und eingeordnet haben. KI wird in Zukunft einen großen Anteil im Berufsleben einnehmen, und man braucht ein gewisses Basiswissen — so wie man früher auch lernte, was die Begriffe Deployment, CI/CD oder DevOps bedeuten.

Für Engineers: Sie werden nichts Neues erfahren, aber der nächste Absatz kann Ihnen helfen, die Stakeholder wieder auf Kurs zu bringen. Es passiert so oft im Berufsleben, dass sich Diskussionen in die falsche Richtung bewegen und dann wochenlang über etwas debattiert wird, was eigentlich gar nicht der Punkt ist. Oft zu technisch und zu weit weg vom Business. Es ist sehr hilfreich, wenn es Engineers gibt, die die Stakeholder wieder einfangen und einnorden, in die Richtung: warum bauen wir das, wie ist der Workflow und wie können wir es vereinfachen.

Welche Modelltypen gibt es?

LLM

Large Language Models

Große Sprachmodelle, trainiert auf riesigen Textdatensätzen, um menschliche Sprache zu verstehen und zu erzeugen.

• Hunderte Milliarden bis Billionen Parameter
• Generalistisch angelegt: Zusammenfassen, Analysieren, Konversation, Reasoning, Code

Einsatz: Wenn die Aufgabe breit, offen oder komplex ist. Komplexes Reasoning, kreative Textgenerierung, vielschichtige Analyse, Orchestrierung in Agentensystemen.

Beispiele: GPT-4o, Claude Sonnet/Opus, Gemini, Llama 4, DeepSeek R1, Mistral Large

SLM

Small Language Models

Kleine Sprachmodelle mit typisch 1 bis 13 Milliarden Parametern.

• Trainiert auf fokussierten, oft domänenspezifischen Daten
• Können lokal betrieben werden, was Governance und Datenschutz vereinfacht
• Deutlich niedrigere Betriebskosten als LLMs

Einsatz: Wenn die Aufgabe eng gefasst und wiederholbar ist. Klassifizierung, Extraktion, Routing, einfache Zusammenfassungen, Edge-Szenarien, regulierte Branchen, wo Compliance und Datensouveränität Priorität haben.

Beispiele: Mistral 7B, Phi-3, Gemma 2B/7B, Qwen 3 4B

CODE

Code Models

Sprachmodelle, die speziell auf Quellcode und Programmiersprachen trainiert oder feinabgestimmt sind.

• Verstehen Syntax, Logik und Abhängigkeiten über Programmiersprachen hinweg

Einsatz: Code-Vervollständigung, Code-Generierung aus natürlicher Sprache, Fehlersuche, Refactoring, Code Review, Testgenerierung.

Beispiele: Codestral (Mistral), StarCoder, Code Llama, DeepSeek Coder, GPT-4o (mit Code-Fokus)

EMB

Embedding Models

Modelle, die Text, Bilder oder andere Daten in dichte numerische Vektoren (typisch 768, 1024 oder 1536 Dimensionen) umwandeln.

• Semantisch ähnliche Inhalte liegen im Vektorraum nahe beieinander
• Grundlage für Retrieval Augmented Generation (RAG), semantische Suche und Empfehlungssysteme
• Klein, schnell, effizient, lokal betreibbar
• Werden zusammen mit Vektordatenbanken eingesetzt

Einsatz: Semantische Suche, Ähnlichkeitsvergleiche, RAG-Pipelines, Clustering, Anomalieerkennung, Dokumentenvergleich, Empfehlungssysteme.

Beispiele: OpenAI text-embedding-3, NV-EmbedQA, Cohere Embed, Sentence Transformers (Open Source), Amazon Titan Text Embeddings

IMG

Image Generation Models

Modelle, die aus Textbeschreibungen (Text-to-Image) oder bestehenden Bildern neue Bilder erzeugen.

• Technisch basierend auf Diffusionsmodellen oder Transformer-Architekturen

Einsatz: Marketing-Visuals, Prototyping, Produktfotografie-Stil, Illustration, Designkonzepte.

Beispiele: Stable Diffusion 3.5, DALL-E 3, Midjourney, Kling 1.6 Pro, Recraft v3, Flux

VLM

Vision Language Models

KI-Systeme, die Bildverständnis und Sprachverarbeitung kombinieren.

• Architektur: ein visueller Encoder (z.B. ViT oder CLIP) extrahiert Bildmerkmale, ein Sprachmodell (LLM) wandelt diese in Text um
• Können Bilder interpretieren, beschreiben, Fragen zu Bildinhalten beantworten
• Abgrenzung: Alle VLMs sind multimodal, aber nicht alle multimodalen Modelle sind VLMs. VLMs sind spezifisch auf Bild plus Sprache ausgerichtet

Einsatz: Dokumentenanalyse (Rechnungen, Formulare, Scans), Qualitätskontrolle in der Fertigung, medizinische Bildauswertung, visuelle Suche, Barrierefreiheit (Bildbeschreibungen).

Beispiele: GPT-4o (Vision), Gemini, Claude (Vision), LLaVA, Qwen-VL, Llama 4 Scout

LMM

Multimodale Modelle (Large Multimodal Models)

Modelle, die mehr als zwei Modalitäten gleichzeitig verarbeiten und/oder generieren: Text, Bild, Audio, Video.

• Entwicklung geht von Text-zu-Text hin zu Any-to-Any-Modellen
• Unterschied zu VLMs: LMMs sind der breitere Oberbegriff und schließen auch Audio, Video und weitere Sensorik ein

Einsatz: Komplexe Workflows, die verschiedene Datentypen gleichzeitig benötigen. Videoanalyse mit Textzusammenfassung, Spracheingabe mit visueller Ausgabe, multimodale Agenten.

Beispiele: GPT-4o (Audio + Vision + Text), Gemini 3, Meta 4M

STT/TTS

Speech to Text und Text to Speech

STT / ASR (Automatic Speech Recognition): Wandelt gesprochene Sprache in geschriebenen Text um.

• Unterstützt Echtzeit-Streaming und Batch-Transkription
• Funktionen: Sprecherzuordnung, automatische Zeichensetzung, Schimpfwortfilterung, benutzerdefiniertes Vokabular

TTS (Text to Speech): Wandelt geschriebenen Text in gesprochene Sprache um.

• Neuronale TTS-Modelle erzeugen natürlich klingende Stimmen
• Voice Cloning ermöglicht markenspezifische Stimmen

Einsatz STT: Transkription von Meetings, Interviews, Callcentern, Podcasts. Sprachsteuerung. Barrierefreiheit.

Einsatz TTS: Voicebots, Sprachassistenten, Hörbuch-Generierung, Konversationsagenten, Accessibility.

Beispiele: OpenAI Whisper (STT, Open Source), Google Speech-to-Text, Azure Speech, Amazon Transcribe, ElevenLabs (TTS), OpenAI TTS, NVIDIA Riva, Azure Custom Neural Voice

VID

Video Generation Models

Modelle, die aus Textbeschreibungen, Bildern oder kurzen Clips Videoinhalte erzeugen.

• Technisch basierend auf Diffusionsmodellen, die auf zeitliche Kohärenz und Bewegung erweitert sind
• Ergebnisse sind mittlerweile kaum noch von gefilmtem Material zu unterscheiden

Einsatz: Werbefilme, Spezialeffekte, Konzeptvisualisierung, Storytelling, Produktvideos.

Beispiele: Sora (OpenAI), Veo 3 (Google DeepMind), Gen-4 (Runway), Kling Video, NVIDIA Cosmos

RWD

Reward Models

Modelle, die trainiert werden, um menschliche Präferenzen abzubilden.

• Bewerten die Qualität von Antworten eines Sprachmodells auf einer Skala
• Werden im RLHF-Prozess (Reinforcement Learning from Human Feedback) eingesetzt, um das eigentliche Sprachmodell zu steuern
• Fungieren als Brücke zwischen menschlichem Feedback und Modellverhalten

Einsatz: Alignment-Training von LLMs. Qualitätsbewertung von Modellantworten. Filterung und Ranking von Outputs. Nicht direkt für Endanwender, sondern Teil der Modellentwicklungs-Pipeline.

Beispiele: Reward Models von OpenAI, Anthropic, Nemotron-Reward (NVIDIA)

TS

Time Series Models

Foundation Models, die auf großen, domänenübergreifenden Zeitreihendaten vortrainiert sind.

• Können ohne aufgabenspezifisches Training (Zero-Shot) Vorhersagen, Anomalieerkennung und Klassifikation auf neuen Daten liefern
• Anwendungsbereiche: Finanzen, Energie, Gesundheit, Fertigung, IoT
• Einschränkung: Zeitreihendaten sind domänenspezifisch (Saisonalität, Trends, unregelmäßige Abtastung), weshalb spezialisierte Modelle in der Praxis oft genauer sind als allgemeine Foundation Models

Einsatz: Absatzplanung, Energiebedarfsprognosen, Predictive Maintenance, Finanzprognosen, Anomalieerkennung in Sensordaten. Besonders wertvoll bei fehlenden oder unzureichenden historischen Daten.

Beispiele: TimesFM 2.5 (Google), Chronos 2 (Amazon), MOMENT, Lag-Llama

DOM

Domain-Specific Foundation Models

Vortrainierte Modelle, die gezielt auf Daten einer bestimmten Branche oder Domäne trainiert sind.

• Unterschied zu allgemeinen LLMs: tieferes Verständnis fachspezifischer Terminologie, Zusammenhänge und Regularien
• Können auf branchenspezifische Downstream-Tasks feinabgestimmt werden

Einsatz: Medizin (Radiologie, Pathologie, klinische Texte), Recht (Vertragsanalyse, Regulatorik), Biowissenschaften (Proteinstruktur, Genomik), Finanzen (Risikobewertung, Compliance), Fertigung (Qualitätskontrolle, Prozessoptimierung).

Beispiele: Med-PaLM (Google, Medizin), ESMFold (Meta, Proteinstruktur), BloombergGPT (Finanzen), BioMistral (Biomedizin), SecLM (Cybersecurity)

Wo hosten Sie das Modell?

Es gibt verschiedene Optionen:

• Cloud API (Managed Service): Sie nutzen das Modell über die API eines KI-Modell-Anbieters. Der Anbieter hostet, skaliert und wartet. Sie zahlen pro Token oder pro Anfrage. Kein eigener GPU-Bedarf.
• Hyperscaler Public Cloud: Sie betreiben Modelle auf GPU-Instanzen bei Hyperscalern. Shared Infrastructure, virtuell isoliert. Sie nutzen das Ökosystem des Hyperscalers (Monitoring, Logging, IAM), verantworten aber Betrieb und Skalierung selbst.
• Private Cloud: Dedizierte, physisch isolierte Infrastruktur bei einem Anbieter. Single-Tenant. Nur Sie nutzen die Hardware. Relevant, wenn Regulatorik eine nachweisbare Trennung von anderen Mandanten verlangt.
• Self-Hosted Cloud (eigene Infrastruktur in der Cloud): Sie betreiben Modelle auf gemieteten GPU-Servern. Volle Kontrolle über Modell und Daten, aber Sie verantworten Betrieb, Skalierung und Updates.
• On-Premise (lokal, eigene Hardware): Sie betreiben Modelle auf eigener Hardware im eigenen Rechenzentrum.

Entscheidungsfaktoren: Datenschutzanforderungen, Kosten (pro-Token vs. Fixkosten), Latenz, Skalierungsbedarf, Regulatorik.

Wie rufen Sie das Modell auf?

• API-Endpunkt (REST API): Standardweg — HTTP-Request an einen Endpunkt. Sie senden eine Anfrage (Prompt, Konfiguration) und erhalten die Antwort. Die meisten Anbieter nutzen ein OpenAI-kompatibles API-Format, das als De-facto-Standard gilt. Auch Self-Hosted-Lösungen (Ollama, vLLM, LocalAI) bieten OpenAI-kompatible Endpunkte, sodass Sie Cloud-Dienste durch lokale Modelle ersetzen können, ohne Code zu ändern.
• SDK (Software Development Kit): Bibliotheken in Python, TypeScript etc., die den API-Aufruf abstrahieren. Beispiele: OpenAI Python SDK, Anthropic SDK, LangChain, LlamaIndex.
• Inference-Server: Für Self-Hosted-Modelle ein Server-Prozess, der das Modell lädt und Anfragen entgegennimmt. Frameworks: vLLM, TGI (Text Generation Inference), NVIDIA Triton, Ollama.

So sieht das konkret aus

Hier mal ein sehr vereinfachtes Beispiel, das alle anderen Probleme erstmal ignoriert — es geht hier nur um das Prinzip des Aufrufs eines Modells.

Ein Business User erstellt einen Bericht. Relevante Daten werden vorher aus internen Systemen geladen. Hier geht es nur um den Schritt, in dem das Modell aufgerufen wird.

Variante 1: Lokales Modell mit Ollama

antwort = requests.post(
    "http://localhost:11434/v1/chat/completions",
    json={
        "model": "mistral",
        "messages": [
            {
                "role": "user",
                "content": f"Erstelle aus diesen Daten einen Bericht: {xyz_daten}"
            }
        ]
    }
)

Das Modell läuft auf Ihrem Rechner. Keine Daten verlassen die Hardware.

Variante 2: Cloud API

antwort = requests.post(
    "https://api.openai.com/v1/chat/completions",
    headers={"Authorization": "Bearer IHR_API_KEY"},
    json={
        "model": "gpt-4o",
        "messages": [
            {
                "role": "user",
                "content": f"Erstelle aus diesen Daten einen Bericht: {xyz_daten}"
            }
        ]
    }
)

Was man daran sieht: Der Code ist in beiden Fällen fast identisch. Der einzige Unterschied ist die URL — localhost:11434 statt api.openai.com. Deshalb heißt es OpenAI-kompatibel: Sie können den Anbieter wechseln, ohne Ihren Code umzuschreiben.

Was man mit Modellen machen kann

Für sehr spezielle Anforderungen kann man ein Modell verändern.

Man kann es anpassen: die Gewichte mit eigenen Daten nachtrainieren, damit es sich in einer bestimmten Domäne besser verhält.

Und man kann es optimieren: die Gewichte komprimieren, damit das Modell kleiner wird und schneller läuft.

Für die allermeisten Business-Anwendungsfälle brauchen Sie weder das eine noch das andere.

Anpassen und Optimieren erfordert Machine-Learning-Kompetenz, GPU-Infrastruktur und aufwändige Evaluierung — das ist teuer und langsam. Gleichzeitig sind die Basismodelle 2026 so leistungsfähig, dass sie die meisten Aufgaben ohne jede Anpassung lösen.

Das viel Wichtigere ist die Architektur drumherum.

Trotzdem einmal, damit man es gehört hat:

Modell anpassen

• Fine-Tuning trainiert alle Gewichte mit einem eigenen Datensatz nach.
• LoRA friert die meisten Gewichte ein und trainiert nur eine kleine zusätzliche Schicht.
• QLoRA macht dasselbe auf komprimierter Basis, sodass es auf Consumer-Hardware läuft.
• RLHF und DPO richten das Modell an menschlichen Präferenzen aus.
• Model Merging kombiniert die Gewichte mehrerer Modelle ohne Training.

Modell optimieren

• Quantisierung reduziert die Zahlenpräzision der Gewichte und macht das Modell bis zu 75 % kleiner.
• Pruning entfernt Gewichte, die wenig beitragen.
• Wissensdestillation lässt ein großes Modell ein kleineres trainieren, das ähnlich gut performt.

Die einzige offene Frage

Das Einzige, was wirklich noch nicht erledigt wurde — und ich muss sagen, es regt mich auch ein bisschen auf. Da gibt es so viele Professoren, Forscher, KI-Influencer, und keiner legt das mal fest. Oder falls es einer schon festgelegt hat, dann hat er es der Welt noch nicht mitgeteilt. Ich konnte nichts dazu finden.

Was ist denn nun das offizielle Symbol zum Zeichnen eines Modells?!?

Ganz ehrlich, kleine Roboter, Sternchen oder Gehirne zu zeichnen, finde ich persönlich sehr kindisch. Ich will professionell arbeiten.

Das Symbol muss schnell von Hand gezeichnet werden können, falls man mal in einem Meeting ist und auf einem Whiteboard malt. Also fallen diese ganzen Symbole mit den vielen Knoten und Linien weg.

Nimm den Zylinder für Datenbanken als Blaupause.

Ich lege nun hiermit folgendes Symbol fest. Je nachdem, um welche Art von Modell es sich handelt, fügen Sie andere Buchstaben ein. Malen Sie es gerne noch etwas schöner:

LLM-Symbol für Architekturdiagramme, made by Bianca J. Schulz

Leitet das gerne mal an Leute weiter, die es entscheiden könnten. Wenn es keiner entscheiden will, dann ist es hiermit von mir entschieden 😎