imported>Thorsten Klöhn: Import aus Zensical-Doku (Wissen Ahrensburg)

2026-08-19T00:00:00Z

Import aus Zensical-Doku (Wissen Ahrensburg)

Neue Seite

= KI-Modelle & Frameworks: Übersicht =

Eine zentralisierte Übersicht über künstliche Intelligenz-Modelle, Sprachmodelle (LLMs), Diffusionsmodelle, Frameworks und Bibliotheken für Entwicklung, Training und Deployment.

-----


== 🤖 KI-Modell-Landschaft ==

Die Welt der KI-Modelle entwickelt sich rasant. Von kleinen, effizienten Modellen für lokale Ausführung bis hin zu großen, leistungsfähigen Modellen für Cloud-Deployment – diese Übersicht hilft dir, den Überblick zu behalten.


=== Modell-Kategorien im Überblick ===

{| class="wikitable"
|-
! Kategorie
! Beschreibung
! Typische Anwendungen
! Beispiele
|-
| '''Sprachmodelle (LLMs)'''
| Modelle für Textverarbeitung, Code-Generierung, Dialoge
| Chatbots, Code-Assistenten, Textgenerierung
| Llama, Mistral, Phi, GPT
|-
| '''Diffusionsmodelle'''
| Generative Modelle für Bilder, Audio, Video
| Bildgenerierung, Inpainting, Stil-Transfer
| Stable Diffusion, FLUX, Kandinsky
|-
| '''Multimodale Modelle'''
| Modelle, die mehrere Modalitäten kombinieren
| Bild+Text, Audio+Text, Video+Text
| CLIP, BLIP, GPT-4 Vision
|-
| '''Embedding-Modelle'''
| Modelle zur Vektordarstellung von Daten
| Suche, Ähnlichkeitsvergleich, RAG
| Sentence-Transformers, CLAP, BERT
|-
| '''Bildklassifizierung'''
| Modelle zur Kategorisierung von Bildern
| Objekterkennung, Bildanalyse
| ResNet, ViT, EfficientNet
|-
| '''Sprachverarbeitung'''
| Modelle für Audio und Sprache
| TTS, STT, Übersetzungen
| Whisper, Kokoro, Wav2Vec
|-
| '''Empfehlungssysteme'''
| Modelle für personalisierte Empfehlungen
| Produktempfehlungen, Content-Empfehlungen
| Collaborative Filtering, Neural CF
|-
| '''Zeitreihenmodelle'''
| Modelle für zeitliche Daten
| Vorhersagen, Anomalie-Erkennung
| LSTM, Transformer, Prophet
|}

-----


== 📚 Hauptthemen ==


=== 1. Sprachmodelle (Large Language Models - LLMs) ===

'''Sprachmodelle für Textverarbeitung, Code-Generierung und Dialogsysteme.'''

* '''Anwendungsbereiche''':
** Textgenerierung (Artikel, Code, Dokumentation)
** Dialogsysteme (Chatbots, Virtuelle Assistenten)
** Code-Generierung und -Vervollständigung
** Übersetzungen zwischen Sprachen
** Textklassifizierung und -analyse
* '''Modell-Typen''':
** '''Base Models''': Grundmodelle für allgemeine Aufgaben (Llama, Mistral)
** '''Instruction-Tuned Models''': Feinabgestimmte Modelle für spezifische Aufgaben (Llama-3-Instruct, Mistral-Instruct)
** '''Chat-Optimized Models''': Spezialisierte Dialogmodelle (ChatML, Vicuna)
** '''Code-Specialized Models''': Für Programmieraufgaben optimiert (CodeLlama, DeepSeek-Coder)
* '''Modell-Familien''':

{| class="wikitable"
|-
! Modell
! Entwickler
! Größe
! Lizenz
! Besonderheiten
|-
| '''Llama 3'''
| Meta
| 8B - 70B
| Open
| Hochwertige Dialoge, Code-Fähigkeiten
|-
| '''Mistral'''
| Mistral AI
| 7B - 70B
| Open
| Effizient, mehrsprachig
|-
| '''Phi-3'''
| Microsoft
| 3.8B - 14B
| Open
| Kompakt, effizient
|-
| '''GPT-4 / GPT-4o'''
| OpenAI
| -
| Closed
| State-of-the-Art Performance
|-
| '''Claude 3'''
| Anthropic
| -
| Closed
| Hochwertige Dialoge, Vision
|-
| '''Gemini'''
| Google
| -
| Closed
| Multimodal, integriert
|-
| '''DeepSeek'''
| DeepSeek
| 7B - 67B
| Open
| Code-spezialisiert
|-
| '''Qwen'''
| Alibaba
| 7B - 72B
| Open
| Mehrsprachig, Code
|}

-----


=== 2. Diffusionsmodelle ===

'''Generative Modelle für die Erstellung von Bildern, Audio und Video.'''

* '''Anwendungsbereiche''':
** Text-zu-Bild Generierung (Text-to-Image)
** Bild-zu-Bild Transformationen (Inpainting, Outpainting)
** Stil-Transfer und Bildbearbeitung
** Super-Resolution und Upscaling
** Video-Generierung (Text-to-Video, Image-to-Video)
* '''Modell-Typen''':
** '''Text-to-Image''': Generierung von Bildern aus Textbeschreibungen
** '''Image-to-Image''': Transformation bestehender Bilder
** '''Inpainting''': Rekonstruktion fehlender Bildbereiche
** '''ControlNet''': Steuerung der Generierung durch zusätzliche Eingaben (Kanten, Pose, etc.)
** '''Text-to-Video''': Generierung von Videos aus Text
** '''Image-to-Video''': Erstellung von Videos aus Bildern
* '''Beliebte Diffusionsmodelle''':

{| class="wikitable"
|-
! Modell
! Typ
! Entwickler
! Besonderheiten
|-
| '''Stable Diffusion 3'''
| T2I
| Stability AI
| Offenes Ökosystem, viele Derivate
|-
| '''FLUX'''
| T2I
| Black Forest Labs
| Hochwertige Ergebnisse
|-
| '''Kandinsky 3'''
| T2I
| Sberbank
| Russian LLM + Diffusion
|-
| '''Midjourney'''
| T2I
| Midjourney
| Closed, hochwertig
|-
| '''DALL-E 3'''
| T2I
| OpenAI
| Closed, integriert mit ChatGPT
|-
| '''Stable Video Diffusion'''
| T2V
| Stability AI
| Video-Generierung
|-
| '''AnimateDiff'''
| Extension
| -
| Bewegungsverbesserung
|-
| '''Deforum'''
| Toolkit
| -
| Automatisierte Video-Generierung
|}

-----


=== 3. Multimodale Modelle ===

'''Modelle, die mehrere Modalitäten (Text, Bild, Audio, Video) kombinieren.'''

* '''Anwendungsbereiche''':
** Bildbeschreibung (Image Captioning)
** Visuelle Fragebeantwortung (VQA)
** Text-zu-Bild mit Kontextverständnis
** Audio-Text-Kombinationen
** Video-Verständnis und -Generierung
* '''Modell-Beispiele''':

{| class="wikitable"
|-
! Modell
! Modalitäten
! Entwickler
! Anwendungen
|-
| '''GPT-4 Vision'''
| Text + Bild + Audio
| OpenAI
| Multimodale Dialoge
|-
| '''Claude 3'''
| Text + Bild
| Anthropic
| Visuelles Verständnis
|-
| '''Gemini 1.5'''
| Text + Bild + Audio + Video
| Google
| Multimodale Aufgaben
|-
| '''LLaVA'''
| Text + Bild
| Open Source
| Visuelle Fragebeantwortung
|-
| '''BLIP / BLIP-2'''
| Text + Bild
| Salesforce
| Bildbeschreibung, VQA
|-
| '''Fuyu-8B'''
| Text + Bild
| Adept AI
| Interaktive Bildbearbeitung
|-
| '''CLIP'''
| Text + Bild
| OpenAI
| Zero-Shot Klassifizierung
|}

-----


=== 4. Embedding-Modelle ===

'''Modelle zur Erstellung von Vektordarstellungen (Embeddings) für Suche, Ähnlichkeit und Retrieval.'''

* '''Anwendungsbereiche''':
** Semantische Suche
** Ähnlichkeitsvergleich
** Retrieval-Augmented Generation (RAG)
** Clusteranalyse
** Empfehlungssysteme
* '''Modell-Beispiele''':

{| class="wikitable"
|-
! Modell
! Typ
! Dimension
! Entwickler
! Anwendungen
|-
| '''all-MiniLM-L6-v2'''
| Text
| 384
| Sentence-Transformers
| Allround-Embeddings
|-
| '''all-mpnet-base-v2'''
| Text
| 768
| Sentence-Transformers
| Hochwertige Embeddings
|-
| '''text-embedding-3-small'''
| Text
| 1536
| OpenAI
| Optimiert für RAG
|-
| '''text-embedding-3-large'''
| Text
| 3072
| OpenAI
| Hochgenau
|-
| '''bge-base-en-v1.5'''
| Text
| 768
| FlagEmbedding
| BAAI Optimiert
|-
| '''CLAP'''
| Bild + Text
| 512
| LAION
| Cross-Modal Retrieval
|-
| '''ImageBind'''
| Bild + Text + Audio
| 1024
| Meta
| Multimodal Embeddings
|}

-----


=== 5. Bildverarbeitungsmodelle ===

'''Modelle für Klassifizierung, Objekterkennung, Segmentierung und Bildanalyse.'''

* '''Klassifizierung''':
** ResNet (50, 101, 152)
** ViT (Vision Transformer)
** EfficientNet (B0-B7)
** ConvNeXt
* '''Objekterkennung''':
** YOLO (v8, v9, NAS)
** Faster R-CNN
** DETR (DEtection TRansformer)
** Grounding DINO
* '''Segmentierung''':
** Segment Anything Model (SAM)
** Mask R-CNN
** U-Net
** DeepLab
* '''Pose-Estimation''':
** MediaPipe Pose
** OpenPose
** HRNet
** ViTPose

-----


=== 6. Sprachverarbeitungsmodelle ===

'''Modelle für Text-to-Speech (TTS), Speech-to-Text (STT) und Übersetzungen.'''

* '''Speech-to-Text (STT)''':
** Whisper (OpenAI) – Multilingual, Offline-fähig
** Wav2Vec 2.0 (Facebook) – Selbstüberwachtes Lernen
** Vosk – Offline, Open Source
** DeepSpeech (Mozilla) – Einfach, effizient
* '''Text-to-Speech (TTS)''':
** Kokoro-ONNX – Hochwertig, offline
** Coqui TTS – Open Source, mehrsprachig
** Tortoise-TTS – Natürlich klingend
** Piper – Leichtgewichtig, offline
* '''Übersetzung''':
** NLLB (Meta) – 200+ Sprachen
** MarianMT – Open Source Transformers
** OPUS-MT – Hochwertige Übersetzungen

-----


== 🛠️ Frameworks & Bibliotheken ==


=== Deep Learning Frameworks ===

{| class="wikitable"
|-
! Framework
! Sprache
! Fokus
! Besonderheiten
|-
| '''PyTorch'''
| Python
| Forschung, Produktion
| Flexibel, große Community
|-
| '''TensorFlow'''
| Python
| Produktion, Deployment
| TensorBoard, TF Serving
|-
| '''JAX'''
| Python
| Forschung, HPC
| Autograd, VPU/Optimierung
|-
| '''Keras'''
| Python
| Einfachheit
| Hochlevel API für TF
|-
| '''ONNX'''
| -
| Interoperabilität
| Format für Modell-Austausch
|}


=== Inference & Deployment Frameworks ===

{| class="wikitable"
|-
! Framework
! Sprache
! Fokus
! Besonderheiten
|-
| '''vLLM'''
| Python
| LLM Inference
| PagedAttention, Hochperformant
|-
| '''Text Generation WebUI'''
| Python
| LLM UI
| Oobabooga, viele Backends
|-
| '''Ollama'''
| Go
| Lokale Modelle
| Einfach, cross-platform
|-
| '''LM Studio'''
| -
| GUI für LLMs
| Lokale Ausführung
|-
| '''Triton Inference Server'''
| Python/C++
| Enterprise
| NVIDIA, Multi-Modell
|-
| '''FastAPI + LangChain'''
| Python
| API-Integration
| Schnell, flexibel
|}


=== Feinabstimmung & Training ===

{| class="wikitable"
|-
! Framework
! Sprache
! Fokus
! Besonderheiten
|-
| '''Hugging Face Transformers'''
| Python
| Feinabstimmung
| 100.000+ vorgefertigte Modelle
|-
| '''LoRA (Low-Rank Adaptation)'''
| Python
| Effizientes Fine-Tuning
| Speichereffizient
|-
| '''QLoRA'''
| Python
| Quantisiertes LoRA
| 4-Bit Training möglich
|-
| '''PEFT'''
| Python
| Parameter-Effizientes FT
| Viele Methoden
|-
| '''BitsandBytes'''
| Python
| 8-Bit/4-Bit Training
| Speicheroptimierung
|-
| '''Alpaca / LLaMA-Factory'''
| Python
| Instruction-Tuning
| Einfach zu bedienen
|}

-----


== 🎯 Praxisbeispiele ==


=== Beispiel 1: Lokale KI-Chat-Anwendung ===

'''Anforderungen:'''

* Lokale Ausführung ohne Cloud
* Gute Performance auf Consumer-Hardware
* Unterstützung für RAG

'''Lösung:'''

<syntaxhighlight lang="python"># 1. Modell laden mit Ollama
from langchain_community.llms import Ollama
llm = Ollama(model="llama3:8b-instruct")

# 2. Embeddings für RAG
from langchain.embeddings import HuggingFaceEmbeddings
embeddings = HuggingFaceEmbeddings(model_name="all-MiniLM-L6-v2")

# 3. Vektordatenbank
from langchain.vectorstores import Chroma
vectorstore = Chroma.from_documents(documents, embeddings)

# 4. RAG-Kette erstellen
from langchain.chains import RetrievalQA
qa = RetrievalQA.from_chain_type(
llm=llm,
chain_type="stuff",
retriever=vectorstore.as_retriever()
)

# 5. Frage beantworten
result = qa.run("Was steht im Dokument über KI-Modelle?")</syntaxhighlight>
'''Empfohlene Modelle:''' Llama 3 8B, Mistral 7B, Phi-3 14B

-----


=== Beispiel 2: Bildgenerierung mit Stable Diffusion ===

'''Anforderungen:'''

* Text-zu-Bild Generierung
* Lokale Ausführung
* Kontrolle über den Generierungsprozess

'''Lösung:'''

<syntaxhighlight lang="python">from diffusers import StableDiffusionPipeline
import torch

# 1. Pipeline laden
pipe = StableDiffusionPipeline.from_pretrained(
"stabilityai/stable-diffusion-3-medium",
torch_dtype=torch.float16
).to("cuda")

# 2. Bild generieren
prompt = "A futuristic city at night, cyberpunk style, neon lights"
image = pipe(prompt).images[0]

# 3. Bild speichern
image.save("futuristic_city.png")</syntaxhighlight>
'''Empfohlene Modelle:''' Stable Diffusion 3, FLUX, Kandinsky 3

-----


=== Beispiel 3: Multimodale Anwendung (Bild + Text) ===

'''Anforderungen:'''

* Bildbeschreibung
* Visuelle Fragebeantwortung
* Kombinierte Text+Bild-Analyse

'''Lösung:'''

<syntaxhighlight lang="python">from transformers import pipeline

# 1. Bildbeschreibung (Image Captioning)
captioner = pipeline("image-to-text", model="Salesforce/blip-image-captioning-large")
result = captioner("photo.jpg")
print(result[0]['generated_text'])

# 2. Visuelle Fragebeantwortung (VQA)
vqa = pipeline("visual-question-answering", model="dandelin/vilt-b32-finetuned-vqav2")
result = vqa({"image": "photo.jpg", "question": "What color is the car?"})
print(result[0]['answer'])</syntaxhighlight>
'''Empfohlene Modelle:''' LLaVA, BLIP-2, GPT-4 Vision

-----


=== Beispiel 4: Embeddings für Suche & RAG ===

'''Anforderungen:'''

* Semantische Suche in Dokumenten
* Ähnlichkeitsvergleich
* Retrieval-Augmented Generation

'''Lösung:'''

<syntaxhighlight lang="python">from sentence_transformers import SentenceTransformer
from sklearn.metrics.pairwise import cosine_similarity

# 1. Modell laden
model = SentenceTransformer('all-MiniLM-L6-v2')

# 2. Texte einbetten
sentences = ["KI-Modelle", "Machine Learning", "Deep Learning"]
embeddings = model.encode(sentences)

# 3. Ähnlichkeit berechnen
query = "Künstliche Intelligenz"
query_embedding = model.encode([query])
similarities = cosine_similarity(query_embedding, embeddings)
print(similarities)</syntaxhighlight>
'''Empfohlene Modelle:''' all-MiniLM-L6-v2, all-mpnet-base-v2, text-embedding-3-small

-----


== 🤖 KI-Agenten-Tauglichkeit ==

Empfehlung, welche Modelle und Frameworks sich am besten für die Automatisierung durch KI-Agenten eignen:

{| class="wikitable"
|-
! Modell/Framework
! Kategorie
! Eignung
! Grund
|-
| '''Ollama'''
| LLM Inference
| ⭐⭐⭐⭐⭐
| Einfache CLI, lokale Ausführung, viele Modelle
|-
| '''Hugging Face Transformers'''
| Feinabstimmung
| ⭐⭐⭐⭐⭐
| Python-API, klare Struktur, viele Beispiele
|-
| '''LangChain'''
| LLM-Anwendungen
| ⭐⭐⭐⭐⭐
| Modular, gut dokumentiert, Python-basiert
|-
| '''Sentence-Transformers'''
| Embeddings
| ⭐⭐⭐⭐⭐
| Einfache API, viele vorgefertigte Modelle
|-
| '''Stable Diffusion (via Diffusers)'''
| T2I
| ⭐⭐⭐⭐
| Python-API, gute Kontrolle
|-
| '''Whisper'''
| STT
| ⭐⭐⭐⭐⭐
| Einfache Python-API, offline-fähig
|-
| '''vLLM'''
| LLM Inference
| ⭐⭐⭐⭐
| Hochperformant, aber komplexere Setup
|-
| '''PyTorch'''
| Training
| ⭐⭐⭐
| Mächtig, aber komplex für KI-Agenten
|-
| '''TensorFlow'''
| Training
| ⭐⭐
| Sehr komplex für autonome Ausführung
|-
| '''Text Generation WebUI'''
| GUI
| ⭐⭐⭐⭐
| GUI-basiert, aber gute API
|}

-----


== 🔗 Verwandte Themen ==

* [[Entwicklung / Server & Infrastruktur / KI/ML-Infrastrukturen|Server/KI/ML-Infrastrukturen]] – Infrastruktur für KI-Modelle
* [[Entwicklung / IDE & Tools / Lokale KI-Frontends|IDE/Lokale KI-Frontends]] – Web-UIs für lokale Modelle
* [[Wissen / Tools / Übersicht|Tools & Hilfswerkzeuge]] – Entwicklungs- und Analyse-Tools
* [[Entwicklung / Webentwicklung / KI Webentwicklung|Webentwicklung/KI Webentwicklung]] – KI in der Webentwicklung
* [[Kreativ / Audio & Musik / Übersicht|Audio/KI und Audio]] – Sprach- und Audiomodelle
* [[Kreativ / Video & Film / Übersicht|Video/KI-gestützte Videogenerierung]] – Diffusionsmodelle für Video

-----


== 📖 Weiterführende Ressourcen ==


=== Offizielle Dokumentationen ===

* [https://huggingface.co/docs Hugging Face Docs] – Transformers, Diffusers, etc.
* [https://pytorch.org/docs/stable/index.html PyTorch Docs] – PyTorch Framework
* [https://www.tensorflow.org/api_docs TensorFlow Docs] – TensorFlow Framework
* [https://onnx.ai/onnx/api/ ONNX Docs] – Modell-Interoperabilität
* [https://github.com/jmorganca/ollama Ollama Docs] – Lokale Modell-Ausführung
* [https://docs.vllm.ai/ vLLM Docs] – Hochperformante LLM-Inference


=== Modell-Repositories ===

* [https://huggingface.co/models Hugging Face Model Hub] – 100.000+ KI-Modelle
* [https://civitai.com/ Civital] – Stable Diffusion Modelle & LoRAs
* [https://openrouter.ai/ OpenRouter] – Modell-Marketplace mit API-Zugriff
* [https://replicate.com/ Replicate] – Cloud-Hosting für Open-Source-Modelle


=== Frameworks & Bibliotheken ===

* [https://python.langchain.com/ LangChain] – LLM-Anwendungsframework
* [https://www.llamaindex.ai/ LlamaIndex] – Datenintegration für LLMs
* [https://huggingface.co/docs/diffusers/index Diffusers] – Diffusionsmodelle
* [https://www.sbert.net/ Sentence-Transformers] – Embedding-Modelle
* [https://huggingface.co/docs/transformers/index Transformers] – NLP-Modelle


=== Communities & Blogs ===

* [https://www.reddit.com/r/LocalLLaMA/ r/LocalLLaMA] – Lokale LLMs
* [https://www.reddit.com/r/StableDiffusion/ r/StableDiffusion] – Bildgenerierung
* [https://www.reddit.com/r/LargeLanguageModels/ r/LargeLanguageModels] – LLMs
* [https://huggingface.co/blog Hugging Face Blog] – Neue Modelle & Techniken
* [https://towardsdatascience.com/ Towards Data Science] – KI-Artikel

-----

''Letzte Aktualisierung: Juli 2026''

KI & Automatisierung / Übersicht - Versionsgeschichte

imported>Thorsten Klöhn: Import aus Zensical-Doku (Wissen Ahrensburg)