Webframework/Chainlit: Unterschied zwischen den Versionen
imported>Import Version 152 |
// via Wikitext Extension for VSCode |
||
| Zeile 2: | Zeile 2: | ||
---- | ---- | ||
== Ollama installieren == | ==Ollama installieren== | ||
Ollama ist eine Open-Source-Plattform, die das Ausführen und Verwalten von KI-Sprachmodellen lokal auf dem eigenen Rechner ermöglicht. Sie bietet eine einfache Schnittstelle, um verschiedene Large Language Models (LLMs) wie Llama oder Mistral zu nutzen, ohne Cloud-Dienste zu benötigen. | Ollama ist eine Open-Source-Plattform, die das Ausführen und Verwalten von KI-Sprachmodellen lokal auf dem eigenen Rechner ermöglicht. Sie bietet eine einfache Schnittstelle, um verschiedene Large Language Models (LLMs) wie Llama oder Mistral zu nutzen, ohne Cloud-Dienste zu benötigen. | ||
<pre> | |||
<pre>curl -fsSL https://ollama.com/install.sh | sh | curl -fsSL https://ollama.com/install.sh | sh | ||
ollama run llama3.1</pre> | ollama run llama3.1 | ||
== Chainlit installieren == | </pre> | ||
==Chainlit installieren== | |||
Chainlit ist ein Open-Source-Framework zur schnellen Entwicklung und Bereitstellung von Anwendungen, die Large Language Models (LLMs) nutzen. Es ermöglicht Entwicklern, interaktive KI-Anwendungen mit Python zu erstellen, indem es eine einfache API für das Management von Konversationen, Benutzerinteraktionen und die Integration von LLMs bereitstellt. Chainlit unterstützt Funktionen wie Echtzeit-UI, Komponenten für Benutzereingaben und die Visualisierung von Modellergebnissen, was die Entwicklung und das Testen von KI-gestützten Chatbots und Assistenten erleichtert. | Chainlit ist ein Open-Source-Framework zur schnellen Entwicklung und Bereitstellung von Anwendungen, die Large Language Models (LLMs) nutzen. Es ermöglicht Entwicklern, interaktive KI-Anwendungen mit Python zu erstellen, indem es eine einfache API für das Management von Konversationen, Benutzerinteraktionen und die Integration von LLMs bereitstellt. Chainlit unterstützt Funktionen wie Echtzeit-UI, Komponenten für Benutzereingaben und die Visualisierung von Modellergebnissen, was die Entwicklung und das Testen von KI-gestützten Chatbots und Assistenten erleichtert. | ||
<pre>pip install openai chainlit</pre> | <pre> | ||
pip install openai chainlit | |||
</pre> | |||
Erstelle eine Datei app.py mit folgendem Inhalt: | Erstelle eine Datei app.py mit folgendem Inhalt: | ||
<pre>import chainlit as cl | <pre> | ||
import chainlit as cl | |||
from openai import AsyncOpenAI | from openai import AsyncOpenAI | ||
# Ollama läuft lokal auf Port 11434 | # Ollama läuft lokal auf Port 11434 | ||
client = AsyncOpenAI(base_url= | client = AsyncOpenAI(base_url="http://localhost:11434/v1", api_key="ollama") | ||
@cl.on_message | @cl.on_message | ||
| Zeile 25: | Zeile 29: | ||
# Chat-Einstellungen für Llama 3.1 | # Chat-Einstellungen für Llama 3.1 | ||
response = await client.chat.completions.create( | response = await client.chat.completions.create( | ||
model= | model="llama3.1", | ||
messages=[{ | messages=[{"role": "user", "content": message.content}], | ||
stream=True | stream=True | ||
) | ) | ||
msg = cl.Message(content= | msg = cl.Message(content="") | ||
async for part in response: | async for part in response: | ||
| Zeile 36: | Zeile 40: | ||
await msg.stream_token(token) | await msg.stream_token(token) | ||
await msg.send()</pre> | await msg.send() | ||
</pre> | |||
---- | ---- | ||
''Hinweis: Diese Inhalte wurden mit Unterstützung von Künstlicher Intelligenz erstellt und redaktionell überprüft (Transparenzhinweis gemäß Art. 50 EU AI Act).'' | ''Hinweis: Diese Inhalte wurden mit Unterstützung von Künstlicher Intelligenz erstellt und redaktionell überprüft (Transparenzhinweis gemäß Art. 50 EU AI Act).'' | ||
Aktuelle Version vom 2. Februar 2026, 20:52 Uhr
Hinweis: Diese Inhalte wurden mit Unterstützung von Künstlicher Intelligenz erstellt und redaktionell überprüft (Transparenzhinweis gemäß Art. 50 EU AI Act).
Ollama installieren
Ollama ist eine Open-Source-Plattform, die das Ausführen und Verwalten von KI-Sprachmodellen lokal auf dem eigenen Rechner ermöglicht. Sie bietet eine einfache Schnittstelle, um verschiedene Large Language Models (LLMs) wie Llama oder Mistral zu nutzen, ohne Cloud-Dienste zu benötigen.
curl -fsSL https://ollama.com/install.sh | sh ollama run llama3.1
Chainlit installieren
Chainlit ist ein Open-Source-Framework zur schnellen Entwicklung und Bereitstellung von Anwendungen, die Large Language Models (LLMs) nutzen. Es ermöglicht Entwicklern, interaktive KI-Anwendungen mit Python zu erstellen, indem es eine einfache API für das Management von Konversationen, Benutzerinteraktionen und die Integration von LLMs bereitstellt. Chainlit unterstützt Funktionen wie Echtzeit-UI, Komponenten für Benutzereingaben und die Visualisierung von Modellergebnissen, was die Entwicklung und das Testen von KI-gestützten Chatbots und Assistenten erleichtert.
pip install openai chainlit
Erstelle eine Datei app.py mit folgendem Inhalt:
import chainlit as cl
from openai import AsyncOpenAI
# Ollama läuft lokal auf Port 11434
client = AsyncOpenAI(base_url="http://localhost:11434/v1", api_key="ollama")
@cl.on_message
async def main(message: cl.Message):
# Chat-Einstellungen für Llama 3.1
response = await client.chat.completions.create(
model="llama3.1",
messages=[{"role": "user", "content": message.content}],
stream=True
)
msg = cl.Message(content="")
async for part in response:
if token := part.choices[0].delta.content:
await msg.stream_token(token)
await msg.send()
Hinweis: Diese Inhalte wurden mit Unterstützung von Künstlicher Intelligenz erstellt und redaktionell überprüft (Transparenzhinweis gemäß Art. 50 EU AI Act).