Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
medium.com18. April 2025 · Q011545

How To Run OpenAI Agents SDK Locally With 100+ LLMs and Custom Tracing

medium.com · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Das Tutorial zeigt anhand eines Datei-Agenten, wie das OpenAI Agents SDK mit Ollama lokal, über LiteLLM mit einer breiten Modellauswahl und mit AgentOps für eigene Ablaufprotokolle genutzt werden kann. Die Anleitung beschreibt Vorteile wie mehr Modellauswahl und bessere Nachvollziehbarkeit, enthält aber keine systematischen Leistungs- oder Sicherheitsnachweise und behandelt vor allem den Offline-Betrieb.

Mittel

Das Tutorial beschreibt, wie Anwendungen mit dem OpenAI Agents SDK lokal ausgeführt, mit verschiedenen Sprachmodellen verbunden und überwacht werden können. Als Beispiel dient ein Datei-Agent, der über einen File-System-MCP-Server Inhalte liest und Fragen dazu beantwortet. Zunächst zeigt der Autor eine Streamlit-Oberfläche mit SDK-eigenem Tracing. Danach wird ein lokaler Betrieb mit Ollama und etwa DeepSeek R1 erläutert. Für eine größere Modellauswahl kombiniert das Tutorial das SDK mit LiteLLM und eine Gradio-Oberfläche; laut Autor erschließt LiteLLM so mehr als 100 Modelle und Anbieter. AgentOps wird als alternative Lösung für Sitzungsprotokolle und Kennzahlen vorgestellt.

Der Autor sieht Tracing als hilfreich für Fehlersuche und die Beobachtung von Laufzeiten, Modellaufrufen und Kosten. Er weist darauf hin, dass lokale Open-Source-Modellläufe nicht im OpenAI-Dashboard erscheinen. Die Anleitung setzt unter anderem Python-Pakete, Ollama, ein Modell und npx voraus. Trotz des Ziels, Daten lokal zu halten, verweist sie auf externe Dashboards für Traces. Sie behandelt vor allem den Offline-Betrieb; Sprachagenten und weitere Funktionen werden nur als mögliche Erweiterungen genannt. Vergleichstests oder systematische Leistungs- und Sicherheitsnachweise enthält der Bericht nicht.

Ausführlich lesen

Der Bericht ist ein Tutorial von Amos Gyamfi dazu, wie sich Anwendungen mit dem OpenAI Agents SDK lokal betreiben und mit unterschiedlichen Sprachmodellen sowie eigener Ablaufüberwachung verbinden lassen. Der Autor nennt drei Ziele: sensible Daten möglichst auf dem eigenen Rechner zu halten, neben OpenAI-Modellen weitere Anbieter und Open-Source-Modelle zu nutzen und Agentenläufe nachvollziehbar zu protokollieren. Er stellt diese Möglichkeiten als Nutzen des beschriebenen Aufbaus dar; der Bericht liefert keinen unabhängigen Vergleich oder Nachweis für alle genannten Modelle und Einsatzbedingungen.

Als Beispiel dient ein Agent, der über einen File-System-MCP-Server Dateien liest und Fragen zu deren Inhalten beantwortet. Zunächst zeigt das Tutorial eine Streamlit-Anwendung mit dem OpenAI Agents SDK. Dabei können Abläufe mit der eingebauten Trace-Funktion erfasst und in einem OpenAI-Dashboard eingesehen werden. Der Autor betont, dass Nachverfolgung bei der Fehlersuche, der Beobachtung von Latenzen und Kosten sowie beim Prüfen von Agentenereignissen helfen könne. Zugleich hält er fest, dass die eingebaute Überwachung standardmäßig aktiv sei und sich abschalten lasse.

Im nächsten Schritt beschreibt der Bericht den lokalen Betrieb mit Ollama und einem Modell wie DeepSeek R1. Das SDK werde dabei über eine OpenAI-kompatible Schnittstelle an Ollama angebunden. Der Autor erklärt, dass solche Läufe mit dem Open-Source-Modell nicht im OpenAI-Dashboard aufgezeichnet würden. Für eine breitere Modellauswahl kombiniert das Tutorial anschließend das Agents SDK mit LiteLLM und Ollama und stellt eine Gradio-Oberfläche bereit. Laut Bericht ermöglicht LiteLLM den Zugriff auf mehr als 100 Modelle beziehungsweise Anbieter; als Beispiele werden unter anderem OpenAI, Anthropic, Gemini, Azure, Bedrock, DeepSeek, Meta, xAI und Mistral genannt. Die gezeigte Modellauswahl ist jedoch nur eine Beispielkonfiguration und kann laut Text erweitert werden.

Für ein eigenes Tracing ergänzt der Autor AgentOps. Der Beispielcode startet und beendet Sitzungen, versieht sie mit Modell- und Anfragekennzeichnungen und gibt einen Link zu Sitzungsdaten und Kennzahlen im AgentOps-Dashboard aus. Die Anleitung setzt dafür verschiedene Python-Pakete, Ollama, ein heruntergeladenes Modell, npx sowie je nach gewähltem Anbieter weitere Voraussetzungen voraus. Obwohl der Text den lokalen und privaten Betrieb hervorhebt, beschreibt er auch Dashboard-Verknüpfungen für Traces und AgentOps; er belegt daher nicht, dass sämtliche Überwachungsdaten in jedem gezeigten Aufbau ausschließlich lokal bleiben.

Der Bericht konzentriert sich nach eigener Aussage auf den Offline-Aspekt des Agents SDK. Sprachagenten und die Bereitstellung zusätzlichen Kontexts werden nur als mögliche spätere Erweiterungen erwähnt, nicht ausführlich behandelt. Die Funktionalität wird anhand von Codebeispielen und erwarteten Oberflächen beschrieben; systematische Tests, Messwerte oder eine Bewertung der Sicherheit und Zuverlässigkeit der konkreten Implementierungen enthält der Bericht nicht.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Lunas Arbeit enthält drei Zusammenfassungen (kurz, mittel und ein unbenannter dritter Absatz). Geprüft wurde die mittlere, weil sie den Bericht am vollständigsten abbildet. Der unbenannte Absatz enthält zusätzlich die Aussage, externe Trace-Dashboards widersprächen dem Ziel, Daten lokal zu halten; diese Einschätzung ist im Bericht nicht ausdrücklich getroffen. Die Einordnung bewertet alle sechs angegebenen Fragen unabhängig von Lunas Stufen.

Im Bericht, aber nicht in der Zusammenfassung

  • Der lokale Betrieb wird im Bericht vor allem mit dem Schutz sensibler Daten begründet, was die Zusammenfassung nicht nennt
  • Das integrierte Tracing des Agents SDK ist standardmäßig aktiv, aber nicht Open Source; das wird nicht erwähnt
  • Mit Ollama lokal laufende Modelle erscheinen nicht im OpenAI-Dashboard, und der Bericht verweist für Traces auf externe Dashboards wie AgentOps

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Vorfälle melden
Fähigkeiten messen
Unabhängig prüfen
  1. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 26 %gleiches Oberthema, hilft nicht
    • Luna 38 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 27 %nur am Rande erwähnt
    • SubQ 40 %gleiches Oberthema, hilft nicht
    • drex 36 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug

Tempo und Grenzen
  1. SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
    • clef 100 %kein Bezug
    • Luna 50 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug

Vertrauen in Modelle
  1. SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
    • clef 100 %kein Bezug
    • Luna 37 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 46 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 44 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
  2. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 24 %gleiches Oberthema, hilft nicht
    • Luna 50 %einzelne zitierbare Belege
    • JEV 33 %einzelne zitierbare Belege
    • amos 30 %nur am Rande erwähnt
    • SubQ 42 %gleiches Oberthema, hilft nicht
    • drex 40 %gleiches Oberthema, hilft nicht
    • d3-ultra 52 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung Hintergrund, keine Belege

    • SF-V5-T02 Würde man lieber einem großen, überwachten Modell vertrauen oder vielen kleinen, nicht überwachten? Luna: Stufe 3 · 37 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 1 · gleiches Oberthema, hilft nicht
Agenten und vernetzte Systeme
  1. SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
    • clef 27 %gleiches Oberthema, hilft nicht
    • Luna 41 %einzelne zitierbare Belege
    • JEV 47 %einzelne zitierbare Belege
    • amos 30 %nur am Rande erwähnt
    • SubQ 45 %gleiches Oberthema, hilft nicht
    • drex 36 %gleiches Oberthema, hilft nicht
    • d3-ultra 58 %gleiches Oberthema, hilft nicht

  2. SF-A2 Lassen sich KI-Systeme sicher anhalten, zurücksetzen, abschotten oder drosseln, und wer darf das anordnen?
    • clef 35 %gleiches Oberthema, hilft nicht
    • Luna 63 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 33 %gleiches Oberthema, hilft nicht
    • SubQ 51 %gleiches Oberthema, hilft nicht
    • drex 43 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug

  3. SF-A3 Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
    • clef 31 %gleiches Oberthema, hilft nicht
    • Luna 57 %Hintergrund, keine Belege
    • JEV 34 %gleiches Oberthema, hilft nicht
    • amos 34 %nur am Rande erwähnt
    • SubQ 52 %gleiches Oberthema, hilft nicht
    • drex 53 %gleiches Oberthema, hilft nicht
    • d3-ultra 50 %gleiches Oberthema, hilft nicht

Modelle teilen und schützen
  1. SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
    • clef 100 %kein Bezug
    • Luna 30 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 45 %gleiches Oberthema, hilft nicht
    • SubQ 59 %gleiches Oberthema, hilft nicht
    • drex 49 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
  2. SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
    • clef 100 %kein Bezug
    • Luna 50 %einzelne zitierbare Belege
    • JEV 35 %gleiches Oberthema, hilft nicht
    • amos 28 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 42 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
Offenlegung und Rechenschaft
Beteiligung und Gemeinwohl
  1. SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
    • clef 100 %kein Bezug
    • Luna 69 %einzelne zitierbare Belege
    • JEV 54 %einzelne zitierbare Belege
    • amos 28 %gleiches Oberthema, hilft nicht
    • SubQ 50 %gleiches Oberthema, hilft nicht
    • drex 43 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung einzelne zitierbare Belege
  2. SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
    • clef 100 %kein Bezug
    • Luna 33 %Hintergrund, keine Belege
    • JEV 25 %einzelne zitierbare Belege
    • amos 52 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Wirtschaft und Haftung
Information und Öffentlichkeit
  1. SF-I1 Wie erkennt man KI-erzeugte Inhalte und KI-erzeugte Einflussnahme, ohne die Meinungsfreiheit zu beschneiden?
    • clef 100 %kein Bezug
    • Luna 59 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 41 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →