Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
medium.com9. Juni 2026 · Q011080

I kept building LLM apps that worked in demos and broke in production.

medium.com · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Der Autor argumentiert anhand eines fehlerhaften Support-Chatbots, dass die Qualität von LLM-Anwendungen stark davon abhängt, welche Informationen tatsächlich im Kontext landen. Er empfiehlt gepflegte Wissensquellen, gezielte Suche und Filterung, passende Gesprächszusammenfassungen sowie Protokolle und Tests mit bekannten Antworten. Die Empfehlungen beruhen überwiegend auf seiner Praxiserfahrung; die angeführte Studie wird im Beitrag nur knapp beschrieben.

Mittel

Der Autor schildert, wie ein Support-Chatbot nach einer erfolgreichen Demo im Betrieb selbstsicher falsche Antworten gab. Modellwechsel und Promptänderungen lösten das Problem nicht zuverlässig. Die Untersuchung zeigte laut Beitrag, dass die Suche widersprüchliche Quellen lieferte: aktuelle Richtlinien neben Entwürfen und veralteten Fassungen. Der Autor sieht deshalb die Zusammenstellung des Kontexts als zentrale Qualitätsaufgabe.

Er warnt vor der Annahme, mehr Kontext sei stets besser, und verweist auf eine Chroma-Studie von 2025, in der laut Artikel alle 18 getesteten Modelle bei längeren Eingaben schlechter abschnitten. Für verlässlichere Anwendungen unterscheidet er Fundierung durch gepflegte Wissensquellen, klare Verhaltensregeln, passend dosierten Gesprächsverlauf und gezielten Abruf. Dazu empfiehlt er Metadatenfilter, Reranking, thematische Textabschnitte und die Kombination von semantischer Suche mit Stichwortsuche. Nutzergedächtnis versteht er als längerfristige Kontextverwaltung; irrelevante Informationen könnten Antworten ebenfalls beeinträchtigen.

Zur Fehlersuche rät er, den vollständigen Modellkontext, Suchtreffer und Tokenverbrauch zu protokollieren sowie Änderungen anhand eines kleinen Testsatzes mit bekannten Antworten zu prüfen. Der Beitrag beruht vor allem auf Praxiserfahrungen und nennt keine systematische Evaluation seiner Empfehlungen; zur angeführten Studie fehlen nähere Methodendetails.

Ausführlich lesen

Der Autor beschreibt, wie ein interner Support-Chatbot nach einer gelungenen Demo im Einsatz selbstsicher falsche Antworten gab. Zunächst vermutete er das Modell und probierte andere Modelle sowie Änderungen an Temperatur und Systemprompt aus. Das verbesserte die Qualität nach seiner Darstellung nicht zuverlässig. Bei der Untersuchung des zusammengesetzten Kontexts fand er die Hauptursache: Die Suche lieferte gleichzeitig aktuelle, veraltete und noch unfertige Richtlinien. Der Artikel folgert daraus, dass die Qualität des Kontexts oft wichtiger sei als die Wahl des Modells oder die Formulierung des Prompts.

Der Autor warnt davor, möglichst viele Informationen in das Kontextfenster zu laden. Er verweist auf eine von Chroma 2025 durchgeführte Studie mit 18 Sprachmodellen, der zufolge die Leistung mit längeren Eingaben bei allen getesteten Modellen sank. Manche Modelle hätten bei langen Eingaben deutlich schlechter abgeschnitten als bei kurzen. Außerdem würden Informationen in der Mitte eines langen Kontexts laut Artikel oft weniger zuverlässig berücksichtigt als solche am Anfang oder Ende. Der Beitrag nennt allerdings keine Einzelheiten zum Studiendesign.

Für die Kontextgestaltung unterscheidet der Autor vier Aufgaben: **Fundierung** durch aktuelle, bereinigte Wissensquellen; **Abgrenzung** durch klare Regeln für zulässige Themen, belegpflichtige Aussagen und den Umgang mit Unwissen; **Verlauf** durch eine passende Auswahl oder Zusammenfassung früherer Gesprächsschritte; sowie **Abruf** relevanter Informationen. Für den Abruf empfiehlt er, Dokumente nach Metadaten zu filtern und die Treffer anschließend mit einem Reranker auf ihre tatsächliche Relevanz zu prüfen. Sinnvolle Ergänzungen seien thematische statt rein größenbasierte Textabschnitte und eine Kombination aus semantischer Vektorsuche und Stichwortsuche.

Auch Langzeitgedächtnis ordnet der Autor als Kontextverwaltung ein. Er unterscheidet gespeicherte Fakten direkt im Prompt, extern abgelegte und bei Bedarf abgerufene Nutzerinformationen sowie komprimierte Gesprächszusammenfassungen. Als weiteres Risiko beschreibt er „Kontextvergiftung“: sachlich richtige, aber irrelevante Angaben könnten Antworten verschlechtern.

Zur Fehlersuche empfiehlt der Beitrag, den tatsächlich an das Modell übergebenen Kontext samt Treffern, Bewertungen, Filtern und Tokenverbrauch zu protokollieren. Ein kleiner Testsatz mit bekannten Antworten könne Änderungen vergleichbar machen. Insgesamt ist dies ein erfahrungsbasierter Praxisbeitrag mit Empfehlungen und einem Verweis auf eine Studie; er berichtet keine systematische Evaluation der vorgeschlagenen Maßnahmen oder allgemeingültigen Leistungswerte für unterschiedliche Anwendungen.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Luna hat zwei Zusammenfassungen (kurz und mittel) geliefert; beide wurden gemeinsam geprüft. Beide sind inhaltlich nicht falsch, lassen aber einige zentrale Punkte des Berichts aus. Bei den Einordnungen wurde Lunas Stufe unabhängig vom Bericht bewertet, da der Bericht nur die Kontextgestaltung in LLM-Anwendungen behandelt und die Sammelfragen zu Modellherkunft, Modellverhalten, Gemeinwohl und Ausrichtung nur begrenzt berührt.

Im Bericht, aber nicht in der Zusammenfassung

  • Die Wissensbasis und ihre Pflege gelten als eigentlicher Wettbewerbsvorteil; Kontext wird als Produkt und als Wissensmanagement-Aufgabe verstanden
  • Informationen am Anfang und Ende des Kontextfensters werden zuverlässiger beachtet als Informationen in der Mitte
  • Bei der Chroma-Studie sinkt die Genauigkeit teils von etwa 95 % auf unter 60 %, mit Wendepunkten statt eines schleichenden Verfalls
  • Die vier Aufgaben des Kontexts (Fundierung, Vorgaben, Gesprächsverlauf, Abruf) werden in der Zusammenfassung nicht als Rahmen genannt

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Vorfälle melden
Fähigkeiten messen
  1. SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
    • clef 100 %kein Bezug
    • Luna 38 %Hintergrund, keine Belege
    • JEV 28 %Hintergrund, keine Belege
    • amos 45 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug

    • SF-F4-T03 Welche neue Prüfung braucht jeder Einsatz, wenn Fähigkeiten zunehmend im Nachdenken des Modells während der Nutzung stecken statt in einem einmal trainierten Modell, und würden die für ein festes Modell gebauten Freigabetests das noch erfassen? Luna: Stufe 3 · 49 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 1 · gleiches Oberthema, hilft nicht
Unabhängig prüfen
  1. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 100 %kein Bezug
    • Luna 54 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 38 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 52 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug

Tempo und Grenzen
  1. SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
    • clef 100 %kein Bezug
    • Luna 41 %Hintergrund, keine Belege
    • JEV 38 %Hintergrund, keine Belege
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 45 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug

Vertrauen in Modelle
  1. SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
    • clef 100 %kein Bezug
    • Luna 42 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 39 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 69 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
  2. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 36 %einzelne zitierbare Belege
    • amos 45 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  3. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 46 %einzelne zitierbare Belege
    • JEV 36 %beantwortet teilweise oder widerspricht
    • amos 26 %Hintergrund, keine Belege
    • SubQ 41 %gleiches Oberthema, hilft nicht
    • drex 45 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung Hintergrund, keine Belege

Agenten und vernetzte Systeme
  1. SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
    • clef 100 %kein Bezug
    • Luna 40 %Hintergrund, keine Belege
    • JEV 35 %nur am Rande erwähnt
    • amos 29 %nur am Rande erwähnt
    • SubQ 44 %gleiches Oberthema, hilft nicht
    • drex 42 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug

    • SF-A1-T04 Bevor ein Agent weiterarbeitet, nachdem sein bisheriger Arbeitsverlauf für ein neues Kontextfenster zusammengefasst wurde: Wird geprüft, ob diese Zusammenfassung die Anweisungen des Nutzers, die Herkunft wichtiger Fakten und offene Fehler bewahrt? Und wird festgelegt, wann der Agent die Originalaufzeichnung prüfen muss, statt der Zusammenfassung zu vertrauen? Luna: Stufe 3 · 31 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 3 · Hintergrund, keine Belege
  2. SF-A3 Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
    • clef 100 %kein Bezug
    • Luna 61 %Hintergrund, keine Belege
    • JEV 44 %gleiches Oberthema, hilft nicht
    • amos 41 %gleiches Oberthema, hilft nicht
    • SubQ 44 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug

Modelle teilen und schützen
  1. SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
    • clef 100 %kein Bezug
    • Luna 56 %einzelne zitierbare Belege
    • JEV 33 %beantwortet teilweise oder widerspricht
    • amos 37 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
Offenlegung und Rechenschaft
Beteiligung und Gemeinwohl
  1. SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
    • clef 100 %kein Bezug
    • Luna 62 %Hintergrund, keine Belege
    • JEV 36 %einzelne zitierbare Belege
    • amos 42 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 42 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung nur am Rande erwähnt
Wirtschaft und Haftung

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →