Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
deepmind19. September 2024 · Q005114

Michelangelo: Long Context Evaluations Beyond Haystacks via Latent Structure Queries

deepmind.google · Originalbericht öffnen ↗

Zusammenfassung

Für diesen Bericht lag nur ein Auszug oder keine vollständige Fassung vor. Die Zusammenfassung sagt das selbst.

Kurz

Der Auszug beschreibt Michelangelo, eine Evaluation für das Schlussfolgern über lange Kontexte, die mit LSQ das Erkennen verborgener Strukturen statt bloßen Faktenabrufs prüfen soll. Die Verfassenden berichten von drei Tests für Code und natürliche Sprache sowie aussagekräftigen Ergebnissen, sehen aber weiteren Verbesserungsbedarf; konkrete Daten und Versuchsdetails fehlen im Auszug.

Mittel

Der bereitgestellte Text ist ein Auszug aus dem Abstract und enthält keine vollständige Studie. Darin stellen die Verfassenden Michelangelo vor: eine synthetische, automatisch auswertbare Evaluation, mit der geprüft werden soll, wie gut große Sprachmodelle Informationen aus langen Kontexten zusammenführen.

Das zugrunde liegende Konzept „Latent Structure Queries“ (LSQ) soll über das Auffinden einzelner Fakten hinausgehen. Ein Modell muss Unwichtiges im Kontext ausblenden, eine verborgene Struktur erkennen und anschließend Fragen zu deren Einzelheiten beantworten. Auf dieser Grundlage beschreiben die Verfassenden drei diagnostische Tests für Code und natürliche Sprache.

Laut Abstract wurden mehrere fortgeschrittene Modelle untersucht. Die Tests hätten aussagekräftige Hinweise auf deren Fähigkeiten geliefert; zugleich gebe es noch deutlichen Verbesserungsbedarf beim Schlussfolgern über lange Kontexte. Der Auszug nennt allerdings weder konkrete Messwerte noch Modellnamen oder Details zum Versuchsaufbau. Die Ergebnisse lassen sich deshalb anhand des bereitgestellten Materials nicht näher einordnen.

Ausführlich lesen

Der vorliegende Text ist nur ein Auszug: Er enthält den Abstract sowie Angaben zu Autorinnen und Autoren und zum Veröffentlichungsort, aber keine vollständige Beschreibung der Studie. Der Abstract stellt Michelangelo als synthetische, bewusst knapp gehaltene und laut den Verfassenden nicht durch Trainingsdaten vorweggenommene Evaluation für das Langzeitkontext-Schlussfolgern großer Sprachmodelle vor. Die Aufgaben sollen sich automatisch bewerten lassen.

Als allgemeines Konzept beschreiben die Verfassenden „Latent Structure Queries“ (LSQ). Die Aufgaben verlangen demnach mehr, als eine einzelne Information aus einem langen Kontext abzurufen: Das Modell soll Unwichtiges ausblenden und dadurch eine darin verborgene Struktur erschließen. Anschließend wird es nach Einzelheiten dieser Struktur gefragt, um zu prüfen, ob es sie erfasst hat.

Mit LSQ leiten die Verfassenden drei diagnostische Evaluationen in den Bereichen Code und natürliche Sprache ab. Sie berichten, mehrere fortgeschrittene Modelle geprüft zu haben. Laut Abstract lieferten die vorgeschlagenen Tests aussagekräftige Signale zu den Fähigkeiten der Modelle; zugleich bestehe deutlicher Verbesserungsbedarf beim Zusammenführen von Informationen aus langen Kontexten.

Der Auszug enthält jedoch keine konkreten Testergebnisse, Modellnamen, Vergleichswerte oder ausführlichen Angaben zum Versuchsaufbau. Daher lässt sich daraus weder die Größe der beobachteten Leistungsunterschiede noch die Reichweite der Schlussfolgerungen beurteilen. Die berichteten Bewertungen und Ergebnisse sind hier nur als Aussagen des Abstracts wiedergegeben.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19 ungeprüft

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 7 von 7
Angezeigte Modelle
Fähigkeiten messen
Unabhängig prüfen
Tempo und Grenzen
Vertrauen in Modelle
Offenlegung und Rechenschaft

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →