Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
deepmind31. Dezember 2024 · Q005498

Exposing Limitations of Language Model Agents in Sequential-Task Compositions on the Web

deepmind.google · Originalbericht öffnen ↗

Zusammenfassung

Für diesen Bericht lag nur ein Auszug oder keine vollständige Fassung vor. Die Zusammenfassung sagt das selbst.

Kurz

Der bereitgestellte Bericht ist nur ein Abstract-Auszug. Laut diesem sinkt der Erfolg bestehender Sprachmodell-Agenten bei kombinierten Webaufgaben deutlich; HTML-T5++ erzielt bessere Benchmarkwerte, verliert aber ebenfalls Leistung, wenn sich die Reihenfolge der Aufgaben ändert. Die Verfassenden betonen daher den Bedarf an robusterer Verallgemeinerung.

Mittel

Der bereitgestellte Bericht ist ein Auszug aus dem Abstract mit bibliografischen Angaben, nicht der vollständige Artikel. Er stellt CompWoB vor, einen Benchmark mit 50 Web-Automatisierungsaufgaben, die mehrere Teilaufgaben kombinieren.

Laut Abstract erreichen GPT-3.5-turbo- und GPT-4-Agenten bei Grundaufgaben durchschnittlich 94,0 Prozent Erfolg, bei zusammengesetzten Aufgaben aber nur 24,9 Prozent. Für Agenten, die nur auf Grundaufgaben feinabgestimmt wurden, sinkt die Quote von 85,4 auf 54,8 Prozent. Das im Bericht vorgestellte HTML-T5++ erreicht nach ausgewogener Verteilung der Trainingsdaten 95,2 Prozent auf MiniWoB und 61,5 Prozent Zero-Shot-Erfolg auf CompWoB; die erste Zahl wird als über menschlichem Niveau eingeordnet.

Bei veränderter Reihenfolge der kombinierten Aufgaben verschlechtere sich die Leistung laut Abstract weiter. Die Autorinnen und Autoren folgern daraus, dass robustere und besser verallgemeinernde Agenten nötig sind. Angaben zu Methoden und Unsicherheiten fehlen in diesem Auszug.

Ausführlich lesen

Der bereitgestellte Bericht ist ein Auszug: Er enthält das Abstract sowie Angaben zu Autorinnen und Autoren und zur Veröffentlichung, nicht den vollständigen Artikel. Das Abstract stellt CompWoB vor, einen Benchmark mit 50 neuen Aufgaben zur Web-Automatisierung, die mehrere Teilaufgaben verbinden und realistischere Bedingungen abbilden sollen.

Laut Abstract erreichen vorgegebene Sprachmodell-Agenten mit GPT-3.5-turbo oder GPT-4 bei einzelnen Grundaufgaben im Mittel 94,0 Prozent Erfolg. Bei zusammengesetzten Aufgaben fällt ihre Erfolgsquote auf 24,9 Prozent. Agenten, die ausschließlich mit Grundaufgaben feinabgestimmt und anschließend übertragen wurden, zeigen dem Bericht zufolge eine kleinere Lücke: Ihre Quote sinkt von 85,4 auf 54,8 Prozent.

Die Autorinnen und Autoren berichten außerdem über HTML-T5++, ein Modell, das mit einer ausgeglichenen Datenverteilung über Aufgaben trainiert wurde. Es erreiche 95,2 Prozent auf MiniWoB, was im Abstract als über dem menschlichen Leistungsniveau beschrieben wird, und die beste dort angegebene Zero-Shot-Leistung auf CompWoB mit 61,5 Prozent. Diese Resultate werden als Hinweis auf das Potenzial kleinerer, feinabgestimmter und übertragener Modelle für die Kombination von Aufgaben dargestellt.

Als Einschränkung nennt das Abstract, dass die Leistung weiter sinkt, wenn die Anweisungen die Reihenfolge der kombinierten Aufgaben verändern. Die Befunde unterstreichen laut den Verfassenden, dass Sprachmodell-Agenten für reale Anwendungen robuster und besser auf neue Aufgabenkompositionen verallgemeinerbar sein müssen. Der Auszug enthält keine näheren Angaben zu Versuchsaufbau, Messunsicherheit oder den konkreten Aufgaben; solche Details lassen sich daraus nicht beurteilen.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19 ungeprüft

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 7 von 7
Angezeigte Modelle
Fähigkeiten messen
  1. SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 31 %einzelne zitierbare Belege
    • amos 38 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Unabhängig prüfen
  1. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 40 %einzelne zitierbare Belege
    • amos 38 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 42 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Tempo und Grenzen
Vertrauen in Modelle
  1. SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
    • clef 100 %kein Bezug
    • Luna 35 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 37 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 50 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
  2. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 29 %einzelne zitierbare Belege
    • amos 45 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  3. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 51 %Hintergrund, keine Belege
    • JEV 45 %einzelne zitierbare Belege
    • amos 39 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 49 %gleiches Oberthema, hilft nicht
    • d3-ultra 47 %gleiches Oberthema, hilft nicht
Agenten und vernetzte Systeme
  1. SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
    • clef 100 %kein Bezug
    • Luna 37 %Hintergrund, keine Belege
    • JEV 37 %gleiches Oberthema, hilft nicht
    • amos 34 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 58 %gleiches Oberthema, hilft nicht
Modelle teilen und schützen
  1. SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 31 %einzelne zitierbare Belege
    • amos 44 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →