Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
epoch30. Oktober 2025 · Q005595

What does OSWorld tell us about AI’s ability to use computers?

epoch.ai · Originalbericht öffnen ↗

Zusammenfassung

Kurz

OSWorld misst, wie gut Sprachmodelle Aufgaben in einer Ubuntu-Umgebung erledigen; führende Modelle erreichten laut Bericht inzwischen fast 70 Prozent. Die Autoren mahnen bei Vergleichen zur Vorsicht, weil sich Aufgaben ändern, viele ohne intensive GUI-Nutzung lösbar sind und Mehrdeutigkeit sowie fehlerhafte Aufgaben die Ergebnisse beeinflussen.

Mittel

Epoch AI beschreibt OSWorld als Benchmark für 361 Aufgaben, bei denen Sprachmodelle in einer Ubuntu-VM Computeraufgaben erledigen. Bewertet wird der erreichte Endzustand; der konkrete Lösungsweg zählt nicht. Führende Modelle seien von unter zehn auf fast 70 Prozent gestiegen, was laut Bericht teilweise echte Fortschritte bei der Computernutzung widerspiegele.

Die Autoren warnen jedoch vor einfachen Vergleichen. Aufgabenbeschreibungen und Bewertungsfunktionen wurden wiederholt geändert, und rund zehn Prozent der Aufgaben hängen von aktuellen Websites oder Internetdaten ab. Zudem erfordern etwa 15 Prozent nur Terminalarbeit; bei weiteren rund 30 Prozent lässt sich viel GUI-Arbeit durch Terminalbefehle oder Python ersetzen. Punktzahlen messen daher nicht ausschließlich grafische Bedienung. Mehrdeutige Anweisungen machen die richtige Interpretation mitunter ebenso wichtig wie die Bedienung selbst. Die Autoren schätzen außerdem, dass rund zehn Prozent der Aufgaben durch schwerwiegende Fehler ungültig sind. OSWorld bilde einfache, realistische Aufgaben in Linux-Anwendungen ab, doch Änderungen am Test, alternative Lösungswege und Aufgabenfehler schränkten die Aussagekraft zeitlicher Leistungsvergleiche ein.

Ausführlich lesen

Der Bericht von Epoch AI untersucht OSWorld, einen Benchmark für die Fähigkeit großer Sprachmodelle, Aufgaben am Computer auszuführen. Ein Modell erhält eine Aufgabenbeschreibung und eine Ubuntu-VM, teils mit bereits geöffneten Anwendungen. Es steuert Maus und Tastatur über Python und pyautogui; bewertet wird am Ende, ob der gewünschte Zielzustand erreicht wurde. Zwischenschritte und der gewählte Lösungsweg zählen laut Bericht nicht. OSWorld umfasst 361 Aufgaben; acht weitere Google-Drive-Beispiele sind dabei nicht mitgezählt. Rund acht Prozent der Aufgaben sollen absichtlich nicht lösbar sein, etwa weil eine Anwendung die verlangte Funktion nicht unterstützt. In solchen Fällen sollen Modelle die Unmöglichkeit benennen.

Die Autoren halten OSWorld für aussagekräftig bei einfachen, realistischen Aufgaben in Linux-Umgebungen mit verbreiteten Anwendungen. Sie berichten, dass führende Modelle im Benchmark von unter zehn auf nahezu 70 Prozent gestiegen sind; ein erheblicher Teil dieses Anstiegs spiegele vermutlich bessere Computerbedienung wider. Sie betonen jedoch, dass die Punktzahlen nur mit Vorsicht als Maß für GUI-Fähigkeiten oder zeitlichen Fortschritt gelesen werden können.

Ein Grund ist die veränderliche Testgrundlage: Im Juli 2025 wurden laut Bericht die meisten Aufgabenbeschreibungen und Bewertungsfunktionen überarbeitet; danach seien weitere rund zehn Prozent der Beschreibungen geändert worden. Korrekturen zuvor fehlerhafter Aufgaben können deshalb wie Leistungsfortschritt erscheinen. Zudem beziehen etwa zehn Prozent der Aufgaben aktuelle Internetdaten ein. Änderungen an Websites oder Inhalten können deren Schwierigkeit verändern oder sie unlösbar machen; ein TripAdvisor-Test prüfe beispielsweise Elemente anhand fester XPath-Pfade.

Auch misst OSWorld nicht durchgehend grafische Bedienung. Rund 15 Prozent der Aufgaben ließen sich ausschließlich im Terminal lösen. Bei weiteren etwa 30 Prozent könne man wesentliche GUI-Arbeit durch Terminalbefehle oder Python-Skripte ersetzen, etwa bei Tabellen. Der Bericht verweist darauf, dass Modelle mit Codeausführung in der Rangliste deutlich höher lägen als reine GUI-Agenten, quantifiziert aber nicht, wie oft solche Ausweichwege genutzt werden. Gute Ergebnisse können daher auch Terminal- und Programmierfähigkeiten widerspiegeln.

Ein weiterer Einflussfaktor sei die Auslegung teils mehrdeutiger Anweisungen. Bei einer Präsentationsaufgabe könne „ausrichten“ etwa die Textausrichtung oder die Position des Textfelds meinen; Gruppierungen erschwerten die Deutung zusätzlich. Die Autoren berichten, dass die beabsichtigte Lösung auf einer bestimmten Interpretation beruhte und dass solche Interpretationsentscheidungen vom Fachwissen abhängen können. Wie viele Aufgaben problematisch mehrdeutig sind, lasse sich subjektiv schwer bestimmen. Der menschliche Basiswert von 72 Prozent begrenze den Anteil laut Autoren höchstens auf 28 Prozent; die zugrunde liegende Studie zerlege menschliche Fehler jedoch nicht nach Ursachen.

Schließlich schätzen die Autoren, dass etwa zehn Prozent der Aufgaben schwerwiegende Fehler enthalten, die sie ungültig machen – eine Größenordnung, die sie mit anderen Benchmarks vergleichen. Ihr Fazit: OSWorld zeigt Fortschritte bei alltagsnaher Computerarbeit, doch Veränderungen am Benchmark, alternative Lösungswege, mehrdeutige Anweisungen und fehlerhafte Aufgaben erschweren die Deutung von Punktzahlunterschieden. Sie würdigen zugleich den Aufwand des OSWorld-Teams, einen realistischen und zugleich strengen Benchmark zu entwickeln.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Bewertet wurde die mittlere Zusammenfassung, die den Bericht im Kern treu wiedergibt; die Angaben zu 361 Aufgaben, 15 und 30 Prozent sowie fast 70 Prozent stimmen mit dem Text überein. Die kurze Zusammenfassung ist ebenfalls treu, aber knapper und lässt Angaben wie die Terminal- und Live-Daten-Anteile aus. Die Einordnung bezieht sich auf die Fragen zu Cyber-Prüfungen, Labore und Modellausrichtung, die der OSWorld-Bericht nur am Rande berührt.

Im Bericht, aber nicht in der Zusammenfassung

  • Die menschliche Vergleichsbasis aus dem Originalpaper liegt bei 72 Prozent; daraus folgern die Autoren, dass Mehrdeutigkeiten höchstens 28 Prozent der Aufgaben betreffen
  • Rund acht Prozent der Aufgaben sind absichtlich unlösbar, und die Modelle sollen dann die Unlösbarkeit melden
  • Modelle mit Code-Ausführungswerkzeugen erreichen auf dem Leaderboard deutlich höhere Werte als reine GUI-Agenten

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Fähigkeiten messen
  1. SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
    • clef 25 %gleiches Oberthema, hilft nicht
    • Luna 48 %Hintergrund, keine Belege
    • JEV 29 %gleiches Oberthema, hilft nicht
    • amos 29 %Hintergrund, keine Belege
    • SubQ 39 %gleiches Oberthema, hilft nicht
    • drex 32 %gleiches Oberthema, hilft nicht
    • d3-ultra 59 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung Hintergrund, keine Belege

    • SF-F1-T05 Welche Cyber-Prüfungen und welche Testbausteine (Testfälle, Bewertungswerkzeuge, Datensätze) würden jedes Labor und jedes Ministerium anstelle einer bloßen Behauptung als gültig anerkennen, wenn andere sie an ihrem Modell durchführen? Und welche genormte Testsammlung würden Labore verschiedener Staaten gemeinsam an eingefrorenen Modellversionen laufen lassen, verwaltet von einer dritten Stelle, der alle trauen? Luna: Stufe 1 · 37 % · gleiches Oberthema, hilft nicht · Haiku-Prüfung: Stufe 3 · Hintergrund, keine Belege
    • SF-F1-T09 Wem gehört eine gemeinsam gebaute Testsammlung, wer darf sie an wessen Modellen erneut laufen lassen, darf ein Beteiligter seine Aufgaben zurückziehen, nachdem Ergebnisse veröffentlicht sind, und was wird dann aus der Vergleichbarkeit? Luna: Stufe 1 · 53 % · gleiches Oberthema, hilft nicht · Haiku-Prüfung: Stufe 6 · beantwortet teilweise oder widerspricht
  2. SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 22 %Hintergrund, keine Belege
    • amos 33 %gleiches Oberthema, hilft nicht
    • SubQ 51 %gleiches Oberthema, hilft nicht
    • drex 45 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Unabhängig prüfen
  1. SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 22 %einzelne zitierbare Belege
    • amos 39 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  2. SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
    • clef 100 %kein Bezug
    • Luna 43 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 46 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  3. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 22 %gleiches Oberthema, hilft nicht
    • Luna 52 %einzelne zitierbare Belege
    • JEV 40 %einzelne zitierbare Belege
    • amos 28 %Hintergrund, keine Belege
    • SubQ 41 %gleiches Oberthema, hilft nicht
    • drex 32 %gleiches Oberthema, hilft nicht
    • d3-ultra 48 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung nur am Rande erwähnt

Tempo und Grenzen
Vertrauen in Modelle
  1. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 26 %einzelne zitierbare Belege
    • amos 47 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  2. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 52 %Hintergrund, keine Belege
    • JEV 29 %Hintergrund, keine Belege
    • amos 37 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 52 %gleiches Oberthema, hilft nicht
    • d3-ultra 54 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
Agenten und vernetzte Systeme
  1. SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
    • clef 26 %gleiches Oberthema, hilft nicht
    • Luna 30 %Hintergrund, keine Belege
    • JEV 50 %einzelne zitierbare Belege
    • amos 26 %nur am Rande erwähnt
    • SubQ 100 %kein Bezug
    • drex 42 %gleiches Oberthema, hilft nicht
    • d3-ultra 64 %gleiches Oberthema, hilft nicht
Modelle teilen und schützen
  1. SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
    • clef 100 %kein Bezug
    • Luna 33 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 44 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Frieden und Sicherheit
Offenlegung und Rechenschaft
  1. SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 26 %einzelne zitierbare Belege
    • amos 50 %gleiches Oberthema, hilft nicht
    • SubQ 57 %gleiches Oberthema, hilft nicht
    • drex 44 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →