What does OSWorld tell us about AI’s ability to use computers?
Zusammenfassung
Kurz
OSWorld misst, wie gut Sprachmodelle Aufgaben in einer Ubuntu-Umgebung erledigen; führende Modelle erreichten laut Bericht inzwischen fast 70 Prozent. Die Autoren mahnen bei Vergleichen zur Vorsicht, weil sich Aufgaben ändern, viele ohne intensive GUI-Nutzung lösbar sind und Mehrdeutigkeit sowie fehlerhafte Aufgaben die Ergebnisse beeinflussen.
Mittel
Epoch AI beschreibt OSWorld als Benchmark für 361 Aufgaben, bei denen Sprachmodelle in einer Ubuntu-VM Computeraufgaben erledigen. Bewertet wird der erreichte Endzustand; der konkrete Lösungsweg zählt nicht. Führende Modelle seien von unter zehn auf fast 70 Prozent gestiegen, was laut Bericht teilweise echte Fortschritte bei der Computernutzung widerspiegele.
Die Autoren warnen jedoch vor einfachen Vergleichen. Aufgabenbeschreibungen und Bewertungsfunktionen wurden wiederholt geändert, und rund zehn Prozent der Aufgaben hängen von aktuellen Websites oder Internetdaten ab. Zudem erfordern etwa 15 Prozent nur Terminalarbeit; bei weiteren rund 30 Prozent lässt sich viel GUI-Arbeit durch Terminalbefehle oder Python ersetzen. Punktzahlen messen daher nicht ausschließlich grafische Bedienung. Mehrdeutige Anweisungen machen die richtige Interpretation mitunter ebenso wichtig wie die Bedienung selbst. Die Autoren schätzen außerdem, dass rund zehn Prozent der Aufgaben durch schwerwiegende Fehler ungültig sind. OSWorld bilde einfache, realistische Aufgaben in Linux-Anwendungen ab, doch Änderungen am Test, alternative Lösungswege und Aufgabenfehler schränkten die Aussagekraft zeitlicher Leistungsvergleiche ein.
Ausführlich lesen
Der Bericht von Epoch AI untersucht OSWorld, einen Benchmark für die Fähigkeit großer Sprachmodelle, Aufgaben am Computer auszuführen. Ein Modell erhält eine Aufgabenbeschreibung und eine Ubuntu-VM, teils mit bereits geöffneten Anwendungen. Es steuert Maus und Tastatur über Python und pyautogui; bewertet wird am Ende, ob der gewünschte Zielzustand erreicht wurde. Zwischenschritte und der gewählte Lösungsweg zählen laut Bericht nicht. OSWorld umfasst 361 Aufgaben; acht weitere Google-Drive-Beispiele sind dabei nicht mitgezählt. Rund acht Prozent der Aufgaben sollen absichtlich nicht lösbar sein, etwa weil eine Anwendung die verlangte Funktion nicht unterstützt. In solchen Fällen sollen Modelle die Unmöglichkeit benennen.
Die Autoren halten OSWorld für aussagekräftig bei einfachen, realistischen Aufgaben in Linux-Umgebungen mit verbreiteten Anwendungen. Sie berichten, dass führende Modelle im Benchmark von unter zehn auf nahezu 70 Prozent gestiegen sind; ein erheblicher Teil dieses Anstiegs spiegele vermutlich bessere Computerbedienung wider. Sie betonen jedoch, dass die Punktzahlen nur mit Vorsicht als Maß für GUI-Fähigkeiten oder zeitlichen Fortschritt gelesen werden können.
Ein Grund ist die veränderliche Testgrundlage: Im Juli 2025 wurden laut Bericht die meisten Aufgabenbeschreibungen und Bewertungsfunktionen überarbeitet; danach seien weitere rund zehn Prozent der Beschreibungen geändert worden. Korrekturen zuvor fehlerhafter Aufgaben können deshalb wie Leistungsfortschritt erscheinen. Zudem beziehen etwa zehn Prozent der Aufgaben aktuelle Internetdaten ein. Änderungen an Websites oder Inhalten können deren Schwierigkeit verändern oder sie unlösbar machen; ein TripAdvisor-Test prüfe beispielsweise Elemente anhand fester XPath-Pfade.
Auch misst OSWorld nicht durchgehend grafische Bedienung. Rund 15 Prozent der Aufgaben ließen sich ausschließlich im Terminal lösen. Bei weiteren etwa 30 Prozent könne man wesentliche GUI-Arbeit durch Terminalbefehle oder Python-Skripte ersetzen, etwa bei Tabellen. Der Bericht verweist darauf, dass Modelle mit Codeausführung in der Rangliste deutlich höher lägen als reine GUI-Agenten, quantifiziert aber nicht, wie oft solche Ausweichwege genutzt werden. Gute Ergebnisse können daher auch Terminal- und Programmierfähigkeiten widerspiegeln.
Ein weiterer Einflussfaktor sei die Auslegung teils mehrdeutiger Anweisungen. Bei einer Präsentationsaufgabe könne „ausrichten“ etwa die Textausrichtung oder die Position des Textfelds meinen; Gruppierungen erschwerten die Deutung zusätzlich. Die Autoren berichten, dass die beabsichtigte Lösung auf einer bestimmten Interpretation beruhte und dass solche Interpretationsentscheidungen vom Fachwissen abhängen können. Wie viele Aufgaben problematisch mehrdeutig sind, lasse sich subjektiv schwer bestimmen. Der menschliche Basiswert von 72 Prozent begrenze den Anteil laut Autoren höchstens auf 28 Prozent; die zugrunde liegende Studie zerlege menschliche Fehler jedoch nicht nach Ursachen.
Schließlich schätzen die Autoren, dass etwa zehn Prozent der Aufgaben schwerwiegende Fehler enthalten, die sie ungültig machen – eine Größenordnung, die sie mit anderen Benchmarks vergleichen. Ihr Fazit: OSWorld zeigt Fortschritte bei alltagsnaher Computerarbeit, doch Veränderungen am Benchmark, alternative Lösungswege, mehrdeutige Anweisungen und fehlerhafte Aufgaben erschweren die Deutung von Punktzahlunterschieden. Sie würdigen zugleich den Aufwand des OSWorld-Teams, einen realistischen und zugleich strengen Benchmark zu entwickeln.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Bewertet wurde die mittlere Zusammenfassung, die den Bericht im Kern treu wiedergibt; die Angaben zu 361 Aufgaben, 15 und 30 Prozent sowie fast 70 Prozent stimmen mit dem Text überein. Die kurze Zusammenfassung ist ebenfalls treu, aber knapper und lässt Angaben wie die Terminal- und Live-Daten-Anteile aus. Die Einordnung bezieht sich auf die Fragen zu Cyber-Prüfungen, Labore und Modellausrichtung, die der OSWorld-Bericht nur am Rande berührt.
Im Bericht, aber nicht in der Zusammenfassung
- Die menschliche Vergleichsbasis aus dem Originalpaper liegt bei 72 Prozent; daraus folgern die Autoren, dass Mehrdeutigkeiten höchstens 28 Prozent der Aufgaben betreffen
- Rund acht Prozent der Aufgaben sind absichtlich unlösbar, und die Modelle sollen dann die Unlösbarkeit melden
- Modelle mit Code-Ausführungswerkzeugen erreichen auf dem Leaderboard deutlich höhere Werte als reine GUI-Agenten
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 25 %gleiches Oberthema, hilft nicht
- Luna 48 %Hintergrund, keine Belege
- JEV 29 %gleiches Oberthema, hilft nicht
- amos 29 %Hintergrund, keine Belege
- SubQ 39 %gleiches Oberthema, hilft nicht
- drex 32 %gleiches Oberthema, hilft nicht
- d3-ultra 59 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung Hintergrund, keine Belege
- SF-F1-T04 Welcher gemeinsame, neutrale und offene Maßstab (Aufgaben, Erfolgsrate, abgeschirmte Testumgebung, Belege) zeigt, dass eine Cyber-Schwelle überschritten ist? Würden ein Ministerium und ein Labor in verschiedenen Staaten ihn annehmen, bevor das nächste Modell als Überschreitung eingestuft wird, damit Schwellen gemessen und nicht behauptet werden? Und dient derselbe Maßstab dann sowohl dazu, ein Modell einzustufen, als auch dazu, das Tempo seiner Entwicklung zu steuern?
- SF-F1-T05 Welche Cyber-Prüfungen und welche Testbausteine (Testfälle, Bewertungswerkzeuge, Datensätze) würden jedes Labor und jedes Ministerium anstelle einer bloßen Behauptung als gültig anerkennen, wenn andere sie an ihrem Modell durchführen? Und welche genormte Testsammlung würden Labore verschiedener Staaten gemeinsam an eingefrorenen Modellversionen laufen lassen, verwaltet von einer dritten Stelle, der alle trauen?
- SF-F1-T09 Wem gehört eine gemeinsam gebaute Testsammlung, wer darf sie an wessen Modellen erneut laufen lassen, darf ein Beteiligter seine Aufgaben zurückziehen, nachdem Ergebnisse veröffentlicht sind, und was wird dann aus der Vergleichbarkeit?
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 22 %Hintergrund, keine Belege
- amos 33 %gleiches Oberthema, hilft nicht
- SubQ 51 %gleiches Oberthema, hilft nicht
- drex 45 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 36 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 41 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-F5 Wie gehen Staaten gemeinsam gegen KI-gestützte Cyberangriffe vor und verhindern Eskalation zwischen autonomen Systemen, ohne die Verteidigung zu behindern?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 56 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 22 %einzelne zitierbare Belege
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 43 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 22 %gleiches Oberthema, hilft nicht
- Luna 52 %einzelne zitierbare Belege
- JEV 40 %einzelne zitierbare Belege
- amos 28 %Hintergrund, keine Belege
- SubQ 41 %gleiches Oberthema, hilft nicht
- drex 32 %gleiches Oberthema, hilft nicht
- d3-ultra 48 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung nur am Rande erwähnt
- SF-P3-T07 Wird jede öffentliche Aussage, ein führendes KI-Modell sei „besser ausgerichtet“ als ein anderes (folge also seinen vorgesehenen Zielen und Werten besser), reproduzierbare Kriterien, externe Prüfungen und widersprechende Ergebnisse enthalten?
- SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- clef 36 %gleiches Oberthema, hilft nicht
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 51 %gleiches Oberthema, hilft nicht
- SubQ 57 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 32 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 57 %gleiches Oberthema, hilft nicht
- drex 42 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 33 %gleiches Oberthema, hilft nicht
- Luna 34 %gleiches Oberthema, hilft nicht
- JEV 100 %kein Bezug
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 66 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 36 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 46 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 59 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 26 %einzelne zitierbare Belege
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 52 %Hintergrund, keine Belege
- JEV 29 %Hintergrund, keine Belege
- amos 37 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 52 %gleiches Oberthema, hilft nicht
- d3-ultra 54 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung gleiches Oberthema, hilft nicht
Agenten und vernetzte Systeme
- SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- clef 26 %gleiches Oberthema, hilft nicht
- Luna 30 %Hintergrund, keine Belege
- JEV 50 %einzelne zitierbare Belege
- amos 26 %nur am Rande erwähnt
- SubQ 100 %kein Bezug
- drex 42 %gleiches Oberthema, hilft nicht
- d3-ultra 64 %gleiches Oberthema, hilft nicht
- SF-A2 Lassen sich KI-Systeme sicher anhalten, zurücksetzen, abschotten oder drosseln, und wer darf das anordnen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 32 %gleiches Oberthema, hilft nicht
- SubQ 49 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-A3 Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 47 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Modelle teilen und schützen
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 60 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 33 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Frieden und Sicherheit
- SF-K2 Wie weit gelten KI-Abkommen für Verbündete und Geheimdienste, und wie verhalten sie sich zu bestehenden Rüstungskontrollverträgen und -regimen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 60 %gleiches Oberthema, hilft nicht
- drex 66 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 26 %einzelne zitierbare Belege
- amos 50 %gleiches Oberthema, hilft nicht
- SubQ 57 %gleiches Oberthema, hilft nicht
- drex 44 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-O3 Welcher Text gilt, und wie beweist man, dass ein Dokument nicht verändert wurde?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 52 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E2 In welchem Rahmen sollen Staaten KI regeln, und wo liegt eine gemeinsame Untergrenze?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 52 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 56 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- Alle Berichte im Archiv