Thinking with images
Zusammenfassung
Für diesen Bericht lag nur ein Auszug oder keine vollständige Fassung vor. Die Zusammenfassung sagt das selbst.
Kurz
Der Bericht stellt OpenAI o3 und o4-mini als Modelle vor, die Bilder während des Schlussfolgerns mit Werkzeugen verändern und genauer untersuchen können, und nennt Beispiele sowie von OpenAI berichtete Benchmark-Erfolge. Er weist auf mögliche Wahrnehmungsfehler, unnötig lange Verarbeitung und schwankende Zuverlässigkeit hin; zudem seien die Modelle inzwischen in ChatGPT nicht mehr verfügbar und in der API abgekündigt.
Mittel
Der Bericht beschreibt OpenAI o3 und o4-mini als Modelle, die Bilder während ihres Schlussfolgerns mit Werkzeugen untersuchen und bearbeiten können, etwa durch Vergrößern, Drehen oder Zuschneiden. Diese Funktion sei in die Modelle integriert. Beispiele zeigen das Entziffern einer auf dem Kopf stehenden Notiz und das Markieren eines möglichen Weges durch ein Labyrinth. Auch die Kombination visueller Analyse mit Python, Websuche und Bilderzeugung wird als Unterstützung für komplexere Aufgaben dargestellt.
OpenAI zufolge schnitten die Modelle bei hoher Einstellung für den Denkaufwand in allen getesteten multimodalen Aufgaben besser ab als ihre Vorgänger. Genannt werden unter anderem STEM-Fragen, Diagramme, Wahrnehmungsaufgaben und visuelle Suche; für V* gibt der Beitrag 95,7 Prozent Genauigkeit an. Die Resultate seien ohne Browsing erzielt worden. Ein Update korrigiert bestimmte o3-Benchmarkwerte wegen einer geänderten Systemanweisung. Als Grenzen führt der Bericht überlange oder redundante Verarbeitungsschritte, Wahrnehmungsfehler und schwankende Ergebnisse zwischen Versuchen an. Die Leistungsangaben stammen von OpenAI. Laut Aktualisierung sind o3 und o4-mini inzwischen aus ChatGPT entfernt und in der API abgekündigt.
Ausführlich lesen
Der Bericht stellt „Thinking with images“ als Ansatz für visuelles Schlussfolgern mit OpenAI o3 und o4-mini vor. Nach Darstellung von OpenAI können diese Modelle Bilder nicht nur erkennen, sondern sie während ihres internen Schlussfolgerns mit Werkzeugen bearbeiten: etwa Ausschnitte vergrößern, drehen oder anderweitig verändern. Die Fähigkeit sei direkt in die Modelle integriert und benötige keine separaten spezialisierten Modelle. Wie bei o1 könnten die Modelle länger nachdenken, bevor sie antworten; die Bildbearbeitung erweitere dieses Vorgehen um visuelle Zwischenschritte.
Als Beispiele zeigt der Beitrag eine Notiz, die zunächst auf dem Kopf steht, und ein Labyrinth. Im Notizbeispiel wird das Bild gedreht und zugeschnitten, um den Text lesbar zu machen; als Ergebnis wird „4th February – finish roadmap“ angegeben. Beim Labyrinth wird ein möglicher Weg mit einer roten Linie markiert. Der ausführlich dokumentierte Lösungsversuch umfasst Überlegungen zur Transparenz des Bildhintergrunds, zur Lage der Ein- und Ausgänge und eine Suche nach einem Weg durch begehbare Bildpunkte. Der Beitrag beschreibt außerdem, wie Bildanalyse mit weiteren Werkzeugen wie Python-Datenanalyse, Websuche und Bilderzeugung zusammenspielen könne. Das solle komplexere Aufgaben unterstützen, etwa das Erklären eines fotografierten Aufgabenblatts oder die Ursachenanalyse eines Fehlers in einem Screenshot.
OpenAI zufolge ermöglicht diese Verbindung von visueller und textlicher Verarbeitung eine zusätzliche Form der Rechenzeitskalierung. Für die Leistungsbewertung seien o3 und o4-mini bei hoher „reasoning effort“-Einstellung mit früheren multimodalen Modellen verglichen worden. Der Beitrag behauptet Verbesserungen bei sämtlichen getesteten multimodalen Aufgaben und nennt Spitzenleistungen in den Bereichen naturwissenschaftliche Fragen, Diagrammverständnis, grundlegende Wahrnehmungsaufgaben und visuelle Suche. Auf dem Benchmark V* wird eine Genauigkeit von 95,7 Prozent angegeben. Die Ergebnisse würden laut Bericht ohne Browsing erzielt. Ein Update vom 16. April weist darauf hin, dass die Resultate von o3 für Charxiv-r, MathVista und VLMs Are Blind wegen einer Änderung des Systemprompts nachträglich angepasst wurden.
Der Beitrag benennt auch Grenzen: Die Modelle könnten unnötig viele oder redundante Denk- und Bildbearbeitungsschritte ausführen, trotz sinnvoller Werkzeugnutzung grundlegende visuelle Fehler machen und bei mehreren Versuchen unterschiedliche Vorgehensweisen wählen, von denen manche zu falschen Antworten führen. Die dargestellten Benchmark-Ergebnisse und Leistungsurteile sind Aussagen von OpenAI; der Text liefert keine unabhängige Überprüfung. Zudem enthält der bereitgestellte Bericht einen Aktualisierungshinweis: o3 und o4-mini seien inzwischen in ChatGPT nicht mehr verfügbar und in der API abgekündigt; für aktuelle Modelle verweist er auf die Modellübersicht.
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Vorfälle melden
- SF-M4 Wie kommen Meldungen von Laboren, Betreibern und Nutzern schnell und geschützt zu den Stellen, die handeln müssen, auch über Grenzen hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 46 %gleiches Oberthema, hilft nicht
- d3-ultra
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 25 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 50 %gleiches Oberthema, hilft nicht
- drex 54 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 30 %einzelne zitierbare Belege
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 48 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 60 %gleiches Oberthema, hilft nicht
- d3-ultra
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 57 %einzelne zitierbare Belege
- amos 27 %nur am Rande erwähnt
- SubQ 100 %kein Bezug
- drex 46 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 53 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 37 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 54 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 43 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 35 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 52 %gleiches Oberthema, hilft nicht
- drex 71 %gleiches Oberthema, hilft nicht
- d3-ultra
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 35 %gleiches Oberthema, hilft nicht
- SubQ 51 %gleiches Oberthema, hilft nicht
- drex 57 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 48 %gleiches Oberthema, hilft nicht
- drex 71 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 53 %einzelne zitierbare Belege
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 49 %Hintergrund, keine Belege
- JEV 37 %einzelne zitierbare Belege
- amos 33 %gleiches Oberthema, hilft nicht
- SubQ 49 %gleiches Oberthema, hilft nicht
- drex 54 %gleiches Oberthema, hilft nicht
- d3-ultra
Agenten und vernetzte Systeme
- SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 54 %einzelne zitierbare Belege
- amos 33 %nur am Rande erwähnt
- SubQ 100 %kein Bezug
- drex 53 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-A2 Lassen sich KI-Systeme sicher anhalten, zurücksetzen, abschotten oder drosseln, und wer darf das anordnen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 37 %gleiches Oberthema, hilft nicht
- SubQ 49 %gleiches Oberthema, hilft nicht
- drex 49 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-A3 Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Modelle teilen und schützen
- SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 54 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 27 %einzelne zitierbare Belege
- amos 50 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-H4 Was geschieht mit Modellen und Sicherheitspflichten, wenn ein Labor verkauft, aufgelöst oder ein Modell stillgelegt wird?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 40 %nur am Rande erwähnt
- amos 35 %nur am Rande erwähnt
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Frieden und Sicherheit
- SF-K2 Wie weit gelten KI-Abkommen für Verbündete und Geheimdienste, und wie verhalten sie sich zu bestehenden Rüstungskontrollverträgen und -regimen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 48 %gleiches Oberthema, hilft nicht
- d3-ultra
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 41 %einzelne zitierbare Belege
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 58 %gleiches Oberthema, hilft nicht
- drex 46 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-O3 Welcher Text gilt, und wie beweist man, dass ein Dokument nicht verändert wurde?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Beteiligung und Gemeinwohl
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 52 %gleiches Oberthema, hilft nicht
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 52 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 53 %gleiches Oberthema, hilft nicht
- d3-ultra
Information und Öffentlichkeit
- SF-I1 Wie erkennt man KI-erzeugte Inhalte und KI-erzeugte Einflussnahme, ohne die Meinungsfreiheit zu beschneiden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 48 %gleiches Oberthema, hilft nicht
- d3-ultra
Weitere Berichte zu diesen Fragen
- Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- Alle Berichte im Archiv