Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
openai16. April 2025 · Q006821

Thinking with images

openai.com · Originalbericht öffnen ↗

Zusammenfassung

Für diesen Bericht lag nur ein Auszug oder keine vollständige Fassung vor. Die Zusammenfassung sagt das selbst.

Kurz

Der Bericht stellt OpenAI o3 und o4-mini als Modelle vor, die Bilder während des Schlussfolgerns mit Werkzeugen verändern und genauer untersuchen können, und nennt Beispiele sowie von OpenAI berichtete Benchmark-Erfolge. Er weist auf mögliche Wahrnehmungsfehler, unnötig lange Verarbeitung und schwankende Zuverlässigkeit hin; zudem seien die Modelle inzwischen in ChatGPT nicht mehr verfügbar und in der API abgekündigt.

Mittel

Der Bericht beschreibt OpenAI o3 und o4-mini als Modelle, die Bilder während ihres Schlussfolgerns mit Werkzeugen untersuchen und bearbeiten können, etwa durch Vergrößern, Drehen oder Zuschneiden. Diese Funktion sei in die Modelle integriert. Beispiele zeigen das Entziffern einer auf dem Kopf stehenden Notiz und das Markieren eines möglichen Weges durch ein Labyrinth. Auch die Kombination visueller Analyse mit Python, Websuche und Bilderzeugung wird als Unterstützung für komplexere Aufgaben dargestellt.

OpenAI zufolge schnitten die Modelle bei hoher Einstellung für den Denkaufwand in allen getesteten multimodalen Aufgaben besser ab als ihre Vorgänger. Genannt werden unter anderem STEM-Fragen, Diagramme, Wahrnehmungsaufgaben und visuelle Suche; für V* gibt der Beitrag 95,7 Prozent Genauigkeit an. Die Resultate seien ohne Browsing erzielt worden. Ein Update korrigiert bestimmte o3-Benchmarkwerte wegen einer geänderten Systemanweisung. Als Grenzen führt der Bericht überlange oder redundante Verarbeitungsschritte, Wahrnehmungsfehler und schwankende Ergebnisse zwischen Versuchen an. Die Leistungsangaben stammen von OpenAI. Laut Aktualisierung sind o3 und o4-mini inzwischen aus ChatGPT entfernt und in der API abgekündigt.

Ausführlich lesen

Der Bericht stellt „Thinking with images“ als Ansatz für visuelles Schlussfolgern mit OpenAI o3 und o4-mini vor. Nach Darstellung von OpenAI können diese Modelle Bilder nicht nur erkennen, sondern sie während ihres internen Schlussfolgerns mit Werkzeugen bearbeiten: etwa Ausschnitte vergrößern, drehen oder anderweitig verändern. Die Fähigkeit sei direkt in die Modelle integriert und benötige keine separaten spezialisierten Modelle. Wie bei o1 könnten die Modelle länger nachdenken, bevor sie antworten; die Bildbearbeitung erweitere dieses Vorgehen um visuelle Zwischenschritte.

Als Beispiele zeigt der Beitrag eine Notiz, die zunächst auf dem Kopf steht, und ein Labyrinth. Im Notizbeispiel wird das Bild gedreht und zugeschnitten, um den Text lesbar zu machen; als Ergebnis wird „4th February – finish roadmap“ angegeben. Beim Labyrinth wird ein möglicher Weg mit einer roten Linie markiert. Der ausführlich dokumentierte Lösungsversuch umfasst Überlegungen zur Transparenz des Bildhintergrunds, zur Lage der Ein- und Ausgänge und eine Suche nach einem Weg durch begehbare Bildpunkte. Der Beitrag beschreibt außerdem, wie Bildanalyse mit weiteren Werkzeugen wie Python-Datenanalyse, Websuche und Bilderzeugung zusammenspielen könne. Das solle komplexere Aufgaben unterstützen, etwa das Erklären eines fotografierten Aufgabenblatts oder die Ursachenanalyse eines Fehlers in einem Screenshot.

OpenAI zufolge ermöglicht diese Verbindung von visueller und textlicher Verarbeitung eine zusätzliche Form der Rechenzeitskalierung. Für die Leistungsbewertung seien o3 und o4-mini bei hoher „reasoning effort“-Einstellung mit früheren multimodalen Modellen verglichen worden. Der Beitrag behauptet Verbesserungen bei sämtlichen getesteten multimodalen Aufgaben und nennt Spitzenleistungen in den Bereichen naturwissenschaftliche Fragen, Diagrammverständnis, grundlegende Wahrnehmungsaufgaben und visuelle Suche. Auf dem Benchmark V* wird eine Genauigkeit von 95,7 Prozent angegeben. Die Ergebnisse würden laut Bericht ohne Browsing erzielt. Ein Update vom 16. April weist darauf hin, dass die Resultate von o3 für Charxiv-r, MathVista und VLMs Are Blind wegen einer Änderung des Systemprompts nachträglich angepasst wurden.

Der Beitrag benennt auch Grenzen: Die Modelle könnten unnötig viele oder redundante Denk- und Bildbearbeitungsschritte ausführen, trotz sinnvoller Werkzeugnutzung grundlegende visuelle Fehler machen und bei mehreren Versuchen unterschiedliche Vorgehensweisen wählen, von denen manche zu falschen Antworten führen. Die dargestellten Benchmark-Ergebnisse und Leistungsurteile sind Aussagen von OpenAI; der Text liefert keine unabhängige Überprüfung. Zudem enthält der bereitgestellte Bericht einen Aktualisierungshinweis: o3 und o4-mini seien inzwischen in ChatGPT nicht mehr verfügbar und in der API abgekündigt; für aktuelle Modelle verweist er auf die Modellübersicht.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19 ungeprüft

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 7 von 7
Angezeigte Modelle
Vorfälle melden
Fähigkeiten messen
  1. SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
    • clef 100 %kein Bezug
    • Luna 25 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 46 %gleiches Oberthema, hilft nicht
    • SubQ 50 %gleiches Oberthema, hilft nicht
    • drex 54 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
  2. SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 30 %einzelne zitierbare Belege
    • amos 39 %gleiches Oberthema, hilft nicht
    • SubQ 48 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra offen
Unabhängig prüfen
  1. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 57 %einzelne zitierbare Belege
    • amos 27 %nur am Rande erwähnt
    • SubQ 100 %kein Bezug
    • drex 46 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Tempo und Grenzen
  1. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 100 %kein Bezug
    • Luna 35 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 41 %gleiches Oberthema, hilft nicht
    • SubQ 52 %gleiches Oberthema, hilft nicht
    • drex 71 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Vertrauen in Modelle
  1. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 53 %einzelne zitierbare Belege
    • amos 46 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen
  2. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 49 %Hintergrund, keine Belege
    • JEV 37 %einzelne zitierbare Belege
    • amos 33 %gleiches Oberthema, hilft nicht
    • SubQ 49 %gleiches Oberthema, hilft nicht
    • drex 54 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Agenten und vernetzte Systeme
  1. SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 54 %einzelne zitierbare Belege
    • amos 33 %nur am Rande erwähnt
    • SubQ 100 %kein Bezug
    • drex 53 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Modelle teilen und schützen
  1. SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 27 %einzelne zitierbare Belege
    • amos 50 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen
Frieden und Sicherheit
Offenlegung und Rechenschaft
  1. SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 41 %einzelne zitierbare Belege
    • amos 48 %gleiches Oberthema, hilft nicht
    • SubQ 58 %gleiches Oberthema, hilft nicht
    • drex 46 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Beteiligung und Gemeinwohl
Information und Öffentlichkeit

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →