Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
epoch9. Oktober 2025 · Q004143

Evaluating Gemini 2.5 Deep Think's math capabilities

epoch.ai · Originalbericht öffnen ↗

Zusammenfassung

Für diesen Bericht lag nur ein Auszug oder keine vollständige Fassung vor. Die Zusammenfassung sagt das selbst.

Kurz

Der bereitgestellte Berichtsauszug beschreibt Gemini 2.5 Deep Think als stark bei mathematischem Fachwissen und aufwendigen Rechnungen: Auf FrontierMath erzielte es 29 Prozent in den Stufen 1–3 und 10 Prozent in Stufe 4. Mathematiker sahen einen möglichen Nutzen als Forschungshilfe, berichteten aber auch von häufig falschen Quellenangaben, Grenzen bei originellen Beweisen und einzelnen Zuverlässigkeitsfehlern. Der Auszug enthält keine vollständige Executive Summary oder Anhänge.

Mittel

Der bereitgestellte Epoch-AI-Berichtsauszug bewertet die öffentlich verfügbare Gemini-2.5-Deep-Think-Version, die laut Google eine Abwandlung des IMO-Goldmedaillenmodells ist. In einer manuellen Prüfung löste sie 29 Prozent der nicht öffentlichen FrontierMath-Aufgaben der Stufen 1 bis 3 und 10 Prozent der besonders schweren Stufe 4. Epoch führt den Fortschritt vor allem auf besseres mathematisches Hintergrundwissen und genauere Ausführung komplexer Rechnungen zurück, sieht aber keine vergleichbar klare Evidenz für Kreativität.

Zwei Mathematiker fanden das Modell teilweise als Forschungshilfe nützlich: Es löste anspruchsvolle Aufgaben, fasste Fachtexte zusammen und erkannte in einem Fall einen Beweisfehler. Zugleich waren Literaturangaben häufig unzuverlässig: Bei einem Mathematiker enthielten sechs von acht Versuchen falsche oder unzutreffende Zitate. Deep Think scheiterte zudem an einer Aufgabe, die originellere Denkschritte erforderte, und machte bei einer einfachen Gewichtsaufgabe einen diskreten Kapazitätsfehler.

Die Autoren betonen, dass die Bewertung nicht alle mathematischen Fähigkeiten erfasst. Der bereitgestellte Text ist ein Auszug; Executive Summary und Anhang fehlen oder sind unvollständig, und die Abbildungen sind nicht inhaltlich wiedergegeben.

Ausführlich lesen

Der bereitgestellte Berichtsauszug von Epoch AI bewertet die mathematischen Fähigkeiten von Gemini 2.5 Deep Think. Epoch gibt an, die Studie sei von Google beauftragt worden, während Epoch die redaktionelle Kontrolle behalten habe. Untersucht wurde die öffentlich verfügbare Modellversion, die Google als Abwandlung des IMO-Goldmedaillenmodells beschrieben habe – nicht das Modell, das diese Leistung erzielt hatte. Der Zugriff erfolgte über die Gemini-App, in der Deep Think interne Werkzeuge für Codeausführung und Websuche nutzen konnte.

Die Untersuchung umfasste eine manuelle Auswertung des FrontierMath-Benchmarks sowie ausgewählte Aufgaben anderer Benchmarks und Versuche zweier Mathematiker mit dem Modell. FrontierMath enthält laut Bericht 350 eigens erstellte Aufgaben vom fortgeschrittenen Grundstudium bis zum frühen Forschungsniveau. Die statistische Auswertung berücksichtigte 338 nicht öffentliche Aufgaben. Deep Think löste 29 Prozent der Aufgaben in den Stufen 1 bis 3 und 10 Prozent der besonders schwierigen Stufe 4. Epoch bezeichnet dies als damalige Spitzenleistung. Die Ergebnisse sanken mit zunehmender Schwierigkeit; in der einfachsten Stufe löste das Modell nur ungefähr die Hälfte der Aufgaben.

Epoch deutet den Fortschritt vor allem als bessere Verfügbarkeit mathematischen Hintergrundwissens und präzisere Ausführung aufwendiger Rechnungen. Die gemessenen Zusammenhänge mit den Einschätzungen zu nötigem Hintergrundwissen und Präzision waren negativ, aber nicht stark; für Kreativität war der Zusammenhang noch schwächer und statistisch nicht eindeutig. Der Bericht betont, dass sich diese Fähigkeiten schwer standardisieren lassen. Ein Beispiel zeigt, dass Deep Think eine passende mathematische Formel fand, aber zunächst die falsche Quelle nannte und auch nach einer Korrektur fehlerhafte bibliografische Angaben machte. Von fünf gelösten Aufgaben der höchsten FrontierMath-Stufe war laut Bericht eine zuvor von keinem anderen Entwickler-Modell gelöst worden; der Aufgabenautor hielt den Lösungsweg für den von ihm erwarteten.

Die beiden befragten Mathematiker beschrieben das Modell insgesamt als potenziell nützliche Forschungshilfe. Paata Ivanisvili berichtete jedoch, Deep Think habe in sechs von acht Fällen Quellen angeführt, die nicht existierten oder die behaupteten Ergebnisse nicht enthielten. Dan Romik beobachtete sowohl falsche Hinweise, die offenbar durch fehlerhafte PDF-Texterkennung entstanden, als auch richtige Fehlerfunde, erfolgreiche Lösungen und eine korrekte Beweisführung. Das Modell scheiterte an einer von Romiks Aufgaben, die stärkere originelle Denkschritte erforderte, und lieferte laut ihm keine eigenen Ansätze zu einem bekannten offenen Problem.

Als weiteres Zuverlässigkeitsbeispiel nennt der Bericht eine Gewichtsaufgabe: Deep Think übersah, dass Flagstones nicht teilbar sind, und kam daher auf drei statt der nötigen vier Lastwagen. Epoch schließt, dass das Modell anspruchsvolles Fachwissen und komplexe Rechnungen eindrucksvoll einsetzen könne, aber bei schwierigen Beweisproblemen, Literaturangaben, Originalität und Zuverlässigkeit klare Grenzen zeige. Die Bewertung deckt nicht alle mathematischen Fähigkeiten ab; insbesondere seien Vermutungsbildung und feldübergreifende Verallgemeinerung nicht angemessen geprüft worden. Dies ist ein Auszug: Die Executive-Summary- und Anhangsabschnitte sind im bereitgestellten Text leer oder nur als Überschrift vorhanden, und die Abbildungen liegen lediglich als Verweise vor.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19 ungeprüft

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 7 von 7
Angezeigte Modelle
Vorfälle melden
Fähigkeiten messen
  1. SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 33 %einzelne zitierbare Belege
    • amos 29 %gleiches Oberthema, hilft nicht
    • SubQ 53 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Unabhängig prüfen
  1. SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 29 %einzelne zitierbare Belege
    • amos 28 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  2. SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
    • clef 19 %Hintergrund, keine Belege
    • Luna 41 %einzelne zitierbare Belege
    • JEV 48 %einzelne zitierbare Belege
    • amos 26 %Hintergrund, keine Belege
    • SubQ 41 %gleiches Oberthema, hilft nicht
    • drex 27 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
  3. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 22 %Hintergrund, keine Belege
    • Luna 36 %einzelne zitierbare Belege
    • JEV 39 %einzelne zitierbare Belege
    • amos 28 %Hintergrund, keine Belege
    • SubQ 38 %gleiches Oberthema, hilft nicht
    • drex 24 %gleiches Oberthema, hilft nicht
    • d3-ultra 46 %gleiches Oberthema, hilft nicht

Tempo und Grenzen
Vertrauen in Modelle
  1. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 31 %Hintergrund, keine Belege
    • JEV 46 %einzelne zitierbare Belege
    • amos 37 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 54 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
  2. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 47 %Hintergrund, keine Belege
    • JEV 55 %einzelne zitierbare Belege
    • amos 31 %gleiches Oberthema, hilft nicht
    • SubQ 47 %gleiches Oberthema, hilft nicht
    • drex 53 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug

Agenten und vernetzte Systeme
Modelle teilen und schützen
  1. SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
    • clef 100 %kein Bezug
    • Luna 58 %Hintergrund, keine Belege
    • JEV 62 %einzelne zitierbare Belege
    • amos 24 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 32 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Frieden und Sicherheit
Offenlegung und Rechenschaft
  1. SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 50 %einzelne zitierbare Belege
    • amos 25 %nur am Rande erwähnt
    • SubQ 57 %gleiches Oberthema, hilft nicht
    • drex 40 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →