Evaluating Gemini 2.5 Deep Think's math capabilities
Zusammenfassung
Für diesen Bericht lag nur ein Auszug oder keine vollständige Fassung vor. Die Zusammenfassung sagt das selbst.
Kurz
Der bereitgestellte Berichtsauszug beschreibt Gemini 2.5 Deep Think als stark bei mathematischem Fachwissen und aufwendigen Rechnungen: Auf FrontierMath erzielte es 29 Prozent in den Stufen 1–3 und 10 Prozent in Stufe 4. Mathematiker sahen einen möglichen Nutzen als Forschungshilfe, berichteten aber auch von häufig falschen Quellenangaben, Grenzen bei originellen Beweisen und einzelnen Zuverlässigkeitsfehlern. Der Auszug enthält keine vollständige Executive Summary oder Anhänge.
Mittel
Der bereitgestellte Epoch-AI-Berichtsauszug bewertet die öffentlich verfügbare Gemini-2.5-Deep-Think-Version, die laut Google eine Abwandlung des IMO-Goldmedaillenmodells ist. In einer manuellen Prüfung löste sie 29 Prozent der nicht öffentlichen FrontierMath-Aufgaben der Stufen 1 bis 3 und 10 Prozent der besonders schweren Stufe 4. Epoch führt den Fortschritt vor allem auf besseres mathematisches Hintergrundwissen und genauere Ausführung komplexer Rechnungen zurück, sieht aber keine vergleichbar klare Evidenz für Kreativität.
Zwei Mathematiker fanden das Modell teilweise als Forschungshilfe nützlich: Es löste anspruchsvolle Aufgaben, fasste Fachtexte zusammen und erkannte in einem Fall einen Beweisfehler. Zugleich waren Literaturangaben häufig unzuverlässig: Bei einem Mathematiker enthielten sechs von acht Versuchen falsche oder unzutreffende Zitate. Deep Think scheiterte zudem an einer Aufgabe, die originellere Denkschritte erforderte, und machte bei einer einfachen Gewichtsaufgabe einen diskreten Kapazitätsfehler.
Die Autoren betonen, dass die Bewertung nicht alle mathematischen Fähigkeiten erfasst. Der bereitgestellte Text ist ein Auszug; Executive Summary und Anhang fehlen oder sind unvollständig, und die Abbildungen sind nicht inhaltlich wiedergegeben.
Ausführlich lesen
Der bereitgestellte Berichtsauszug von Epoch AI bewertet die mathematischen Fähigkeiten von Gemini 2.5 Deep Think. Epoch gibt an, die Studie sei von Google beauftragt worden, während Epoch die redaktionelle Kontrolle behalten habe. Untersucht wurde die öffentlich verfügbare Modellversion, die Google als Abwandlung des IMO-Goldmedaillenmodells beschrieben habe – nicht das Modell, das diese Leistung erzielt hatte. Der Zugriff erfolgte über die Gemini-App, in der Deep Think interne Werkzeuge für Codeausführung und Websuche nutzen konnte.
Die Untersuchung umfasste eine manuelle Auswertung des FrontierMath-Benchmarks sowie ausgewählte Aufgaben anderer Benchmarks und Versuche zweier Mathematiker mit dem Modell. FrontierMath enthält laut Bericht 350 eigens erstellte Aufgaben vom fortgeschrittenen Grundstudium bis zum frühen Forschungsniveau. Die statistische Auswertung berücksichtigte 338 nicht öffentliche Aufgaben. Deep Think löste 29 Prozent der Aufgaben in den Stufen 1 bis 3 und 10 Prozent der besonders schwierigen Stufe 4. Epoch bezeichnet dies als damalige Spitzenleistung. Die Ergebnisse sanken mit zunehmender Schwierigkeit; in der einfachsten Stufe löste das Modell nur ungefähr die Hälfte der Aufgaben.
Epoch deutet den Fortschritt vor allem als bessere Verfügbarkeit mathematischen Hintergrundwissens und präzisere Ausführung aufwendiger Rechnungen. Die gemessenen Zusammenhänge mit den Einschätzungen zu nötigem Hintergrundwissen und Präzision waren negativ, aber nicht stark; für Kreativität war der Zusammenhang noch schwächer und statistisch nicht eindeutig. Der Bericht betont, dass sich diese Fähigkeiten schwer standardisieren lassen. Ein Beispiel zeigt, dass Deep Think eine passende mathematische Formel fand, aber zunächst die falsche Quelle nannte und auch nach einer Korrektur fehlerhafte bibliografische Angaben machte. Von fünf gelösten Aufgaben der höchsten FrontierMath-Stufe war laut Bericht eine zuvor von keinem anderen Entwickler-Modell gelöst worden; der Aufgabenautor hielt den Lösungsweg für den von ihm erwarteten.
Die beiden befragten Mathematiker beschrieben das Modell insgesamt als potenziell nützliche Forschungshilfe. Paata Ivanisvili berichtete jedoch, Deep Think habe in sechs von acht Fällen Quellen angeführt, die nicht existierten oder die behaupteten Ergebnisse nicht enthielten. Dan Romik beobachtete sowohl falsche Hinweise, die offenbar durch fehlerhafte PDF-Texterkennung entstanden, als auch richtige Fehlerfunde, erfolgreiche Lösungen und eine korrekte Beweisführung. Das Modell scheiterte an einer von Romiks Aufgaben, die stärkere originelle Denkschritte erforderte, und lieferte laut ihm keine eigenen Ansätze zu einem bekannten offenen Problem.
Als weiteres Zuverlässigkeitsbeispiel nennt der Bericht eine Gewichtsaufgabe: Deep Think übersah, dass Flagstones nicht teilbar sind, und kam daher auf drei statt der nötigen vier Lastwagen. Epoch schließt, dass das Modell anspruchsvolles Fachwissen und komplexe Rechnungen eindrucksvoll einsetzen könne, aber bei schwierigen Beweisproblemen, Literaturangaben, Originalität und Zuverlässigkeit klare Grenzen zeige. Die Bewertung deckt nicht alle mathematischen Fähigkeiten ab; insbesondere seien Vermutungsbildung und feldübergreifende Verallgemeinerung nicht angemessen geprüft worden. Dies ist ein Auszug: Die Executive-Summary- und Anhangsabschnitte sind im bereitgestellten Text leer oder nur als Überschrift vorhanden, und die Abbildungen liegen lediglich als Verweise vor.
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Vorfälle melden
- SF-M3 Wie stellt man fest, ob ein Vorfall gewollt oder versehentlich war, und ob KI oder herkömmliche Mittel dahinterstecken?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-M4 Wie kommen Meldungen von Laboren, Betreibern und Nutzern schnell und geschützt zu den Stellen, die handeln müssen, auch über Grenzen hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 32 %gleiches Oberthema, hilft nicht
- SubQ 43 %gleiches Oberthema, hilft nicht
- drex 49 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 33 %einzelne zitierbare Belege
- amos 29 %gleiches Oberthema, hilft nicht
- SubQ 53 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 36 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 51 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 29 %einzelne zitierbare Belege
- amos 28 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 19 %Hintergrund, keine Belege
- Luna 41 %einzelne zitierbare Belege
- JEV 48 %einzelne zitierbare Belege
- amos 26 %Hintergrund, keine Belege
- SubQ 41 %gleiches Oberthema, hilft nicht
- drex 27 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 22 %Hintergrund, keine Belege
- Luna 36 %einzelne zitierbare Belege
- JEV 39 %einzelne zitierbare Belege
- amos 28 %Hintergrund, keine Belege
- SubQ 38 %gleiches Oberthema, hilft nicht
- drex 24 %gleiches Oberthema, hilft nicht
- d3-ultra 46 %gleiches Oberthema, hilft nicht
- SF-P3-T07 Wird jede öffentliche Aussage, ein führendes KI-Modell sei „besser ausgerichtet“ als ein anderes (folge also seinen vorgesehenen Zielen und Werten besser), reproduzierbare Kriterien, externe Prüfungen und widersprechende Ergebnisse enthalten?
- SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 37 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 52 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 30 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 50 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 45 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 28 %gleiches Oberthema, hilft nicht
- SubQ 52 %gleiches Oberthema, hilft nicht
- drex 58 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 30 %gleiches Oberthema, hilft nicht
- SubQ 43 %gleiches Oberthema, hilft nicht
- drex 51 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 34 %gleiches Oberthema, hilft nicht
- SubQ 45 %gleiches Oberthema, hilft nicht
- drex 62 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 31 %Hintergrund, keine Belege
- JEV 46 %einzelne zitierbare Belege
- amos 37 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 54 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 47 %Hintergrund, keine Belege
- JEV 55 %einzelne zitierbare Belege
- amos 31 %gleiches Oberthema, hilft nicht
- SubQ 47 %gleiches Oberthema, hilft nicht
- drex 53 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V5-T02 Würde man lieber einem großen, überwachten Modell vertrauen oder vielen kleinen, nicht überwachten?
- SF-V5-T03 Ist es wirtschaftlich klug, Modelle mit geringem Denkaufwand zu betreiben, oder wird das Ausrichtungsproblem (Modelle dazu zu bringen, den vorgesehenen Zielen und Werten zu folgen) dadurch nur schwerer sichtbar?
Agenten und vernetzte Systeme
- SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 44 %nur am Rande erwähnt
- amos 27 %nur am Rande erwähnt
- SubQ 100 %kein Bezug
- drex 47 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Modelle teilen und schützen
- SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 36 %nur am Rande erwähnt
- amos 30 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 34 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 26 %gleiches Oberthema, hilft nicht
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 58 %Hintergrund, keine Belege
- JEV 62 %einzelne zitierbare Belege
- amos 24 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 32 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Frieden und Sicherheit
- SF-K2 Wie weit gelten KI-Abkommen für Verbündete und Geheimdienste, und wie verhalten sie sich zu bestehenden Rüstungskontrollverträgen und -regimen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 49 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 50 %einzelne zitierbare Belege
- amos 25 %nur am Rande erwähnt
- SubQ 57 %gleiches Oberthema, hilft nicht
- drex 40 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-O3 Welcher Text gilt, und wie beweist man, dass ein Dokument nicht verändert wurde?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 52 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E2 In welchem Rahmen sollen Staaten KI regeln, und wo liegt eine gemeinsame Untergrenze?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 52 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- Alle Berichte im Archiv