Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
epoch27. November 2024 · Q006285

Models with downloadable weights currently lag behind the top-performing models

epoch.ai · Originalbericht öffnen ↗

Zusammenfassung

Für diesen Bericht lag nur ein Auszug oder keine vollständige Fassung vor. Die Zusammenfassung sagt das selbst.

Kurz

Der vorliegende Textauszug berichtet, dass Modelle ohne herunterladbare Gewichte bei GPQA Diamond und MATH Level 5 zunächst häufig besser abschnitten als die besten Modelle mit verfügbaren Gewichten. Laut Beitrag schrumpfte der Abstand später deutlich, doch die Tabellen und Benchmarks bilden nur eine begrenzte, nicht vollständig einheitlich getestete Momentaufnahme ab.

Mittel

Der vorliegende Textauszug aus einem Epoch-AI-Beitrag vergleicht Modelle mit herunterladbaren Gewichten mit Modellen, die nur über Anbieter oder APIs zugänglich sind. Er berichtet, dass die leistungsstärksten Modelle auf GPQA Diamond und MATH Level 5 zum betrachteten Zeitpunkt meist zur zweiten Gruppe gehörten. Als Beispiele nennt der Beitrag einen Vorsprung von OpenAIs o1 gegenüber Phi-4 von 20 Prozentpunkten auf GPQA Diamond und einen Rückstand von Phi-4 um 29 Punkte auf MATH Level 5. Frühere Vergleiche hätten außerdem zeitliche Leistungslücken von sechs Monaten bei GPQA Diamond bis zu 20 Monaten bei MMLU ergeben.

Die beigefügten Tabellen erfassen viele Modelle, ihre Benchmark-Genauigkeiten und teils Auswertungsparameter. Der Text betont zugleich, dass sich der Abstand später verkleinert habe: DeepSeek-R1 liege laut Beitrag auf MATH Level 5 nur zwei Punkte hinter o3-mini. Die Befunde sind eine Momentaufnahme, beruhen auf wenigen Benchmarks und unterschiedlich dokumentierten Testbedingungen; sie erlauben keine allgemeine Aussage über sämtliche Aufgaben. Es liegt ein Auszug, nicht der vollständige Bericht, vor.

Ausführlich lesen

Der vorliegende Textauszug aus einem Epoch-AI-Beitrag vergleicht Sprachmodelle mit herunterladbaren Gewichten mit Modellen, die nur über einen Anbieter oder eine API zugänglich sind. Im Mittelpunkt stehen die Ergebnisse zweier anspruchsvoller Prüfungen: GPQA Diamond für wissenschaftliche Fragen und MATH Level 5 für schwierige Mathematikaufgaben. Die zentrale Aussage des Beitrags lautet, dass die jeweils leistungsstärksten Modelle zum dargestellten Zeitpunkt meist keine herunterladbaren Gewichte hatten.

Als Beispiele nennt der Text OpenAIs o1 und Phi-4: Auf GPQA Diamond habe o1 das beste damals verfügbare Modell mit herunterladbaren Gewichten um 20 Prozentpunkte übertroffen; auf MATH Level 5 habe Phi-4 29 Prozentpunkte hinter o1 gelegen. Der Beitrag verweist außerdem auf eine frühere Analyse, der zufolge die besten offenen Sprachmodelle gegenüber den besten geschlossenen Modellen je nach Benchmark einen Rückstand von sechs Monaten bei GPQA Diamond bis zu 20 Monaten bei MMLU aufwiesen.

Der umfangreiche Datenauszug enthält Messwerte für zahlreiche Modelle, darunter Claude, GPT, Gemini, Llama, Qwen und Mistral. Er weist unter anderem Veröffentlichungsdaten, Zugangsform, Benchmark-Ergebnisse sowie teilweise die verwendeten Auswertungsparameter und Standardabweichungen aus. Die dokumentierten Werte zeigen Unterschiede zwischen Modellen und Benchmarks: Bei GPQA Diamond erzielt etwa o1-preview 70 Prozent, während zahlreiche Modelle mit verfügbaren Gewichten darunter liegen. Bei MATH Level 5 erreicht o1-mini 81 Prozent; auch hier liegen viele aufgeführte Modelle mit verfügbaren Gewichten niedriger. Die Tabellen dokumentieren jedoch keine einheitliche Versuchsanordnung für alle Modelle: etwa Temperatur, Top-p-Wert und Prompt unterscheiden sich zwischen den Benchmark-Datensätzen und teils zwischen Modellen.

Als spätere Entwicklung nennt der Text DeepSeek-R1, dessen Veröffentlichung er auf Januar 2025 datiert. Demnach habe sich der Abstand zwischen Modellen mit offenen und geschlossenen Gewichten deutlich verkleinert; auf MATH Level 5 liege DeepSeek-R1 nur zwei Prozentpunkte hinter dem dann besten Modell o3-mini. Diese Aussage relativiert die frühere Momentaufnahme, hebt sie aber nicht auf.

Die Grenzen der Aussage ergeben sich aus dem vorliegenden Material: Es ist ein Auszug mit Tabellen, kein vollständiger Bericht; die Schlussfolgerungen beziehen sich auf zwei Benchmarks beziehungsweise auf den zusätzlich erwähnten Vergleich mit MMLU. Sie belegen daher keinen allgemeinen Leistungsrückstand in allen Aufgaben. Zudem sind manche Angaben zum Trainingsaufwand ausdrücklich Schätzungen oder unvollständig, während die zentrale Vergleichsaussage auf Benchmark-Genauigkeiten beruht. Der Text nennt keine vollständige Beschreibung der Auswahl- und Auswertungsmethode für den Gesamtvergleich.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19 ungeprüft

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 7 von 7
Angezeigte Modelle
Vorfälle melden
Fähigkeiten messen
  1. SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
    • clef 26 %Hintergrund, keine Belege
    • Luna 100 %kein Bezug
    • JEV 100 %kein Bezug
    • amos 36 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 50 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
  2. SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 33 %einzelne zitierbare Belege
    • amos 27 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 40 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Unabhängig prüfen
  1. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 28 %einzelne zitierbare Belege
    • amos 31 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 42 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
  2. SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
    • clef 23 %Hintergrund, keine Belege
    • Luna 46 %Hintergrund, keine Belege
    • JEV 23 %einzelne zitierbare Belege
    • amos 34 %einzelne zitierbare Belege
    • SubQ 100 %kein Bezug
    • drex 22 %einzelne zitierbare Belege
    • d3-ultra offen
Tempo und Grenzen
  1. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 100 %kein Bezug
    • Luna 36 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 48 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 59 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Vertrauen in Modelle
  1. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 39 %Hintergrund, keine Belege
    • JEV 28 %einzelne zitierbare Belege
    • amos 43 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 53 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Agenten und vernetzte Systeme
Modelle teilen und schützen
  1. SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
    • clef 100 %kein Bezug
    • Luna 45 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 35 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 43 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
  2. SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
    • clef 24 %Hintergrund, keine Belege
    • Luna 40 %Hintergrund, keine Belege
    • JEV 32 %einzelne zitierbare Belege
    • amos 27 %gleiches Oberthema, hilft nicht
    • SubQ 44 %gleiches Oberthema, hilft nicht
    • drex 46 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
  3. SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
    • clef 100 %kein Bezug
    • Luna 26 %Hintergrund, keine Belege
    • JEV 40 %einzelne zitierbare Belege
    • amos 28 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen
Frieden und Sicherheit
Offenlegung und Rechenschaft
Beteiligung und Gemeinwohl
  1. SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
    • clef 100 %kein Bezug
    • Luna 58 %Hintergrund, keine Belege
    • JEV 45 %umfangreiche Belege
    • amos 27 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 46 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Wirtschaft und Haftung

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →