Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
openai12. Mai 2026 · Q004077

What Parameter Golf taught us about AI-assisted research

openai.com · Originalbericht öffnen ↗

Zusammenfassung

Kurz

OpenAI schildert, wie im Wettbewerb „Parameter Golf“ mehr als 1.000 Teilnehmende unter engen Größen- und Trainingslimits Modelle verbesserten und neue Ansätze erprobten. Coding-Agenten erleichterten laut Bericht Experimente, erhöhten aber auch den Prüfaufwand und die Gefahr, dass regelwidrige Ansätze weiterkopiert wurden; die Aussagen stammen von den Veranstaltern.

Mittel

OpenAI berichtet über „Parameter Golf“, einen achtwöchigen Wettbewerb, bei dem mehr als 1.000 Personen über 2.000 Beiträge einreichten. Aufgabe war, den Verlust auf einem festgelegten FineWeb-Datensatz zu minimieren, unter Grenzen von 16 MB für Modell und Code sowie zehn Minuten Training auf acht H100-GPUs. OpenAI stellte Baseline, Daten und Evaluierungsskripte bereit.

Die hervorgehobenen Lösungen kombinierten Optimierungsverfahren, komprimierten Modelle per Quantisierung, nutzten Testzeit-Anpassungen oder führten neue Modellierungs- und Datenideen ein. Für die Rekordwertung gibt OpenAI an, Einreichungen unabhängig nachgebildet zu haben. Im experimentelleren Track übertraf laut Bericht die Hälfte der Einträge die naive Baseline von 1,22 BPB; der Spitzenwert lag bei 1,12 BPB.

Als wichtigste Lehre nennt OpenAI die breite Nutzung von Coding-Agenten: Sie erleichterten und beschleunigten Experimente, führten aber auch zu mehr ähnlichen Beiträgen und erschwerten die Kontrolle regelkonformer Ergebnisse. Ein interner Codex-Triage-Bot half, Einreichungen für menschliche Prüfung zu markieren. Der Bericht gibt die Einschätzung der Veranstalter wieder; die Teilnahme unterlag festgelegten Bedingungen.

Ausführlich lesen

Der Bericht schildert OpenAIs achtwöchigen Machine-Learning-Wettbewerb „Parameter Golf“ und die Lehren, die das Unternehmen daraus für Forschung und Wettbewerbe mit KI-Coding-Agenten zieht. Nach Angaben des Berichts nahmen mehr als 1.000 Personen teil und reichten über 2.000 Beiträge ein. Ziel sei gewesen, eine technisch anspruchsvolle, aber einfach beschriebene und überprüfbare Aufgabe zu schaffen.

Die Teilnehmenden sollten den Verlust auf zurückgehaltenen Daten eines festgelegten FineWeb-Datensatzes senken. Dabei galt eine Obergrenze von 16 MB für Modellgewichte und Trainingscode sowie ein Trainingsbudget von zehn Minuten auf acht H100-GPUs. OpenAI stellte eine Baseline, den Datensatz und Evaluierungsskripte bereit; Einreichungen erfolgten über GitHub.

Für die Rekordwertung berichtet OpenAI, jede Einreichung geprüft und unabhängig nachgebildet zu haben. Die hervorgehobenen Beiträge zeigen verschiedene Wege zu besseren Ergebnissen: sorgfältiges Kombinieren und Abstimmen bereits erfolgreicher Trainingsverfahren, Quantisierung zur Modellkomprimierung, Testzeit-Anpassungen sowie neue Modellierungs- und Datenideen. Zu den Beispielen zählen GPTQ-Varianten, eine LoRA-Anpassung während der Auswertung, neue Tokenizer- und Attention-Ansätze, zusätzliche Tokenmerkmale und wiederholte Modellschichten. Einige Ansätze bewegten sich nahe an der Grenze zwischen Modellverbesserung und Auswertungsstrategie und erforderten laut Organisatoren eine genaue Prüfung.

Im nicht auf Rekorde ausgerichteten Track würdigte OpenAI vor allem technisch interessante Experimente, darunter Kombinationen aus Zustandsraummodellen und JEPA, Guided Attention und ein Modell auf Byte-Ebene. Der Bericht sagt, die drei besonders hervorgehobenen Beiträge seien nicht zwingend die leistungsstärksten gewesen. Zugleich hätten die Hälfte der Einträge die naive Baseline von 1,22 BPB übertroffen; der beste Eintrag habe 1,12 BPB erreicht. OpenAI wertet dies als Hinweis darauf, dass alternative Ansätze gegenüber starken Transformer-Baselines mithalten können.

Als zentrale Veränderung gegenüber früheren Wettbewerben nennt der Bericht die breite Nutzung von Coding-Agenten. Sie hätten Experimente beschleunigt, den Einstieg erleichtert und es einfacher gemacht, unbekannten Code zu untersuchen oder spekulative Ideen auszuprobieren. Auch eine von Runpod bereitgestellte Compute-Unterstützung von einer Million US-Dollar habe nach Darstellung des Berichts zur Zugänglichkeit beigetragen. Gleichzeitig hätten Agenten die Prüfung erschwert: Viele Beiträge bauten auf vorherigen Spitzenlösungen auf, und ungewöhnlich gute Ergebnisse regelwidriger Einreichungen konnten dazu führen, dass Agenten ungültige Ansätze kopierten. Wegen des hohen Einreichungsvolumens entwickelte OpenAI nach eigenen Angaben einen internen, Codex-basierten Triage-Bot, der Beiträge für menschliche Prüfung markierte. Agenten unterstützten auch den Austausch in der Community, etwa durch laufende Wettbewerbsberichte und Hilfen zur Regelprüfung.

OpenAI beschreibt den Wettbewerb außerdem als Möglichkeit, talentierte Forschende zu entdecken. Das Unternehmen erwägt weitere Herausforderungen dieser Art. Als Grenze der Aussagen gilt, dass der Beitrag die Erfahrungen und Bewertungen der Veranstalter zusammenfasst; er liefert keine systematische unabhängige Untersuchung der Wirkungen von Coding-Agenten. Die Teilnahme war zudem an festgelegte Teilnahmebedingungen gebunden.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Lunas Zusammenfassung ist im Kern treu und erfindet nichts. Es fehlen Talent-Discovery und das Runpod-Sponsoring. Die Aussage „wichtigste Lehre“ verschiebt die Gewichtung leicht, weil der Bericht Coding-Agenten als eine der spannendsten Entwicklungen beschreibt. Die Einordnung stützt sich nur auf den Wettbewerbsbericht und beantwortet die Sammelfragen zur KI-Sicherheit kaum.

Im Bericht, aber nicht in der Zusammenfassung

  • Talent-Discovery als ausdrückliches Ziel und Befund des Wettbewerbs
  • Runpod-Sponsoring mit 1.000.000 Dollar Rechenleistung, das die Teilnahme erleichterte
  • Hinweis, dass einige Ansätze regelgültig waren, aber besonders sorgfältige Prüfung durch die Veranstalter erforderten

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Vorfälle melden
Fähigkeiten messen
Unabhängig prüfen
  1. SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
    • clef 100 %kein Bezug
    • Luna 36 %Hintergrund, keine Belege
    • JEV 38 %einzelne zitierbare Belege
    • amos 43 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 61 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
  2. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 100 %kein Bezug
    • Luna 42 %einzelne zitierbare Belege
    • JEV 37 %umfangreiche Belege
    • amos 27 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 39 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
    • Haiku-Prüfung einzelne zitierbare Belege
  3. SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
    • clef 100 %kein Bezug
    • Luna 34 %Hintergrund, keine Belege
    • JEV 32 %gleiches Oberthema, hilft nicht
    • amos 24 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen
Tempo und Grenzen
  1. SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
    • clef 100 %kein Bezug
    • Luna 40 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen

  2. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 100 %kein Bezug
    • Luna 40 %einzelne zitierbare Belege
    • JEV 51 %einzelne zitierbare Belege
    • amos 26 %Hintergrund, keine Belege
    • SubQ 29 %gleiches Oberthema, hilft nicht
    • drex 30 %nur am Rande erwähnt
    • d3-ultra offen
    • Haiku-Prüfung Hintergrund, keine Belege

Vertrauen in Modelle
  1. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 27 %einzelne zitierbare Belege
    • amos 42 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen
  2. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 46 %Hintergrund, keine Belege
    • JEV 25 %Hintergrund, keine Belege
    • amos 31 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 47 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

Agenten und vernetzte Systeme
  1. SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
    • clef 100 %kein Bezug
    • Luna 38 %Hintergrund, keine Belege
    • JEV 33 %einzelne zitierbare Belege
    • amos 26 %nur am Rande erwähnt
    • SubQ 100 %kein Bezug
    • drex 37 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
  2. SF-A3 Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
    • clef 100 %kein Bezug
    • Luna 43 %Hintergrund, keine Belege
    • JEV 48 %einzelne zitierbare Belege
    • amos 26 %nur am Rande erwähnt
    • SubQ 39 %gleiches Oberthema, hilft nicht
    • drex 38 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

    • SF-A3-T01 Welche Beobachtungen oder gemeinsamen Tests erkennen entstehende Abstimmung, Absprachen oder Kettenfehler zwischen Modellen in Arbeitsabläufen, Lieferketten und Gruppen vieler Agenten (Schwärmen), die kein einzelnes Labor steuert oder vorhersieht? Luna: Stufe 3 · 28 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 4 · einzelne zitierbare Belege
Modelle teilen und schützen
  1. SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
    • clef 100 %kein Bezug
    • Luna 36 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 32 %nur am Rande erwähnt
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen
  2. SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
    • clef 100 %kein Bezug
    • Luna 38 %einzelne zitierbare Belege
    • JEV 34 %einzelne zitierbare Belege
    • amos 27 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 37 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
    • Haiku-Prüfung einzelne zitierbare Belege
Frieden und Sicherheit
Offenlegung und Rechenschaft
  1. SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 29 %einzelne zitierbare Belege
    • amos 44 %gleiches Oberthema, hilft nicht
    • SubQ 57 %gleiches Oberthema, hilft nicht
    • drex 57 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Beteiligung und Gemeinwohl
  1. SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
    • clef 100 %kein Bezug
    • Luna 32 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 38 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen
  2. SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
    • clef 100 %kein Bezug
    • Luna 69 %Hintergrund, keine Belege
    • JEV 46 %einzelne zitierbare Belege
    • amos 37 %gleiches Oberthema, hilft nicht
    • SubQ 46 %gleiches Oberthema, hilft nicht
    • drex 41 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

  3. SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 27 %einzelne zitierbare Belege
    • amos 47 %gleiches Oberthema, hilft nicht
    • SubQ 54 %gleiches Oberthema, hilft nicht
    • drex 60 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Information und Öffentlichkeit
  1. SF-I1 Wie erkennt man KI-erzeugte Inhalte und KI-erzeugte Einflussnahme, ohne die Meinungsfreiheit zu beschneiden?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 35 %einzelne zitierbare Belege
    • amos 33 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →