Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
openai10. Oktober 2024 · Q008194

MLE-bench: Evaluating Machine Learning Agents on Machine Learning Engineering

openai.com · Originalbericht öffnen ↗

Zusammenfassung

Für diesen Bericht lag nur ein Auszug oder keine vollständige Fassung vor. Die Zusammenfassung sagt das selbst.

Kurz

Der Auszug beschreibt MLE-bench mit 75 Kaggle-Wettbewerben zur Bewertung praktischer Fähigkeiten von KI-Agenten im maschinellen Lernen. Laut Autoren erreicht o1-preview mit AIDE in 16,9 Prozent der Wettbewerbe mindestens Bronze-Niveau; nähere Ergebnisse zu Ressourcen-Skalierung und Trainingsdatenüberschneidungen fehlen im Auszug.

Mittel

Der bereitgestellte Auszug stellt MLE-bench vor, einen Benchmark zur Bewertung von KI-Agenten bei Aufgaben der maschinellen Lerntechnik. Er umfasst 75 Kaggle-Wettbewerbe zu Fähigkeiten wie Modelltraining, Datenaufbereitung und Experimentieren. Als menschliche Vergleichswerte nutzen die Autoren öffentlich zugängliche Kaggle-Bestenlisten.

Mehrere fortgeschrittene Sprachmodelle wurden mit offenen Agenten-Gerüsten bewertet. Laut Auszug erzielt o1-preview mit dem AIDE-Gerüst das beste Ergebnis: In 16,9 Prozent der Wettbewerbe erreicht diese Kombination mindestens das Niveau einer Bronzemedaille. Die Autoren berichten außerdem, Ressourcen-Skalierung und mögliche Einflüsse von Überschneidungen mit Trainingsdaten untersucht zu haben. Der Auszug nennt dazu aber keine konkreten Befunde oder Details. Der Benchmark-Code soll quelloffen verfügbar sein, um weitere Forschung zu unterstützen.

Es liegt nur der einleitende Auszug vor, nicht der vollständige Bericht. Versuchsdetails, weitere Ergebnisse und eine ausführliche Diskussion der Grenzen sind darin nicht enthalten.

Ausführlich lesen

Der bereitgestellte Text ist ein Auszug aus der Vorstellung von MLE-bench, einem Benchmark zur Bewertung von KI-Agenten bei Aufgaben der maschinellen Lerntechnik. Die Autoren stellen 75 Wettbewerbe von Kaggle zusammen, die unterschiedliche, praxisnahe Fähigkeiten prüfen sollen: Modelle trainieren, Datensätze vorbereiten und Experimente durchführen. Als menschliche Vergleichswerte dienen öffentlich verfügbare Kaggle-Bestenlisten.

Mit offenen Agenten-Gerüsten bewerten die Autoren mehrere fortgeschrittene Sprachmodelle. Laut Auszug schneidet die Kombination aus OpenAIs o1-preview und dem AIDE-Gerüst am besten ab. Sie erreicht in 16,9 Prozent der Wettbewerbe mindestens das Niveau einer Kaggle-Bronzemedaille. Das Ergebnis bezieht sich auf diesen Benchmark und beschreibt nicht, wie der Agent in einzelnen Wettbewerben abschnitt oder wie sich die Leistung auf andere Aufgaben übertragen lässt.

Zusätzlich untersuchen die Autoren verschiedene Formen der Skalierung von Ressourcen für Agenten sowie mögliche Einflüsse von Überschneidungen mit den Trainingsdaten. Der vorliegende Text nennt dazu jedoch keine konkreten Ergebnisse oder Einzelheiten zum Vorgehen. Er kündigt außerdem an, den Benchmark-Code quelloffen bereitzustellen, um weitere Forschung zu ermöglichen.

Da nur der einleitende Auszug samt Autorenliste vorliegt, fehlen die vollständigen Versuchsdetails, genauere Resultate und eine ausführliche Diskussion der Grenzen. Die genannten Zahlen und Einordnungen sind daher als Aussagen der Autoren in diesem Auszug wiedergegeben.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19 ungeprüft

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 7 von 7
Angezeigte Modelle
Fähigkeiten messen
  1. SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 33 %einzelne zitierbare Belege
    • amos 33 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen
Unabhängig prüfen
  1. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 100 %kein Bezug
    • Luna 38 %einzelne zitierbare Belege
    • JEV 50 %einzelne zitierbare Belege
    • amos 27 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 32 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Tempo und Grenzen
  1. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 100 %kein Bezug
    • Luna 32 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 26 %Hintergrund, keine Belege
    • SubQ 46 %gleiches Oberthema, hilft nicht
    • drex 39 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Vertrauen in Modelle
  1. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 26 %einzelne zitierbare Belege
    • amos 42 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen
  2. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 38 %gleiches Oberthema, hilft nicht
    • JEV 30 %einzelne zitierbare Belege
    • amos 41 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 61 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Agenten und vernetzte Systeme
  1. SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 29 %Hintergrund, keine Belege
    • amos 32 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen
Modelle teilen und schützen
  1. SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 29 %einzelne zitierbare Belege
    • amos 43 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 39 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Frieden und Sicherheit
Offenlegung und Rechenschaft
  1. SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 26 %einzelne zitierbare Belege
    • amos 52 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 38 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Beteiligung und Gemeinwohl
  1. SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
    • clef 100 %kein Bezug
    • Luna 56 %Hintergrund, keine Belege
    • JEV 27 %einzelne zitierbare Belege
    • amos 44 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →