Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
caisohne Datum · Q002712

Submit Your Toughest Questions for Humanity's Last Exam

safe.ai · Originalbericht öffnen ↗

Zusammenfassung

Kurz

CAIS und Scale AI rufen mit „Humanity’s Last Exam“ zu besonders schwierigen, objektiv bewertbaren Fragen auf, um die Fähigkeiten von KI-Systemen besser mit Expertenleistungen vergleichen zu können. Für ausgewählte Fragen sind Mitautorenschaft und Geldpreise vorgesehen; ausgeschlossen sind unter anderem Themen zu bestimmten Waffen und Virologie. Der Beitrag nennt den 1. November 2024 als Einsendeschluss.

Mittel

CAIS und Scale AI stellen „Humanity’s Last Exam“ vor, einen öffentlichen Benchmark, der erfassen soll, wie nahe KI-Systeme an Expertenleistungen herankommen. Nach Darstellung der Veranstalter seien bekannte Tests inzwischen zu leicht: Manche Modelle erzielten dort nahezu Spitzenwerte, obwohl sie schwierige Forschungs- und intellektuelle Fragen weiterhin nicht zuverlässig beantworten könnten.

Das Projekt sucht anspruchsvolle, objektiv bewertbare und eigenständig erstellte Fragen, die nicht durch eine schnelle Internetsuche lösbar sind. Sie sollen den nötigen Kontext enthalten, keine Mehrdeutigkeit oder Fangfragen aufweisen und nicht öffentlich verfügbar sein. Die Veranstalter empfehlen den Verfassenden technische Berufserfahrung von mindestens fünf Jahren oder eine Ausbildung ab Promotionsniveau. Fragen zu bestimmten Waffenbereichen und zu Virologie sind ausgeschlossen.

Bei Annahme ist eine optionale Mitautorenschaft an der Datensatzveröffentlichung vorgesehen. Für die 50 besten Fragen sind je 5.000 US-Dollar, für die nächsten 500 je 500 US-Dollar angekündigt. Qualität und Neuartigkeit können die Preisvergabe beeinflussen; auch private Fragen können ausgezeichnet werden. Als Frist nennt der Beitrag den 1. November 2024.

Ausführlich lesen

CAIS und Scale AI kündigen „Humanity’s Last Exam“ als öffentliches KI-Benchmarkprojekt an. Es soll messen, wie nahe KI-Systeme an Leistungen auf Expertenniveau herankommen. Die Organisationen begründen das Vorhaben damit, dass verbreitete Tests nach ihrer Einschätzung zu leicht geworden seien: Sie verweisen darauf, dass KI vor einigen Jahren bei MMLU kaum besser als Zufall abgeschnitten habe, während ein kurz zuvor veröffentlichtes OpenAI-Modell laut Beitrag bei mehreren bekannten Benchmarks nahe an deren Leistungsgrenzen gekommen sei und bei STEM-Olympiaden hohe Ergebnisse erzielt habe. Zugleich betonen sie, dass KI schwierige Forschungs- und andere intellektuelle Fragen weiterhin nicht zuverlässig beantworten könne. Das Projekt soll diese Fähigkeiten besser erfassbar machen.

Dafür sollen Fachleute aus möglichst vielen Gebieten besonders anspruchsvolle Fragen entwickeln. Gesucht werden Aufgaben, deren Lösung eine KI beeindrucken würde, die für Nichtfachleute schwierig sind und sich nicht durch eine kurze Online-Suche beantworten lassen. Fangfragen sollen vermieden werden. Als Orientierung empfehlen die Veranstalter mindestens fünf Jahre Berufserfahrung in einem technischen Bereich oder eine akademische Ausbildung auf Promotionsniveau; laut Beitrag seien von Studierenden im Grundstudium verfasste Fragen in der Vorbereitung häufig zu einfach für aktuelle Modelle gewesen.

Die Antworten sollen objektiv und unter Fachleuten überprüfbar sein. Fragen müssen den nötigen Kontext und Definitionen enthalten und klare Fachbegriffe und Notation verwenden. Sie müssen eigenständig verfasst sein und dürfen nicht öffentlich zugänglich sein; nicht veröffentlichte Prüfungsfragen können laut Beitrag verwendet werden. Fragen zu chemischen, biologischen, radiologischen oder nuklearen Waffen, Cyberwaffen sowie Virologie sind ausgeschlossen.

Für angenommene Fragen wird eine optionale Mitautorenschaft an der Veröffentlichung zum Datensatz angeboten. Die 50 bestplatzierten Fragen sollen jeweils 5.000 US-Dollar erhalten, die folgenden 500 jeweils 500 US-Dollar. Die Preisvergabe kann laut Beitrag sowohl die Qualität als auch die Neuartigkeit im Vergleich zu anderen Einsendungen berücksichtigen. Auch bereits vor der Ankündigung eingereichte Fragen können für Preise infrage kommen. Ein kleiner Teil der Fragen soll privat bleiben, damit geprüft werden kann, ob KI lediglich Antworten auf öffentliche Aufgaben auswendig gelernt hat; auch für solche privaten Fragen können Preise und Mitautorenschaften vergeben werden. Als Einsendeschluss nennt der Beitrag den 1. November 2024. Er verweist außerdem auf Teilnahmebedingungen und ausführliche Einreichungshinweise; die hier vorliegende Quelle enthält diese Details nicht.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Die Zusammenfassung ist im Kern richtig, lässt aber den Preispool, die Begründung mit den zu leichten Tests und das private Fragenset aus. Lunas Einordnung liegt bei mehreren Fragen zu hoch: Der Bericht beantwortet keine der Sammelfragen direkt, und bei den Teilfragen fehlen die Belege, die Luna angenommen hat.

Im Bericht, aber nicht in der Zusammenfassung

  • Preispool von 500.000 US-Dollar
  • Hinweis auf veraltete Tests (MMLU, von CAIS entwickelt, und Begründung, dass bestehende Tests zu leicht sind)
  • Geheimes Teilset privater Fragen zur Erkennung von Auswendiglernen
  • Hinweis, dass Fragen von Studierenden meist zu leicht für Frontier-Modelle sind

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Fähigkeiten messen
  1. SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
    • clef 23 %Hintergrund, keine Belege
    • Luna 33 %Hintergrund, keine Belege
    • JEV 34 %einzelne zitierbare Belege
    • amos 41 %gleiches Oberthema, hilft nicht
    • SubQ 41 %gleiches Oberthema, hilft nicht
    • drex 43 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

    • SF-F1-T09 Wem gehört eine gemeinsam gebaute Testsammlung, wer darf sie an wessen Modellen erneut laufen lassen, darf ein Beteiligter seine Aufgaben zurückziehen, nachdem Ergebnisse veröffentlicht sind, und was wird dann aus der Vergleichbarkeit? Luna: Stufe 4 · 36 % · einzelne zitierbare Belege · Haiku-Prüfung: Stufe 3 · Hintergrund, keine Belege
  2. SF-F3 Welche Regeln gelten für gefährliche Fähigkeiten jenseits von Cyber, etwa in Biologie, Chemie, bei radioaktiven Stoffen oder in der Nukleartechnik?
    • clef 100 %kein Bezug
    • Luna 43 %einzelne zitierbare Belege
    • JEV 62 %beantwortet teilweise oder widerspricht
    • amos 33 %gleiches Oberthema, hilft nicht
    • SubQ 50 %gleiches Oberthema, hilft nicht
    • drex 66 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
    • Haiku-Prüfung nur am Rande erwähnt

Unabhängig prüfen
  1. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 23 %gleiches Oberthema, hilft nicht
    • Luna 46 %einzelne zitierbare Belege
    • JEV 34 %einzelne zitierbare Belege
    • amos 29 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 45 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
    • Haiku-Prüfung gleiches Oberthema, hilft nicht

    • SF-P3-T07 Wird jede öffentliche Aussage, ein führendes KI-Modell sei „besser ausgerichtet“ als ein anderes (folge also seinen vorgesehenen Zielen und Werten besser), reproduzierbare Kriterien, externe Prüfungen und widersprechende Ergebnisse enthalten? Luna: Stufe 3 · 29 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 1 · gleiches Oberthema, hilft nicht
  2. SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
    • clef 30 %Hintergrund, keine Belege
    • Luna 100 %kein Bezug
    • JEV 100 %kein Bezug
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 52 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Tempo und Grenzen
  1. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 100 %kein Bezug
    • Luna 42 %Hintergrund, keine Belege
    • JEV 37 %gleiches Oberthema, hilft nicht
    • amos 45 %gleiches Oberthema, hilft nicht
    • SubQ 60 %gleiches Oberthema, hilft nicht
    • drex 64 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Vertrauen in Modelle
  1. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 40 %einzelne zitierbare Belege
    • amos 49 %gleiches Oberthema, hilft nicht
    • SubQ 45 %gleiches Oberthema, hilft nicht
    • drex 54 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Agenten und vernetzte Systeme
Modelle teilen und schützen
Frieden und Sicherheit
Offenlegung und Rechenschaft
  1. SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
    • clef 100 %kein Bezug
    • Luna 34 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 49 %gleiches Oberthema, hilft nicht
    • SubQ 53 %gleiches Oberthema, hilft nicht
    • drex 56 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Beteiligung und Gemeinwohl
  1. SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
    • clef 100 %kein Bezug
    • Luna 37 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 42 %gleiches Oberthema, hilft nicht
    • SubQ 55 %gleiches Oberthema, hilft nicht
    • drex 74 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

  2. SF-E3 Welche Stellen sind in einem Staat für KI-Sicherheit und Prüfungen zuständig, und was davon gibt es schon?
    • clef 100 %kein Bezug
    • Luna 36 %einzelne zitierbare Belege
    • JEV 47 %gleiches Oberthema, hilft nicht
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 61 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
  3. SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
    • clef 100 %kein Bezug
    • Luna 34 %Hintergrund, keine Belege
    • JEV 25 %gleiches Oberthema, hilft nicht
    • amos 47 %gleiches Oberthema, hilft nicht
    • SubQ 54 %gleiches Oberthema, hilft nicht
    • drex 71 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
  4. SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
    • clef 100 %kein Bezug
    • Luna 30 %Hintergrund, keine Belege
    • JEV 26 %Hintergrund, keine Belege
    • amos 46 %gleiches Oberthema, hilft nicht
    • SubQ 58 %gleiches Oberthema, hilft nicht
    • drex 72 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Wirtschaft und Haftung
Information und Öffentlichkeit

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →