Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
openai14. Dezember 2023 · Q007648

Superalignment Fast Grants

openai.com · Originalbericht öffnen ↗

Zusammenfassung

Kurz

OpenAI kündigt gemeinsam mit Eric Schmidt 10 Millionen US-Dollar für Forschung zur Ausrichtung und Sicherheit übermenschlicher KI an, darunter Zuschüsse von 100.000 bis 2 Millionen Dollar und ein einjähriges Promotionsstipendium über 150.000 Dollar. Als Schwerpunkte nennt OpenAI unter anderem Weak-to-strong generalization, Interpretierbarkeit und skalierbare Aufsicht; der Bericht enthält die Ankündigung, aber keine Angaben zu Förderentscheidungen oder Ergebnissen.

Mittel

OpenAI kündigt gemeinsam mit Eric Schmidt ein Förderprogramm über 10 Millionen US-Dollar für technische Forschung zur Sicherheit und Ausrichtung übermenschlicher KI an. OpenAI hält es für möglich, dass Superintelligenz innerhalb der nächsten zehn Jahre entsteht, und argumentiert, menschliche Aufsicht durch RLHF könne bei Systemen, deren komplexe Ergebnisse Menschen nicht zuverlässig prüfen können, an Grenzen stoßen. Wie Menschen deutlich intelligentere Systeme steuern und ihnen vertrauen können, bezeichnet das Unternehmen als ungelöstes, aber lösbares Problem.

Akademische Labore, gemeinnützige Organisationen und einzelne Forschende können Zuschüsse von 100.000 bis 2 Millionen Dollar beantragen. Für Promovierende ist ein einjähriges Stipendium über 150.000 Dollar vorgesehen, aufgeteilt in 75.000 Dollar Stipendium und 75.000 Dollar für Rechenleistung und Forschung. Alignment-Vorerfahrung ist laut Bericht nicht erforderlich; eine Antwort soll innerhalb von vier Wochen nach Bewerbungsschluss kommen.

Als Schwerpunkte nennt OpenAI Weak-to-strong generalization, Interpretierbarkeit und skalierbare Aufsicht sowie unter anderem Ehrlichkeit, die Verlässlichkeit von Chain-of-Thought, Robustheit und Evaluierungen. Der Bericht beschreibt die Ausschreibung, nennt aber keine späteren Förderentscheidungen oder Forschungsergebnisse; die Prognosen und Einschätzungen stammen von OpenAI.

Ausführlich lesen

Der Bericht stellt OpenAIs Förderprogramm „Superalignment Fast Grants“ vor. OpenAI kündigt gemeinsam mit Eric Schmidt insgesamt 10 Millionen US-Dollar an, um technische Forschung zur Ausrichtung und Sicherheit übermenschlicher KI-Systeme zu unterstützen. Das Vorhaben ist Teil des Superalignment-Projekts und soll Forschende und Ingenieure für diese Aufgabe gewinnen; besonders willkommen seien laut OpenAI auch Menschen, die neu in das Feld einsteigen.

OpenAI begründet den Forschungsbedarf mit der Einschätzung, dass Superintelligenz innerhalb der nächsten zehn Jahre eintreffen könnte. Solche Systeme könnten der Darstellung zufolge große Vorteile bringen, zugleich aber erhebliche Risiken bergen. Die heute eingesetzte Ausrichtung durch bestärkendes Lernen aus menschlichem Feedback (RLHF) beruhe auf menschlicher Aufsicht. Für wesentlich leistungsfähigere Systeme könne diese Aufsicht an Grenzen stoßen: Menschen könnten etwa eine Million Zeilen hochkomplexen, von einem Modell erzeugten Code womöglich nicht zuverlässig daraufhin bewerten, ob er sicher oder gefährlich ist. Daraus leitet OpenAI die übergeordnete Frage ab, wie Menschen Systeme steuern und ihnen vertrauen können, die deutlich intelligenter sind als sie selbst. OpenAI bezeichnet dies als ungelöstes technisches Problem, hält Fortschritte aber durch gemeinsame Anstrengungen für erreichbar und sieht zahlreiche vielversprechende Ansätze.

Das angekündigte Programm umfasst mehrere Förderformen. Akademische Labore, gemeinnützige Organisationen und einzelne Forschende können laut Bericht Zuschüsse zwischen 100.000 und 2 Millionen US-Dollar beantragen. Für Promovierende ist ein einjähriges OpenAI-Superalignment-Stipendium von 150.000 US-Dollar vorgesehen: 75.000 Dollar als Stipendium sowie 75.000 Dollar für Rechenleistung und Forschung. Vorerfahrung mit Alignment sei keine Voraussetzung. OpenAI beschreibt den Antrag als einfach und kündigt an, innerhalb von vier Wochen nach Ende der Bewerbungsfrist zu antworten.

Als besonders interessante Forschungsrichtungen nennt der Bericht vier Bereiche. Bei „Weak-to-strong generalization“ geht es darum, zu untersuchen, wie starke Modelle aus der vergleichsweise schwachen menschlichen Aufsicht lernen und wie sich diese Verallgemeinerung verstehen und kontrollieren lässt. Interpretierbarkeitsforschung soll Einblick in die internen Abläufe von Modellen ermöglichen; als mögliches Beispiel wird ein KI-gestützter Lügendetektor angeführt. Skalierbare Aufsicht fragt, wie KI-Systeme Menschen bei der Bewertung von Ergebnissen anderer Systeme für komplexe Aufgaben unterstützen können. Weitere mögliche Themen sind Ehrlichkeit, die Verlässlichkeit von Chain-of-Thought-Begründungen, Robustheit gegen Angriffe sowie Evaluierungen und Testumgebungen.

Der Bericht enthält eine Förderankündigung und eine Beschreibung der von OpenAI bevorzugten Themen. Er liefert jedoch keine Angaben zu bereits geförderten Projekten, erzielten Forschungsergebnissen oder einer unabhängigen Bewertung der Wirksamkeit des Programms. Die Einschätzungen zu möglichen Zeiträumen, Risiken und Forschungschancen sind als Positionen von OpenAI wiedergegeben.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Die Einordnung stützt sich nur auf den Berichtstext. Lunas Stufen und Anteilsangaben wurden nicht übernommen. Teilfragen gab es keine.

Im Bericht, aber nicht in der Zusammenfassung

  • In der Kurzfassung fehlt die Problemstellung: die Annahme, dass Superintelligenz innerhalb von zehn Jahren kommen könnte, und die Grenzen von RLHF bei Systemen, die Menschen nicht prüfen können.
  • Die Bewerbungsfrist-Zusage von vier Wochen fehlt in der Kurzfassung.

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Vorfälle melden
Fähigkeiten messen
  1. SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
    • clef 31 %gleiches Oberthema, hilft nicht
    • Luna 45 %Hintergrund, keine Belege
    • JEV 37 %Hintergrund, keine Belege
    • amos 37 %gleiches Oberthema, hilft nicht
    • SubQ 59 %gleiches Oberthema, hilft nicht
    • drex 52 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
  2. SF-F3 Welche Regeln gelten für gefährliche Fähigkeiten jenseits von Cyber, etwa in Biologie, Chemie, bei radioaktiven Stoffen oder in der Nukleartechnik?
    • clef 100 %kein Bezug
    • Luna 36 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 42 %gleiches Oberthema, hilft nicht
    • SubQ 57 %gleiches Oberthema, hilft nicht
    • drex 47 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Unabhängig prüfen
  1. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 28 %gleiches Oberthema, hilft nicht
    • Luna 33 %Hintergrund, keine Belege
    • JEV 35 %Hintergrund, keine Belege
    • amos 33 %gleiches Oberthema, hilft nicht
    • SubQ 55 %gleiches Oberthema, hilft nicht
    • drex 48 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Tempo und Grenzen
  1. SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
    • clef 100 %kein Bezug
    • Luna 46 %Hintergrund, keine Belege
    • JEV 53 %gleiches Oberthema, hilft nicht
    • amos 37 %gleiches Oberthema, hilft nicht
    • SubQ 70 %gleiches Oberthema, hilft nicht
    • drex 56 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
  2. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 31 %gleiches Oberthema, hilft nicht
    • Luna 65 %Hintergrund, keine Belege
    • JEV 38 %Hintergrund, keine Belege
    • amos 32 %nur am Rande erwähnt
    • SubQ 62 %gleiches Oberthema, hilft nicht
    • drex 54 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
Vertrauen in Modelle
  1. SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
    • clef 28 %Hintergrund, keine Belege
    • Luna 63 %Hintergrund, keine Belege
    • JEV 32 %Hintergrund, keine Belege
    • amos 33 %Hintergrund, keine Belege
    • SubQ 40 %gleiches Oberthema, hilft nicht
    • drex 31 %Hintergrund, keine Belege
    • d3-ultra offen
    • Haiku-Prüfung Hintergrund, keine Belege
  2. SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
    • clef 30 %Hintergrund, keine Belege
    • Luna 61 %Hintergrund, keine Belege
    • JEV 51 %Hintergrund, keine Belege
    • amos 35 %Hintergrund, keine Belege
    • SubQ 51 %gleiches Oberthema, hilft nicht
    • drex 46 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
  3. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 35 %Hintergrund, keine Belege
    • JEV 57 %einzelne zitierbare Belege
    • amos 34 %gleiches Oberthema, hilft nicht
    • SubQ 52 %gleiches Oberthema, hilft nicht
    • drex 55 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
  4. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 27 %Hintergrund, keine Belege
    • Luna 52 %Hintergrund, keine Belege
    • JEV 39 %einzelne zitierbare Belege
    • amos 31 %Hintergrund, keine Belege
    • SubQ 46 %gleiches Oberthema, hilft nicht
    • drex 32 %Hintergrund, keine Belege
    • d3-ultra offen
Agenten und vernetzte Systeme
  1. SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
    • clef 100 %kein Bezug
    • Luna 31 %Hintergrund, keine Belege
    • JEV 43 %Hintergrund, keine Belege
    • amos 33 %gleiches Oberthema, hilft nicht
    • SubQ 58 %gleiches Oberthema, hilft nicht
    • drex 56 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
  2. SF-A3 Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
    • clef 100 %kein Bezug
    • Luna 45 %Hintergrund, keine Belege
    • JEV 64 %gleiches Oberthema, hilft nicht
    • amos 45 %gleiches Oberthema, hilft nicht
    • SubQ 68 %gleiches Oberthema, hilft nicht
    • drex 66 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Modelle teilen und schützen
  1. SF-H4 Was geschieht mit Modellen und Sicherheitspflichten, wenn ein Labor verkauft, aufgelöst oder ein Modell stillgelegt wird?
    • clef 100 %kein Bezug
    • Luna 43 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 71 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Frieden und Sicherheit
Offenlegung und Rechenschaft
  1. SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
    • clef 100 %kein Bezug
    • Luna 37 %Hintergrund, keine Belege
    • JEV 29 %gleiches Oberthema, hilft nicht
    • amos 48 %gleiches Oberthema, hilft nicht
    • SubQ 78 %gleiches Oberthema, hilft nicht
    • drex 55 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Beteiligung und Gemeinwohl
  1. SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
    • clef 100 %kein Bezug
    • Luna 31 %einzelne zitierbare Belege
    • JEV 32 %gleiches Oberthema, hilft nicht
    • amos 35 %gleiches Oberthema, hilft nicht
    • SubQ 60 %gleiches Oberthema, hilft nicht
    • drex 59 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
  2. SF-E3 Welche Stellen sind in einem Staat für KI-Sicherheit und Prüfungen zuständig, und was davon gibt es schon?
    • clef 100 %kein Bezug
    • Luna 38 %Hintergrund, keine Belege
    • JEV 52 %gleiches Oberthema, hilft nicht
    • amos 100 %kein Bezug
    • SubQ 55 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra offen
  3. SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
    • clef 100 %kein Bezug
    • Luna 34 %Hintergrund, keine Belege
    • JEV 33 %Hintergrund, keine Belege
    • amos 42 %gleiches Oberthema, hilft nicht
    • SubQ 67 %gleiches Oberthema, hilft nicht
    • drex 59 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Wirtschaft und Haftung
Information und Öffentlichkeit

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →