Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
caisohne Datum · Q002727

Superhuman Automated Forecasting

safe.ai · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Der Bericht beschreibt FiveThirtyNine, einen GPT‑4o-basierten Prognosebot, der nach einer Recherche Wahrscheinlichkeiten für Ereignisse ausgibt. In einer Auswertung von 177 Metaculus-Ereignissen berichten die Autoren eine ähnliche Trefferleistung wie bei der menschlichen Prognosegruppe, weisen aber auf deutliche Grenzen hin: unter anderem Schwächen bei aktuellen Ereignissen, fehlende Tests für persönliche und finanzielle Nutzung sowie das Risiko übermäßigen Vertrauens in KI-Schätzungen.

Mittel

Der Bericht stellt FiveThirtyNine vor, einen auf GPT‑4o basierenden Bot, der Prognosefragen recherchiert, wichtige Fakten und Argumente dafür und dagegen zusammenfasst und daraus eine Wahrscheinlichkeit ableitet. Die Autoren berichten eine Evaluation mit 177 bereits entschiedenen Metaculus-Ereignissen. Bei begrenztem Zugang zu den Informationen, die menschlichen Prognostikern damals vorlagen, habe der Bot 87,7 Prozent Genauigkeit (±1,4) erreicht, verglichen mit 87,0 Prozent für die Metaculus-Gruppe. Sie folgern, dass er in diesem Datensatz ungefähr auf Gruppeniveau lag, und führen Geschwindigkeit sowie geringe Kosten als mögliche Vorteile an.

Als denkbare Einsatzfelder nennen sie politische Entscheidungen und Ergänzungen zu Chatbots, Beiträgen in sozialen Medien und Nachrichten. Diese möglichen Wirkungen sind Visionen des Berichts. Die Autoren räumen ein, dass das System nicht feinabgestimmt und nicht für persönliche oder finanzielle Prognosen geprüft wurde. Es kann ungültige Fragen beantworten, wichtige neue Informationen übersehen, bei sehr aktuellen Ereignissen schwach sein und inkonsistente Wahrscheinlichkeiten liefern. Außerdem könnten Nutzer automatisierten Schätzungen zu stark vertrauen; auch die Vernachlässigung extremer Risiken und selbsterfüllende Prophezeiungen werden als Gefahren genannt. Die Leistungsbehauptung gilt somit nur für bestimmte Dimensionen und den begrenzten Test.

Ausführlich lesen

Der Bericht stellt „FiveThirtyNine“ vor, einen automatisierten Prognosebot auf Basis von GPT‑4o. Die Autoren beschreiben ihn als System, das für eingegebene Fragen Wahrscheinlichkeiten schätzt. Sie reagieren damit auf Nate Silvers Skepsis, dass KI menschliche Prognostiker in naher Zukunft übertreffen könne, und behaupten, ihr Bot erreiche bei der Trefferleistung das Niveau erfahrener Prognosegruppen und übertreffe diese teils.

Das beschriebene Verfahren beginnt mit Suchanfragen nach relevanten Nachrichten- und Meinungsbeiträgen. Aus den gefundenen Quellen und seinem Vorwissen erstellt der Bot eine Übersicht wichtiger Fakten, nennt Gründe für und gegen ein mögliches Ereignis und gewichtet diese nach Stärke und Bedeutung. Anschließend soll er Verzerrungen hin zu Negativität und Sensationalismus berücksichtigen, seine erste Schätzung auf Plausibilität prüfen und eine abschließende, kalibrierte Wahrscheinlichkeit ausgeben. Als Beispiel nennt der Bericht eine damalige Schätzung von 52 Prozent für einen Sieg Donald Trumps bei der US-Wahl 2024.

Zur Evaluation verwendeten die Autoren 177 bereits eingetretene oder ausgebliebene Ereignisse aus Metaculus. Sie beschränkten das System auf Informationen, die den menschlichen Prognostikern zum jeweiligen Zeitpunkt zur Verfügung gestanden hätten: GPT‑4o war laut Bericht mit Daten bis Oktober 2023 trainiert, und zugelassene Artikel mussten vor einem festgelegten Stichtag erschienen sein. Die Autoren berichten eine Genauigkeit von 87,7 Prozent mit einer Unsicherheit von ±1,4 Prozent für FiveThirtyNine gegenüber 87,0 Prozent für die Metaculus-Gruppe. Daraus leiten sie ab, dass der Bot in diesem Datensatz ungefähr auf dem Niveau der Gruppe lag. Sie betonen außerdem mögliche praktische Vorteile: schnelle Prognosen und geringere Kosten, ohne Geldanreize für eine Gruppe von Teilnehmenden zu benötigen.

Der Bericht skizziert mögliche Anwendungen in politischen und anderen folgenreichen Entscheidungen sowie als Ergänzung zu Chatbots, Social-Media-Beiträgen und Nachrichten. Solche Systeme könnten nach Vorstellung der Autoren Risiken und Unsicherheiten sichtbarer machen und polarisierte Debatten mäßigen. Das sind Zukunftserwartungen, keine im Bericht nachgewiesenen Wirkungen.

Die Autoren nennen deutliche Grenzen: Der Bot sei nicht feinabgestimmt und beruhe auf Quellenabruf sowie einem durch einen Prompt gesteuerten Bericht. Er könne ungültige Fragen trotzdem beantworten, kenne womöglich Ereignisse nicht, die weder im Trainingswissen noch in den gefundenen Artikeln vorkämen, und sei bei sehr aktuellen oder kurz vor der Auflösung stehenden Ereignissen schwach. Seine Wahrscheinlichkeiten seien nicht immer konsistent. Zudem sei er nicht für persönliche Entscheidungen oder Finanzmarktprognosen getestet. Der Bericht weist auch auf Automatisierungsbias sowie die Gefahr hin, Extremrisiken zu vernachlässigen oder selbsterfüllende Prophezeiungen zu begünstigen. Die behauptete Überlegenheit bezieht sich daher auf bestimmte Leistungsdimensionen und den untersuchten Vergleich, nicht auf allgemeine Überlegenheit in jeder Hinsicht.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Es wurden nur drei Sammelfragen angegeben und keine Teilfragen, daher bleibt die Einordnung je Teilfrage leer. Die Zusammenfassungen von Luna sind inhaltlich weitgehend korrekt; die Hauptlücke ist das Fehlen der superhuman-Behauptung und des Marktvergleichs.

Im Bericht, aber nicht in der Zusammenfassung

  • Die zentrale Behauptung, der Bot übertreffe erfahrene Einzelprognostiker und sei ungefähr auf Crowd-Niveau, weshalb die Autoren ihn als superhuman bezeichnen
  • Der Vergleich mit Prognosemärkten: Der Bot liefert Prognosen in Sekunden und ist um Größenordnungen schneller und günstiger, bei ähnlicher Genauigkeit

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Vorfälle melden
Fähigkeiten messen
  1. SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 26 %einzelne zitierbare Belege
    • amos 40 %gleiches Oberthema, hilft nicht
    • SubQ 55 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra offen
Unabhängig prüfen
  1. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 100 %kein Bezug
    • Luna 37 %Hintergrund, keine Belege
    • JEV 44 %einzelne zitierbare Belege
    • amos 33 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 52 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Tempo und Grenzen
  1. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 100 %kein Bezug
    • Luna 38 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 51 %gleiches Oberthema, hilft nicht
    • SubQ 58 %gleiches Oberthema, hilft nicht
    • drex 77 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Vertrauen in Modelle
  1. SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 34 %einzelne zitierbare Belege
    • amos 38 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 56 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
  2. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 30 %nur am Rande erwähnt
    • JEV 42 %beantwortet teilweise oder widerspricht
    • amos 38 %gleiches Oberthema, hilft nicht
    • SubQ 47 %gleiches Oberthema, hilft nicht
    • drex 55 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
  3. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 69 %Hintergrund, keine Belege
    • JEV 49 %einzelne zitierbare Belege
    • amos 29 %gleiches Oberthema, hilft nicht
    • SubQ 54 %gleiches Oberthema, hilft nicht
    • drex 56 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
    • Haiku-Prüfung nur am Rande erwähnt
Agenten und vernetzte Systeme
  1. SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
    • clef 100 %kein Bezug
    • Luna 28 %Hintergrund, keine Belege
    • JEV 46 %einzelne zitierbare Belege
    • amos 34 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 46 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Modelle teilen und schützen
  1. SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 35 %einzelne zitierbare Belege
    • amos 44 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 56 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
  2. SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
    • clef 100 %kein Bezug
    • Luna 31 %Hintergrund, keine Belege
    • JEV 37 %einzelne zitierbare Belege
    • amos 37 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 46 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Frieden und Sicherheit
Offenlegung und Rechenschaft
  1. SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
    • clef 100 %kein Bezug
    • Luna 44 %Hintergrund, keine Belege
    • JEV 28 %einzelne zitierbare Belege
    • amos 45 %gleiches Oberthema, hilft nicht
    • SubQ 64 %gleiches Oberthema, hilft nicht
    • drex 50 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Beteiligung und Gemeinwohl
  1. SF-E3 Welche Stellen sind in einem Staat für KI-Sicherheit und Prüfungen zuständig, und was davon gibt es schon?
    • clef 100 %kein Bezug
    • Luna 30 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 100 %kein Bezug
    • SubQ 49 %gleiches Oberthema, hilft nicht
    • drex 45 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
  2. SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
    • clef 100 %kein Bezug
    • Luna 61 %Hintergrund, keine Belege
    • JEV 28 %gleiches Oberthema, hilft nicht
    • amos 45 %gleiches Oberthema, hilft nicht
    • SubQ 61 %gleiches Oberthema, hilft nicht
    • drex 57 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
  3. SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
    • clef 100 %kein Bezug
    • Luna 36 %Hintergrund, keine Belege
    • JEV 24 %einzelne zitierbare Belege
    • amos 41 %gleiches Oberthema, hilft nicht
    • SubQ 54 %gleiches Oberthema, hilft nicht
    • drex 52 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Wirtschaft und Haftung
Information und Öffentlichkeit
  1. SF-I1 Wie erkennt man KI-erzeugte Inhalte und KI-erzeugte Einflussnahme, ohne die Meinungsfreiheit zu beschneiden?
    • clef 100 %kein Bezug
    • Luna 67 %Hintergrund, keine Belege
    • JEV 39 %gleiches Oberthema, hilft nicht
    • amos 40 %gleiches Oberthema, hilft nicht
    • SubQ 46 %gleiches Oberthema, hilft nicht
    • drex 46 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
    • Haiku-Prüfung gleiches Oberthema, hilft nicht

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →