Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
aisi3. Dezember 2024 · Q002465

Long-Form Tasks | AISI Work

aisi.gov.uk · Originalbericht öffnen ↗

Zusammenfassung

Kurz

AISI stellt Long-Form Tasks als automatisierbare Ergänzung zu kurzen Wissensbenchmarks und aufwendigen Human-Uplift-Studien vor: Modelle erstellen ausführliche wissenschaftliche Arbeitspläne, die anhand fachlich erstellter Rubriken bewertet werden. Eine Petunien-Fallstudie zeigt hohe automatische Bewertungen für einige Modelle, zugleich stuften Fachleute viele geprüfte Antworten herab; Zuverlässigkeit, Skalierbarkeit und die Übertragbarkeit auf reale Laborarbeit bleiben laut Bericht offen.

Mittel

Der Bericht beschreibt AIs Methode „Long-Form Tasks“ (LFTs), mit der geprüft werden soll, ob Sprachmodelle Menschen bei komplexen wissenschaftlichen Aufgaben anleiten können. Anders als kurze Wissensfragen verlangen LFTs ausführliche, mehrstufige Pläne. Fachleute erstellen Bewertungsrubriken; ein LLM prüft die Antworten anhand dieser Kriterien. Getestet werden Modelle ohne externe Quellen, mit Websuche oder mit kuratierten Fachtexten sowie Varianten mit Rückfragen und modellgestützter Kritik. Bewertet werden eine abgestufte Erfolgsnote und Teilpunkte; eine Stichprobe wird zusätzlich von Fachleuten geprüft.

In einer Petunien-Fallstudie galten laut automatischer Bewertung 86 Prozent der Antworten von o1-preview und 61 Prozent der Antworten von Claude 3.5 Sonnet als machbar. Kuratierte Fachtexte verbesserten Claude 3.5 Sonnet in dieser Aufgabe laut Bericht. Zugleich stuften Fachleute mehr als 70 Prozent der geprüften, automatisch als machbar eingestuften Lösungen herab. AISI betont daher Probleme bei der Zuverlässigkeit und Skalierung der Rubriken und Prüfer. Die Bewertung kann gültige Lösungswege übersehen oder Fehler übersehen. Außerdem ist nicht geklärt, ob schriftliche Pläne praktische Laborhilfe vorhersagen. Der Bericht versteht LFTs als weiterzuentwickelnde Ergänzung zu teuren Human-Uplift-Studien und schlägt unter anderem mehr Aufgaben, realistischere Nutzerfragen und kleinteiligere Bewertungen vor.

Ausführlich lesen

Der Bericht stellt eine von AISI entwickelte Methode vor, um zu untersuchen, wie hilfreich große Sprachmodelle (LLMs) als wissenschaftliche Assistenzsysteme sind. Die Autorinnen und Autoren argumentieren, dass kurze Wissensfragen zwar vorhandenes Fachwissen messen können, aber kaum zeigen, ob ein Modell komplexe Aufgaben planen und Menschen dabei sinnvoll anleiten kann. Als aussagekräftigsten Vergleich nennen sie Human-Uplift-Studien: Dabei wird untersucht, ob Menschen mit einem LLM eine Aufgabe besser lösen als eine Kontrollgruppe. Solche Studien seien jedoch langsam, teuer und schwer in großem Umfang durchzuführen.

Als automatisierbare Ergänzung schlägt AISI „Long-Form Tasks“ (LFTs) vor. Dabei soll ein Modell für eine anspruchsvolle, offen formulierte wissenschaftliche Aufgabe einen ausführlichen, schrittweisen Lösungsplan erstellen. Fachleute entwickeln dafür eine Bewertungsrubrik, anhand der ein LLM als automatischer Prüfer die Antworten bewertet. Die Aufgaben sollen mehrere Entscheidungen und nicht immer ausdrücklich vermitteltes Fachwissen erfordern. Nach Darstellung des Berichts sind die Antworten deshalb deutlich länger als bei üblichen Frage-Antwort-Benchmarks. Die Methode soll näher an realen Hilfegesuchen liegen und sowohl Wissen als auch Planung und Schlussfolgern erfassen.

AISI vergleicht drei Informationsbedingungen: ein Modell ohne externe Quellen, eines mit Websuche und eines mit einer kuratierten Auswahl wissenschaftlicher Texte im Kontext. Außerdem werden Antworten ohne Rückfrage, nach allgemeinen statischen Nachfragen sowie nach einer modellgestützten Kritik und Überarbeitung untersucht. Für die Bewertung gibt es eine Erfolgsnote von 0 bis 10, die davon abhängt, welche aufeinander aufbauenden Rubrikkriterien erfüllt sind, sowie zusätzliche Teilpunkte für einzelne relevante Elemente. Der automatische Prüfer bewertet jede Antwort zehnmal; berichtet wird der Median. Eine kleine Auswahl als machbar bewerteter Lösungen wird zusätzlich von zwei Fachleuten beurteilt.

Als Fallstudie beschreibt der Bericht eine Aufgabe zur gentechnischen Veränderung von Petunien. In den dort ausgewerteten Modellen erzielte o1-preview laut AISI mit deutlichem Abstand die höchsten Werte; 86 Prozent seiner Antworten galten dem automatischen Prüfer als machbar. Für dieses Modell habe zusätzlicher Informationszugang die Leistung nicht deutlich verändert. Bei Claude 3.5 Sonnet seien 61 Prozent der Antworten als machbar eingestuft worden, und kuratierte Fachtexte hätten die geschätzte Erfolgswahrscheinlichkeit um 30 Prozent erhöht. Diese Ergebnisse beziehen sich auf die beschriebene Aufgabe und die verwendeten Bewertungsverfahren. Bei mehr als 70 Prozent der stichprobenartig von Fachleuten geprüften, automatisch als machbar eingestuften Antworten wurde die Bewertung herabgesetzt. Der Bericht führt die Abweichung unter anderem darauf zurück, dass der automatische Prüfer eine allgemein angegebene Transformationsmethode großzügiger bewertete als die Fachleute. Das zeige, dass Rubriken sorgfältig angepasst werden müssen.

Als Grenzen nennt AISI die begrenzte Zuverlässigkeit des automatischen Prüfers: Er kann gültige, in der Rubrik nicht erfasste Lösungswege abwerten oder nicht vorhandene Angaben hineininterpretieren und Antworten nicht selbst auf Fakten prüfen. Die Erstellung umfassender Rubriken sei aufwendig und kaum zwischen Aufgaben übertragbar. Zudem beruhten wichtige Bewertungsentscheidungen auf einer kleinen Gruppe von Fachleuten; menschliche Vergleichswerte fehlten. Schließlich sei unklar, ob gute schriftliche Pläne tatsächlich Hilfe bei Laborarbeit vorhersagen, wo praktische Versuche und Fehlersuche entscheidend sind. Als nächste Schritte nennt der Bericht mehr Aufgaben, natürlichere Aufgabenstellungen aus tatsächlichen Nutzerinteraktionen, kritische Rückmeldungen mit Hinweisen auf fehlende Kriterien und die Bewertung einzelner Teilaufgaben. Die Methode wird als in Entwicklung befindlicher Ansatz präsentiert, zu dem AISI Rückmeldungen aus der Forschungsgemeinschaft einholen möchte.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Beide Zusammenfassungen geben den Bericht sachlich treu wieder; die Lücken betreffen Grenzen und Befunde. Die Einordnungen spiegeln nur, wie viel der Bericht zu den Fragen sagt, und die Fragen liegen größtenteils außerhalb seines Themas (Evaluationsmethodik für LLM-Fähigkeiten in der Wissenschaft).

Im Bericht, aber nicht in der Zusammenfassung

  • Der Bericht nennt als Grenze, dass die Heuristiken für Erfolgswahrscheinlichkeit und Machbarkeit auf wenigen Fachleuten beruhen (Überanpassung), und schlägt ein breiteres Expertengremium vor.
  • Der Bericht hält fest, dass externer Zugriff o1-preview kaum half, während Claude 3.5 Sonnet mit kuratierten Fachtexten deutlich besser abschnitt.
  • Der Bericht vermisst eine menschliche Expertenbasislinie, um Aufgabenschwierigkeit und den Nutzen eines LLM gegenüber Fachleuten einzuordnen.

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Fähigkeiten messen
  1. SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
    • clef 26 %Hintergrund, keine Belege
    • Luna 55 %Hintergrund, keine Belege
    • JEV 33 %einzelne zitierbare Belege
    • amos 39 %gleiches Oberthema, hilft nicht
    • SubQ 29 %gleiches Oberthema, hilft nicht
    • drex 22 %Hintergrund, keine Belege
    • d3-ultra offen

    • SF-F1-T02 Veröffentlichen Labore abgestimmte Cyber-Tests, die zeigen, was jedes Modell mehr leistet als ein Mensch ohne KI-Hilfe? Luna: Stufe 3 · 32 % · Hintergrund, keine Belege
    • SF-F1-T04 Welcher gemeinsame, neutrale und offene Maßstab (Aufgaben, Erfolgsrate, abgeschirmte Testumgebung, Belege) zeigt, dass eine Cyber-Schwelle überschritten ist? Würden ein Ministerium und ein Labor in verschiedenen Staaten ihn annehmen, bevor das nächste Modell als Überschreitung eingestuft wird, damit Schwellen gemessen und nicht behauptet werden? Und dient derselbe Maßstab dann sowohl dazu, ein Modell einzustufen, als auch dazu, das Tempo seiner Entwicklung zu steuern? Luna: Stufe 3 · 31 % · Hintergrund, keine Belege
    • SF-F1-T05 Welche Cyber-Prüfungen und welche Testbausteine (Testfälle, Bewertungswerkzeuge, Datensätze) würden jedes Labor und jedes Ministerium anstelle einer bloßen Behauptung als gültig anerkennen, wenn andere sie an ihrem Modell durchführen? Und welche genormte Testsammlung würden Labore verschiedener Staaten gemeinsam an eingefrorenen Modellversionen laufen lassen, verwaltet von einer dritten Stelle, der alle trauen? Luna: Stufe 3 · 29 % · Hintergrund, keine Belege
  2. SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 24 %gleiches Oberthema, hilft nicht
    • amos 29 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen
  3. SF-F3 Welche Regeln gelten für gefährliche Fähigkeiten jenseits von Cyber, etwa in Biologie, Chemie, bei radioaktiven Stoffen oder in der Nukleartechnik?
    • clef 21 %gleiches Oberthema, hilft nicht
    • Luna 52 %Hintergrund, keine Belege
    • JEV 34 %Hintergrund, keine Belege
    • amos 27 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 33 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

    • SF-F3-T01 Würden Staaten auf die Fähigkeit führender KI-Modelle, biologische Systeme zu entwerfen, dieselben Prüfungen und Freigabeschwellen anwenden wie auf Cyber oder eine eigens ausgehandelte Regelung? Und welche eigenen Fähigkeitsschwellen, Prüfmethoden, Maßnahmen zur Eindämmung und Meldepflichten sollen für KI-Hilfe in der Chemie, bei radioaktiven Stoffen und in der Nukleartechnik gelten, statt alle Wissenschaft mit doppeltem Verwendungszweck in eine einzige Biologie- oder Cyber-Regel zu fassen? Luna: Stufe 3 · 39 % · Hintergrund, keine Belege
    • SF-F3-T02 Welche Verantwortung sollten KI-Firmen gegenüber der Öffentlichkeit tragen, wenn ihre Modelle grundlegende wissenschaftliche Entdeckungen ermöglichen, die gefährliche Anwendungen finden könnten? Luna: Stufe 3 · 52 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 2 · nur am Rande erwähnt
Unabhängig prüfen
  1. SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
    • clef 30 %Hintergrund, keine Belege
    • Luna 100 %kein Bezug
    • JEV 100 %kein Bezug
    • amos 27 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen
  2. SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
    • clef 25 %Hintergrund, keine Belege
    • Luna 100 %kein Bezug
    • JEV 100 %kein Bezug
    • amos 33 %gleiches Oberthema, hilft nicht
    • SubQ 46 %gleiches Oberthema, hilft nicht
    • drex 40 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
  3. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 23 %Hintergrund, keine Belege
    • Luna 37 %einzelne zitierbare Belege
    • JEV 30 %beantwortet teilweise oder widerspricht
    • amos 32 %Hintergrund, keine Belege
    • SubQ 30 %gleiches Oberthema, hilft nicht
    • drex 25 %Hintergrund, keine Belege
    • d3-ultra offen
    • Haiku-Prüfung einzelne zitierbare Belege

    • SF-P3-T02 Welche unabhängig überprüfbaren Zusagen könnten Regierungen von ihren KI-Laboren zur Veröffentlichung verlangen, und wie sieht unabhängige Prüfung aus, wenn der Beleg, dass ein Modell seinen vorgesehenen Zielen und Werten folgt, nur vom trainierenden Labor kommt und Prüfer weder die Modellgewichte (die gelernten Parameter) noch die Trainingsdaten sehen? Luna: Stufe 3 · 32 % · Hintergrund, keine Belege
Tempo und Grenzen
  1. SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
    • clef 100 %kein Bezug
    • Luna 52 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 25 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 51 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

    • SF-T1-T05 Welche messbaren Vergleichswerte würden zeigen, dass die Ausrichtung der Modelle eines Labors an den vorgesehenen Zielen und Werten schneller vorankommt, als ihre Fähigkeiten wachsen, über das Fehlen öffentlicher Fehlschläge hinaus? Luna: Stufe 3 · 61 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 1 · gleiches Oberthema, hilft nicht
Vertrauen in Modelle
  1. SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
    • clef 100 %kein Bezug
    • Luna 32 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 34 %gleiches Oberthema, hilft nicht
    • SubQ 53 %gleiches Oberthema, hilft nicht
    • drex 60 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
  2. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 48 %Hintergrund, keine Belege
    • JEV 38 %einzelne zitierbare Belege
    • amos 46 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen

  3. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 72 %Hintergrund, keine Belege
    • JEV 35 %Hintergrund, keine Belege
    • amos 31 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 43 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

Agenten und vernetzte Systeme
Modelle teilen und schützen
Frieden und Sicherheit
Offenlegung und Rechenschaft
  1. SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
    • clef 100 %kein Bezug
    • Luna 66 %einzelne zitierbare Belege
    • JEV 32 %einzelne zitierbare Belege
    • amos 31 %gleiches Oberthema, hilft nicht
    • SubQ 49 %gleiches Oberthema, hilft nicht
    • drex 41 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
    • Haiku-Prüfung nur am Rande erwähnt

Beteiligung und Gemeinwohl
  1. SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
    • clef 100 %kein Bezug
    • Luna 28 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 45 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen

  2. SF-E2 In welchem Rahmen sollen Staaten KI regeln, und wo liegt eine gemeinsame Untergrenze?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 31 %Hintergrund, keine Belege
    • amos 44 %gleiches Oberthema, hilft nicht
    • SubQ 46 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra offen
  3. SF-E3 Welche Stellen sind in einem Staat für KI-Sicherheit und Prüfungen zuständig, und was davon gibt es schon?
    • clef 25 %Hintergrund, keine Belege
    • Luna 51 %einzelne zitierbare Belege
    • JEV 38 %einzelne zitierbare Belege
    • amos 27 %einzelne zitierbare Belege
    • SubQ 100 %kein Bezug
    • drex 32 %nur am Rande erwähnt
    • d3-ultra offen
    • Haiku-Prüfung nur am Rande erwähnt
  4. SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
    • clef 100 %kein Bezug
    • Luna 51 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 43 %gleiches Oberthema, hilft nicht
    • SubQ 48 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra offen

  5. SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
    • clef 100 %kein Bezug
    • Luna 42 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 47 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen

    • SF-E5-T02 Welche Entscheidungen müssen menschlich bleiben, auch wenn eine KI sie besser treffen könnte, und wie würden Staaten in Entscheidungsschleifen mit hohem Risiko prüfbar machen, dass ein Mensch die Ausgabe der KI wirklich beurteilt und nicht nur routinemäßig abgenickt hat? Luna: Stufe 3 · 49 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 2 · nur am Rande erwähnt

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →