Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
metr15. März 2024 · Q002887

Autonomy Evaluation Resources

metr.org · Originalbericht öffnen ↗

Zusammenfassung

Kurz

METR stellt Aufgaben, Werkzeuge und Leitlinien für die Bewertung autonomer Fähigkeiten fortgeschrittener KI-Modelle vor und verbindet sie in einem ausdrücklich vorläufigen Beispielprotokoll. Die Organisation betont offene Grenzen: wenige und nur lose an konkrete Bedrohungen gebundene Aufgaben, arbeitsintensive Fähigkeitsmessung sowie unsichere Ergebnisse dazu, wie stark zusätzliche Trainings- und Agentenmaßnahmen die Leistung steigern.

Mittel

METR veröffentlicht Ressourcen, um potenziell gefährliche autonome Fähigkeiten fortgeschrittener KI-Modelle zu bewerten: eine Aufgabensammlung, einen Aufgabenstandard mit einfacher Workbench, Leitlinien zur Ermittlung erreichbarer Fähigkeiten und ein vorläufiges Gesamtprotokoll. Die Aufgaben betreffen vor allem Softwareentwicklung, ML-Engineering, Cybersicherheit und Forschung. Sie sollen von kurzen Übungen bis zu Aufgaben für erfahrene Fachkräfte reichen. METR hebt menschliche Schwierigkeitsabschätzungen, Qualitätsprüfungen und den Versuch hervor, grundlegende Fähigkeiten unabhängig von bestimmten Werkzeugen zu messen.

Die Sammlung ist laut METR noch klein, besonders bei schwierigen Aufgaben, und nur lose an konkrete Bedrohungsszenarien gebunden. Die Ermittlung von Fähigkeiten kann arbeitsintensiv sein und sowohl zu Unter- als auch Überschätzungen führen. Die Workbench ist einfach und möglicherweise für umfangreiche Auswertungen unzureichend. In vorläufigen Versuchen mit GPT-4-Versionen und unterschiedlichen Agentenmaßnahmen ähnelte der Effekt nach METRs Einschätzung dem Leistungsabstand zwischen GPT-3.5 Turbo und GPT-4. Das Ergebnis ist unsicher: Die Testaufgaben könnten den Effekt überschätzen, und andere Verbesserungsverfahren könnten leistungsfähiger sein.

Ausführlich lesen

METR stellt eine Sammlung von Ressourcen vor, mit denen sich potenziell gefährliche autonome Fähigkeiten fortgeschrittener KI-Modelle bewerten lassen. Dazu gehören eine Aufgabensammlung, Werkzeuge zum Ausführen von Aufgaben, Leitlinien zur möglichst genauen Ermittlung von Fähigkeiten sowie vorläufige Forschungsergebnisse dazu, wie stark zusätzliche Trainings- und Agentenmaßnahmen die Leistung verändern können. Ein separates Beispielprotokoll verbindet diese Bausteine zu einem groben Evaluationsverfahren. METR bezeichnet das Protokoll als Beta und kündigt an, es weiterzuentwickeln. Die Organisation begründet die Veröffentlichung damit, dass es bislang nur wenige konkrete, ausführbare Vorschläge für solche Risikobewertungen gebe und Modellfähigkeiten künftig deutlich steigen könnten.

Die Aufgaben decken vor allem Softwareentwicklung, ML-Engineering, Cybersicherheit und Forschung ab. Sie reichen laut METR von wenigen Minuten Arbeit für Nichtfachleute bis zu Aufgaben, für die erfahrene Fachkräfte ungefähr eine Woche benötigen würden. Beschreibungen und Basisstatistiken seien öffentlich; Quellcode werde zunächst nur für etwa 20 Beispiele bereitgestellt, um eine Verunreinigung von Trainingsdaten zu begrenzen. Zugang zur vollständigen Sammlung könne angefragt werden. Als Stärken nennt METR die größere Schwierigkeitsspanne gegenüber bestehenden Benchmarks, menschliche Zeitschätzungen – teils gestützt auf reale Versuche –, Qualitätsindikatoren und die manuelle Prüfung der besten Aufgaben. Viele Aufgaben seien eigens erstellt worden und sollten deshalb kaum auswendig gelernt sein. Sie sollen grundlegende Fähigkeiten wie Schlussfolgern, Erkunden und die Behebung von Fehlern erfassen, möglichst ohne die Ergebnisse stark von Werkzeugen, Modalität oder Modellverhalten abhängig zu machen.

METR räumt zugleich ein, dass es insgesamt noch wenige Aufgaben gibt, besonders im oberen Schwierigkeitsbereich. Außerdem seien sie nur lose mit konkreten Bedrohungsszenarien verknüpft: Gemessen werde eher die allgemeine Fähigkeit, selbstständig technische und wissenschaftliche Arbeit auf professionellem Niveau zu leisten. Künftige Aufgaben sollten stärker einzelne Schritte konkreter Bedrohungsmodelle abbilden.

Die Leitlinien zur Fähigkeitsermittlung sollen verhindern, dass Evaluatoren die Leistung deutlich unterschätzen. Sie empfehlen begrenzte Versuche, die Fähigkeiten durch nachträgliche Trainings- oder Agentenmaßnahmen zu steigern, und eine Prüfung, ob beobachtete Fehler mit kleinen Anpassungen behebbar wären. METR hält Teile des Vorgehens auch für andere Bedrohungsmodelle für nützlich und schätzt, ein erfahrenes kleines Team könne die Arbeit innerhalb eines Monats bewältigen. Das Verfahren bleibt jedoch arbeitsintensiv. Zudem könne es Fähigkeiten unterschätzen, wenn behebbare Grenzen nicht als konkrete Fehler erkannt oder falsch eingeordnet werden, und überschätzen, wenn echte Fehler als zufällig abgetan werden.

Ein Aufgabenstandard beschreibt, wie Aufgaben im Code festgelegt werden. Eine einfache Workbench und Beispielagenten sollen das Erstellen und Nutzen solcher Aufgaben erleichtern. METR betont, dass die Workbench nur begrenzte Funktionen hat und möglicherweise nicht alle Anwendungsfälle unterstützt; für Evaluationen im großen Maßstab verweist die Organisation auf ihre vollständige Infrastruktur.

Die Beispielauswertung erläutert, was die Messungen abdecken, wie Modelle auf Aufgaben ausgeführt und Gesamtergebnisse berechnet werden können und wie mögliche Lücken bei der Fähigkeitssteigerung berücksichtigt werden sollten. Sie enthält außerdem Plausibilitätsprüfungen und erörtert, wie Ergebnisse mit Schwellen für Schutzmaßnahmen oder weitergehende Prüfungen verknüpft werden könnten.

Für eine Untersuchung zu Fähigkeitssteigerungen verglich METR auf einer Auswahl leicht ausführbarer Aufgaben verschiedene GPT-4-Versionen mit unterschiedlichem Agentenaufbau und verschiedenen Verbesserungsversuchen. Nach den vorläufigen Ergebnissen kann der Effekt solcher Maßnahmen ähnlich groß sein wie der Leistungsunterschied zwischen GPT-3.5 Turbo und GPT-4. METR warnt jedoch, dass die Aufgaben nicht der Hauptsammlung entsprachen, nur lose mit Bedrohungsmodellen verbunden waren und möglicherweise besonders gut zum Leistungsniveau der besten GPT-4-Agenten passten. Dadurch könnte der Effekt überschätzt sein. Außerdem könnten stärkere Verbesserungen möglich sein, insbesondere mit Modellgewichten oder flexibleren Feinabstimmungs-APIs.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Die Bewertung stützt sich allein auf den Bericht. Die Kurzfassung von Luna lässt das Beispielprotokoll und die Veröffentlichungsbeschränkung der Aufgaben weg, was als kleiner Mangel gewertet wird.

Im Bericht, aber nicht in der Zusammenfassung

  • Im Beispielprotokoll wird diskutiert, wie sich der Score auf Schwellen abbilden lässt, ab denen Gegenmaßnahmen oder bessere Bewertungen nötig sind
  • Nur rund 20 Beispielaufgaben sind als Quellcode veröffentlicht, der Rest ist auf Anfrage erhältlich, um Trainingsdaten-Kontamination zu vermeiden

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Vorfälle melden
Fähigkeiten messen
  1. SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
    • clef 23 %umfangreiche Belege
    • Luna 34 %umfangreiche Belege
    • JEV 49 %beantwortet teilweise oder widerspricht
    • amos 34 %gleiches Oberthema, hilft nicht
    • SubQ 28 %umfangreiche Belege
    • drex 35 %umfangreiche Belege
    • d3-ultra 47 %umfangreiche Belege
    • Haiku-Prüfung einzelne zitierbare Belege

    • SF-F1-T01 Welche Belege zu Cyberfähigkeiten soll ein Labor vor der Freigabe eines Modells veröffentlichen (Methoden, Aufgabenfamilien, Fehlerraten, getestete Version, reproduzierbare Cyber-Tests in abgeschirmter Umgebung für unabhängige Prüfer), damit jedes Ministerium sie nachstellen kann, statt ihnen vertrauen zu müssen? Und führt es für dieselbe Modellversion abgestimmte Cyber-Tests durch, die sowohl den durch Schutzmaßnahmen verhinderten Missbrauch als auch die legitimen Abwehraufgaben messen, die dieselben Schutzmaßnahmen blockieren, und weist es beide Ergebnisse aus? Luna: Stufe 3 · 37 % · Hintergrund, keine Belege
    • SF-F1-T02 Veröffentlichen Labore abgestimmte Cyber-Tests, die zeigen, was jedes Modell mehr leistet als ein Mensch ohne KI-Hilfe? Luna: Stufe 4 · 41 % · einzelne zitierbare Belege · Haiku-Prüfung: Stufe 3 · Hintergrund, keine Belege
    • SF-F1-T04 Welcher gemeinsame, neutrale und offene Maßstab (Aufgaben, Erfolgsrate, abgeschirmte Testumgebung, Belege) zeigt, dass eine Cyber-Schwelle überschritten ist? Würden ein Ministerium und ein Labor in verschiedenen Staaten ihn annehmen, bevor das nächste Modell als Überschreitung eingestuft wird, damit Schwellen gemessen und nicht behauptet werden? Und dient derselbe Maßstab dann sowohl dazu, ein Modell einzustufen, als auch dazu, das Tempo seiner Entwicklung zu steuern? Luna: Stufe 4 · 36 % · einzelne zitierbare Belege
    • SF-F1-T05 Welche Cyber-Prüfungen und welche Testbausteine (Testfälle, Bewertungswerkzeuge, Datensätze) würden jedes Labor und jedes Ministerium anstelle einer bloßen Behauptung als gültig anerkennen, wenn andere sie an ihrem Modell durchführen? Und welche genormte Testsammlung würden Labore verschiedener Staaten gemeinsam an eingefrorenen Modellversionen laufen lassen, verwaltet von einer dritten Stelle, der alle trauen? Luna: Stufe 4 · 40 % · einzelne zitierbare Belege · Haiku-Prüfung: Stufe 4 · einzelne zitierbare Belege
    • SF-F1-T06 Welche unabhängige Prüfung des Maßstabs selbst auf Verzerrung je nach Modellarchitektur, auf Sprachabhängigkeit und auf Empfindlichkeit für die Trainingsherkunft des prüfenden Modells veröffentlichen die Beteiligten, bevor ein gemeinsamer Cyber-Maßstab angenommen wird, und wer führt sie unabhängig von den Laboren durch, deren Modelle er prüft? Luna: Stufe 3 · 28 % · Hintergrund, keine Belege
    • SF-F1-T10 Was wäre nötig, damit eine staatliche Aufsichtsplattform für KI-Sicherheit und unabhängige Prüfer mit dauerhaftem Zugang im Labor nach einem gemeinsamen öffentlichen Protokoll dieselben Cyber-Tests in einer gemeinsamen Testumgebung durchführen, die Prüfer zweier Staaten jeweils am Modell des anderen, und die Ergebnisse in beiden veröffentlichen? Und könnten zwei Staaten eine gemeinsam bezeugte Prüfung desselben führenden KI-Modells durchführen und übereinstimmende Prüfsummen (Hashes) der Ergebnisse veröffentlichen? Luna: Stufe 4 · 37 % · einzelne zitierbare Belege
  2. SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
    • clef 20 %Hintergrund, keine Belege
    • Luna 41 %Hintergrund, keine Belege
    • JEV 34 %Hintergrund, keine Belege
    • amos 32 %einzelne zitierbare Belege
    • SubQ 27 %Hintergrund, keine Belege
    • drex 32 %gleiches Oberthema, hilft nicht
    • d3-ultra 38 %gleiches Oberthema, hilft nicht

    • SF-F2-T01 Wenn ein Ministerium ein Modell als Beleg nennt, dass eine Schwelle überschritten ist: Veröffentlicht das Ministerium die Tests, die Modellversion und was es gemessen hat, und veröffentlicht das Labor die Cyber-Prüfung dieser Version auch in der Sprache des Ministeriums? Und welches Ergebnis würde das Ministerium dazu bringen, seine Behauptung zurückzunehmen? Luna: Stufe 3 · 38 % · Hintergrund, keine Belege
    • SF-F2-T03 Ein Minister beschreibt Risiken durch Spionage und Datenabfluss, etwa über quelloffene KI-Agentenwerkzeuge, und durch ein Ungleichgewicht in der technologischen Entwicklung, das Monopole und Technologiebeschränkungen verschärfen. Welche veröffentlichten Belege würden diese Risiken an der Fähigkeit eines Modells statt an seiner Herkunft festmachen? Luna: Stufe 3 · 31 % · Hintergrund, keine Belege
  3. SF-F3 Welche Regeln gelten für gefährliche Fähigkeiten jenseits von Cyber, etwa in Biologie, Chemie, bei radioaktiven Stoffen oder in der Nukleartechnik?
    • clef 100 %kein Bezug
    • Luna 46 %Hintergrund, keine Belege
    • JEV 49 %gleiches Oberthema, hilft nicht
    • amos 31 %gleiches Oberthema, hilft nicht
    • SubQ 51 %gleiches Oberthema, hilft nicht
    • drex 43 %gleiches Oberthema, hilft nicht
    • d3-ultra 67 %gleiches Oberthema, hilft nicht

    • SF-F3-T02 Welche Verantwortung sollten KI-Firmen gegenüber der Öffentlichkeit tragen, wenn ihre Modelle grundlegende wissenschaftliche Entdeckungen ermöglichen, die gefährliche Anwendungen finden könnten? Luna: Stufe 3 · 41 % · Hintergrund, keine Belege
  4. SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
    • clef 24 %gleiches Oberthema, hilft nicht
    • Luna 100 %kein Bezug
    • JEV 45 %Hintergrund, keine Belege
    • amos 26 %Hintergrund, keine Belege
    • SubQ 40 %gleiches Oberthema, hilft nicht
    • drex 29 %gleiches Oberthema, hilft nicht
    • d3-ultra 40 %gleiches Oberthema, hilft nicht
  5. SF-F5 Wie gehen Staaten gemeinsam gegen KI-gestützte Cyberangriffe vor und verhindern Eskalation zwischen autonomen Systemen, ohne die Verteidigung zu behindern?
    • clef 100 %kein Bezug
    • Luna 47 %Hintergrund, keine Belege
    • JEV 42 %gleiches Oberthema, hilft nicht
    • amos 40 %gleiches Oberthema, hilft nicht
    • SubQ 67 %gleiches Oberthema, hilft nicht
    • drex 49 %gleiches Oberthema, hilft nicht
    • d3-ultra 49 %gleiches Oberthema, hilft nicht

Unabhängig prüfen
  1. SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
    • clef 32 %Hintergrund, keine Belege
    • Luna 100 %kein Bezug
    • JEV 30 %Hintergrund, keine Belege
    • amos 28 %Hintergrund, keine Belege
    • SubQ 45 %gleiches Oberthema, hilft nicht
    • drex 37 %gleiches Oberthema, hilft nicht
    • d3-ultra 58 %gleiches Oberthema, hilft nicht
  2. SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
    • clef 100 %kein Bezug
    • Luna 52 %Hintergrund, keine Belege
    • JEV 46 %gleiches Oberthema, hilft nicht
    • amos 28 %gleiches Oberthema, hilft nicht
    • SubQ 59 %gleiches Oberthema, hilft nicht
    • drex 47 %gleiches Oberthema, hilft nicht
    • d3-ultra 67 %gleiches Oberthema, hilft nicht

  3. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 21 %Hintergrund, keine Belege
    • Luna 48 %einzelne zitierbare Belege
    • JEV 35 %beantwortet teilweise oder widerspricht
    • amos 35 %einzelne zitierbare Belege
    • SubQ 32 %einzelne zitierbare Belege
    • drex 31 %einzelne zitierbare Belege
    • d3-ultra 33 %einzelne zitierbare Belege
    • Haiku-Prüfung nur am Rande erwähnt

    • SF-P3-T01 Welcher gemeinsame Rahmen für Labore macht Selbstüberwachung überprüfbar, ohne geschütztes geistiges Eigentum offenzulegen, und welche unabhängigen Verfahren Dritter, falls es sie gibt, bestätigen, dass die Selbstüberwachung riskantes Verhalten vor der Freigabe wirklich findet und nicht nur Schein ist? Luna: Stufe 3 · 37 % · Hintergrund, keine Belege
    • SF-P3-T02 Welche unabhängig überprüfbaren Zusagen könnten Regierungen von ihren KI-Laboren zur Veröffentlichung verlangen, und wie sieht unabhängige Prüfung aus, wenn der Beleg, dass ein Modell seinen vorgesehenen Zielen und Werten folgt, nur vom trainierenden Labor kommt und Prüfer weder die Modellgewichte (die gelernten Parameter) noch die Trainingsdaten sehen? Luna: Stufe 4 · 40 % · einzelne zitierbare Belege · Haiku-Prüfung: Stufe 1 · gleiches Oberthema, hilft nicht
    • SF-P3-T07 Wird jede öffentliche Aussage, ein führendes KI-Modell sei „besser ausgerichtet“ als ein anderes (folge also seinen vorgesehenen Zielen und Werten besser), reproduzierbare Kriterien, externe Prüfungen und widersprechende Ergebnisse enthalten? Luna: Stufe 3 · 25 % · Hintergrund, keine Belege
Tempo und Grenzen
  1. SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
    • clef 26 %Hintergrund, keine Belege
    • Luna 54 %einzelne zitierbare Belege
    • JEV 43 %einzelne zitierbare Belege
    • amos 31 %einzelne zitierbare Belege
    • SubQ 25 %Hintergrund, keine Belege
    • drex 28 %einzelne zitierbare Belege
    • d3-ultra 29 %einzelne zitierbare Belege
    • Haiku-Prüfung nur am Rande erwähnt

    • SF-T1-T01 Welche messbaren, maschinell prüfbaren Fähigkeitsschwellen sollen Labore veröffentlichen, die vor dem Einsatz von Agentensystemen eine verpflichtende Pause und eine Prüfung von außen auslösen, abgestimmt über alle Labore hinweg? Wer führt das Register, und wo soll die Gesellschaft die verbindliche Sicherheitsgrenze für weitere Steigerungen der Fähigkeiten ziehen? Luna: Stufe 3 · 32 % · Hintergrund, keine Belege
    • SF-T1-T02 Welche messbaren Schwellen halten die weitere Skalierung von KI-Modellen automatisch an, wer prüft sie, und wie bleiben diese Auslöser bindend, wenn der Wettbewerb drückt? Luna: Stufe 4 · 35 % · einzelne zitierbare Belege
    • SF-T1-T03 Welchen Prüfpunkt für Fähigkeiten und welche Bescheinigung würde ein Labor heute schriftlich zusagen, bevor eine Aufsichtsbehörde ihm einen solchen Prüfpunkt vorschreibt? Luna: Stufe 3 · 29 % · Hintergrund, keine Belege
    • SF-T1-T05 Welche messbaren Vergleichswerte würden zeigen, dass die Ausrichtung der Modelle eines Labors an den vorgesehenen Zielen und Werten schneller vorankommt, als ihre Fähigkeiten wachsen, über das Fehlen öffentlicher Fehlschläge hinaus? Luna: Stufe 3 · 35 % · Hintergrund, keine Belege
    • SF-T1-T08 Wenn ein Sicherheitsprojekt mit KI-Hilfe zugleich die allgemeine Fähigkeit des Modells oder die für sein Training genutzte Rechenleistung steigert: Wie hält man beide Wirkungen fest, und wie entscheidet man, ob der daraus entstehende Fähigkeitszuwachs eine neue Sicherheitsprüfung braucht, bevor die Arbeit weitergeht? Luna: Stufe 3 · 30 % · Hintergrund, keine Belege
  2. SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
    • clef 28 %Hintergrund, keine Belege
    • Luna 43 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 28 %gleiches Oberthema, hilft nicht
    • SubQ 53 %gleiches Oberthema, hilft nicht
    • drex 42 %gleiches Oberthema, hilft nicht
    • d3-ultra 52 %gleiches Oberthema, hilft nicht

  3. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 29 %gleiches Oberthema, hilft nicht
    • Luna 46 %Hintergrund, keine Belege
    • JEV 36 %einzelne zitierbare Belege
    • amos 29 %nur am Rande erwähnt
    • SubQ 37 %gleiches Oberthema, hilft nicht
    • drex 36 %gleiches Oberthema, hilft nicht
    • d3-ultra 43 %gleiches Oberthema, hilft nicht

    • SF-T3-T08 Welche kontrollierten Versuche können Labore heute machen, um Selbstverbesserung nachzubilden, ohne eine unbeabsichtigte Beschleunigung zu riskieren? Luna: Stufe 4 · 32 % · einzelne zitierbare Belege
Vertrauen in Modelle
  1. SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
    • clef 32 %gleiches Oberthema, hilft nicht
    • Luna 100 %kein Bezug
    • JEV 100 %kein Bezug
    • amos 25 %Hintergrund, keine Belege
    • SubQ 53 %gleiches Oberthema, hilft nicht
    • drex 36 %gleiches Oberthema, hilft nicht
    • d3-ultra 62 %gleiches Oberthema, hilft nicht
  2. SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
    • clef 100 %kein Bezug
    • Luna 55 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 25 %gleiches Oberthema, hilft nicht
    • SubQ 59 %gleiches Oberthema, hilft nicht
    • drex 51 %gleiches Oberthema, hilft nicht
    • d3-ultra 57 %gleiches Oberthema, hilft nicht

    • SF-V3-T03 Werden Labore und die übrige Branche gemeinsame Tests veröffentlichen, ob Werte bei unbekannten Aufgaben, widerstreitenden Anreizen, in gegnerischen Lagen und bei fehlender oder anders wahrgenommener Aufsicht halten, unabhängig wiederholt und mit Fehlschlägen und Unsicherheit? Luna: Stufe 3 · 38 % · Hintergrund, keine Belege
  3. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 28 %einzelne zitierbare Belege
    • amos 40 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  4. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 21 %gleiches Oberthema, hilft nicht
    • Luna 52 %Hintergrund, keine Belege
    • JEV 34 %einzelne zitierbare Belege
    • amos 29 %Hintergrund, keine Belege
    • SubQ 47 %gleiches Oberthema, hilft nicht
    • drex 28 %Hintergrund, keine Belege
    • d3-ultra 45 %gleiches Oberthema, hilft nicht

    • SF-V5-T01 Was sollte ein Modell schon heute tun, nicht erst bei rekursiver Selbstverbesserung (wenn KI ihre eigene Weiterentwicklung selbst vorantreibt), um äußerste Vorsicht angesichts rasch wachsender maschineller Intelligenz ernst zu nehmen? Luna: Stufe 4 · 38 % · einzelne zitierbare Belege
Agenten und vernetzte Systeme
  1. SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
    • clef 29 %Hintergrund, keine Belege
    • Luna 54 %Hintergrund, keine Belege
    • JEV 41 %Hintergrund, keine Belege
    • amos 25 %nur am Rande erwähnt
    • SubQ 47 %gleiches Oberthema, hilft nicht
    • drex 41 %gleiches Oberthema, hilft nicht
    • d3-ultra 49 %gleiches Oberthema, hilft nicht

    • SF-A1-T03 Werden Freigabetests messen, ob ein Agent folgenreiche Handlungen außerhalb seines Auftrags unterlässt, auch wenn kein einzeln aufgeführtes Verbot sie blockiert, und werden die Kriterien veröffentlicht? Luna: Stufe 3 · 31 % · Hintergrund, keine Belege
Modelle teilen und schützen
  1. SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 30 %Hintergrund, keine Belege
    • amos 31 %gleiches Oberthema, hilft nicht
    • SubQ 65 %gleiches Oberthema, hilft nicht
    • drex 39 %gleiches Oberthema, hilft nicht
    • d3-ultra 50 %gleiches Oberthema, hilft nicht
Frieden und Sicherheit
Offenlegung und Rechenschaft
  1. SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
    • clef 100 %kein Bezug
    • Luna 52 %Hintergrund, keine Belege
    • JEV 30 %einzelne zitierbare Belege
    • amos 28 %nur am Rande erwähnt
    • SubQ 63 %gleiches Oberthema, hilft nicht
    • drex 38 %gleiches Oberthema, hilft nicht
    • d3-ultra 63 %gleiches Oberthema, hilft nicht

Beteiligung und Gemeinwohl
  1. SF-E2 In welchem Rahmen sollen Staaten KI regeln, und wo liegt eine gemeinsame Untergrenze?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 35 %Hintergrund, keine Belege
    • amos 40 %gleiches Oberthema, hilft nicht
    • SubQ 68 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra 60 %gleiches Oberthema, hilft nicht
Wirtschaft und Haftung

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →