Portable Evaluation Tasks via the METR Task Standard
Zusammenfassung
Kurz
METR stellt einen Standard vor, mit dem sich Aufgaben für KI-Agenten einheitlich beschreiben, ausführen, bewerten und zwischen Organisationen austauschen lassen. Laut Beitrag umfasst er bereits über 1.000 Aufgaben; Grenzen sind unter anderem reine Texttests und noch nicht unterstützte Anforderungen, und künftige Versionen könnten Änderungen mit Kompatibilitätsfolgen bringen.
Mittel
Der Beitrag beschreibt METRs offenen Task Standard zur Definition und Ausführung von Aufgaben für KI-Agenten. METR gibt an, damit bereits mehr als 1.000 Aufgaben aus Bereichen wie KI-Forschung, Cybersicherheit und autonomer Leistungsfähigkeit abzudecken; auch andere Einrichtungen, darunter das britische AI Safety Institute, nutzten das Format zum Austausch von Aufgaben.
Als Vorteile nennt METR die leichtere Übertragbarkeit und eine präzisere Spezifikation. Das Repository stelle zudem erprobten Code für Aufgabenanweisungen, Materialien, Internetberechtigungen, Container oder virtuelle Maschinen sowie Bewertung bereit. Technisch benötigt eine Aufgabenfamilie mindestens zwei Funktionen: `get_tasks` liefert die Aufgabendaten und `get_instructions` die Agentenanweisungen. Weitere Funktionen können Einrichtung, Dienste und automatische Bewertung ergänzen.
Der Standard eigne sich laut Beitrag weniger für reine Texttests ohne Umgebungsinteraktion oder für noch nicht unterstützte Anforderungen. Künftige Versionen könnten inkompatible Änderungen enthalten, die METR möglichst begrenzen wolle. METR beschreibt das Format als noch jung und strebt langfristig ein öffentliches Gemeinschaftsgut an. Nutzungs- und Nutzenangaben sind Selbstauskünfte des Beitrags; unabhängige Vergleichsdaten nennt er nicht.
Ausführlich lesen
Der Beitrag stellt den von METR veröffentlichten Task Standard vor, ein gemeinsames Format zur Beschreibung und Ausführung von Aufgaben für die Bewertung von KI-Agenten. METR berichtet, den Standard bereits für mehr als 1.000 Aufgaben aus Bereichen wie KI-Forschung und -Entwicklung, Cybersicherheit und allgemeiner autonomer Leistungsfähigkeit zu verwenden. Auch andere Organisationen, darunter das britische AI Safety Institute, nutzten ihn laut Beitrag, um Aufgaben einfacher mit METR auszutauschen.
Als Hauptnutzen nennt METR die Übertragbarkeit: Organisationen können Aufgaben teilen und Aufgaben anderer übernehmen. Eine standardisierte Spezifikation soll dabei das Verhalten einer Aufgabe klarer festlegen. Wenn Einrichtungen Adapter zu ihren eigenen Systemen schreiben, könnten Aufgaben dadurch zuverlässiger wie vorgesehen funktionieren. METR zufolge erfordert das Übertragen von Aufgaben ansonsten häufig zusätzliche Klärungen, technische Arbeit für einzelne Aufgaben und Qualitätssicherung. Außerdem enthalte das Repository erprobten Code zum Festlegen von Anweisungen, Materialien und Internetzugang, zum Einrichten einer passenden Container- oder VM-Umgebung und zur Bewertung der Ergebnisse.
Der technische Kern: Eine Aufgabenfamilie wird durch zwei bis sechs Funktionen und eine Konstante beschrieben. Verpflichtend sind `get_tasks`, das Aufgabendaten bereitstellt, und `get_instructions`, das die jeweiligen Agentenanweisungen festlegt. Optionale Funktionen können unter anderem Berechtigungen wie Internetzugang, die Installation und den Start von Diensten, zusätzliche virtuelle Maschinen oder eine automatische Bewertung konfigurieren. Ein Beispiel veranschaulicht eine Aufgabe, bei der ein Agent ein Wort anhand seines SHA-256-Hashes finden soll.
Der Beitrag benennt auch Grenzen. Der Standard sei weniger passend für Aufgaben ohne Agenteninteraktion mit einer Umgebung, etwa reine Textevaluationen, oder für Anforderungen, die er noch nicht unterstütze. METR verweist auf geplante Erweiterungen und erklärt, gewünschte Funktionen vermutlich innerhalb von weniger als einer Woche ergänzen zu können. Zudem könnten künftige Versionen inkompatible Änderungen enthalten; METR beabsichtige, solche Änderungen zu begrenzen und Adapter zwischen Versionen praktikabel zu halten.
METR beschreibt den Standard als noch in der Entwicklung und erklärt, ihn langfristig als öffentliches Gemeinschaftsgut statt als eigenes Produkt etablieren zu wollen. Der Beitrag lädt zu Rückmeldungen ein. Die Angaben zur Nutzung, zu Vorteilen und zur möglichen Geschwindigkeit von Erweiterungen stammen von METR; unabhängige Nachweise oder Vergleichsmessungen werden im Text nicht vorgelegt.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Bewertet wurde die mittlere Zusammenfassung; die kurze Fassung ist ebenfalls treu, lässt aber Angaben zu Nutzern wie dem britischen AI Safety Institute aus. Der Bericht ist ein Technikbeitrag zu einem Aufgabenstandard und beantwortet die Sammelfragen nur teilweise, sodass die Einordnungen niedrig bis mittel ausfallen.
Im Bericht, aber nicht in der Zusammenfassung
- Motivation: Aufgaben zu erstellen und zu validieren ist aufwendig, daher der Wunsch, Aufgaben anderer wiederzuverwenden
- Adaptoren zwischen dem Standard und internen Systemen machen Aufgaben wahrscheinlicher wie beabsichtigt funktionsfähig und verringern Spezifikations- und Prüfaufwand
- Standardmäßig ist kein Internetzugang möglich; eine optionale Zusatz-VM dient dazu, schwer sicher containerisierbare Aufgaben zu unterstützen
In der Zusammenfassung, laut Prüfung nicht im Bericht belegt
- „offenen“ als Beschreibung des Task Standards: Der Bericht nennt ihn nicht ausdrücklich offen, sondern spricht nur von einem künftigen öffentlichen Gemeinschaftsgut
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Vorfälle melden
- SF-M4 Wie kommen Meldungen von Laboren, Betreibern und Nutzern schnell und geschützt zu den Stellen, die handeln müssen, auch über Grenzen hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 20 %beantwortet teilweise oder widerspricht
- Luna 52 %einzelne zitierbare Belege
- JEV 35 %beantwortet teilweise oder widerspricht
- amos 36 %einzelne zitierbare Belege
- SubQ 27 %einzelne zitierbare Belege
- drex 28 %umfangreiche Belege
- d3-ultra 51 %einzelne zitierbare Belege
- Haiku-Prüfung beantwortet teilweise oder widerspricht
- SF-F1-T01 Welche Belege zu Cyberfähigkeiten soll ein Labor vor der Freigabe eines Modells veröffentlichen (Methoden, Aufgabenfamilien, Fehlerraten, getestete Version, reproduzierbare Cyber-Tests in abgeschirmter Umgebung für unabhängige Prüfer), damit jedes Ministerium sie nachstellen kann, statt ihnen vertrauen zu müssen? Und führt es für dieselbe Modellversion abgestimmte Cyber-Tests durch, die sowohl den durch Schutzmaßnahmen verhinderten Missbrauch als auch die legitimen Abwehraufgaben messen, die dieselben Schutzmaßnahmen blockieren, und weist es beide Ergebnisse aus?
- SF-F1-T02 Veröffentlichen Labore abgestimmte Cyber-Tests, die zeigen, was jedes Modell mehr leistet als ein Mensch ohne KI-Hilfe?
- SF-F1-T04 Welcher gemeinsame, neutrale und offene Maßstab (Aufgaben, Erfolgsrate, abgeschirmte Testumgebung, Belege) zeigt, dass eine Cyber-Schwelle überschritten ist? Würden ein Ministerium und ein Labor in verschiedenen Staaten ihn annehmen, bevor das nächste Modell als Überschreitung eingestuft wird, damit Schwellen gemessen und nicht behauptet werden? Und dient derselbe Maßstab dann sowohl dazu, ein Modell einzustufen, als auch dazu, das Tempo seiner Entwicklung zu steuern?
- SF-F1-T05 Welche Cyber-Prüfungen und welche Testbausteine (Testfälle, Bewertungswerkzeuge, Datensätze) würden jedes Labor und jedes Ministerium anstelle einer bloßen Behauptung als gültig anerkennen, wenn andere sie an ihrem Modell durchführen? Und welche genormte Testsammlung würden Labore verschiedener Staaten gemeinsam an eingefrorenen Modellversionen laufen lassen, verwaltet von einer dritten Stelle, der alle trauen?
- SF-F1-T07 Wie sollten führende KI-Modelle über Sprachen und Kulturen hinweg geprüft und verbessert werden, damit ihr Sicherheitsverhalten nicht vom Englischen oder den Normen eines Landes abhängt?
- SF-F1-T09 Wem gehört eine gemeinsam gebaute Testsammlung, wer darf sie an wessen Modellen erneut laufen lassen, darf ein Beteiligter seine Aufgaben zurückziehen, nachdem Ergebnisse veröffentlicht sind, und was wird dann aus der Vergleichbarkeit?
- SF-F1-T10 Was wäre nötig, damit eine staatliche Aufsichtsplattform für KI-Sicherheit und unabhängige Prüfer mit dauerhaftem Zugang im Labor nach einem gemeinsamen öffentlichen Protokoll dieselben Cyber-Tests in einer gemeinsamen Testumgebung durchführen, die Prüfer zweier Staaten jeweils am Modell des anderen, und die Ergebnisse in beiden veröffentlichen? Und könnten zwei Staaten eine gemeinsam bezeugte Prüfung desselben führenden KI-Modells durchführen und übereinstimmende Prüfsummen (Hashes) der Ergebnisse veröffentlichen?
- SF-F1-T11 Werden Ministerien eine Behauptung über Fähigkeiten nur anerkennen, wenn ein anderer Staat denselben Test wiederholen kann, und können sie sich auf unabhängige Prüfer und einen sicheren Zugang einigen, um strittige Befunde nachzustellen?
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 25 %einzelne zitierbare Belege
- SubQ 40 %gleiches Oberthema, hilft nicht
- drex 40 %gleiches Oberthema, hilft nicht
- d3-ultra 61 %gleiches Oberthema, hilft nicht
- SF-F3 Welche Regeln gelten für gefährliche Fähigkeiten jenseits von Cyber, etwa in Biologie, Chemie, bei radioaktiven Stoffen oder in der Nukleartechnik?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 35 %gleiches Oberthema, hilft nicht
- amos 28 %nur am Rande erwähnt
- SubQ 100 %kein Bezug
- drex 44 %gleiches Oberthema, hilft nicht
- d3-ultra 63 %gleiches Oberthema, hilft nicht
- SF-F5 Wie gehen Staaten gemeinsam gegen KI-gestützte Cyberangriffe vor und verhindern Eskalation zwischen autonomen Systemen, ohne die Verteidigung zu behindern?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 35 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 29 %Hintergrund, keine Belege
- Luna 100 %kein Bezug
- JEV 38 %einzelne zitierbare Belege
- amos 26 %Hintergrund, keine Belege
- SubQ 42 %gleiches Oberthema, hilft nicht
- drex 34 %gleiches Oberthema, hilft nicht
- d3-ultra 63 %gleiches Oberthema, hilft nicht
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 36 %Hintergrund, keine Belege
- JEV 44 %gleiches Oberthema, hilft nicht
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 46 %gleiches Oberthema, hilft nicht
- drex 46 %gleiches Oberthema, hilft nicht
- d3-ultra 60 %gleiches Oberthema, hilft nicht
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 20 %Hintergrund, keine Belege
- Luna 59 %einzelne zitierbare Belege
- JEV 40 %Hintergrund, keine Belege
- amos 32 %Hintergrund, keine Belege
- SubQ 25 %einzelne zitierbare Belege
- drex 24 %Hintergrund, keine Belege
- d3-ultra 37 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung nur am Rande erwähnt
- SF-P3-T01 Welcher gemeinsame Rahmen für Labore macht Selbstüberwachung überprüfbar, ohne geschütztes geistiges Eigentum offenzulegen, und welche unabhängigen Verfahren Dritter, falls es sie gibt, bestätigen, dass die Selbstüberwachung riskantes Verhalten vor der Freigabe wirklich findet und nicht nur Schein ist?
- SF-P3-T02 Welche unabhängig überprüfbaren Zusagen könnten Regierungen von ihren KI-Laboren zur Veröffentlichung verlangen, und wie sieht unabhängige Prüfung aus, wenn der Beleg, dass ein Modell seinen vorgesehenen Zielen und Werten folgt, nur vom trainierenden Labor kommt und Prüfer weder die Modellgewichte (die gelernten Parameter) noch die Trainingsdaten sehen?
- SF-P3-T04 Wer prüft die KI-Modelle, die andere Modelle prüfen, auf Anweisungen, Versionen und Fehlerfälle, und welche unabhängige Prüfung zeigt, dass das geprüfte Modell sie nicht manipulieren kann, besonders wenn sie aus derselben Modellfamilie stammen? Und wenn gemeinsame Tests, Schweregrade und die Ersteinstufung von Meldungen von Sprachmodellen entworfen, durchgeführt und zusammengefasst werden: Nimmt jeder Staat einen Prüfmechanismus an, dessen Kernbausteine aus ausländischen Laboren stammen?
- SF-P3-T05 Welches Mindestpaket (Datenverzeichnisse, Code, Zufallsstartwerte, Abbilder der Rechenumgebung, Prüferversionen, Fehlerprotokolle und Annahmen über die Hardware) muss ein Labor sichern oder kontrolliert hinterlegen, damit ein Prüfer ein sicherheitskritisches Trainings- oder Prüfergebnis auch nach Ende seines Zugangs nachrechnen kann, und welche Geheimnisse bleiben unzugänglich?
- SF-P3-T06 Wenn getrennte Sicherheitsprüfungen Repositorien, Zwischenspeicher oder andere beschreibbare Dienste teilen: Wie zeigt man, dass Modellinstanzen zwischen den Läufen keine Informationen austauschen und dadurch das gemeldete Ergebnis ungültig machen können?
- SF-P3-T07 Wird jede öffentliche Aussage, ein führendes KI-Modell sei „besser ausgerichtet“ als ein anderes (folge also seinen vorgesehenen Zielen und Werten besser), reproduzierbare Kriterien, externe Prüfungen und widersprechende Ergebnisse enthalten?
- SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 53 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 55 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 60 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 27 %nur am Rande erwähnt
- SubQ 100 %kein Bezug
- drex 44 %gleiches Oberthema, hilft nicht
- d3-ultra 57 %gleiches Oberthema, hilft nicht
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 76 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 36 %gleiches Oberthema, hilft nicht
- Luna 25 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 36 %nur am Rande erwähnt
- SubQ 47 %gleiches Oberthema, hilft nicht
- drex 49 %gleiches Oberthema, hilft nicht
- d3-ultra 68 %gleiches Oberthema, hilft nicht
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 29 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 43 %gleiches Oberthema, hilft nicht
- d3-ultra 58 %gleiches Oberthema, hilft nicht
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 58 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 34 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 60 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V3-T03 Werden Labore und die übrige Branche gemeinsame Tests veröffentlichen, ob Werte bei unbekannten Aufgaben, widerstreitenden Anreizen, in gegnerischen Lagen und bei fehlender oder anders wahrgenommener Aufsicht halten, unabhängig wiederholt und mit Fehlschlägen und Unsicherheit?
- SF-V3-T04 Wer muss Rechenschaft ablegen, wenn ein Modell Werte auf Lagen überträgt, die beim Training niemand vorhergesehen hat: das Modell, das Labor oder der Mensch, der das Ziel gesetzt hat?
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 38 %Hintergrund, keine Belege
- JEV 25 %Hintergrund, keine Belege
- amos 28 %gleiches Oberthema, hilft nicht
- SubQ 54 %gleiches Oberthema, hilft nicht
- drex 36 %gleiches Oberthema, hilft nicht
- d3-ultra 65 %gleiches Oberthema, hilft nicht
Agenten und vernetzte Systeme
- SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- clef 26 %Hintergrund, keine Belege
- Luna 51 %einzelne zitierbare Belege
- JEV 38 %beantwortet teilweise oder widerspricht
- amos 25 %nur am Rande erwähnt
- SubQ 100 %kein Bezug
- drex 34 %gleiches Oberthema, hilft nicht
- d3-ultra 47 %gleiches Oberthema, hilft nicht
- SF-A1-T03 Werden Freigabetests messen, ob ein Agent folgenreiche Handlungen außerhalb seines Auftrags unterlässt, auch wenn kein einzeln aufgeführtes Verbot sie blockiert, und werden die Kriterien veröffentlicht?
- SF-A2 Lassen sich KI-Systeme sicher anhalten, zurücksetzen, abschotten oder drosseln, und wer darf das anordnen?
- clef 29 %gleiches Oberthema, hilft nicht
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 27 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 38 %gleiches Oberthema, hilft nicht
- d3-ultra 53 %gleiches Oberthema, hilft nicht
- SF-A3 Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Modelle teilen und schützen
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 49 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Frieden und Sicherheit
- SF-K2 Wie weit gelten KI-Abkommen für Verbündete und Geheimdienste, und wie verhalten sie sich zu bestehenden Rüstungskontrollverträgen und -regimen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 61 %gleiches Oberthema, hilft nicht
- drex 51 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 25 %gleiches Oberthema, hilft nicht
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 66 %gleiches Oberthema, hilft nicht
- drex 43 %gleiches Oberthema, hilft nicht
- d3-ultra 51 %gleiches Oberthema, hilft nicht
- SF-O3 Welcher Text gilt, und wie beweist man, dass ein Dokument nicht verändert wurde?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 35 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
- clef 100 %kein Bezug
- Luna 49 %Hintergrund, keine Belege
- JEV 29 %einzelne zitierbare Belege
- amos 30 %gleiches Oberthema, hilft nicht
- SubQ 46 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E1-T03 Welches verbindliche Stimm- oder Vetorecht gibt Staaten des Globalen Südens und Laboren ohne Spitzenmodelle ein echtes Mitspracherecht im gemeinsamen Standard, nicht nur eine beratende Rolle?
- SF-E1-T04 Wie bekommen Staaten, in denen kein Spitzenlabor sitzt, einen echten Platz beim Setzen internationaler technischer KI-Normen, damit KI in der Praxis ein gemeinsames Gut bleibt und nicht nur wenige Regierungen und Firmen die Regeln schreiben?
- SF-E1-T05 Welche Mechanismen könnten geschaffen werden, damit Standards und Praktiken der KI-Sicherheit in Ländern des Globalen Südens berücksichtigt und nicht allein von wenigen Staaten bestimmt werden?
- SF-E1-T09 Bekommen zivile Forschende an Hochschulen und unabhängige Organisationen der Zivilgesellschaft geregelten Zugang zu Modellen, Daten und Befunden der Prüfer, oder bleibt die Prüfung bei staatlich bestellten Stellen?
- SF-E2 In welchem Rahmen sollen Staaten KI regeln, und wo liegt eine gemeinsame Untergrenze?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 30 %gleiches Oberthema, hilft nicht
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 52 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E3 Welche Stellen sind in einem Staat für KI-Sicherheit und Prüfungen zuständig, und was davon gibt es schon?
- clef 27 %nur am Rande erwähnt
- Luna 52 %einzelne zitierbare Belege
- JEV 47 %nur am Rande erwähnt
- amos 30 %nur am Rande erwähnt
- SubQ 32 %nur am Rande erwähnt
- drex 51 %nur am Rande erwähnt
- d3-ultra 58 %nur am Rande erwähnt
- Haiku-Prüfung nur am Rande erwähnt
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 38 %Hintergrund, keine Belege
- JEV 43 %einzelne zitierbare Belege
- amos 31 %gleiches Oberthema, hilft nicht
- SubQ 45 %gleiches Oberthema, hilft nicht
- drex 38 %gleiches Oberthema, hilft nicht
- d3-ultra 49 %gleiches Oberthema, hilft nicht
- SF-E4-T03 Wie können gemeinsame Sicherheitsregeln verhindern, dass hohe Kosten der Einhaltung den Markt auf wenige reiche Labore verengen, und trotzdem kleine Entwickler und Open-Source-Entwickler auf dieselbe Mindestschwelle für Sicherheit verpflichten?
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 52 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
- Welche Stellen sind in einem Staat für KI-Sicherheit und Prüfungen zuständig, und was davon gibt es schon?
- Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- Alle Berichte im Archiv