Bounty: Diverse hard tasks for LLM agents
Zusammenfassung
Kurz
Der inzwischen als veraltet bezeichnete METR-Beitrag sucht schwierige, realitätsnahe Aufgaben zur Bewertung autonomer LLM-Agenten und nennt Beiträge, Vergütungen sowie Anforderungen an Gestaltung und Dokumentation. Er betont zuverlässige, möglichst abgestufte Bewertung und unabhängige Qualitätssicherung, berichtet aber keine abgeschlossenen Testergebnisse.
Mittel
Der Beitrag beschreibt einen inzwischen als veraltet gekennzeichneten METR-Aufruf für Ideen, Spezifikationen und Implementierungen von Aufgaben, mit denen autonome LLM-Agenten geprüft werden sollen. Ein Update vom März 2024 verweist auf einen aktuellen Leitfaden. Die genannten Vergütungen reichen von 20 US-Dollar für eine vielversprechende Idee über 200 Dollar für eine geeignete Spezifikation bis zu einer implementierungsabhängigen Zahlung: als Beispiel nennt der Text das Dreifache der geschätzten menschlichen Arbeitskosten, gegebenenfalls mit Bonus.
Gesucht werden schwierige, möglichst realitätsnahe Aufgaben aus Bereichen wie Softwareentwicklung, Cybersicherheit und KI-Forschung. Sie sollen vielfältige Fähigkeiten und unterschiedliche Schwierigkeitsgrade erfassen, wenig anfällig für auswendig gelernte Lösungen sein und zuverlässig, möglichst abgestuft bewertet werden können. Vorgesehen ist eine Ausführung in virtuellen Maschinen mit festgelegten Ressourcen und Zugriffsrechten.
Der Beitrag verlangt für Implementierungen ausführliche Dokumentation und einen unabhängigen Qualitätssicherungslauf, der unter anderem Setup-, Bewertungs- und Verständlichkeitsprobleme finden soll. Beispiele zu Webanwendungen und lokaler Recherche zeigen jeweils Nutzen und mögliche Bewertungs- oder Fairnessprobleme. Der Text gibt Empfehlungen und Vergütungsbedingungen wieder, aber keine Ergebnisse abgeschlossener Agententests; außerdem verweist er selbst für aktuelle Bedingungen auf einen neueren Leitfaden.
Ausführlich lesen
Der Bericht ist ein inzwischen ausdrücklich als veraltet gekennzeichneter METR-Aufruf (ehemals ARC Evals), in dem Beiträge für Aufgaben zur Messung autonomer LLM-Agenten gesucht werden. Ein Update vom 14. März 2024 verweist für aktuelle Informationen auf einen separaten Leitfaden; die hier zusammengefassten Angaben beschreiben daher den Stand des vorliegenden Beitrags.
METR unterscheidet vier Arten von Beiträgen: Aufgabenideen, detaillierte Spezifikationen, vollständig umgesetzte Aufgaben und Empfehlungen erfolgreicher Umsetzer. Genannt werden dafür unter anderem 20 US-Dollar für eine vielversprechende Idee, 200 US-Dollar für eine geeignete Spezifikation und bei Implementierungen eine Grundvergütung vom Dreifachen der geschätzten menschlichen Arbeitskosten, ergänzt um einen möglichen Bonus. Im Beitrag dient eine zehnstündige Aufgabe für eine erfahrene Softwareentwicklerin oder einen erfahrenen Softwareentwickler mit 100 Dollar Stundenlohn als Beispiel: Die Grundvergütung läge bei 3.000 Dollar, mit einem beispielhaften Bonus von 50 Prozent bei 4.500 Dollar. Der tatsächliche Betrag sollte nach Annahme der Spezifikation mitgeteilt werden. Für eine erfolgreiche Empfehlung werden 20 Dollar genannt. METR stellt außerdem mögliche Anerkennung, Koautorenschaft und beschleunigte Bewerbungsverfahren in Aussicht.
Gesucht werden überwiegend schwierige, realitätsnahe Aufgaben, die ein Fachmensch mehrere Stunden, idealerweise mehr als 20 Stunden, bearbeiten würde. Die Aufgaben sollen unterschiedliche Schwierigkeitsgrade abdecken und zusammen eine möglichst kontinuierliche Messung allgemeiner Fähigkeiten ermöglichen. Als Bereiche nennt der Bericht Softwareentwicklung, Cybersicherheit, allgemeine Aufgaben, die Verbesserung von Agenten und KI-Forschung. Gewünschte Fähigkeiten reichen von Recherche und dem Bewerten nützlicher Informationen bis zum Verstehen unbekannter Systeme, beharrlichen Arbeiten mit Rückmeldungen und Korrigieren von Fehlern.
Die Aufgaben laufen in einer virtuellen Maschine. Eine Aufgabendatei legt Einrichtung, verfügbare Zugriffe, Varianten und gegebenenfalls automatische Bewertung fest; Ressourcen und Dokumentation gehören ebenfalls zum Paket. METR bevorzugt Aufgaben, deren Erfolg die tatsächlichen Fähigkeiten des Agenten abbildet: Lösungen sollten möglichst wenig aus Trainingsdaten bekannt sein, die Aufgaben keine unnötigen Spezialwerkzeuge erfordern und die Ergebnisse zuverlässig und möglichst abgestuft bewertbar sein. Zugleich sollen unterschiedliche Engpässe und praktische Alltagsprobleme vorkommen, etwa Installationsfehler, Datenbereinigung oder Debugging. Eine Aufgabe soll weder durch Mehrdeutigkeit noch durch technische Fehler unfair erschwert werden.
Als Beispiele diskutiert der Beitrag eine Webanwendung für eine ungewöhnliche Brettspielvariante und lokale Recherche anhand bereitgestellter Dokumente. Für jede Form nennt er Vorteile, aber auch Grenzen: Bei der Webanwendung kann die Prüfung vieler Sonderfälle aufwendig sein und eine grafische Oberfläche textbasierte Agenten benachteiligen. Rechercheaufgaben können zu einfach oder in der Bewertung subjektiv werden und empfindlich auf Formatierung oder Agenten-Scaffolding reagieren.
Für Implementierungen verlangt METR ein getestetes Aufgabenpaket, ausführliche Dokumentation und mindestens einen unabhängigen Qualitätssicherungslauf. Dieser soll unter anderem Mehrdeutigkeiten, fehlende Ressourcen, Abkürzungen, Bewertungsfehler und Unterschiede zwischen menschlicher und Agentenumgebung aufdecken. Der Bericht empfiehlt außerdem, beim Entwickeln und Testen Einstellungen zum Gesprächsverlauf und zur Datennutzung für Training zu deaktivieren und Aufgabenlösungen nicht öffentlich zu veröffentlichen. Als Grenze der Aussagekraft gilt: Der Beitrag ist veraltet; er beschreibt einen Aufruf und Kriterien, berichtet aber keine abgeschlossenen Evaluationsergebnisse.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Der Bericht ist laut Update vom 14.03.2024 veraltet und verweist auf einen aktuellen Leitfaden; Luna sollte dies in der Zusammenfassung betonen und das Verbot öffentlicher Veröffentlichung von Aufgaben ergänzen.
Im Bericht, aber nicht in der Zusammenfassung
- Verbot, Aufgaben oder Lösungen öffentlich ins Web zu stellen, um Trainingsdaten-Verunreinigung zu vermeiden
- Hinweis, ChatGPT-Verlauf auszuschalten und Copilot-Training auf eigenen Daten zu unterbinden
- Mindestdauer: für Menschen mehr als 2 Stunden, idealerweise mehr als 20 Stunden
- Der Beitrag gehört zu METR (vormals ARC Evals) und ist eine Ausschreibung mit Fokus auf Aufgabenqualität und Bewertbarkeit
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Vorfälle melden
- SF-M3 Wie stellt man fest, ob ein Vorfall gewollt oder versehentlich war, und ob KI oder herkömmliche Mittel dahinterstecken?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 37 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 42 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-M4 Wie kommen Meldungen von Laboren, Betreibern und Nutzern schnell und geschützt zu den Stellen, die handeln müssen, auch über Grenzen hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 37 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 22 %Hintergrund, keine Belege
- Luna 42 %einzelne zitierbare Belege
- JEV 30 %beantwortet teilweise oder widerspricht
- amos 39 %einzelne zitierbare Belege
- SubQ 26 %Hintergrund, keine Belege
- drex 25 %einzelne zitierbare Belege
- d3-ultra 39 %Hintergrund, keine Belege
- Haiku-Prüfung einzelne zitierbare Belege
- SF-F1-T01 Welche Belege zu Cyberfähigkeiten soll ein Labor vor der Freigabe eines Modells veröffentlichen (Methoden, Aufgabenfamilien, Fehlerraten, getestete Version, reproduzierbare Cyber-Tests in abgeschirmter Umgebung für unabhängige Prüfer), damit jedes Ministerium sie nachstellen kann, statt ihnen vertrauen zu müssen? Und führt es für dieselbe Modellversion abgestimmte Cyber-Tests durch, die sowohl den durch Schutzmaßnahmen verhinderten Missbrauch als auch die legitimen Abwehraufgaben messen, die dieselben Schutzmaßnahmen blockieren, und weist es beide Ergebnisse aus?
- SF-F1-T02 Veröffentlichen Labore abgestimmte Cyber-Tests, die zeigen, was jedes Modell mehr leistet als ein Mensch ohne KI-Hilfe?
- SF-F1-T03 Auf welche einzelne Zahl zur offensiven Cyberfähigkeit eines Modells würden sich Regierungen einigen, um sie vor der Freigabe zu veröffentlichen, nicht erst danach?
- SF-F1-T04 Welcher gemeinsame, neutrale und offene Maßstab (Aufgaben, Erfolgsrate, abgeschirmte Testumgebung, Belege) zeigt, dass eine Cyber-Schwelle überschritten ist? Würden ein Ministerium und ein Labor in verschiedenen Staaten ihn annehmen, bevor das nächste Modell als Überschreitung eingestuft wird, damit Schwellen gemessen und nicht behauptet werden? Und dient derselbe Maßstab dann sowohl dazu, ein Modell einzustufen, als auch dazu, das Tempo seiner Entwicklung zu steuern?
- SF-F1-T05 Welche Cyber-Prüfungen und welche Testbausteine (Testfälle, Bewertungswerkzeuge, Datensätze) würden jedes Labor und jedes Ministerium anstelle einer bloßen Behauptung als gültig anerkennen, wenn andere sie an ihrem Modell durchführen? Und welche genormte Testsammlung würden Labore verschiedener Staaten gemeinsam an eingefrorenen Modellversionen laufen lassen, verwaltet von einer dritten Stelle, der alle trauen?
- SF-F1-T07 Wie sollten führende KI-Modelle über Sprachen und Kulturen hinweg geprüft und verbessert werden, damit ihr Sicherheitsverhalten nicht vom Englischen oder den Normen eines Landes abhängt?
- SF-F1-T09 Wem gehört eine gemeinsam gebaute Testsammlung, wer darf sie an wessen Modellen erneut laufen lassen, darf ein Beteiligter seine Aufgaben zurückziehen, nachdem Ergebnisse veröffentlicht sind, und was wird dann aus der Vergleichbarkeit?
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 28 %Hintergrund, keine Belege
- SubQ 45 %gleiches Oberthema, hilft nicht
- drex 42 %gleiches Oberthema, hilft nicht
- d3-ultra 55 %gleiches Oberthema, hilft nicht
- SF-F3 Welche Regeln gelten für gefährliche Fähigkeiten jenseits von Cyber, etwa in Biologie, Chemie, bei radioaktiven Stoffen oder in der Nukleartechnik?
- clef 100 %kein Bezug
- Luna 36 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F3-T02 Welche Verantwortung sollten KI-Firmen gegenüber der Öffentlichkeit tragen, wenn ihre Modelle grundlegende wissenschaftliche Entdeckungen ermöglichen, die gefährliche Anwendungen finden könnten?
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 27 %Hintergrund, keine Belege
- SubQ 44 %gleiches Oberthema, hilft nicht
- drex 48 %gleiches Oberthema, hilft nicht
- d3-ultra 55 %gleiches Oberthema, hilft nicht
- SF-F5 Wie gehen Staaten gemeinsam gegen KI-gestützte Cyberangriffe vor und verhindern Eskalation zwischen autonomen Systemen, ohne die Verteidigung zu behindern?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 56 %gleiches Oberthema, hilft nicht
- drex 50 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 27 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 50 %gleiches Oberthema, hilft nicht
- d3-ultra 48 %gleiches Oberthema, hilft nicht
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 39 %gleiches Oberthema, hilft nicht
- JEV 100 %kein Bezug
- amos 30 %gleiches Oberthema, hilft nicht
- SubQ 47 %gleiches Oberthema, hilft nicht
- drex 44 %gleiches Oberthema, hilft nicht
- d3-ultra 55 %gleiches Oberthema, hilft nicht
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 21 %Hintergrund, keine Belege
- Luna 45 %einzelne zitierbare Belege
- JEV 30 %umfangreiche Belege
- amos 32 %Hintergrund, keine Belege
- SubQ 33 %gleiches Oberthema, hilft nicht
- drex 24 %Hintergrund, keine Belege
- d3-ultra 42 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung gleiches Oberthema, hilft nicht
- SF-P3-T02 Welche unabhängig überprüfbaren Zusagen könnten Regierungen von ihren KI-Laboren zur Veröffentlichung verlangen, und wie sieht unabhängige Prüfung aus, wenn der Beleg, dass ein Modell seinen vorgesehenen Zielen und Werten folgt, nur vom trainierenden Labor kommt und Prüfer weder die Modellgewichte (die gelernten Parameter) noch die Trainingsdaten sehen?
- SF-P3-T06 Wenn getrennte Sicherheitsprüfungen Repositorien, Zwischenspeicher oder andere beschreibbare Dienste teilen: Wie zeigt man, dass Modellinstanzen zwischen den Läufen keine Informationen austauschen und dadurch das gemeldete Ergebnis ungültig machen können?
- SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 50 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 54 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 33 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 38 %gleiches Oberthema, hilft nicht
- d3-ultra 65 %gleiches Oberthema, hilft nicht
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 34 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 53 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 25 %nur am Rande erwähnt
- Luna 29 %Hintergrund, keine Belege
- JEV 28 %nur am Rande erwähnt
- amos 29 %nur am Rande erwähnt
- SubQ 55 %gleiches Oberthema, hilft nicht
- drex 34 %nur am Rande erwähnt
- d3-ultra 47 %gleiches Oberthema, hilft nicht
- SF-T3-T05 Wenn Selbstverbesserung schneller voranschreitet als der Beobachtungstakt fortlaufender Prüfer: Wie kurz muss dieser Takt sein, und wer darf zwischen zwei Beobachtungen eine Pause durchsetzen: der Prüfer, das Labor oder eine Stelle von außen?
- SF-T3-T07 Wenn mehrere Anbieter je verschiedene Stufen von Forschung, Training und Prüfung automatisieren und erst ihre ausgetauschten Ergebnisse zusammen einen Kreislauf der Selbstverbesserung schließen, ohne dass eine Firma den ganzen Ablauf betreibt: Welche Regel stellt diesen gemeinsamen Kreislauf unter Aufsicht?
- SF-T3-T08 Welche kontrollierten Versuche können Labore heute machen, um Selbstverbesserung nachzubilden, ohne eine unbeabsichtigte Beschleunigung zu riskieren?
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 29 %Hintergrund, keine Belege
- SubQ 46 %gleiches Oberthema, hilft nicht
- drex 34 %gleiches Oberthema, hilft nicht
- d3-ultra 61 %gleiches Oberthema, hilft nicht
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 45 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 32 %nur am Rande erwähnt
- SubQ 47 %gleiches Oberthema, hilft nicht
- drex 46 %gleiches Oberthema, hilft nicht
- d3-ultra 54 %gleiches Oberthema, hilft nicht
- SF-V3-T02 Wie macht man die Ausrichtung eines Modells an Werten zu prüfbaren Verhaltensregeln statt zu angestrebten menschlichen Eigenschaften wie der „Liebe zur Menschheit“?
- SF-V3-T03 Werden Labore und die übrige Branche gemeinsame Tests veröffentlichen, ob Werte bei unbekannten Aufgaben, widerstreitenden Anreizen, in gegnerischen Lagen und bei fehlender oder anders wahrgenommener Aufsicht halten, unabhängig wiederholt und mit Fehlschlägen und Unsicherheit?
- SF-V3-T04 Wer muss Rechenschaft ablegen, wenn ein Modell Werte auf Lagen überträgt, die beim Training niemand vorhergesehen hat: das Modell, das Labor oder der Mensch, der das Ziel gesetzt hat?
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 35 %einzelne zitierbare Belege
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 21 %gleiches Oberthema, hilft nicht
- Luna 37 %einzelne zitierbare Belege
- JEV 23 %einzelne zitierbare Belege
- amos 29 %Hintergrund, keine Belege
- SubQ 51 %gleiches Oberthema, hilft nicht
- drex 29 %gleiches Oberthema, hilft nicht
- d3-ultra 66 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung nur am Rande erwähnt
- SF-V5-T01 Was sollte ein Modell schon heute tun, nicht erst bei rekursiver Selbstverbesserung (wenn KI ihre eigene Weiterentwicklung selbst vorantreibt), um äußerste Vorsicht angesichts rasch wachsender maschineller Intelligenz ernst zu nehmen?
- SF-V5-T03 Ist es wirtschaftlich klug, Modelle mit geringem Denkaufwand zu betreiben, oder wird das Ausrichtungsproblem (Modelle dazu zu bringen, den vorgesehenen Zielen und Werten zu folgen) dadurch nur schwerer sichtbar?
Agenten und vernetzte Systeme
- SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- clef 25 %Hintergrund, keine Belege
- Luna 45 %Hintergrund, keine Belege
- JEV 36 %beantwortet teilweise oder widerspricht
- amos 25 %Hintergrund, keine Belege
- SubQ 44 %gleiches Oberthema, hilft nicht
- drex 33 %gleiches Oberthema, hilft nicht
- d3-ultra 58 %gleiches Oberthema, hilft nicht
- SF-A1-T03 Werden Freigabetests messen, ob ein Agent folgenreiche Handlungen außerhalb seines Auftrags unterlässt, auch wenn kein einzeln aufgeführtes Verbot sie blockiert, und werden die Kriterien veröffentlicht?
- SF-A2 Lassen sich KI-Systeme sicher anhalten, zurücksetzen, abschotten oder drosseln, und wer darf das anordnen?
- clef 31 %gleiches Oberthema, hilft nicht
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 28 %nur am Rande erwähnt
- SubQ 49 %gleiches Oberthema, hilft nicht
- drex 39 %gleiches Oberthema, hilft nicht
- d3-ultra 56 %gleiches Oberthema, hilft nicht
- SF-A3 Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 37 %gleiches Oberthema, hilft nicht
- SubQ 53 %gleiches Oberthema, hilft nicht
- drex 46 %gleiches Oberthema, hilft nicht
- d3-ultra 55 %gleiches Oberthema, hilft nicht
Modelle teilen und schützen
- SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- clef 100 %kein Bezug
- Luna 26 %gleiches Oberthema, hilft nicht
- JEV 100 %kein Bezug
- amos 32 %nur am Rande erwähnt
- SubQ 44 %gleiches Oberthema, hilft nicht
- drex 44 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 23 %nur am Rande erwähnt
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 62 %gleiches Oberthema, hilft nicht
- drex 56 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 29 %nur am Rande erwähnt
- SubQ 100 %kein Bezug
- drex 29 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Frieden und Sicherheit
- SF-K2 Wie weit gelten KI-Abkommen für Verbündete und Geheimdienste, und wie verhalten sie sich zu bestehenden Rüstungskontrollverträgen und -regimen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 54 %gleiches Oberthema, hilft nicht
- drex 46 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 33 %gleiches Oberthema, hilft nicht
- SubQ 62 %gleiches Oberthema, hilft nicht
- drex 53 %gleiches Oberthema, hilft nicht
- d3-ultra 49 %gleiches Oberthema, hilft nicht
- SF-O3 Welcher Text gilt, und wie beweist man, dass ein Dokument nicht verändert wurde?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 48 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E2 In welchem Rahmen sollen Staaten KI regeln, und wo liegt eine gemeinsame Untergrenze?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 49 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E3 Welche Stellen sind in einem Staat für KI-Sicherheit und Prüfungen zuständig, und was davon gibt es schon?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 49 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 49 %gleiches Oberthema, hilft nicht
- SubQ 47 %gleiches Oberthema, hilft nicht
- drex 46 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Wirtschaft und Haftung
- SF-W2 Wie wirken sich Wettbewerbsrecht und öffentliche Beschaffung auf die KI-Sicherheit aus?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 69 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- Welche Regeln gelten für gefährliche Fähigkeiten jenseits von Cyber, etwa in Biologie, Chemie, bei radioaktiven Stoffen oder in der Nukleartechnik?
- Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- Alle Berichte im Archiv