ecafb94 - Partnership on AI
Zusammenfassung
Kurz
Der vorliegende Text ist ein Berichtsauszug, der dafür plädiert, verschiedene Risiken getrennt vorherzusagen und Bewertungswerkzeuge nur im vorgesehenen Kontext einzusetzen. Er nennt sowohl übermäßiges Vertrauen in automatisierte Werte als auch deren Ignorieren als mögliche Probleme und empfiehlt verständliche Bewertungen, Hinweise auf Unsicherheit sowie Schulungen.
Mittel
Der vorliegende Text ist ein Auszug aus einem Bericht. Er fordert, dass Risikobewertungen unterschiedliche Ereignisse getrennt erfassen, statt etwa Nichterscheinen vor Gericht und erneute Festnahme in einem Gesamtwert zusammenzufassen. Die Ursachen und geeigneten Maßnahmen seien verschieden; ein Mischwert könne daher schwer verständlich sein und weniger gefährliche Ergebnisse mit schwerwiegenderen Risiken vermengen. Der Auszug verweist außerdem auf mögliche rechtliche Beschränkungen und betont, dass Werkzeuge nur für den vorgesehenen Verfahrensabschnitt und die dafür bestimmte Gruppe eingesetzt werden sollten.
Zum Umgang von Menschen mit automatisierten Bewertungen nennt der Text sowohl übermäßiges Vertrauen als auch das Ignorieren von Empfehlungen. Die in Wisconsin v. Loomis beschriebenen Warnhinweise zu COMPAS beträfen unter anderem dessen proprietäre Ausgestaltung, fehlende Validierung für Wisconsin, mögliche Ungleichbehandlung und den Bedarf an laufender Anpassung. Laut Auszug reichen wiederholte Hinweise allein möglicherweise nicht aus. Er empfiehlt verständliche Systeme, Informationen zur Unsicherheit ihrer Vorhersagen und ausreichende Schulung. Der Auszug berichtet keine eigenen Tests zur Wirksamkeit dieser Maßnahmen.
Ausführlich lesen
Der vorliegende Text ist ein Auszug aus einem Bericht: Er behandelt die Forderung, unterschiedliche Risiken in Bewertungsinstrumenten getrennt vorherzusagen, sowie Probleme beim Zusammenspiel solcher Systeme mit menschlichen Entscheidenden. Der Auszug enthält keine Angaben zum Gesamtbericht oder zu einer eigenen empirischen Untersuchung.
Der Abschnitt argumentiert, ein Risikowerkzeug solle jeweils das konkrete Ereignis bewerten, für das es eingesetzt wird. Es solle keine Gesamtwerte bilden, die etwa das Nichterscheinen zu einem Gerichtstermin und eine erneute Festnahme zusammenfassen. Solche Ereignisse beruhten laut den angeführten Quellen auf unterschiedlichen Ursachen, seien durch verschiedene Merkmale vorherzusagen und verlangten unterschiedliche Maßnahmen. Ein gemeinsamer Wert sei daher schwer zu deuten und könne weniger gefährliche Ergebnisse mit schwerwiegenderen vermischen. Als Beispiel nennt der Text Betreuungsbedarf für Kinder als möglichen Grund für versäumte Gerichtstermine, der nach seiner Darstellung weniger mit Rückfallrisiken zusammenhängt. Außerdem könnten frühere Verurteilungen wegen Taten, die inzwischen entkriminalisiert wurden, für Prognosen künftiger Straftaten anders zu bewerten sein.
Der Text führt auch rechtliche und praktische Grenzen an: In manchen Rechtsordnungen dürfe Untersuchungshaft nur auf einen bestimmten Grund gestützt werden. Risikowerte sollten zudem nur für den vorgesehenen Verfahrensabschnitt und die dafür bestimmte Bevölkerungsgruppe verwendet werden. So sei ein mögliches Nichterscheinen vor einer Gerichtsverhandlung kein geeigneter Gesichtspunkt für die Strafzumessung. Unter Verweis auf Wisconsin v. Loomis beschreibt der Auszug vorgeschriebene Hinweise zu COMPAS, darunter dessen proprietäre Ausgestaltung, fehlende Validierung für die Bevölkerung Wisconsins, mögliche ungleiche Einstufung nach Minderheitenzugehörigkeit und den Bedarf an fortlaufender Überprüfung und Anpassung.
Im Abschnitt zu Mensch-Computer-Schnittstellen beschreibt der Bericht zwei mögliche Reaktionen auf automatisierte Bewertungen: Übervertrauen (Automatisierungsbias) und das Ignorieren der Empfehlungen. Eine angeführte ethnografische Untersuchung berichtet, dass Fachleute ihre Urteile teils von den Werkzeugen abschirmten, auch weil sie deren Daten und Anwendung nicht nachvollziehen konnten. Die im Urteil verlangten Warnhinweise seien laut Auszug ein wichtiger erster Schritt, reichten aber möglicherweise nicht aus: Wiederholte lange Hinweise könnten an Wirkung verlieren und erklärten nicht unbedingt, wie die Grenzen der Werte praktisch zu berücksichtigen seien.
Als notwendige Schutzmaßnahmen nennt der Text verständliche Werkzeuge, Informationen über die Unsicherheit der Vorhersagen und ausreichende Mittel für die Schulung der Anwender. Diese Punkte werden als Anforderungen beziehungsweise Empfehlungen dargestellt; der Auszug belegt nicht, wie wirksam konkrete Umsetzungen sind.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Die Einordnung stützt sich nur auf den Bericht, der Risikobewertungswerkzeuge in der Justiz behandelt und kaum Bezug zu allgemeinen KI-Modellen, Schwellenwerten oder Cyber-Prüfungen hat; Lunas Stufen wurden nicht übernommen.
Im Bericht, aber nicht in der Zusammenfassung
- Rechtliche Beschränkungen für Haftgründe werden nur in der mittleren Fassung genannt
- Die Loomis-Warnhinweise zu COMPAS (proprietäre Ausgestaltung, fehlende Validierung für Wisconsin, mögliche Ungleichbehandlung, laufende Anpassung) fehlen in der Kurzfassung
- Beispiele wie Kinderbetreuung und Nichterscheinen oder die Trennung von bewusstem Flüchten und unbeabsichtigtem Versäumen fehlen in beiden Fassungen
- Der Hinweis, dass Vorstrafen wegen inzwischen entkriminalisierter Delikte anders zu bewerten sind, fehlt in beiden Fassungen
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Vorfälle melden
- SF-M4 Wie kommen Meldungen von Laboren, Betreibern und Nutzern schnell und geschützt zu den Stellen, die handeln müssen, auch über Grenzen hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 24 %nur am Rande erwähnt
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 63 %Hintergrund, keine Belege
- JEV 32 %Hintergrund, keine Belege
- amos 36 %gleiches Oberthema, hilft nicht
- SubQ 51 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra
- SF-F2-T01 Wenn ein Ministerium ein Modell als Beleg nennt, dass eine Schwelle überschritten ist: Veröffentlicht das Ministerium die Tests, die Modellversion und was es gemessen hat, und veröffentlicht das Labor die Cyber-Prüfung dieser Version auch in der Sprache des Ministeriums? Und welches Ergebnis würde das Ministerium dazu bringen, seine Behauptung zurückzunehmen?
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 31 %Hintergrund, keine Belege
- JEV 28 %Hintergrund, keine Belege
- amos 28 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 46 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-F5 Wie gehen Staaten gemeinsam gegen KI-gestützte Cyberangriffe vor und verhindern Eskalation zwischen autonomen Systemen, ohne die Verteidigung zu behindern?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 49 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 49 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 45 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 34 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 29 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 44 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-P3-T04 Wer prüft die KI-Modelle, die andere Modelle prüfen, auf Anweisungen, Versionen und Fehlerfälle, und welche unabhängige Prüfung zeigt, dass das geprüfte Modell sie nicht manipulieren kann, besonders wenn sie aus derselben Modellfamilie stammen? Und wenn gemeinsame Tests, Schweregrade und die Ersteinstufung von Meldungen von Sprachmodellen entworfen, durchgeführt und zusammengefasst werden: Nimmt jeder Staat einen Prüfmechanismus an, dessen Kernbausteine aus ausländischen Laboren stammen?
- SF-P3-T08 Welche gemeinsame Bezugsgröße für den Umfang der Nutzung, welcher Beobachtungszeitraum, welcher Stichprobenplan, welche Definition von Beinahe-Vorfall und welche statistische Obergrenze (obere Konfidenzgrenze) würden es jedem erlauben zu sagen: „keine erkennbare systemische Fehlausrichtung (Verhalten gegen die vorgesehenen Ziele oder Werte) im Einsatzmaßstab“? Und wie muss dargestellt werden, dass die Erkennung lückenhaft ist?
- SF-P3-T09 Was geschieht, wenn sich ein gemeinsames Prüfverfahren oder die Befunde eines Prüfers später als unzuverlässig erweisen: Wie findet man jede Einsatzfreigabe, die wesentlich darauf beruhte, prüft sie erneut, und welche vorläufigen Betriebsbedingungen gelten, bevor modellbezogene Vorfälle auftreten?
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 58 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 73 %Hintergrund, keine Belege
- JEV 37 %Hintergrund, keine Belege
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- Haiku-Prüfung gleiches Oberthema, hilft nicht
- SF-T1-T06 Welcher öffentliche Beleg zeigt, ob vereinbarte Grenzen eingehalten werden?
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 52 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 55 %gleiches Oberthema, hilft nicht
- d3-ultra
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 39 %gleiches Oberthema, hilft nicht
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 45 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 26 %einzelne zitierbare Belege
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 67 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 37 %einzelne zitierbare Belege
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 62 %einzelne zitierbare Belege
- JEV 41 %beantwortet teilweise oder widerspricht
- amos 31 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 35 %gleiches Oberthema, hilft nicht
- d3-ultra
- Haiku-Prüfung einzelne zitierbare Belege
Agenten und vernetzte Systeme
- SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- clef 100 %kein Bezug
- Luna 30 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-A2 Lassen sich KI-Systeme sicher anhalten, zurücksetzen, abschotten oder drosseln, und wer darf das anordnen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 54 %gleiches Oberthema, hilft nicht
- d3-ultra
Modelle teilen und schützen
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 50 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 37 %Hintergrund, keine Belege
- JEV 29 %Hintergrund, keine Belege
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 32 %Hintergrund, keine Belege
- JEV 26 %beantwortet teilweise oder widerspricht
- amos 35 %gleiches Oberthema, hilft nicht
- SubQ 64 %gleiches Oberthema, hilft nicht
- drex 41 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-O3 Welcher Text gilt, und wie beweist man, dass ein Dokument nicht verändert wurde?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 27 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Beteiligung und Gemeinwohl
- SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
- clef 100 %kein Bezug
- Luna 31 %gleiches Oberthema, hilft nicht
- JEV 100 %kein Bezug
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 55 %gleiches Oberthema, hilft nicht
- drex 43 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-E2 In welchem Rahmen sollen Staaten KI regeln, und wo liegt eine gemeinsame Untergrenze?
- clef 100 %kein Bezug
- Luna 29 %gleiches Oberthema, hilft nicht
- JEV 33 %beantwortet teilweise oder widerspricht
- amos 36 %gleiches Oberthema, hilft nicht
- SubQ 57 %gleiches Oberthema, hilft nicht
- drex 59 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-E3 Welche Stellen sind in einem Staat für KI-Sicherheit und Prüfungen zuständig, und was davon gibt es schon?
- clef 100 %kein Bezug
- Luna 38 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 53 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 52 %gleiches Oberthema, hilft nicht
- drex 52 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 36 %einzelne zitierbare Belege
- JEV 49 %beantwortet teilweise oder widerspricht
- amos 27 %gleiches Oberthema, hilft nicht
- SubQ 42 %gleiches Oberthema, hilft nicht
- drex 46 %gleiches Oberthema, hilft nicht
- d3-ultra
- Haiku-Prüfung Hintergrund, keine Belege
- SF-E5-T02 Welche Entscheidungen müssen menschlich bleiben, auch wenn eine KI sie besser treffen könnte, und wie würden Staaten in Entscheidungsschleifen mit hohem Risiko prüfbar machen, dass ein Mensch die Ausgabe der KI wirklich beurteilt und nicht nur routinemäßig abgenickt hat?
Wirtschaft und Haftung
- SF-W2 Wie wirken sich Wettbewerbsrecht und öffentliche Beschaffung auf die KI-Sicherheit aus?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 48 %gleiches Oberthema, hilft nicht
- d3-ultra
Weitere Berichte zu diesen Fragen
- Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- In welchem Rahmen sollen Staaten KI regeln, und wo liegt eine gemeinsame Untergrenze?
- Welche Stellen sind in einem Staat für KI-Sicherheit und Prüfungen zuständig, und was davon gibt es schon?
- Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- Alle Berichte im Archiv