Decoding Safety Feedback from Diverse Raters: A Data-driven Lens on Responsiveness to Severity
Zusammenfassung
Für diesen Bericht lag nur ein Auszug oder keine vollständige Fassung vor. Die Zusammenfassung sagt das selbst.
Kurz
Der Auszug ist das Abstract eines Artikels über Kennzahlen, mit denen sich analysieren lässt, wie verschiedene Gruppen auf ordinalen Skalen die Schwere von Sicherheitsverstößen ausdrücken. Die Autorinnen und Autoren zufolge könnte die Methode die Auswahl von Bewertenden und die Interpretation pluralistischen Feedbacks verbessern; konkrete Ergebnisse und Einschränkungen sind im Auszug nicht ausgeführt.
Mittel
Der vorliegende Bericht ist ein Abstract, nicht der vollständige Artikel. Er befasst sich damit, wie unterschiedliche Gruppen Sicherheitsverletzungen auf ordinalen Skalen, etwa Likert-Skalen, nach Schwere bewerten. Die Autorinnen und Autoren stellen nichtparametrische Kennzahlen vor, die erfassen sollen, wie Bewertende sowohl größere als auch feinere Schwereunterschiede ausdrücken. Sie wenden diese Kennzahlen laut Abstract auf öffentlich verfügbare Datensätze mit pluralistischem Sicherheitsfeedback an und untersuchen Unterschiede zwischen demografischen Gruppen und Arten von Verstößen.
Den Autorinnen und Autoren zufolge kann der Ansatz vielfältige Perspektiven sichtbar machen und bei der Auswahl von Bewertenden sowie der Interpretation ihres Feedbacks helfen. Das könne die Erhebung pluralistischer Daten verbessern und eine robustere Ausrichtung von KI-Systemen unterstützen. Der Auszug nennt jedoch weder konkrete quantitative Ergebnisse noch Details zu Datensätzen, Kennzahlen, Gruppen oder Einschränkungen. Die genannten Nutzen sind daher als Aussagen des Abstracts wiedergegeben.
Ausführlich lesen
Der bereitgestellte Berichtsauszug besteht aus dem Abstract einer TMLR-Veröffentlichung; der Volltext liegt hier nicht vor. Das Abstract behandelt die Auswertung von Sicherheitsurteilen zu Verstößen durch unterschiedlich zusammengesetzte Gruppen. Die Autorinnen und Autoren argumentieren, dass Sicherheitsfeedback pluralistische Sichtweisen berücksichtigen müsse und dass ordinale Antwortskalen, etwa Likert-Skalen, mehr enthalten als eine einfache Rangfolge: Bewertende könnten damit sowohl grobe Unterschiede als auch feinere Abstufungen der Schwere ausdrücken.
Als Vorgehen stellen sie nichtparametrische Kennzahlen zur „Responsivität“ vor. Diese sollen erfassen, wie Bewertende Unterschiede in der Schwere von Sicherheitsverletzungen über eine ordinale Skala vermitteln. Die Kennzahlen wenden sie laut Abstract auf öffentlich verfügbare Datensätze mit pluralistischem Sicherheitsfeedback an und untersuchen deren Verwendung durch verschiedene demografische Gruppen sowie über unterschiedliche Arten von Verstößen hinweg.
Die Autorinnen und Autoren berichten, ihr Ansatz könne nuancierte Perspektiven sichtbar machen und dadurch helfen, Bewertende auszuwählen und ihr Feedback zu interpretieren. Dies könne die Qualität pluralistischer Datenerhebung verbessern und zu einer zuverlässigeren Ausrichtung von KI-Systemen in unterschiedlichen kulturellen Kontexten beitragen. Das sind Aussagen des Abstracts; konkrete Messwerte oder Belege werden im vorliegenden Auszug nicht genannt. Ebenso fehlen Angaben zu den verwendeten Datensätzen, den konkreten Kennzahlen, den untersuchten Gruppen und Verstoßarten sowie zu Einschränkungen oder Ergebnissen im Einzelnen.
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 39 %Hintergrund, keine Belege
- JEV 42 %Hintergrund, keine Belege
- amos 24 %Hintergrund, keine Belege
- SubQ 43 %gleiches Oberthema, hilft nicht
- drex 48 %gleiches Oberthema, hilft nicht
- d3-ultra 50 %gleiches Oberthema, hilft nicht
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 55 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 52 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 41 %gleiches Oberthema, hilft nicht
- d3-ultra 52 %gleiches Oberthema, hilft nicht
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 35 %Hintergrund, keine Belege
- JEV 31 %Hintergrund, keine Belege
- amos 34 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 46 %gleiches Oberthema, hilft nicht
- d3-ultra 60 %gleiches Oberthema, hilft nicht
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 53 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 34 %gleiches Oberthema, hilft nicht
- JEV 52 %gleiches Oberthema, hilft nicht
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 48 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 44 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 72 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 41 %Hintergrund, keine Belege
- JEV 30 %Hintergrund, keine Belege
- amos 26 %Hintergrund, keine Belege
- SubQ 37 %gleiches Oberthema, hilft nicht
- drex 34 %gleiches Oberthema, hilft nicht
- d3-ultra 52 %gleiches Oberthema, hilft nicht
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 39 %Hintergrund, keine Belege
- JEV 31 %Hintergrund, keine Belege
- amos 32 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 57 %gleiches Oberthema, hilft nicht
- d3-ultra 58 %gleiches Oberthema, hilft nicht
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 59 %Hintergrund, keine Belege
- JEV 39 %Hintergrund, keine Belege
- amos 27 %gleiches Oberthema, hilft nicht
- SubQ 46 %gleiches Oberthema, hilft nicht
- drex 48 %gleiches Oberthema, hilft nicht
- d3-ultra 65 %gleiches Oberthema, hilft nicht
Modelle teilen und schützen
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 40 %gleiches Oberthema, hilft nicht
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 52 %gleiches Oberthema, hilft nicht
- SubQ 48 %gleiches Oberthema, hilft nicht
- drex 48 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-O3 Welcher Text gilt, und wie beweist man, dass ein Dokument nicht verändert wurde?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 49 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 31 %gleiches Oberthema, hilft nicht
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E2 In welchem Rahmen sollen Staaten KI regeln, und wo liegt eine gemeinsame Untergrenze?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 40 %Hintergrund, keine Belege
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 40 %Hintergrund, keine Belege
- amos 29 %gleiches Oberthema, hilft nicht
- SubQ 48 %gleiches Oberthema, hilft nicht
- drex 46 %gleiches Oberthema, hilft nicht
- d3-ultra 55 %gleiches Oberthema, hilft nicht
Weitere Berichte zu diesen Fragen
- Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- In welchem Rahmen sollen Staaten KI regeln, und wo liegt eine gemeinsame Untergrenze?
- Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- Alle Berichte im Archiv