Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
pai30. Juli 2021 · Q003845

6840c6a

partnershiponai.org · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Der Bericht erklärt, dass Modelle trotz korrekter Daten und ohne direkte Verwendung geschützter Merkmale verzerrt sein können, etwa durch ausgelassene Faktoren oder Stellvertretervariablen. Er vergleicht Ansätze wie gleiche Falsch-Positiv-Raten, gruppenübergreifende Kalibrierung und kausale Modellierung, betont aber Zielkonflikte und Werturteile; eine abschließende Lösung oder eigene vergleichende Prüfung liefert die Passage nicht.

Mittel

Der Bericht argumentiert, dass statistische Vorhersagemodelle auch mit korrekten Trainingsdaten und ohne ausdrücklich verwendete Merkmale wie Hautfarbe verzerrt sein können. Ausgelassene Einflussfaktoren und Stellvertretervariablen können geschützte Merkmale indirekt einbringen. Als Beispiele nennt der Text ein hypothetisches Versicherungsmodell, in dem nächtliches Fahren Nachtschichtarbeit benachteiligen könnte, sowie Fragen in Strafrisikobewertungen, die als Stellvertreter für Hautfarbe wirken können.

Vorgestellt werden drei Ansätze: Falsch-Positiv-Raten zwischen Gruppen angleichen, Vorhersagen innerhalb der Gruppen kalibrieren oder mit kausalen Modellen problematische Ursache-Wirkungs-Pfade ausschließen. Der Bericht betont Zielkonflikte: Gleiche Falsch-Positiv-Raten können unterschiedliche Genauigkeit nach sich ziehen, während gruppenübergreifende Kalibrierung mit diesem Ziel kollidieren kann. Kausale Verfahren erfordern zudem verlässliches Wissen über Zusammenhänge und begründete Entscheidungen darüber, welche Pfade zulässig sind. Keine Methode sei für alle Anwendungen die richtige; mehrere Maße sollten verglichen werden. Die Passage stellt mögliche Verfahren und Grenzen dar, bietet aber keine eigene vergleichende Prüfung oder abschließende Lösung. Sie verweist auch auf den Forschungsbedarf zur Nutzung solcher Bewertungen durch Entscheidungsträger.

Ausführlich lesen

Der Bericht behandelt die Forderung, Verzerrungen in statistischen Vorhersagemodellen zu messen und zu mindern, mit Schwerpunkt auf Risikobewertungen im US-Strafjustizsystem. Er wendet sich gegen zwei verbreitete Annahmen: dass Verzerrungen nur aus fehlerhaften oder unvollständigen Trainingsdaten entstehen und dass Modelle fair würden, wenn man geschützte Merkmale wie Hautfarbe oder Geschlecht einfach weglässt. Der Text erläutert, dass auch bei korrekten Daten Verzerrungen entstehen können, etwa durch ausgelassene Einflussfaktoren und Stellvertretervariablen. Als Beispiel führt er ein hypothetisches Versicherungsmodell an: Häufiges nächtliches Fahren könnte sowohl mit Partyfahrten und Unfallrisiko als auch mit Schichtarbeit zusammenhängen. Ein Modell könnte dadurch Menschen mit Nachtschichten benachteiligen. Im Strafjustizbereich könnten Fragen zu Freunden oder Angehörigen, die verhaftet wurden oder Opfer von Straftaten waren, als Stellvertreter für Hautfarbe wirken. Das Entfernen des Merkmals Hautfarbe allein beseitige solche Zusammenhänge demnach nicht.

Der Bericht stellt mehrere mögliche Ansätze vor und betont, dass die passende Wahl davon abhängt, was in einer konkreten Anwendung als fair gelten soll; technische, rechtliche, politische und ethische Urteile spielen dabei mit. Ein Ansatz gleicht die Falsch-Positiv-Raten zwischen Gruppen an. Das soll vermeiden, dass Menschen, die nicht rückfällig werden, in einer Gruppe häufiger fälschlich als rückfallgefährdet eingestuft und inhaftiert werden. Der Text nennt als Einschränkung, dass dies bei unterschiedlichen Rückfall-Ausgangsraten zu Unterschieden in der Vorhersagegenauigkeit und möglicherweise zu geringem Gesamtnutzen führen kann. Ein zweiter Ansatz fordert gruppenübergreifende Kalibrierung: Personen mit demselben Risikowert sollen unabhängig von ihrer Gruppe dieselbe tatsächliche Rückfallwahrscheinlichkeit haben. Laut Bericht kann dies mit ausgeglichenen Falsch-Positiv-Raten in Konflikt geraten. Er verweist auf Kritik an COMPAS wegen unterschiedlicher Falsch-Positiv-Raten und führt eine ProPublica-Auswertung an, nach der schwarze Beschuldigte auch unter Berücksichtigung bestimmter Faktoren häufiger höhere Risikowerte erhielten. Zugleich hält er fest, dass umstritten ist, ob Falsch-Positiv-Raten allein das richtige Fairnessmaß darstellen.

Ein dritter Ansatz nutzt kausale Modelle, um zulässige von problematischen Ursache-Wirkungs-Pfaden zu unterscheiden. Er kann laut Bericht offenlegen, welche Annahmen hinter einem Modell stehen und problematische Zusammenhänge gezielter entfernen. Seine Grenzen: Er erfordert gute Kenntnisse der tatsächlichen Kausalbeziehungen und Werturteile darüber, welche Pfade zulässig sind. Der Bericht sagt, dass sich manche Fairnessziele nicht gleichzeitig optimieren lassen. Er empfiehlt daher, mehrere Maße und Verfahren zu prüfen, statt eine einzige Kennzahl als ausreichend zu behandeln. Weitere diskutierte Möglichkeiten sind bessere Daten, individuelle Anhörungen, explizite Kosten-Nutzen-Abwägungen und eine Verzögerung des Einsatzes bis zur Erhebung hochwertigerer Daten. Die Passage ist eine konzeptionelle Darstellung möglicher Verfahren und ihrer Zielkonflikte; sie liefert keine eigene vergleichende Prüfung oder abschließende Lösung. Sie verweist außerdem auf Grenzen vereinfachter Kategorien für geschützte Gruppen und auf weiteren Forschungsbedarf, insbesondere dazu, wie Entscheidungsträger mehrere Vorhersagen verstehen und verwenden.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Die Einordnung stützt sich auf den Bericht zu statistischer Verzerrung und Fairness in Risikobewertungen; die Fragen zu allgemeiner KI-Governance werden dadurch nur teilweise berührt, weshalb die Stufen überwiegend niedrig bis mittel ausfallen.

Im Bericht, aber nicht in der Zusammenfassung

  • Der Ansatz der demografischen Parität (Entfernen der Informationen zu geschützten Merkmalen einschließlich korrelierter Variablen) und seine Zielkonflikte mit Genauigkeit und Ausgleichsfragen fehlen in beiden Fassungen.
  • Der Begriff 'fairness through unawareness' und der Hinweis, dass Vorarbeiten seine Wirkungslosigkeit belegen, fehlen.
  • Der ProPublica-Befund zu COMPAS (schwarze Angeklagte 77 Prozent häufiger als hohe Risikowerte) und die Kritik an ungleichen Falsch-Positiv-Raten fehlen.

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Fähigkeiten messen
  1. SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
    • clef 100 %kein Bezug
    • Luna 77 %Hintergrund, keine Belege
    • JEV 36 %Hintergrund, keine Belege
    • amos 40 %gleiches Oberthema, hilft nicht
    • SubQ 47 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra offen

    • SF-F2-T01 Wenn ein Ministerium ein Modell als Beleg nennt, dass eine Schwelle überschritten ist: Veröffentlicht das Ministerium die Tests, die Modellversion und was es gemessen hat, und veröffentlicht das Labor die Cyber-Prüfung dieser Version auch in der Sprache des Ministeriums? Und welches Ergebnis würde das Ministerium dazu bringen, seine Behauptung zurückzunehmen? Luna: Stufe 3 · 44 % · Hintergrund, keine Belege
  2. SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
    • clef 100 %kein Bezug
    • Luna 41 %Hintergrund, keine Belege
    • JEV 46 %Hintergrund, keine Belege
    • amos 27 %gleiches Oberthema, hilft nicht
    • SubQ 44 %gleiches Oberthema, hilft nicht
    • drex 41 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

Unabhängig prüfen
  1. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 100 %kein Bezug
    • Luna 42 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 34 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 51 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

    • SF-P3-T02 Welche unabhängig überprüfbaren Zusagen könnten Regierungen von ihren KI-Laboren zur Veröffentlichung verlangen, und wie sieht unabhängige Prüfung aus, wenn der Beleg, dass ein Modell seinen vorgesehenen Zielen und Werten folgt, nur vom trainierenden Labor kommt und Prüfer weder die Modellgewichte (die gelernten Parameter) noch die Trainingsdaten sehen? Luna: Stufe 3 · 38 % · Hintergrund, keine Belege
    • SF-P3-T08 Welche gemeinsame Bezugsgröße für den Umfang der Nutzung, welcher Beobachtungszeitraum, welcher Stichprobenplan, welche Definition von Beinahe-Vorfall und welche statistische Obergrenze (obere Konfidenzgrenze) würden es jedem erlauben zu sagen: „keine erkennbare systemische Fehlausrichtung (Verhalten gegen die vorgesehenen Ziele oder Werte) im Einsatzmaßstab“? Und wie muss dargestellt werden, dass die Erkennung lückenhaft ist? Luna: Stufe 3 · 40 % · Hintergrund, keine Belege
Tempo und Grenzen
  1. SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
    • clef 100 %kein Bezug
    • Luna 49 %Hintergrund, keine Belege
    • JEV 45 %Hintergrund, keine Belege
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen

    • SF-T1-T02 Welche messbaren Schwellen halten die weitere Skalierung von KI-Modellen automatisch an, wer prüft sie, und wie bleiben diese Auslöser bindend, wenn der Wettbewerb drückt? Luna: Stufe 3 · 36 % · Hintergrund, keine Belege
Vertrauen in Modelle
  1. SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
    • clef 100 %kein Bezug
    • Luna 34 %Hintergrund, keine Belege
    • JEV 23 %Hintergrund, keine Belege
    • amos 37 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen

    • SF-V1-T02 Welche Belege würden Vertrauen in ein KI-System rechtfertigen, über seine flüssigen Erklärungen hinaus? Luna: Stufe 4 · 40 % · einzelne zitierbare Belege · Haiku-Prüfung: Stufe 4 · einzelne zitierbare Belege
    • SF-V1-T03 Was ist das Kleinste, das ein Modell öffentlich vorlegen kann (ein Test, ein Protokoll, eine Spur), das als Beleg für Ausrichtung an den vorgesehenen Zielen und Werten zählt und nicht nur für Leistung? Luna: Stufe 3 · 31 % · Hintergrund, keine Belege
  2. SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
    • clef 100 %kein Bezug
    • Luna 42 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 68 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
  3. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 41 %einzelne zitierbare Belege
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen
  4. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 37 %umfangreiche Belege
    • JEV 53 %beantwortet direkt und ausführlich
    • amos 23 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 30 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
    • Haiku-Prüfung einzelne zitierbare Belege

Agenten und vernetzte Systeme
Modelle teilen und schützen
  1. SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
    • clef 100 %kein Bezug
    • Luna 33 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen
  2. SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
    • clef 100 %kein Bezug
    • Luna 35 %einzelne zitierbare Belege
    • JEV 33 %einzelne zitierbare Belege
    • amos 39 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen
    • Haiku-Prüfung einzelne zitierbare Belege

    • SF-H3-T03 Welche verbindliche Meldepflicht hat ein Labor, wenn ein Modell, das zum Teil mit synthetischen Daten eines fremden Spitzenmodells trainiert wurde, eine schlechtere Ausrichtung zeigt, die grenzüberschreitend Schaden verursacht, und welches Recht hat die Regierung des Landes, aus dem die Daten stammen, den betroffenen Trainingsablauf zu prüfen, ohne an die Modellgewichte (die gelernten Parameter) zu kommen? Luna: Stufe 3 · 32 % · Hintergrund, keine Belege
Frieden und Sicherheit
Offenlegung und Rechenschaft
  1. SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
    • clef 100 %kein Bezug
    • Luna 36 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 45 %gleiches Oberthema, hilft nicht
    • SubQ 52 %gleiches Oberthema, hilft nicht
    • drex 50 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Beteiligung und Gemeinwohl
  1. SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
    • clef 100 %kein Bezug
    • Luna 72 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 45 %gleiches Oberthema, hilft nicht
    • SubQ 48 %gleiches Oberthema, hilft nicht
    • drex 43 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

  2. SF-E2 In welchem Rahmen sollen Staaten KI regeln, und wo liegt eine gemeinsame Untergrenze?
    • clef 100 %kein Bezug
    • Luna 55 %Hintergrund, keine Belege
    • JEV 39 %einzelne zitierbare Belege
    • amos 35 %gleiches Oberthema, hilft nicht
    • SubQ 50 %gleiches Oberthema, hilft nicht
    • drex 56 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

  3. SF-E3 Welche Stellen sind in einem Staat für KI-Sicherheit und Prüfungen zuständig, und was davon gibt es schon?
    • clef 100 %kein Bezug
    • Luna 65 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 38 %gleiches Oberthema, hilft nicht
    • SubQ 45 %gleiches Oberthema, hilft nicht
    • drex 40 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
  4. SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
    • clef 100 %kein Bezug
    • Luna 61 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 100 %kein Bezug
    • SubQ 46 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra offen

  5. SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
    • clef 100 %kein Bezug
    • Luna 51 %einzelne zitierbare Belege
    • JEV 43 %einzelne zitierbare Belege
    • amos 24 %gleiches Oberthema, hilft nicht
    • SubQ 48 %gleiches Oberthema, hilft nicht
    • drex 50 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
    • Haiku-Prüfung Hintergrund, keine Belege

    • SF-E5-T01 Wer soll das Tempo der KI-Entwicklung bestimmen: die Labore, die Regierungen oder die Menschen, die diese Systeme jeden Tag nutzen? Luna: Stufe 3 · 46 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 2 · nur am Rande erwähnt
    • SF-E5-T02 Welche Entscheidungen müssen menschlich bleiben, auch wenn eine KI sie besser treffen könnte, und wie würden Staaten in Entscheidungsschleifen mit hohem Risiko prüfbar machen, dass ein Mensch die Ausgabe der KI wirklich beurteilt und nicht nur routinemäßig abgenickt hat? Luna: Stufe 4 · 43 % · einzelne zitierbare Belege · Haiku-Prüfung: Stufe 3 · Hintergrund, keine Belege

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →