https://arxiv.org/pdf/1610.05755
Zusammenfassung
Kurz
PATE überträgt Wissen aus Modellen, die auf getrennten sensiblen Daten trainiert wurden, über verrauschte Mehrheitsstimmen auf einen Student und soll so Differential Privacy ermöglichen. Die Autoren berichten gute Ergebnisse auf MNIST, SVHN sowie ergänzend Adult und Diabetes, weisen aber auf Voraussetzungen wie disjunkte Daten und teils öffentliche unlabeled Daten hin; die Experimente decken zudem nicht alle Aufgaben ab.
Mittel
Der Bericht beschreibt PATE, ein Verfahren zum Schutz sensibler Trainingsdaten. Dafür werden mehrere Teacher-Modelle auf disjunkten Datenpartitionen trainiert. Ihre Stimmen werden mit Zufallsrauschen aggregiert; ein Student lernt aus den so erzeugten Labels und zusätzlichen unlabeled Daten. Veröffentlicht wird der Student, sodass laut Autoren auch eine Einsicht in seine Parameter die Trainingsdaten nicht direkt offenlegt. Der Datenschutzverlust hängt dabei von den Abfragen an die Teacher während des Trainings ab.
Die Autoren analysieren die Garantie mit Differential Privacy und einem Moments Accountant. In ihren Experimenten berichten sie für MNIST 98,00 Prozent Genauigkeit bei (ε, δ) = (2,04, 10⁻⁵) und für SVHN 90,66 Prozent bei (8,19, 10⁻⁶). Ergänzende Beispiele mit Random Forests betreffen Adult und Diabetes. Die Ergebnisse setzen disjunkte Datenpartitionen voraus; zudem kann eine große Zahl von Teachern deren jeweilige Trainingsdatenmenge und Genauigkeit verringern. Die GAN-gestützte Variante benötigt zusätzliche öffentliche oder nicht sensible unlabeled Daten. Die berichteten ε-Werte enthalten nicht den zusätzlichen Rauschaufwand, den eine private Veröffentlichung der Datenschutzkostenschätzung erfordern würde. Ob die Leistung auf andere Aufgaben übertragbar ist, bleibt offen.
Ausführlich lesen
Der Bericht stellt PATE vor („Private Aggregation of Teacher Ensembles“), ein Verfahren, das sensible Trainingsdaten schützen soll, während daraus weiterhin brauchbare Modelle entstehen. Ausgangspunkt ist das Risiko, dass Modelle Einzelheiten ihrer Trainingsbeispiele speichern und diese durch Analyse oder wiederholte Abfragen preisgeben können. PATE soll Schutz auch dann bieten, wenn Angreifer das fertige Modell einsehen.
Das Verfahren teilt die sensiblen Daten in disjunkte Teilmengen auf und trainiert auf jeder davon ein eigenes Modell, einen sogenannten Teacher. Für neue Eingaben werden die Stimmen der Teacher zusammengezählt und mit Laplace-Rauschen versehen; ausgegeben wird nur die meistgewählte Klasse. Ein Student lernt anschließend anhand solcher privat aggregierter Labels und zusätzlicher unlabeled Daten. Veröffentlicht wird der Student statt der Teacher. Seine Abfragen durch Endnutzer erhöhen laut Verfahren den Datenschutzverlust nicht weiter; entscheidend ist, wie oft während des Trainings die Teacher befragt wurden. Die Autoren kombinieren das Verfahren insbesondere mit halbüberwachtem Lernen und GANs, um mit weniger abgefragten Labels auszukommen.
Die Datenschutzgarantie wird mit Differential Privacy und einem Moments Accountant analysiert. Die Analyse berücksichtigt, dass ein starkes Stimmenmehr den Einfluss einzelner Teacher und damit einzelner Datensätze auf ein ausgegebenes Label begrenzen kann. Die Autoren berichten für MNIST bei 100 Teacher-Abfragen eine Genauigkeit von 98,00 Prozent bei (ε, δ) = (2,04, 10⁻⁵). Für SVHN nennen sie bei 1.000 Abfragen 90,66 Prozent bei (8,19, 10⁻⁶). Als weitere Beispiele berichten sie für Adult 83 Prozent bei (2,66, 10⁻⁵) und für Diabetes 93,94 Prozent bei (1,44, 10⁻⁵), jeweils mit Random Forests. Damit zeigen die Experimente nach Darstellung der Autoren die Anwendbarkeit auf unterschiedliche Modellarten und Datensätze.
Die Befunde gelten unter wesentlichen Voraussetzungen und Einschränkungen. Die Teacher benötigen disjunkte Datenpartitionen; viele Teacher können nötig sein, doch zu kleine Teilmengen können ihre Genauigkeit senken. PATE-G setzt außerdem zusätzliche öffentliche oder anderweitig nicht sensible unlabeled Daten voraus. Die Ergebnisse auf MNIST und SVHN belegen nicht automatisch gleich gute Leistung bei anderen Aufgaben; der Bericht nennt insbesondere Daten, deren Klassen nicht klar durch erkennbare Eingabemerkmale getrennt sind, als offene Herausforderung. Die Datenschutzanalyse nimmt vorsichtshalber an, dass eine Änderung eines einzelnen Beispiels das zugehörige Teacher-Modell beliebig verändern kann. Zudem beruhen die in den Experimenten angegebenen ε-Werte auf ungestörten Berechnungen; laut Bericht wäre für eine privat veröffentlichte Schätzung des Datenschutzverlusts zusätzliches Rauschen erforderlich, das in den berichteten Werten nicht berücksichtigt wird.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Luna lieferte zwei Zusammenfassungen; beide wurden gemeinsam geprüft, und die gemeinsamen Auslassungen gelten für beide. Die Einordnung stützt sich ausschließlich auf den Bericht und bewertet nur, was der Bericht tatsächlich trägt.
Im Bericht, aber nicht in der Zusammenfassung
- Die Unabhängigkeit des Verfahrens vom Lernalgorithmus (Black-Box-Ansatz) und der Vergleich mit Abadi et al. (97 Prozent bei ε=8) fehlen in beiden Zusammenfassungen.
- Die Kernaussage, dass der Student nur über verrauschte Mehrheitsstimmen der Teacher lernt und die Teacher nicht veröffentlicht werden, ist in der kurzen Fassung nur angedeutet.
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 40 %gleiches Oberthema, hilft nicht
- JEV 100 %kein Bezug
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Unabhängig prüfen
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 37 %gleiches Oberthema, hilft nicht
- d3-ultra
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 38 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 73 %gleiches Oberthema, hilft nicht
- d3-ultra
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 32 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 75 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 36 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-V4-T03 Ist Intelligenz, die „eher gewachsen als entworfen“ ist, ein Grund für mehr Vorsicht oder dafür, Modelle wie ein Ökosystem zu pflegen?
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 36 %einzelne zitierbare Belege
- JEV 31 %umfangreiche Belege
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 42 %gleiches Oberthema, hilft nicht
- d3-ultra
- Haiku-Prüfung gleiches Oberthema, hilft nicht
- SF-V5-T02 Würde man lieber einem großen, überwachten Modell vertrauen oder vielen kleinen, nicht überwachten?
Agenten und vernetzte Systeme
- SF-A3 Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Modelle teilen und schützen
- SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- clef 100 %kein Bezug
- Luna 38 %einzelne zitierbare Belege
- JEV 25 %einzelne zitierbare Belege
- amos 24 %Hintergrund, keine Belege
- SubQ 34 %gleiches Oberthema, hilft nicht
- drex 26 %gleiches Oberthema, hilft nicht
- d3-ultra
- Haiku-Prüfung Hintergrund, keine Belege
- SF-H1-T03 Mit welchen technischen Kontrollen und Prüfspuren erkennen, melden und verhindern Labore unerlaubte Destillation und den Abfluss von Modellgewichten (den gelernten Parametern) über Grenzen hinweg?
- SF-H1-T04 Welche Maßnahmen für Transparenz über Destillationsverfahren könnten Labore einführen, um Sicherheitsbedenken zu begegnen, ohne geschützte Innovation preiszugeben?
- SF-H1-T05 Wie können Staaten zusammenarbeiten, um die Ausbreitung von Fähigkeiten zu beobachten, die durch Destillation aus großen, auf Sicherheit ausgerichteten Modellen in kleinere, weniger geregelte Modelle gelangen?
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 31 %Hintergrund, keine Belege
- JEV 31 %einzelne zitierbare Belege
- amos 30 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 38 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-H2-T01 Was unterscheidet das Veröffentlichen von Modellgewichten (den gelernten Parametern) oder von Agentenwerkzeugen mit offenem Quellcode vom Freisetzen einer Waffe: die Absicht des Akteurs, die Selbstständigkeit des Modells, seine Verwendung oder der Schaden, den es von sich aus anrichten kann? Und können Staaten diese Grenze gemeinsam festschreiben, bevor ein offenes Modell im Mittelpunkt eines schweren Vorfalls steht?
- SF-H2-T02 Wenn ein Staat Agentenwerkzeuge mit offenem Quellcode als Risiko für Spionage und Datenabfluss einstuft und sich offen veröffentlichte Modellgewichte nicht zurückholen lassen: Welche konkreten, für die beteiligten Regierungen annehmbaren Regeln sollen die Veröffentlichung von Modellen mit offenen Gewichten und selbstständigen Agentenfähigkeiten bestimmen, und wie vermeiden diese Regeln, die offene Forschung abzuwürgen?
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 55 %einzelne zitierbare Belege
- JEV 31 %beantwortet teilweise oder widerspricht
- amos 24 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 24 %gleiches Oberthema, hilft nicht
- d3-ultra
- Haiku-Prüfung einzelne zitierbare Belege
- SF-H3-T01 Welcher gemeinsame Standard für Datenherkunft und Transparenz der Trainingsdaten erlaubt jedem Staat zu prüfen, ob ausländische Modelle mit unrechtmäßig beschafften Daten trainiert wurden (geschützte Werke, private Kommunikation, als geheim eingestuftes Material), ohne die Daten selbst offenzulegen?
- SF-H3-T04 Welches Protokoll zum Datenaustausch ließe ein Ministerium in jedem Staat prüfen, dass die Cyberfähigkeiten eines eingesetzten Modells denen der geprüften Fassung entsprechen, ohne Gewichte oder Nutzerdaten offenzulegen?
- SF-H3-T05 Wenn ein Modell nacheinander von Laboren in verschiedenen Rechtsordnungen feinjustiert, mit anderen Modellen zusammengeführt oder destilliert wird (ein weiteres Modell wird mit seinen Ausgaben trainiert) und jede Stufe Fähigkeiten hinzufügen oder Schutzvorkehrungen entfernen kann: Welches gemeinsame Herkunftsregister, das sich nur ergänzen und nicht ändern lässt, verfolgt eine Gefahr bis zu der Änderung zurück, die sie brachte, ohne die vollständigen Trainingsdaten eines einzelnen Labors zu verlangen? Und wenn dabei ein Verhalten entsteht, das keines der Ursprungslabore vorhergesehen hat: Welche Register- oder Vorabmeldepflicht gilt vor dem Einsatz, und welcher Staat ist bei grenzüberschreitendem Schaden zuständig?
- SF-H3-T06 Welcher unabhängig prüfbare Mindestbeleg zeigt, dass eine bestimmte Person, Organisation oder ein geschützter Datensatz aus einem veröffentlichten Modell und seinen Adaptern (Zusatzmodulen) verlernt wurde, und welches Restrisiko einer Extraktion lässt sich womöglich nie auf null senken?
- SF-H4 Was geschieht mit Modellen und Sicherheitspflichten, wenn ein Labor verkauft, aufgelöst oder ein Modell stillgelegt wird?
- clef 100 %kein Bezug
- Luna 63 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 40 %gleiches Oberthema, hilft nicht
- d3-ultra
Beteiligung und Gemeinwohl
- SF-E2 In welchem Rahmen sollen Staaten KI regeln, und wo liegt eine gemeinsame Untergrenze?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 28 %Hintergrund, keine Belege
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 43 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-E4-T01 Was hieße die Formel von KI als „gemeinsamem Gut der ganzen Menschheit“ praktisch (Zugang, Teilen des Nutzens, gestaffelte Preise, Technologietransfer), so dass jeder Staat sie tatsächlich unterschreiben und prüfen könnte?
- SF-E4-T03 Wie können gemeinsame Sicherheitsregeln verhindern, dass hohe Kosten der Einhaltung den Markt auf wenige reiche Labore verengen, und trotzdem kleine Entwickler und Open-Source-Entwickler auf dieselbe Mindestschwelle für Sicherheit verpflichten?
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 38 %Hintergrund, keine Belege
- JEV 33 %Hintergrund, keine Belege
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-E5-T01 Wer soll das Tempo der KI-Entwicklung bestimmen: die Labore, die Regierungen oder die Menschen, die diese Systeme jeden Tag nutzen?
- SF-E5-T02 Welche Entscheidungen müssen menschlich bleiben, auch wenn eine KI sie besser treffen könnte, und wie würden Staaten in Entscheidungsschleifen mit hohem Risiko prüfbar machen, dass ein Mensch die Ausgabe der KI wirklich beurteilt und nicht nur routinemäßig abgenickt hat?
Weitere Berichte zu diesen Fragen
- Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- Was geschieht mit Modellen und Sicherheitspflichten, wenn ein Labor verkauft, aufgelöst oder ein Modell stillgelegt wird?
- In welchem Rahmen sollen Staaten KI regeln, und wo liegt eine gemeinsame Untergrenze?
- Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- Alle Berichte im Archiv