Embedding-Space Fingerprinting of LoRA Fine-Tunes: Recovering the Training-Data Domain from the Model Artifact Alone
Zusammenfassung
Für diesen Bericht lag nur ein Auszug oder keine vollständige Fassung vor. Die Zusammenfassung sagt das selbst.
Kurz
Der bereitgestellte Text ist nur die arXiv-Seite mit Abstract und Metadaten, nicht der vollständige Bericht. Laut Abstract ließ sich die Domäne von LoRA-Feinabstimmungen eines Basismodells bei bislang unbekannten Datensätzen aus Aktivierungen zu 61 Prozent und aus Ausgaben zu 64 Prozent erkennen; Gewichtsdifferenzen erreichten 42 Prozent. Die berichteten Resultate gelten für die untersuchte Konfiguration und belegen hier keine Übertragbarkeit auf andere Modelle.
Mittel
Der bereitgestellte Text ist eine arXiv-Seite mit Abstract und Metadaten, nicht der vollständige Bericht. Untersucht wird laut Abstract, ob sich die Domäne der Trainingsdaten einer LoRA-Feinabstimmung allein aus dem Modellartefakt erkennen lässt. Dafür wurden 36 Anpassungen eines Basismodells mit 18 öffentlichen Datensätzen aus fünf Bereichen ausgewertet. Ein vorab festgelegtes Leave-one-dataset-out-Verfahren prüfte die Erkennung bei jeweils unbekannten Datensätzen.
Der Abstract berichtet 61 Prozent Genauigkeit mit internen Aktivierungen, 64 Prozent mit erzeugten Ausgaben und 42 Prozent anhand von Gewichtsdifferenzen; die Zufallsrate wird mit 20 Prozent angegeben. Aktivierungen und Ausgaben waren somit informativer als die untersuchten Gewichtsstatistiken – entgegen der vorab formulierten Hypothese. Die Black-Box-Genauigkeit blieb laut Text auch ohne Token-Wahrscheinlichkeiten bei 64 Prozent. Weitere berichtete Prüfungen ergaben stabile Resultate bei unabhängig gezogenen Datenstichproben und LoRA-Rängen von 8 bis 64. Die Angaben beziehen sich auf ein Basismodell und die untersuchten Datensätze; der Auszug liefert keine Grundlage für Aussagen über andere Modelle oder eine breitere Übertragbarkeit.
Ausführlich lesen
Der bereitgestellte Text ist eine arXiv-Seite mit Titel, Abstract und bibliografischen Angaben; er enthält nicht den vollständigen Bericht. Das Abstract untersucht, ob sich der Themenbereich der Trainingsdaten eines mit Low-Rank Adaptation (LoRA) feinabgestimmten Sprachmodells allein aus dem fertigen Modellartefakt erkennen lässt, ohne die Trainingsdaten einzusehen. Betrachtet werden drei Zugriffsarten: Gewichtsdifferenzen (White Box), interne Aktivierungen auf einem festgelegten Testsatz (Gray Box) und erzeugte Texte (Black Box).
Laut Abstract erstellte der Autor 36 LoRA-Feinabstimmungen eines einzelnen Basismodells, Qwen3.5-0.8B, mit 18 öffentlichen Datensätzen aus fünf Bereichen: Medizin, Programmierung, Mathematik, nicht englischsprachige Texte und erzählende Prosa. Ein vor Sichtung der Ergebnisse festgelegtes Leave-one-dataset-out-Verfahren sollte prüfen, ob ein Klassifikator den Bereich auch bei einem Datensatz erkennen kann, der beim Training auf anderen Datensätzen nicht vorkam.
Als berichtete Ergebnisse nennt der Text eine Bereichsgenauigkeit von 61 Prozent anhand interner Aktivierungen und 64 Prozent anhand der Modellausgaben. Statistiken der Gewichtsdifferenzen erreichten 42 Prozent. Zum Vergleich gibt das Abstract eine Zufallsgenauigkeit von 20 Prozent an. Die Ergebnisse über Aktivierungen und Ausgaben lagen damit über den Gewichtsstatistiken. Das widersprach der vorab formulierten Erwartung, dass das erkennbare Signal mit weniger direktem Modellzugriff schrittweise abnehmen würde. Für die Black-Box-Auswertung sei die Genauigkeit von 64 Prozent auch dann gleich geblieben, wenn nur erzeugter Text und keine Token-Wahrscheinlichkeiten verwendet wurden.
Weiter berichtet das Abstract, dass die Bereichserkennung stabil blieb, wenn pro Datensatz ein dritter Lauf mit einer unabhängig gezogenen Datenstichprobe trainiert wurde. Auch Änderungen des LoRA-Rangs zwischen 8 und 64 hätten die Black-Box-Vorhersagen nicht verändert. Der Text gibt an, dass Code und Merkmalsvektoren für einzelne Läufe veröffentlicht wurden.
Die Aussagekraft ist anhand des bereitgestellten Auszugs begrenzt: Beschrieben wird eine Untersuchung mit einem Basismodell und den genannten öffentlichen Datensätzen und Bereichen. Angaben zu Konfidenzintervallen, Fehleranalysen oder möglichen Übertragungen auf andere Modelle und Daten enthält dieser Text nicht. Die Ergebnisse und Einschränkungen sind daher als Aussagen des Abstracts wiedergegeben; der vollständige Bericht liegt hier nicht vor.
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 49 %gleiches Oberthema, hilft nicht
- d3-ultra 51 %gleiches Oberthema, hilft nicht
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 27 %gleiches Oberthema, hilft nicht
- JEV 35 %beantwortet teilweise oder widerspricht
- amos 35 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 47 %gleiches Oberthema, hilft nicht
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 47 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 28 %Hintergrund, keine Belege
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 30 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 56 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 21 %gleiches Oberthema, hilft nicht
- Luna 100 %kein Bezug
- JEV 38 %einzelne zitierbare Belege
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 38 %gleiches Oberthema, hilft nicht
- d3-ultra 49 %gleiches Oberthema, hilft nicht
- SF-P3-T02 Welche unabhängig überprüfbaren Zusagen könnten Regierungen von ihren KI-Laboren zur Veröffentlichung verlangen, und wie sieht unabhängige Prüfung aus, wenn der Beleg, dass ein Modell seinen vorgesehenen Zielen und Werten folgt, nur vom trainierenden Labor kommt und Prüfer weder die Modellgewichte (die gelernten Parameter) noch die Trainingsdaten sehen?
- SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 32 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 57 %gleiches Oberthema, hilft nicht
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 61 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 51 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 70 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 41 %gleiches Oberthema, hilft nicht
- JEV 100 %kein Bezug
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 44 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V1-T02 Welche Belege würden Vertrauen in ein KI-System rechtfertigen, über seine flüssigen Erklärungen hinaus?
- SF-V1-T10 Kann etwas, das Modelle über sich und ihre Absichten sagen, als Beleg für Ausrichtung zählen, wenn es nur weiterer erzeugter Text ist, und welche Verfahren machen solche Selbstauskünfte vertrauenswürdig statt nur flüssig?
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 50 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 30 %einzelne zitierbare Belege
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 43 %einzelne zitierbare Belege
- amos 49 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 66 %gleiches Oberthema, hilft nicht
- d3-ultra 52 %gleiches Oberthema, hilft nicht
Modelle teilen und schützen
- SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 33 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 51 %gleiches Oberthema, hilft nicht
- d3-ultra 46 %gleiches Oberthema, hilft nicht
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 40 %einzelne zitierbare Belege
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 47 %gleiches Oberthema, hilft nicht
- drex 54 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 29 %beantwortet teilweise oder widerspricht
- Luna 61 %umfangreiche Belege
- JEV 60 %beantwortet direkt und ausführlich
- amos 30 %umfangreiche Belege
- SubQ 31 %beantwortet direkt und ausführlich
- drex 31 %umfangreiche Belege
- d3-ultra 41 %beantwortet teilweise oder widerspricht
- SF-H3-T02 Welche gemeinsamen Prüfstandards und Verfahren zum Herkunftsnachweis erkennen versteckte Verhaltensauslöser und eine systemweite Verschlechterung der Ausrichtung an den vorgesehenen Zielen und Werten, wenn Training immer mehr auf synthetischen Daten anderer Spitzenmodelle beruht?
- SF-H3-T06 Welcher unabhängig prüfbare Mindestbeleg zeigt, dass eine bestimmte Person, Organisation oder ein geschützter Datensatz aus einem veröffentlichten Modell und seinen Adaptern (Zusatzmodulen) verlernt wurde, und welches Restrisiko einer Extraktion lässt sich womöglich nie auf null senken?
Frieden und Sicherheit
- SF-K1 Wie stellt man sicher und weist nach, dass Entscheidungen über den Einsatz von Gewalt, vor allem über Atomwaffen, beim Menschen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 32 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 49 %gleiches Oberthema, hilft nicht
- SubQ 58 %gleiches Oberthema, hilft nicht
- drex 50 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-O3 Welcher Text gilt, und wie beweist man, dass ein Dokument nicht verändert wurde?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 49 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Information und Öffentlichkeit
- SF-I1 Wie erkennt man KI-erzeugte Inhalte und KI-erzeugte Einflussnahme, ohne die Meinungsfreiheit zu beschneiden?
- clef 100 %kein Bezug
- Luna 37 %Hintergrund, keine Belege
- JEV 36 %einzelne zitierbare Belege
- amos 31 %gleiches Oberthema, hilft nicht
- SubQ 37 %gleiches Oberthema, hilft nicht
- drex 34 %gleiches Oberthema, hilft nicht
- d3-ultra 46 %gleiches Oberthema, hilft nicht
Weitere Berichte zu diesen Fragen
- Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- Wie erkennt man KI-erzeugte Inhalte und KI-erzeugte Einflussnahme, ohne die Meinungsfreiheit zu beschneiden?
- Alle Berichte im Archiv