Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
nyudatascience.medium.com6. November 2026 · Q000478

A New Tool Gives Researchers Evidence to Back Their AI Training Claims

nyudatascience.medium.com · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Witnesses erstellt während des KI-Trainings ein prüfbares Zertifikat aus Modellzusammenfassungen, Daten- und Verfahrensangaben sowie Wiederholungen zufällig ausgewählter Schritte. Es soll Trainingsbehauptungen kontrollierbar machen, belegt aber weder faire Testgestaltung noch richtige wissenschaftliche Schlüsse und verursacht zusätzlichen Rechenaufwand. In einem genannten Test stiegen Zeit pro Schritt und GPU-Speicherbedarf um etwa 19 beziehungsweise 11 Prozent.

Mittel

Der Bericht beschreibt Witnesses, ein Werkzeug von Pratyusha Sharma (NYU) und Houjun Liu (Stanford), das Belege über KI-Trainingsläufe erstellt. Es ist über DVBench nutzbar und soll es Prüfenden ermöglichen, Trainingsangaben zu kontrollieren, ohne das vollständige Experiment zu wiederholen oder Trainingscode hochzuladen.

Während des Trainings speichert Witnesses kompakte Zusammenfassungen des Modells vor und nach einzelnen Aktualisierungen sowie Angaben zu Daten und Verfahren. Die Einträge bilden eine verknüpfte Folge; zusätzlich wiederholt das System zufällig ausgewählte Schritte. Eine höhere Prüfrate soll ungültige Schritte eher aufdecken. Die Plattform bietet Anleitungen für PyTorch und JAX und kann Trainingsläufe mit Evaluationsergebnissen verknüpfen.

Die Zertifikate stützen Aussagen zum Trainingsablauf, bestätigen aber weder die Fairness eines Tests noch die Richtigkeit wissenschaftlicher Schlussfolgerungen. Die Sicherheit hängt laut Bericht auch davon ab, dass Nutzende die signierende Softwarekomponente nicht überwinden können. In einem Test mit einem etwa zwei Milliarden Parameter großen Modell auf zwei GPUs erhöhte Witnesses die Zeit pro Schritt um ungefähr 19 Prozent und den GPU-Speicherbedarf um etwa 11 Prozent; die Kosten hängen vom Trainingsaufbau ab. Die Entwickler wollen weitere akademische Nutzende gewinnen, damit zertifizierte Läufe auch Vergleiche unter ähnlichen Trainingsbedingungen erleichtern.

Ausführlich lesen

Der Bericht stellt Witnesses vor, ein Werkzeug, mit dem Forschende überprüfbare Belege dafür erstellen können, wie ein KI-Modell trainiert wurde. Entwickelt wurde es von Pratyusha Sharma, Assistenzprofessorin am NYU Center for Data Science, und Houjun Liu, Masterstudent an der Stanford University. Die beiden präsentierten das System in einer Arbeit über Vertrauen in Trainingsnachweise. Witnesses ist über DVBench verfügbar, eine Plattform zum Erstellen und Teilen von Zertifikaten für Trainingsläufe.

Ausgangspunkt ist laut Sharma ein wachsendes Prüfproblem: Es gebe mehr maschinelles Lernen betreffende Veröffentlichungen, als Forschende gründlich kontrollieren könnten. Der Bericht nennt als mögliche Fehler etwa Testbeispiele, die unbemerkt in Trainingsdaten geraten, oder Modelle, die mit einem anderen Verfahren als dem beschriebenen erzeugt wurden. Ein veröffentlichtes Modell und dessen Code reichten demnach nicht immer aus, damit andere nachvollziehen könnten, wie das Modell tatsächlich trainiert wurde.

Witnesses erstellt während des Trainings ein Zertifikat. Für jeden Trainingsschritt werden kompakte Zusammenfassungen des Modells vor und nach einer Aktualisierung sowie Angaben zu Daten und Verfahren festgehalten. Die Einträge bilden eine verknüpfte Folge, in der Abweichungen erkennbar werden sollen. Zusätzlich wiederholt das System zufällig ausgewählte Schritte, um zu prüfen, ob die dokumentierten Änderungen dem angegebenen Verfahren entsprechen. Eine höhere Prüfrate soll die Wahrscheinlichkeit erhöhen, ungültige Schritte zu entdecken. Prüfende können anschließend das Zertifikat und die Übereinstimmung des bereitgestellten Modells mit dem dokumentierten Lauf kontrollieren, ohne das gesamte Training wiederholen zu müssen. Das Hochladen des Trainingscodes ist für die Zertifizierung laut Bericht nicht erforderlich.

Die Nachweise betreffen konkrete Aussagen zum Training. Sie belegen laut Bericht weder, dass eine Studie einen fairen Test gewählt hat, noch, dass ihre wissenschaftlichen Schlussfolgerungen richtig sind. Außerdem hängt die praktische Sicherheit von Annahmen ab, darunter der Annahme, dass Nutzende die Softwarekomponente, die die Einträge signiert, nicht überwinden können.

DVBench bietet Anleitungen für PyTorch und JAX. Forschende verbinden darin ihren Trainingslauf, definieren eine wiederholbare Modellaktualisierung, ergänzen Aufrufe zum Aufzeichnen der Schritte und schließen das Zertifikat ab. Die Entwickler wollten die nötigen Änderungen am vorhandenen Code klein halten. Trainingsmodelle lassen sich außerdem mit Evaluationsergebnissen verknüpfen; der Plattform können diese Ergebnisse samt Evaluationscode übermittelt werden.

Ein Zertifikat verursacht zusätzliche Rechenkosten. In Tests mit Sprachmodellen von 100 Millionen bis ungefähr zwei Milliarden Parametern kostete Witnesses im beschriebenen Lauf mit rund zwei Milliarden Parametern und zwei GPUs etwa 19 Prozent mehr Zeit pro Trainingsschritt und rund 11 Prozent mehr GPU-Speicher. Der Bericht betont, dass die Kosten je nach Trainingsaufbau variieren. Liu berichtet, Witnesses in seinem eigenen Trainingssystem und für abschließende Trainingsläufe eingesetzt zu haben; auch erste Kolleginnen und Kollegen hätten das Werkzeug ausprobiert. Sharma zufolge ist es nun vor allem das Ziel, weitere Nutzende zu gewinnen. Als möglichen Nutzen einer Gruppe zertifizierter Läufe nennt Liu den Vergleich von Modellen, die unter ähnlichen Bedingungen, etwa mit denselben Daten, trainiert wurden.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Die Einordnung stützt sich auf den Bericht selbst; Lunas Stufen und Anteile wurden nicht übernommen. Der Bericht behandelt ausschließlich Trainingszertifikate, nicht Sicherheitsaufsicht oder Veröffentlichungsinfrastruktur.

Im Bericht, aber nicht in der Zusammenfassung

  • Problemrahmen: Forschende können nicht alle Paper prüfen, und die Prüfkosten sollen auf die einreichende Seite verlagert werden
  • Die Arbeit entstand laut Bericht auf Basis von Arbeiten bei Microsoft Research
  • Die getesteten Sprachmodelle reichen von etwa 100 Millionen bis etwa 2 Milliarden Parameter

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Vorfälle melden
  1. SF-M4 Wie kommen Meldungen von Laboren, Betreibern und Nutzern schnell und geschützt zu den Stellen, die handeln müssen, auch über Grenzen hinweg?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 33 %einzelne zitierbare Belege
    • amos 49 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Fähigkeiten messen
  1. SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
    • clef 22 %Hintergrund, keine Belege
    • Luna 52 %einzelne zitierbare Belege
    • JEV 25 %beantwortet teilweise oder widerspricht
    • amos 26 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 40 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung einzelne zitierbare Belege

Unabhängig prüfen
  1. SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
    • clef 30 %Hintergrund, keine Belege
    • Luna 100 %kein Bezug
    • JEV 100 %kein Bezug
    • amos 25 %Hintergrund, keine Belege
    • SubQ 36 %gleiches Oberthema, hilft nicht
    • drex 40 %gleiches Oberthema, hilft nicht
    • d3-ultra 50 %gleiches Oberthema, hilft nicht

    • SF-P1-T03 Wenn eine Sicherheitsvereinbarung verlangt, Prüfergebnisse, Angaben aus Modellsteckbriefen oder die Forensik von Vorfällen zwischen den Partnern zu teilen: Welches kleinste Datenfeld müsste jeder Partner sehen, um dem Bericht eines anderen zu trauen, und auf welches größte würde er verzichten? Luna: Stufe 3 · 33 % · Hintergrund, keine Belege
  2. SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
    • clef 100 %kein Bezug
    • Luna 37 %Hintergrund, keine Belege
    • JEV 22 %einzelne zitierbare Belege
    • amos 48 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 46 %gleiches Oberthema, hilft nicht
    • d3-ultra 49 %gleiches Oberthema, hilft nicht
  3. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 20 %beantwortet teilweise oder widerspricht
    • Luna 50 %einzelne zitierbare Belege
    • JEV 64 %beantwortet teilweise oder widerspricht
    • amos 30 %einzelne zitierbare Belege
    • SubQ 32 %beantwortet direkt und ausführlich
    • drex 26 %umfangreiche Belege
    • d3-ultra 41 %einzelne zitierbare Belege

    • SF-P3-T01 Welcher gemeinsame Rahmen für Labore macht Selbstüberwachung überprüfbar, ohne geschütztes geistiges Eigentum offenzulegen, und welche unabhängigen Verfahren Dritter, falls es sie gibt, bestätigen, dass die Selbstüberwachung riskantes Verhalten vor der Freigabe wirklich findet und nicht nur Schein ist? Luna: Stufe 4 · 31 % · einzelne zitierbare Belege · Haiku-Prüfung: Stufe 3 · Hintergrund, keine Belege
    • SF-P3-T02 Welche unabhängig überprüfbaren Zusagen könnten Regierungen von ihren KI-Laboren zur Veröffentlichung verlangen, und wie sieht unabhängige Prüfung aus, wenn der Beleg, dass ein Modell seinen vorgesehenen Zielen und Werten folgt, nur vom trainierenden Labor kommt und Prüfer weder die Modellgewichte (die gelernten Parameter) noch die Trainingsdaten sehen? Luna: Stufe 4 · 33 % · einzelne zitierbare Belege · Haiku-Prüfung: Stufe 2 · nur am Rande erwähnt
    • SF-P3-T05 Welches Mindestpaket (Datenverzeichnisse, Code, Zufallsstartwerte, Abbilder der Rechenumgebung, Prüferversionen, Fehlerprotokolle und Annahmen über die Hardware) muss ein Labor sichern oder kontrolliert hinterlegen, damit ein Prüfer ein sicherheitskritisches Trainings- oder Prüfergebnis auch nach Ende seines Zugangs nachrechnen kann, und welche Geheimnisse bleiben unzugänglich? Luna: Stufe 4 · 29 % · einzelne zitierbare Belege
    • SF-P3-T07 Wird jede öffentliche Aussage, ein führendes KI-Modell sei „besser ausgerichtet“ als ein anderes (folge also seinen vorgesehenen Zielen und Werten besser), reproduzierbare Kriterien, externe Prüfungen und widersprechende Ergebnisse enthalten? Luna: Stufe 3 · 38 % · Hintergrund, keine Belege
  4. SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
    • clef 19 %beantwortet teilweise oder widerspricht
    • Luna 56 %einzelne zitierbare Belege
    • JEV 36 %beantwortet teilweise oder widerspricht
    • amos 27 %umfangreiche Belege
    • SubQ 34 %beantwortet direkt und ausführlich
    • drex 27 %umfangreiche Belege
    • d3-ultra 30 %einzelne zitierbare Belege
    • Haiku-Prüfung nur am Rande erwähnt

    • SF-P4-T01 Würden Regierungen Messdaten aus der Lieferkette von Chips (Telemetrie), den Stromverbrauch, gemeldete Verzeichnisse von Trainingsläufen und eine unabhängig überwachte Abrechnung von Strom, Hardware und Rechenaufwand als vertragstauglichen Nachweis für die Größe der Trainingsläufe eines anderen Staates anerkennen, ohne Modellgewichte (die gelernten Parameter) oder Code anzurühren? Und wie sähe eine Prüfordnung für Rechenschwellen aus, die nichts über das Innere der Modelle verrät? Luna: Stufe 3 · 39 % · Hintergrund, keine Belege
Tempo und Grenzen
  1. SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
    • clef 100 %kein Bezug
    • Luna 45 %einzelne zitierbare Belege
    • JEV 30 %gleiches Oberthema, hilft nicht
    • amos 100 %kein Bezug
    • SubQ 47 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug

    • SF-T1-T06 Welcher öffentliche Beleg zeigt, ob vereinbarte Grenzen eingehalten werden? Luna: Stufe 4 · 25 % · einzelne zitierbare Belege
  2. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 37 %Hintergrund, keine Belege
    • Luna 100 %kein Bezug
    • JEV 100 %kein Bezug
    • amos 46 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 61 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Vertrauen in Modelle
  1. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 23 %Hintergrund, keine Belege
    • Luna 43 %einzelne zitierbare Belege
    • JEV 35 %einzelne zitierbare Belege
    • amos 35 %gleiches Oberthema, hilft nicht
    • SubQ 43 %gleiches Oberthema, hilft nicht
    • drex 43 %gleiches Oberthema, hilft nicht
    • d3-ultra 55 %gleiches Oberthema, hilft nicht

Modelle teilen und schützen
  1. SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
    • clef 33 %Hintergrund, keine Belege
    • Luna 42 %Hintergrund, keine Belege
    • JEV 34 %gleiches Oberthema, hilft nicht
    • amos 47 %gleiches Oberthema, hilft nicht
    • SubQ 48 %gleiches Oberthema, hilft nicht
    • drex 43 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
  2. SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
    • clef 25 %beantwortet teilweise oder widerspricht
    • Luna 52 %umfangreiche Belege
    • JEV 59 %beantwortet direkt und ausführlich
    • amos 30 %umfangreiche Belege
    • SubQ 44 %beantwortet direkt und ausführlich
    • drex 35 %umfangreiche Belege
    • d3-ultra 31 %beantwortet teilweise oder widerspricht
    • Haiku-Prüfung beantwortet teilweise oder widerspricht

Offenlegung und Rechenschaft
  1. SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
    • clef 100 %kein Bezug
    • Luna 31 %einzelne zitierbare Belege
    • JEV 100 %kein Bezug
    • amos 45 %gleiches Oberthema, hilft nicht
    • SubQ 46 %gleiches Oberthema, hilft nicht
    • drex 44 %gleiches Oberthema, hilft nicht
    • d3-ultra 53 %gleiches Oberthema, hilft nicht

  2. SF-O3 Welcher Text gilt, und wie beweist man, dass ein Dokument nicht verändert wurde?
    • clef 23 %Hintergrund, keine Belege
    • Luna 37 %einzelne zitierbare Belege
    • JEV 26 %beantwortet teilweise oder widerspricht
    • amos 39 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug

    • SF-O3-T01 Wenn ein Sicherheitsbericht, eine Meldung an den Meldekanal, eine Modellbeschreibung (Modellkarte) oder ein Verzeichnis der Trainingsdaten veröffentlicht wird: Welche öffentlichen kryptografischen Belege (signierte Verzeichnisse, verkettete Prüfsummen, Register, die sich nur erweitern lassen) lassen Außenstehende prüfen, dass das Dokument seit der Veröffentlichung nicht verändert wurde, und wer betreibt die Infrastruktur dafür so, dass niemand diese Prüfungen allein widerrufen kann? Luna: Stufe 4 · 31 % · einzelne zitierbare Belege · Haiku-Prüfung: Stufe 2 · nur am Rande erwähnt
Beteiligung und Gemeinwohl
  1. SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
    • clef 100 %kein Bezug
    • Luna 44 %Hintergrund, keine Belege
    • JEV 34 %einzelne zitierbare Belege
    • amos 48 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug

Information und Öffentlichkeit

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →