Hugging Face
Zusammenfassung
Kurz
Der Bericht stellt ein englischsprachiges, auf vier synthetische Arbeitsabläufe spezialisiertes Entscheidungsmodell vor und gibt für dessen Testsatz eine Genauigkeit von 0,766 an. Der Vergleich mit Jev ist laut Bericht nur richtungsweisend; außerhalb der Spezialgebiete und bei Wahrscheinlichkeitsangaben bestehen Einschränkungen, und die Kalibrierung sollte mit zurückgehaltenen Daten überprüft werden.
Mittel
Der Bericht beschreibt „Laya Typed-Decisions“ als spezialisiertes Entscheidungsmodell für vier synthetische Abläufe: Agenten-Trace-Beobachtung, Kundenservice, Rechnungsverarbeitung und Sicherheitsvorfälle. Es basiert auf ModernBERT-large, umfasst 421 Millionen Parameter und ist laut Modellkarte englischsprachig.
Auf einem offiziellen Testsatz mit 400 Fällen und 2.000 Entscheidungen weist der Bericht eine Genauigkeit von 0,766 aus. Das übertrifft die dort genannten Vergleichswerte von TypeSafe Jev (0,727) und einer Lehrer-Übereinstimmungsgrenze (0,735). Der Bericht betont jedoch, dass Jevs Zahlen aus einer Drittveröffentlichung stammen und wegen unterschiedlicher Stichproben und Prompts nur einen Anhaltspunkt bieten. Die höchste Genauigkeit erzielt das Modell laut Tabelle bei der Rechnungsverarbeitung (0,804).
Das Modell wurde mit 1.200 Trainingsfällen feinabgestimmt. Es ist außerhalb der vier Arbeitsabläufe möglicherweise nicht geeignet. Seine Wahrscheinlichkeiten gelten wegen schwacher Kalibrierung und einer teils auf Trainingsdaten angepassten Temperatur als unzuverlässig, bis sie mit zurückgehaltenen Daten neu kalibriert wurden. Für andere Sprachen nennt der Bericht ein separates mehrsprachiges Modell; Auswahlfragen sollten etwa 20 Optionen nicht überschreiten.
Ausführlich lesen
Der Bericht stellt „Laya Typed-Decisions“ als spezialisiertes, nicht-autoregressives System-1-Entscheidungsmodell vor. Laut Modellbeschreibung wurde es mit dem Datensatz „typed-decisions“ auf vier synthetischen Arbeitsabläufen feinabgestimmt: Beobachtung von Agenten-Traces, Kundenservice, Rechnungsverarbeitung und Sicherheitsvorfällen. Es basiert auf ModernBERT-large, hat 421 Millionen Parameter und einen Kontext von 1.024 Tokens. Für Englisch allgemein und mehr als 100 Sprachen verweist der Bericht auf andere Modelle der Laya-Familie.
Für den offiziellen Testsatz mit 400 Fällen und 2.000 Entscheidungen gibt der Bericht für diesen Checkpoint eine Genauigkeit von 0,766 an. Das liegt über den aufgeführten Vergleichswerten: 0,727 für TypeSafe Jev und 0,735 für die angegebene Obergrenze der Übereinstimmung mit dem Lehrermodell. Auch Brier-Wert und Score-MAE werden günstiger ausgewiesen als bei Jev. Der Bericht schränkt den Vergleich allerdings ausdrücklich ein: Jevs Zahlen stammen aus einer veröffentlichten Drittquelle, wurden nicht im selben Projekt gemessen, und Stichproben sowie Prompts unterscheiden sich. Die Gegenüberstellung sei daher nur als Hinweis zu verstehen.
Nach Arbeitsablauf sei die Genauigkeit bei der Rechnungsverarbeitung am höchsten (0,804), gefolgt von Sicherheitsvorfällen (0,766), Kundenservice (0,764) und Agenten-Trace-Beobachtung (0,730). Nach Fragetyp erreicht „noul“ laut Tabelle 0,857, „choice“ 0,733 und „score“ 0,723 Genauigkeit. Die Modellkarte beschreibt außerdem ein Fine-Tuning auf 1.200 Trainingsfällen mit 6.000 Entscheidungen. Zum Einsatz properer Scoring-Regeln, verrauschter Exploration und REINFORCE-Updates mit Baseline kommen laut Bericht Soft-Cross-Entropy-Verluste gegen die Verteilungen des Lehrermodells.
Zur Nutzung nennt der Bericht Installation über pip sowie direkte Vorhersagen und explizites Routing. Der Router wählt das Spezialmodell nicht automatisch aus, außer die automatische Aufgabenerkennung wird aktiviert. Für wiederholte Anfragen empfiehlt der Bericht, das Modell vorzuhalten; Stapelvorhersagen sollen laut Beschreibung dieselben Antworten liefern wie Einzelaufrufe. Bei einem Hängen während des Ladens wird als mögliche Abhilfe „USE_TF=0“ genannt, weil Transformers TensorFlow prüfen könne und dessen Abseil-Laufzeit die Modellerstellung blockieren könne.
Die Grenzen sind wesentlich: Das Modell ist auf die vier genannten synthetischen Abläufe spezialisiert und kann außerhalb davon wie das Basismodell oder schlechter abschneiden. Seine Soft-Accuracy liegt unter Jevs, seine Kalibrierung ist laut ECE-Wert schwächer, und der Bericht warnt vor übermäßigem Selbstvertrauen. Die Temperaturanpassung sei teilweise vom Basismodell übernommen; außerdem seien die pro Typ angepassten Temperaturen zunächst auf Trainingsdaten ermittelt worden. Deshalb solle man die Wahrscheinlichkeiten bis zu einer Neuanpassung anhand eigener zurückgehaltener Daten als unkalibriert behandeln. Das Modell ist englischsprachig; für andere Sprachen wird das mehrsprachige Modell empfohlen. Bei Auswahlfragen rät die Modellkarte zu weniger als etwa 20 Optionen, da sich diese ein festes Tokenbudget teilen und die Genauigkeit bei größeren Antwortmengen stark sinke.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Der Bericht ist eine Modellkarte von Hugging Face ohne Bezug zu Fragen der Governance. Lunas eigene Stufen und Anteile wurden nicht übernommen und jede Frage unabhängig anhand des Berichts bewertet.
Im Bericht, aber nicht in der Zusammenfassung
- Soft Accuracy liegt unter Jev (0,471 gegenüber 0,580)
- Brier- und Score-MAE-Vorteile gegenüber Jev werden in keiner Fassung genannt
- Die Kurzfassung nennt den Genauigkeitsvorsprung vor Jev (0,727) und die Lehrer-Grenze (0,735) nicht
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Vorfälle melden
- SF-M1 Ab wann ist ein KI-Vorfall so ernst, dass Staaten ihn einander melden müssen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-M3 Wie stellt man fest, ob ein Vorfall gewollt oder versehentlich war, und ob KI oder herkömmliche Mittel dahinterstecken?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-M4 Wie kommen Meldungen von Laboren, Betreibern und Nutzern schnell und geschützt zu den Stellen, die handeln müssen, auch über Grenzen hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 50 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 34 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 40 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 28 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 34 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F5 Wie gehen Staaten gemeinsam gegen KI-gestützte Cyberangriffe vor und verhindern Eskalation zwischen autonomen Systemen, ohne die Verteidigung zu behindern?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 51 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 39 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 28 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 30 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 34 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 55 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 32 %einzelne zitierbare Belege
- JEV
- amos 30 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung kein Bezug
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 39 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 72 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 28 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 44 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 29 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 58 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 37 %einzelne zitierbare Belege
- JEV
- amos 28 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 47 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung nur am Rande erwähnt
- SF-V5-T02 Würde man lieber einem großen, überwachten Modell vertrauen oder vielen kleinen, nicht überwachten?
Agenten und vernetzte Systeme
- SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 32 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-A3 Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Modelle teilen und schützen
- SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- clef 100 %kein Bezug
- Luna 31 %Hintergrund, keine Belege
- JEV
- amos 28 %nur am Rande erwähnt
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 25 %Hintergrund, keine Belege
- JEV
- amos 24 %nur am Rande erwähnt
- SubQ 100 %kein Bezug
- drex 35 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 46 %umfangreiche Belege
- JEV
- amos 33 %einzelne zitierbare Belege
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 46 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung nur am Rande erwähnt
Frieden und Sicherheit
- SF-K2 Wie weit gelten KI-Abkommen für Verbündete und Geheimdienste, und wie verhalten sie sich zu bestehenden Rüstungskontrollverträgen und -regimen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 45 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Offenlegung und Rechenschaft
- SF-O1 Wie können Mitarbeitende Sicherheitsbedenken melden, ohne alles zu riskieren?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 56 %gleiches Oberthema, hilft nicht
- drex 36 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-O3 Welcher Text gilt, und wie beweist man, dass ein Dokument nicht verändert wurde?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 52 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Wirtschaft und Haftung
- SF-W2 Wie wirken sich Wettbewerbsrecht und öffentliche Beschaffung auf die KI-Sicherheit aus?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- Alle Berichte im Archiv