Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
fragen-fundeohne Datum · Q004974

Hugging Face

huggingface.co · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Der Bericht stellt ein englischsprachiges, auf vier synthetische Arbeitsabläufe spezialisiertes Entscheidungsmodell vor und gibt für dessen Testsatz eine Genauigkeit von 0,766 an. Der Vergleich mit Jev ist laut Bericht nur richtungsweisend; außerhalb der Spezialgebiete und bei Wahrscheinlichkeitsangaben bestehen Einschränkungen, und die Kalibrierung sollte mit zurückgehaltenen Daten überprüft werden.

Mittel

Der Bericht beschreibt „Laya Typed-Decisions“ als spezialisiertes Entscheidungsmodell für vier synthetische Abläufe: Agenten-Trace-Beobachtung, Kundenservice, Rechnungsverarbeitung und Sicherheitsvorfälle. Es basiert auf ModernBERT-large, umfasst 421 Millionen Parameter und ist laut Modellkarte englischsprachig.

Auf einem offiziellen Testsatz mit 400 Fällen und 2.000 Entscheidungen weist der Bericht eine Genauigkeit von 0,766 aus. Das übertrifft die dort genannten Vergleichswerte von TypeSafe Jev (0,727) und einer Lehrer-Übereinstimmungsgrenze (0,735). Der Bericht betont jedoch, dass Jevs Zahlen aus einer Drittveröffentlichung stammen und wegen unterschiedlicher Stichproben und Prompts nur einen Anhaltspunkt bieten. Die höchste Genauigkeit erzielt das Modell laut Tabelle bei der Rechnungsverarbeitung (0,804).

Das Modell wurde mit 1.200 Trainingsfällen feinabgestimmt. Es ist außerhalb der vier Arbeitsabläufe möglicherweise nicht geeignet. Seine Wahrscheinlichkeiten gelten wegen schwacher Kalibrierung und einer teils auf Trainingsdaten angepassten Temperatur als unzuverlässig, bis sie mit zurückgehaltenen Daten neu kalibriert wurden. Für andere Sprachen nennt der Bericht ein separates mehrsprachiges Modell; Auswahlfragen sollten etwa 20 Optionen nicht überschreiten.

Ausführlich lesen

Der Bericht stellt „Laya Typed-Decisions“ als spezialisiertes, nicht-autoregressives System-1-Entscheidungsmodell vor. Laut Modellbeschreibung wurde es mit dem Datensatz „typed-decisions“ auf vier synthetischen Arbeitsabläufen feinabgestimmt: Beobachtung von Agenten-Traces, Kundenservice, Rechnungsverarbeitung und Sicherheitsvorfällen. Es basiert auf ModernBERT-large, hat 421 Millionen Parameter und einen Kontext von 1.024 Tokens. Für Englisch allgemein und mehr als 100 Sprachen verweist der Bericht auf andere Modelle der Laya-Familie.

Für den offiziellen Testsatz mit 400 Fällen und 2.000 Entscheidungen gibt der Bericht für diesen Checkpoint eine Genauigkeit von 0,766 an. Das liegt über den aufgeführten Vergleichswerten: 0,727 für TypeSafe Jev und 0,735 für die angegebene Obergrenze der Übereinstimmung mit dem Lehrermodell. Auch Brier-Wert und Score-MAE werden günstiger ausgewiesen als bei Jev. Der Bericht schränkt den Vergleich allerdings ausdrücklich ein: Jevs Zahlen stammen aus einer veröffentlichten Drittquelle, wurden nicht im selben Projekt gemessen, und Stichproben sowie Prompts unterscheiden sich. Die Gegenüberstellung sei daher nur als Hinweis zu verstehen.

Nach Arbeitsablauf sei die Genauigkeit bei der Rechnungsverarbeitung am höchsten (0,804), gefolgt von Sicherheitsvorfällen (0,766), Kundenservice (0,764) und Agenten-Trace-Beobachtung (0,730). Nach Fragetyp erreicht „noul“ laut Tabelle 0,857, „choice“ 0,733 und „score“ 0,723 Genauigkeit. Die Modellkarte beschreibt außerdem ein Fine-Tuning auf 1.200 Trainingsfällen mit 6.000 Entscheidungen. Zum Einsatz properer Scoring-Regeln, verrauschter Exploration und REINFORCE-Updates mit Baseline kommen laut Bericht Soft-Cross-Entropy-Verluste gegen die Verteilungen des Lehrermodells.

Zur Nutzung nennt der Bericht Installation über pip sowie direkte Vorhersagen und explizites Routing. Der Router wählt das Spezialmodell nicht automatisch aus, außer die automatische Aufgabenerkennung wird aktiviert. Für wiederholte Anfragen empfiehlt der Bericht, das Modell vorzuhalten; Stapelvorhersagen sollen laut Beschreibung dieselben Antworten liefern wie Einzelaufrufe. Bei einem Hängen während des Ladens wird als mögliche Abhilfe „USE_TF=0“ genannt, weil Transformers TensorFlow prüfen könne und dessen Abseil-Laufzeit die Modellerstellung blockieren könne.

Die Grenzen sind wesentlich: Das Modell ist auf die vier genannten synthetischen Abläufe spezialisiert und kann außerhalb davon wie das Basismodell oder schlechter abschneiden. Seine Soft-Accuracy liegt unter Jevs, seine Kalibrierung ist laut ECE-Wert schwächer, und der Bericht warnt vor übermäßigem Selbstvertrauen. Die Temperaturanpassung sei teilweise vom Basismodell übernommen; außerdem seien die pro Typ angepassten Temperaturen zunächst auf Trainingsdaten ermittelt worden. Deshalb solle man die Wahrscheinlichkeiten bis zu einer Neuanpassung anhand eigener zurückgehaltener Daten als unkalibriert behandeln. Das Modell ist englischsprachig; für andere Sprachen wird das mehrsprachige Modell empfohlen. Bei Auswahlfragen rät die Modellkarte zu weniger als etwa 20 Optionen, da sich diese ein festes Tokenbudget teilen und die Genauigkeit bei größeren Antwortmengen stark sinke.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Der Bericht ist eine Modellkarte von Hugging Face ohne Bezug zu Fragen der Governance. Lunas eigene Stufen und Anteile wurden nicht übernommen und jede Frage unabhängig anhand des Berichts bewertet.

Im Bericht, aber nicht in der Zusammenfassung

  • Soft Accuracy liegt unter Jev (0,471 gegenüber 0,580)
  • Brier- und Score-MAE-Vorteile gegenüber Jev werden in keiner Fassung genannt
  • Die Kurzfassung nennt den Genauigkeitsvorsprung vor Jev (0,727) und die Lehrer-Grenze (0,735) nicht

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Vorfälle melden
Fähigkeiten messen
Unabhängig prüfen
  1. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV offen
    • amos 28 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 30 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Tempo und Grenzen
  1. SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
    • clef 100 %kein Bezug
    • Luna 32 %einzelne zitierbare Belege
    • JEV offen
    • amos 30 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung kein Bezug
Vertrauen in Modelle
  1. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 37 %einzelne zitierbare Belege
    • JEV offen
    • amos 28 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 47 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung nur am Rande erwähnt

Agenten und vernetzte Systeme
Modelle teilen und schützen
  1. SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
    • clef 100 %kein Bezug
    • Luna 31 %Hintergrund, keine Belege
    • JEV offen
    • amos 28 %nur am Rande erwähnt
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  2. SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
    • clef 100 %kein Bezug
    • Luna 25 %Hintergrund, keine Belege
    • JEV offen
    • amos 24 %nur am Rande erwähnt
    • SubQ 100 %kein Bezug
    • drex 35 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
  3. SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
    • clef 100 %kein Bezug
    • Luna 46 %umfangreiche Belege
    • JEV offen
    • amos 33 %einzelne zitierbare Belege
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 46 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung nur am Rande erwähnt
Frieden und Sicherheit
Offenlegung und Rechenschaft
Beteiligung und Gemeinwohl
Wirtschaft und Haftung

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →