Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
fragen-fundeohne Datum · Q004805

Hugging Face

huggingface.co · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Nimble-v4-max v4.1 ist laut Hugging-Face-Seite ein Entscheidungsmodell von Bespoke Labs und erreicht im angegebenen öffentlichen Decision Index 0.3 einen höheren Wert als v4.0. Die Benchmark-Verbesserungen variieren; zur Nutzung werden spezieller Inferenzcode und eine GPU mit mindestens 80 GB genannt, und die Lizenz schließt kommerzielle Verwendung aus.

Mittel

Die Hugging-Face-Seite stellt Nimble-v4-max v4.1 von Bespoke Labs vor, eine Feinabstimmung von Qwen/Qwen3.8-27B für strukturierte Entscheidungen. Auf Fragen mit vorgegebenen Antwortoptionen gibt das Modell Wahrscheinlichkeiten aus. Laut Seite erreicht v4.1 im öffentlichen Decision Index 0.3 einen Wert von 72,74, gegenüber 68,46 für v4.0. Die Anbieter beschreiben besonders größere Zugewinne bei Absichtsklassifikation, Mathematik, Schlussfolgern und Mehrfachauswahl. In den aufgeführten Einzelbenchmarks verbessert sich v4.1 etwa bei GSM8K, MMLU-Pro und BANKING77; bei HellaSwag, CRUXEval, BRIGHT und Amazon ESCI liegen die Werte dagegen etwas niedriger. Die Tabelle umfasst einen Auszug der Benchmarks; für alle 43 verweist die Seite auf den Ergebnisdatensatz.

Für reproduzierbare Ergebnisse empfiehlt die Beschreibung den bereitgestellten Inferenzcode. Gewöhnliches Chat-Laden oder Textgenerierung bilde das Verfahren nicht nach. Das Modell benötigt laut Seite rund 55 GB BF16-Speicher und eine GPU mit mindestens 80 GB. Die Lizenz CC BY-NC 4.0 untersagt kommerzielle Nutzung; das Basismodell hat eine separate Apache-2.0-Lizenz. Die genannten Ergebnisse stammen aus dem auf der Seite beschriebenen öffentlichen Testlauf und sind dort nicht unabhängig verifiziert.

Ausführlich lesen

Die Hugging-Face-Modellseite beschreibt Nimble-v4-max als Entscheidungsmodell von Bespoke Labs. Es handelt sich laut Seite um eine Feinabstimmung von Qwen/Qwen3.8-27B. Das Modell verarbeitet einen Kontext und eine strukturierte Frage, etwa eine Auswahl aus mehreren Optionen, eine Ja-Nein-Frage oder eine Bewertung auf einer geordneten Skala. Als Ergebnis gibt es eine Wahrscheinlichkeit für jede mögliche Antwort aus.

Die Seite stellt Version 4.1 aus November 2026 vor. Im öffentlichen Decision-Index-0.3-Testlauf erreicht sie den angegebenen Wert 72,74, gegenüber 68,46 für Version 4.0 aus Oktober 2026. Bespoke Labs nennt die größten Verbesserungen bei Absichtsklassifikation, Mathematik, Schlussfolgern und Fragen mit mehreren auswählbaren Antworten. Da laut Beschreibung Anfrageformat und Inferenzcode gegenüber v4.0 gleich geblieben sind, soll v4.1 als direkter Ersatz einsetzbar sein. Wer v4.0 beibehalten möchte, kann die Revision entsprechend festlegen.

Für eine Reihe bekannter Benchmarks listet die Seite die Ergebnisse beider Versionen nach den jeweils benchmarkeigenen Kennzahlen auf. v4.1 liegt unter anderem bei MMLU-Pro (74,1 gegenüber 71,0), GPQA Diamond (55,6 gegenüber 52,5), GSM8K (83,6 gegenüber 75,9), MuSR (75,7 gegenüber 70,0) und BANKING77 (Macro-F1 93,2 gegenüber 79,9) höher. Die Werte steigen auch bei mehreren weiteren Aufgaben, darunter MMLU, HLE, CLadder und ANLI. Die Entwicklung ist jedoch nicht bei jedem Test positiv: Für HellaSwag, CRUXEval, BRIGHT und Amazon ESCI nennt die Tabelle geringfügig niedrigere Werte für v4.1. Die Seite verweist für die vollständigen Resultate von 43 Benchmarks auf eine Datei im zugehörigen Ergebnisdatensatz.

Zum Ausführen empfiehlt die Beschreibung den bereitgestellten Inferenzcode. Dieser erzeugt anhand gehashter Konfigurationen die vorgesehenen Prompts, berücksichtigt das verwendete Aufmerksamkeitsmuster und bewertet jeweils ein Token pro Antwortoption. Die Seite warnt, dass das Laden als gewöhnliches Chatmodell oder die Textgenerierung die beschriebenen Antworten nicht reproduziere. Der Code gibt eine Softmax-Verteilung bei Temperatur 1 aus; für kalibrierte Wahrscheinlichkeiten sollen die Optionslogits vor der Softmax durch die versionsabhängige Standardtemperatur geteilt werden. Laut Seite ändert die Temperatur nicht, welche Option den höchsten Rang erhält.

Das Modell umfasst 27 Milliarden Parameter, liegt im BF16-Format vor und benötigt ungefähr 55 GB Speicher; angegeben wird der Betrieb auf einer GPU mit mindestens 80 GB. Die Modelllizenz ist CC BY-NC 4.0 und schließt laut Seite kommerzielle Nutzung aus. Für das separat lizenzierte Basismodell Qwen/Qwen3.8-27B wird Apache 2.0 genannt. Die Leistungsangaben sind damit die von der Modellseite berichteten Resultate des öffentlichen Testlaufs; der Text liefert keine unabhängige Prüfung oder weitergehende Aussage zur Übertragbarkeit auf andere Einsatzfälle.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Die kurze Zusammenfassung ist sachlich korrekt, lässt aber die Feinabstimmung des Basismodells und die Ausgabe von Wahrscheinlichkeiten aus. Die mittlere Zusammenfassung stimmt bei Zahlen und Benchmarks, enthält aber eine eigene Bewertung zur fehlenden Verifikation. Die Einordnung stützt sich allein auf diese Modellkarte, die nur Lizenz, Herkunft und Betrieb berührt. Die Frage nach Verantwortung, staatlichem Umgang und Modellgröße wird nicht beantwortet.

Im Bericht, aber nicht in der Zusammenfassung

  • Die Default-Temperatur 2,25 für v4.1 und die Kalibrierung der Wahrscheinlichkeiten durch Division der Optionslogits
  • Die Aussage, dass v4.1 ein Drop-in-Ersatz für v4.0 mit denselben Requests ist
  • Die Möglichkeit, mit revision v4.0 bei der alten Version zu bleiben

In der Zusammenfassung, laut Prüfung nicht im Bericht belegt

  • Die Aussage, die Ergebnisse seien auf der Seite nicht unabhängig verifiziert, steht so nicht im Bericht

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Vorfälle melden
Fähigkeiten messen
Unabhängig prüfen
  1. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV offen
    • amos 29 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 36 %gleiches Oberthema, hilft nicht
    • d3-ultra 49 %gleiches Oberthema, hilft nicht
Tempo und Grenzen
Vertrauen in Modelle
  1. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 41 %einzelne zitierbare Belege
    • JEV offen
    • amos 31 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 51 %gleiches Oberthema, hilft nicht
    • d3-ultra 53 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung Hintergrund, keine Belege

Modelle teilen und schützen
  1. SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
    • clef 100 %kein Bezug
    • Luna 42 %einzelne zitierbare Belege
    • JEV offen
    • amos 24 %einzelne zitierbare Belege
    • SubQ 44 %gleiches Oberthema, hilft nicht
    • drex 41 %gleiches Oberthema, hilft nicht
    • d3-ultra 45 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung einzelne zitierbare Belege
  2. SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
    • clef 100 %kein Bezug
    • Luna 42 %umfangreiche Belege
    • JEV offen
    • amos 39 %einzelne zitierbare Belege
    • SubQ 100 %kein Bezug
    • drex 25 %gleiches Oberthema, hilft nicht
    • d3-ultra 27 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung einzelne zitierbare Belege
Offenlegung und Rechenschaft
Beteiligung und Gemeinwohl
Wirtschaft und Haftung

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →