Hugging Face
Zusammenfassung
Kurz
Nimble-v4-max v4.1 ist laut Hugging-Face-Seite ein Entscheidungsmodell von Bespoke Labs und erreicht im angegebenen öffentlichen Decision Index 0.3 einen höheren Wert als v4.0. Die Benchmark-Verbesserungen variieren; zur Nutzung werden spezieller Inferenzcode und eine GPU mit mindestens 80 GB genannt, und die Lizenz schließt kommerzielle Verwendung aus.
Mittel
Die Hugging-Face-Seite stellt Nimble-v4-max v4.1 von Bespoke Labs vor, eine Feinabstimmung von Qwen/Qwen3.8-27B für strukturierte Entscheidungen. Auf Fragen mit vorgegebenen Antwortoptionen gibt das Modell Wahrscheinlichkeiten aus. Laut Seite erreicht v4.1 im öffentlichen Decision Index 0.3 einen Wert von 72,74, gegenüber 68,46 für v4.0. Die Anbieter beschreiben besonders größere Zugewinne bei Absichtsklassifikation, Mathematik, Schlussfolgern und Mehrfachauswahl. In den aufgeführten Einzelbenchmarks verbessert sich v4.1 etwa bei GSM8K, MMLU-Pro und BANKING77; bei HellaSwag, CRUXEval, BRIGHT und Amazon ESCI liegen die Werte dagegen etwas niedriger. Die Tabelle umfasst einen Auszug der Benchmarks; für alle 43 verweist die Seite auf den Ergebnisdatensatz.
Für reproduzierbare Ergebnisse empfiehlt die Beschreibung den bereitgestellten Inferenzcode. Gewöhnliches Chat-Laden oder Textgenerierung bilde das Verfahren nicht nach. Das Modell benötigt laut Seite rund 55 GB BF16-Speicher und eine GPU mit mindestens 80 GB. Die Lizenz CC BY-NC 4.0 untersagt kommerzielle Nutzung; das Basismodell hat eine separate Apache-2.0-Lizenz. Die genannten Ergebnisse stammen aus dem auf der Seite beschriebenen öffentlichen Testlauf und sind dort nicht unabhängig verifiziert.
Ausführlich lesen
Die Hugging-Face-Modellseite beschreibt Nimble-v4-max als Entscheidungsmodell von Bespoke Labs. Es handelt sich laut Seite um eine Feinabstimmung von Qwen/Qwen3.8-27B. Das Modell verarbeitet einen Kontext und eine strukturierte Frage, etwa eine Auswahl aus mehreren Optionen, eine Ja-Nein-Frage oder eine Bewertung auf einer geordneten Skala. Als Ergebnis gibt es eine Wahrscheinlichkeit für jede mögliche Antwort aus.
Die Seite stellt Version 4.1 aus November 2026 vor. Im öffentlichen Decision-Index-0.3-Testlauf erreicht sie den angegebenen Wert 72,74, gegenüber 68,46 für Version 4.0 aus Oktober 2026. Bespoke Labs nennt die größten Verbesserungen bei Absichtsklassifikation, Mathematik, Schlussfolgern und Fragen mit mehreren auswählbaren Antworten. Da laut Beschreibung Anfrageformat und Inferenzcode gegenüber v4.0 gleich geblieben sind, soll v4.1 als direkter Ersatz einsetzbar sein. Wer v4.0 beibehalten möchte, kann die Revision entsprechend festlegen.
Für eine Reihe bekannter Benchmarks listet die Seite die Ergebnisse beider Versionen nach den jeweils benchmarkeigenen Kennzahlen auf. v4.1 liegt unter anderem bei MMLU-Pro (74,1 gegenüber 71,0), GPQA Diamond (55,6 gegenüber 52,5), GSM8K (83,6 gegenüber 75,9), MuSR (75,7 gegenüber 70,0) und BANKING77 (Macro-F1 93,2 gegenüber 79,9) höher. Die Werte steigen auch bei mehreren weiteren Aufgaben, darunter MMLU, HLE, CLadder und ANLI. Die Entwicklung ist jedoch nicht bei jedem Test positiv: Für HellaSwag, CRUXEval, BRIGHT und Amazon ESCI nennt die Tabelle geringfügig niedrigere Werte für v4.1. Die Seite verweist für die vollständigen Resultate von 43 Benchmarks auf eine Datei im zugehörigen Ergebnisdatensatz.
Zum Ausführen empfiehlt die Beschreibung den bereitgestellten Inferenzcode. Dieser erzeugt anhand gehashter Konfigurationen die vorgesehenen Prompts, berücksichtigt das verwendete Aufmerksamkeitsmuster und bewertet jeweils ein Token pro Antwortoption. Die Seite warnt, dass das Laden als gewöhnliches Chatmodell oder die Textgenerierung die beschriebenen Antworten nicht reproduziere. Der Code gibt eine Softmax-Verteilung bei Temperatur 1 aus; für kalibrierte Wahrscheinlichkeiten sollen die Optionslogits vor der Softmax durch die versionsabhängige Standardtemperatur geteilt werden. Laut Seite ändert die Temperatur nicht, welche Option den höchsten Rang erhält.
Das Modell umfasst 27 Milliarden Parameter, liegt im BF16-Format vor und benötigt ungefähr 55 GB Speicher; angegeben wird der Betrieb auf einer GPU mit mindestens 80 GB. Die Modelllizenz ist CC BY-NC 4.0 und schließt laut Seite kommerzielle Nutzung aus. Für das separat lizenzierte Basismodell Qwen/Qwen3.8-27B wird Apache 2.0 genannt. Die Leistungsangaben sind damit die von der Modellseite berichteten Resultate des öffentlichen Testlaufs; der Text liefert keine unabhängige Prüfung oder weitergehende Aussage zur Übertragbarkeit auf andere Einsatzfälle.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Die kurze Zusammenfassung ist sachlich korrekt, lässt aber die Feinabstimmung des Basismodells und die Ausgabe von Wahrscheinlichkeiten aus. Die mittlere Zusammenfassung stimmt bei Zahlen und Benchmarks, enthält aber eine eigene Bewertung zur fehlenden Verifikation. Die Einordnung stützt sich allein auf diese Modellkarte, die nur Lizenz, Herkunft und Betrieb berührt. Die Frage nach Verantwortung, staatlichem Umgang und Modellgröße wird nicht beantwortet.
Im Bericht, aber nicht in der Zusammenfassung
- Die Default-Temperatur 2,25 für v4.1 und die Kalibrierung der Wahrscheinlichkeiten durch Division der Optionslogits
- Die Aussage, dass v4.1 ein Drop-in-Ersatz für v4.0 mit denselben Requests ist
- Die Möglichkeit, mit revision v4.0 bei der alten Version zu bleiben
In der Zusammenfassung, laut Prüfung nicht im Bericht belegt
- Die Aussage, die Ergebnisse seien auf der Seite nicht unabhängig verifiziert, steht so nicht im Bericht
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Vorfälle melden
- SF-M4 Wie kommen Meldungen von Laboren, Betreibern und Nutzern schnell und geschützt zu den Stellen, die handeln müssen, auch über Grenzen hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 41 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 28 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 42 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 34 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 50 %gleiches Oberthema, hilft nicht
- SubQ 51 %gleiches Oberthema, hilft nicht
- drex 41 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 29 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 36 %gleiches Oberthema, hilft nicht
- d3-ultra 49 %gleiches Oberthema, hilft nicht
- SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 37 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 55 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 37 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 44 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 51 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 61 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 47 %gleiches Oberthema, hilft nicht
- d3-ultra 50 %gleiches Oberthema, hilft nicht
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 56 %gleiches Oberthema, hilft nicht
- d3-ultra 49 %gleiches Oberthema, hilft nicht
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 41 %einzelne zitierbare Belege
- JEV
- amos 31 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 51 %gleiches Oberthema, hilft nicht
- d3-ultra 53 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung Hintergrund, keine Belege
- SF-V5-T02 Würde man lieber einem großen, überwachten Modell vertrauen oder vielen kleinen, nicht überwachten?
Modelle teilen und schützen
- SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 26 %nur am Rande erwähnt
- SubQ 100 %kein Bezug
- drex 37 %gleiches Oberthema, hilft nicht
- d3-ultra 44 %gleiches Oberthema, hilft nicht
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 42 %einzelne zitierbare Belege
- JEV
- amos 24 %einzelne zitierbare Belege
- SubQ 44 %gleiches Oberthema, hilft nicht
- drex 41 %gleiches Oberthema, hilft nicht
- d3-ultra 45 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung einzelne zitierbare Belege
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 42 %umfangreiche Belege
- JEV
- amos 39 %einzelne zitierbare Belege
- SubQ 100 %kein Bezug
- drex 25 %gleiches Oberthema, hilft nicht
- d3-ultra 27 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung einzelne zitierbare Belege
- SF-H4 Was geschieht mit Modellen und Sicherheitspflichten, wenn ein Labor verkauft, aufgelöst oder ein Modell stillgelegt wird?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 37 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 50 %gleiches Oberthema, hilft nicht
- SubQ 58 %gleiches Oberthema, hilft nicht
- drex 41 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-O3 Welcher Text gilt, und wie beweist man, dass ein Dokument nicht verändert wurde?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E2 In welchem Rahmen sollen Staaten KI regeln, und wo liegt eine gemeinsame Untergrenze?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 49 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 56 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Wirtschaft und Haftung
- SF-W2 Wie wirken sich Wettbewerbsrecht und öffentliche Beschaffung auf die KI-Sicherheit aus?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- Alle Berichte im Archiv