Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
fragen-fundeohne Datum · Q004900

Hugging Face

huggingface.co · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Der Bericht beschreibt Tev1-4B-experimental als feinabgestimmtes Qwen3.5-4B-Modell für strukturierte Auswahlaufgaben, das eine Option per Buchstaben ausgeben soll. Die gemeldeten Entwicklungswerte betragen 88 Prozent im Haupttest und 100 Prozent in einem synthetischen Transfer-Test, sind aber kein unabhängiger Benchmark; unter anderem fehlen ein Vergleich mit unverändertem Qwen und umfassende Prüfungen zu Robustheit und Mehrsprachigkeit.

Mittel

Der Bericht stellt Tev1-4B-experimental als experimentelles Entscheidungsmodell von Together AI vor. Es sei eine überwachte Feinabstimmung von Qwen3.5-4B und soll aus einem strukturierten Zustand, einer Frage und zwei bis 24 Optionen eine auswählen. Vorgesehen ist die Rückgabe eines einzelnen Optionsbuchstabens; die Anwendung ordnet ihn dem entsprechenden Bedeutungsschlüssel zu. Trotz der Jev-Inspiration bleibt das Modell laut Bericht ein autoregressives Sprachmodell mit Qwens üblichem Vorhersagekopf.

In einer Entwicklungsbewertung erreichte es laut Modellseite 88 Prozent im Hauptdatensatz und 100 Prozent im synthetischen Policy-Transfer-Datensatz. Alle 1.300 Antworten seien gültige Einzelbuchstaben gewesen, HTTP-Fehler habe es keine gegeben. Die Ergebnisse sind jedoch kein unabhängiger Benchmark: Die Evaluationsdaten beeinflussten die Entwicklung, ein Vergleich mit unverändertem Qwen fehlt und der Transferdatensatz ist synthetisch.

Der Bericht warnt vor Fehlern und ungeprüfter Robustheit bei Prompt-Injection, Mehrsprachigkeit, Kalibrierung und unbekannten Datenlagen. Allgemeiner Chat ist nicht das Zielinterface; bei folgenreichen Entscheidungen soll das Modell nicht allein entscheiden. Die Lizenz der feinabgestimmten Gewichte ist noch in Klärung, und auch lokaler Transformers-Betrieb muss geprüft werden.

Ausführlich lesen

Der bereitgestellte Bericht beschreibt Tev1-4B-experimental als experimentelles Entscheidungsmodell von Together AI. Laut Modellseite handelt es sich um eine überwachte Feinabstimmung von Qwen3.5-4B, die aus einem strukturierten Zustand, einer Frage und mehreren Auswahlmöglichkeiten genau eine Option bestimmen soll. Das Modell sei von Jev inspiriert, aber keine nicht-autoregressive Jev-Laufzeit: Es verwendet weiterhin Qwens gewöhnlichen Sprachmodellkopf zur Vorhersage des nächsten Tokens.

Als vorgesehene Nutzung nennt der Bericht eine Anfrage mit den Feldern „state“, „question“ und zwei bis 24 gekennzeichneten Optionen. Das Modell soll nur den Buchstaben der gewählten Option zurückgeben; die aufrufende Anwendung ordnet diesen anschließend dem zugehörigen Bedeutungsschlüssel zu. Empfohlen werden unter anderem Temperatur 0, eine kurze Token-Grenze und deaktiviertes „thinking“. Die Seite enthält Beispielcode für den Aufruf über die Together-API sowie Verweise auf eine Trainingsanleitung und den verwendeten Trainingscode.

Für eine Entwicklungsbewertung während der Inbetriebnahme meldet der Bericht 880 richtige Entscheidungen von 1.000 Fällen im Hauptdatensatz (88 Prozent) und 300 von 300 im Policy-Transfer-Datensatz. Alle 1.300 Antworten hätten aus genau einem gültigen Buchstaben bestanden; HTTP-Fehler seien nicht aufgetreten. Diese Zahlen sind laut Bericht keine unabhängigen Benchmark-Ergebnisse: Die Evaluationsmischung floss in die Modellentwicklung ein, ein Vergleich mit einem nicht feinabgestimmten Qwen-Modell steht noch aus, und der Policy-Transfer-Datensatz verwendet synthetische Richtlinienstrukturen.

Als Einschränkungen nennt die Seite, dass allgemeiner Chat nicht der vorgesehene Einsatz ist und dabei Fließtext entstehen kann. Das Modell kann falsche Entscheidungen treffen und soll bei folgenreichen Entscheidungen nicht allein maßgeblich sein. Prompt-Injection, mehrsprachiges Verhalten, Kalibrierung und Robustheit außerhalb der Trainingsverteilung seien nicht umfassend geprüft worden. Auch das lokale Laden mit Transformers und die genauen Umgebungsanforderungen müssten vor einem Einsatz außerhalb der Together-Inferenz überprüft werden.

Zum Lizenzstatus heißt es, die Basis Qwen3.5-4B sei Apache-2.0-lizenziert; die Freigabelizenz der feinabgestimmten Gewichte werde vor einer öffentlichen Konvertierung noch festgelegt. Für die Quellen des Datensatzes gelten jeweils eigene Bedingungen, und für die Trainingsmischung gebe es keine einheitliche Pauschallizenz. Die Modellseiten-Metadaten nennen außerdem fünf Milliarden Parameter, BF16- und F32-Tensortypen sowie 1.702 Downloads im Vormonat.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Luna hat die Zusammenfassung weitgehend korrekt wiedergegeben. Der Bericht ist eine Modellkarte mit Entwicklungsergebnissen des Herstellers und keine Studie zu Governance; die Einordnungen für die Sammelfragen sind daher mit Vorsicht zu lesen.

Im Bericht, aber nicht in der Zusammenfassung

  • Die Apache-2.0-Lizenz des Basismodells Qwen3.5-4B
  • Der Hinweis, dass die Trainingsdatenquellen jeweils eigene Lizenzen haben und die Mischung keine einheitliche Datenlizenz hat
  • Die empfohlenen Anfrageparameter (temperature 0, max_tokens 8, Thinking deaktiviert)

In der Zusammenfassung, laut Prüfung nicht im Bericht belegt

  • „unbekannte Datenlagen“ als Warnpunkt: Der Bericht nennt breite Out-of-Distribution-Robustheit, nicht unbekannte Datenlagen

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Vorfälle melden
Fähigkeiten messen
Unabhängig prüfen
  1. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 100 %kein Bezug
    • Luna 23 %einzelne zitierbare Belege
    • JEV offen
    • amos 30 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 40 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug

    • SF-P3-T02 Welche unabhängig überprüfbaren Zusagen könnten Regierungen von ihren KI-Laboren zur Veröffentlichung verlangen, und wie sieht unabhängige Prüfung aus, wenn der Beleg, dass ein Modell seinen vorgesehenen Zielen und Werten folgt, nur vom trainierenden Labor kommt und Prüfer weder die Modellgewichte (die gelernten Parameter) noch die Trainingsdaten sehen? Luna: Stufe 4 · 29 % · einzelne zitierbare Belege · Haiku-Prüfung: Stufe 3 · Hintergrund, keine Belege
    • SF-P3-T07 Wird jede öffentliche Aussage, ein führendes KI-Modell sei „besser ausgerichtet“ als ein anderes (folge also seinen vorgesehenen Zielen und Werten besser), reproduzierbare Kriterien, externe Prüfungen und widersprechende Ergebnisse enthalten? Luna: Stufe 4 · 26 % · einzelne zitierbare Belege · Haiku-Prüfung: Stufe 2 · nur am Rande erwähnt
Tempo und Grenzen
Vertrauen in Modelle
  1. SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
    • clef 100 %kein Bezug
    • Luna 53 %Hintergrund, keine Belege
    • JEV offen
    • amos 26 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 56 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug

  2. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 27 %einzelne zitierbare Belege
    • JEV offen
    • amos 26 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 48 %gleiches Oberthema, hilft nicht
    • d3-ultra 50 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung einzelne zitierbare Belege

    • SF-V5-T02 Würde man lieber einem großen, überwachten Modell vertrauen oder vielen kleinen, nicht überwachten? Luna: Stufe 3 · 30 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 1 · gleiches Oberthema, hilft nicht
Agenten und vernetzte Systeme
Modelle teilen und schützen
  1. SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
    • clef 100 %kein Bezug
    • Luna 38 %Hintergrund, keine Belege
    • JEV offen
    • amos 28 %nur am Rande erwähnt
    • SubQ 100 %kein Bezug
    • drex 38 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
  2. SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
    • clef 100 %kein Bezug
    • Luna 27 %einzelne zitierbare Belege
    • JEV offen
    • amos 24 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 38 %gleiches Oberthema, hilft nicht
    • d3-ultra 44 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung Hintergrund, keine Belege

  3. SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
    • clef 100 %kein Bezug
    • Luna 39 %einzelne zitierbare Belege
    • JEV offen
    • amos 39 %einzelne zitierbare Belege
    • SubQ 100 %kein Bezug
    • drex 24 %gleiches Oberthema, hilft nicht
    • d3-ultra 32 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung einzelne zitierbare Belege

Frieden und Sicherheit
Offenlegung und Rechenschaft
Beteiligung und Gemeinwohl
Wirtschaft und Haftung

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →