Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
fragen-fundeohne Datum · Q004878

Hugging Face

huggingface.co · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Clef-Omni wird als multimodales Modell für strukturierte Entscheidungen vorgestellt, das aus Text, JSON und Medien Wahrscheinlichkeiten für vorgegebene Antwortoptionen berechnet. Die vom Anbieter aufgeführten internen Benchmark- und Workflow-Ergebnisse sind je nach Aufgabe gemischt; der Bericht nennt hohen GPU-Speicherbedarf und beschreibt keine unabhängige Prüfung der Resultate.

Mittel

Der Bericht beschreibt Clef-Omni als Cloudflares multimodales Modell für strukturierte Entscheidungen. Es verarbeitet Text und JSON sowie Bilder, Audio und Video und liefert für vorgegebene Ja/Nein-, Auswahl- oder Bewertungsfragen Wahrscheinlichkeiten für die erlaubten Antworten. Grundlage ist laut Seite Qwen3-Omni-30B-A3B-Instruct, ergänzt um einen gemeinsamen Schema-Kopf. Freie Textausgaben sind nicht vorgesehen. Die API wird als kompatibel mit Jev und SystemOne angegeben.

Für den Betrieb nennt der Bericht eine getestete Umgebung mit torch 2.11, transformers 5.10.2 und einer H200-GPU; das Modell benötigt bei bfloat16 etwa 64 GB GPU-Speicher. In den aufgeführten internen Benchmarks fallen die Ergebnisse je nach Aufgabe unterschiedlich aus: Clef-Omni erzielt etwa 94,8 Prozent bei BANKING77 und 92,7 Prozent bei MMLU, aber 2,6 Prozent bei POP909-CL. Andere verglichene Modelle liegen oft vorn. Bei den Geschäftsabläufen erreicht Clef-Omni zwischen 60,2 und 82,0 Prozent und führt keine aufgeführte Metrik an. Die Werte sind laut Bericht interne beziehungsweise referenzlabelbasierte Auswertungen; eine unabhängige Prüfung wird nicht beschrieben. Veröffentlicht wird das Modell unter Apache-2.0.

Ausführlich lesen

Der Bericht stellt Clef-Omni vor, ein multimodales Modell von Cloudflare für Entscheidungen anhand vorgegebener Fragen und Antwortmöglichkeiten. Laut Beschreibung verarbeitet es Zustandsangaben als Text oder JSON sowie Bilder, Audio und Video. Für jede Frage bewertet es die erlaubten Optionen in einem Durchlauf und gibt Wahrscheinlichkeiten aus. Es soll keine freien Texte erzeugen; dadurch entfällt laut Bericht das nachträgliche Auslesen solcher Texte. Die API wird als kompatibel mit Jev und SystemOne beschrieben.

Als Grundlage dient laut Bericht Qwen3-Omni-30B-A3B-Instruct. Clef-Omni ergänzt dessen Sprach-, Bild- und Audioverarbeitung um einen gemeinsamen Schema-Kopf, der Hinweise aus dem Zustand den Fragen zuordnet und die Antwortmöglichkeiten bewertet. Die Sprach-Ausgabegewichte des Basismodells sind zwar enthalten, werden beim Laden des beschriebenen Modells aber nicht verwendet. Der Bericht nennt ein Modell mit 30B-A3B-MoE-Architektur und weist auf der Hugging-Face-Seite 35 Milliarden Parameter aus.

Die Dokumentation beschreibt Eingaben mit einem Zustand und Fragen des Typs Ja/Nein, Auswahl oder geordnete Bewertung. Bilder, Audio und Videos können ergänzt werden; Videos werden laut Bericht mit zwei Bildern pro Sekunde verarbeitet. Tonspuren werden zusammen mit Videobildern berücksichtigt, sofern alle Videos eines Datensatzes eine Tonspur besitzen. Text- und Medienbeispiele können gemeinsam gebündelt werden. Die bereitgestellten Dateien enthalten unter anderem Modellgewichte, Verarbeitungs- und Tokenizer-Konfigurationen sowie Python-Code. Als getestete Umgebung nennt der Bericht torch 2.11, transformers 5.10.2 und eine einzelne H200-GPU; für das Rückgrat werden bei bfloat16 etwa 64 GB GPU-Speicher angegeben. Bilder erfordern Pillow, Audio und Video die Bibliothek av. SGLang wird lediglich als künftig verfügbar angekündigt.

Die Ergebnisse stammen laut Seite aus internen Läufen der Decision-Index-Suite Version 0.2.1 sowie aus vier Geschäftsabläufen, die mit Referenzlabels bewertet wurden. Im Benchmarkvergleich liegt Clef-Omni je nach Aufgabe unterschiedlich: Es erreicht beispielsweise 94,8 Prozent bei BANKING77 und 92,7 Prozent bei MMLU, während es bei POP909-CL 2,6 Prozent erzielt. Andere Modelle schneiden in zahlreichen Tabellenzeilen besser ab; bei GPQA Diamond, MMLU-Pro und BBH liegt Jev deutlich vorn, bei mehreren Aufgaben Clef oder Clef-Flash. Auch bei den Workflow-Auswertungen gewinnt Clef-Omni keine der aufgeführten Metriken: Die Werte reichen von 60,2 Prozent für exakt passende Rechnungsaktionen bis 82,0 Prozent für die primäre Rechnungsaktion. Die Seite sagt, dass die Workflow-Modelle dieselbe Datenrevision und Fallgruppe nutzen.

Der Bericht nennt keine unabhängige Prüfung der internen Benchmarkresultate und beschreibt nicht alle Einzelheiten der Auswertungsmethodik. Die Zahlen sind daher als von der Modellseite berichtete Ergebnisse zu verstehen, nicht als allgemeingültiger Leistungsnachweis. Das Modell wird unter Apache-2.0 veröffentlicht, entsprechend der angegebenen Lizenz des Basismodells.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Bewertet wurde die mittlere Zusammenfassung von Luna. Die kurze Fassung ist inhaltlich in den Kernaussagen gedeckt. Der Bericht ist eine Modellkarte mit Benchmarks und Nutzungshinweisen und beantwortet die meisten gesellschaftlichen Sammelfragen nur am Rande.

Im Bericht, aber nicht in der Zusammenfassung

  • Architektur als 30B-A3B Mixture-of-Experts
  • Verweis auf die Varianten Clef und Clef-Flash für Bild und Video

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Vorfälle melden
Fähigkeiten messen
Unabhängig prüfen
  1. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV offen
    • amos 31 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 36 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Tempo und Grenzen
Vertrauen in Modelle
  1. SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV offen
    • amos 29 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 41 %gleiches Oberthema, hilft nicht
    • d3-ultra 48 %gleiches Oberthema, hilft nicht
  2. SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
    • clef 100 %kein Bezug
    • Luna 42 %Hintergrund, keine Belege
    • JEV offen
    • amos 29 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 59 %gleiches Oberthema, hilft nicht
    • d3-ultra 52 %gleiches Oberthema, hilft nicht

  3. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 45 %Hintergrund, keine Belege
    • JEV offen
    • amos 27 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 43 %gleiches Oberthema, hilft nicht
    • d3-ultra 53 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung nur am Rande erwähnt

Agenten und vernetzte Systeme
Modelle teilen und schützen
  1. SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
    • clef 100 %kein Bezug
    • Luna 46 %einzelne zitierbare Belege
    • JEV offen
    • amos 25 %einzelne zitierbare Belege
    • SubQ 40 %gleiches Oberthema, hilft nicht
    • drex 34 %gleiches Oberthema, hilft nicht
    • d3-ultra 43 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung nur am Rande erwähnt
  2. SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
    • clef 100 %kein Bezug
    • Luna 46 %beantwortet teilweise oder widerspricht
    • JEV offen
    • amos 32 %einzelne zitierbare Belege
    • SubQ 100 %kein Bezug
    • drex 28 %einzelne zitierbare Belege
    • d3-ultra 28 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung beantwortet teilweise oder widerspricht

Frieden und Sicherheit
Offenlegung und Rechenschaft
Beteiligung und Gemeinwohl
Wirtschaft und Haftung
Information und Öffentlichkeit

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →