Hugging Face
Zusammenfassung
Kurz
Der Bericht stellt Cloudflares Clef vor: ein multimodales Modell, das Zustände anhand vorgegebener Fragen und Antwortoptionen bewertet und Wahrscheinlichkeiten statt freier Texte ausgibt. Die Benchmark-Ergebnisse fallen gemischt aus: Clef, Clef-Flash und Jev führen jeweils bei unterschiedlichen Aufgaben; die Tabellen dokumentieren die angegebenen internen und workflowbezogenen Tests, nicht eine allgemeine Überlegenheit.
Mittel
Der Bericht beschreibt Clef als Cloudflares multimodales Entscheidungsmodell mit 27 Milliarden Parametern. Es nimmt Text oder JSON sowie optional Bilder und Videos entgegen und bewertet für mehrere vorgegebene Fragen jeweils zulässige Antwortoptionen. Laut Modellbeschreibung erzeugt es keine freien Textantworten, sondern Wahrscheinlichkeiten für Optionen. Die API sei mit Jev und SystemOne kompatibel; als Basis nennt der Bericht Qwen3.8-27B samt Bildencoder und einen zusätzlichen Schema-Kopf. Beschrieben werden Python-Nutzung und Bereitstellung über SGLang. Getestet worden sei mit PyTorch 2.11, Transformers 5.10.2 und einer H200-GPU; für Medieninputs werde Pillow benötigt. Die Veröffentlichung stehe unter Apache-2.0.
Die Ergebnistabellen zeigen kein durchgängiges Spitzenmodell: Clef, Clef-Flash und Jev liegen je nach Benchmark vorn. Clef erzielt etwa hohe Werte bei BANKING77, CLINC150+OOS und RAGTruth; Clef-Flash führt bei mehreren anderen Aufgaben sowie bei der p95-Latenz, während Jev in weiteren Benchmarks gewinnt. Die internen Decision-Index-Werte stammen laut Bericht aus Version 0.2.1. In zusätzlichen Geschäftsablauf-Evaluationen mit Konsens-Referenzlabels schneidet Clef bei zwei ausgewiesenen Kennzahlen am besten ab, während bei anderen Clef-Flash oder Jev führt. Die Angaben beschreiben die aufgeführten Tests; der Bericht belegt damit keine allgemeine Überlegenheit außerhalb dieser Bedingungen.
Ausführlich lesen
Der Bericht stellt Clef als ein von Cloudflare veröffentlichtes multimodales Entscheidungsmodell mit 27 Milliarden Parametern vor. Laut Beschreibung verarbeitet es einen Zustand – etwa Text, JSON, Bilder oder Video – zusammen mit einem Schema aus Fragen und zulässigen Antworten. Es gibt für jede erlaubte Option einen Wert aus, aus dem sich je Frage Wahrscheinlichkeiten berechnen lassen. Das Modell soll Entscheidungen in einem gemeinsamen Durchlauf treffen; freie Textantworten und deren nachträgliches Auslesen seien nicht vorgesehen. Die API sei mit Jev und SystemOne kompatibel.
Als technische Grundlage nennt der Bericht Qwen3.8-27B samt Bildencoder und einen zusätzlichen gemeinsamen Schema-Kopf. Die Fragen können als Ja-Nein-Entscheidungen, Auswahl aus benannten Optionen oder geordnete Bewertungen formuliert werden. Der Bericht beschreibt Python-Beispiele für das Laden und Ausführen des Modells sowie den Betrieb über SGLang. Als getestete Umgebung werden PyTorch 2.11, Transformers 5.10.2 und eine einzelne H200-GPU genannt; für Bild- und Videoeingaben werde zusätzlich Pillow benötigt. Die Eingabelänge sei standardmäßig auf 16.384 Tokens begrenzt und könne über Parameter gesteuert werden. Text- und Medienfälle könnten gemeinsam gebündelt werden. Eine kleinere, schnellere Variante namens Clef-Flash wird ebenfalls erwähnt. Die Dateien stünden unter Apache-2.0-Lizenz.
Den größten Teil des Ergebnisteils bildet eine Benchmark-Tabelle für Clef, Clef-Flash und mehrere Vergleichsmodelle. Die Zahlen stammen laut Bericht aus einem internen Lauf der Decision-Index-Suite in Version 0.2.1. Clef erzielt dort in einigen Aufgaben hohe Werte, etwa bei BANKING77, CLINC150+OOS, BPoMP und RAGTruth. Clef-Flash liegt bei mehreren Benchmarks vorn, darunter ARC-Easy, WinoGrande und MMLU; Jev führt unter anderem bei GPQA Diamond, BBH und mehreren weiteren Aufgaben. Die Resultate sind also je nach Benchmark unterschiedlich. Auch bei der Latenz unterscheiden sich die Modelle: Clef-Flash weist in der Tabelle die niedrigste p95-Latenz auf, während Laya den niedrigsten Median erreicht. Bei ForecastBench gilt ein niedrigerer Brier-Wert als besser.
Zusätzlich zeigt der Bericht Ergebnisse für vier Geschäftsabläufe aus Typesafe Evals, bewertet anhand von Konsens-Referenzlabels und derselben Datensatzrevision und Fallgruppe. Clef erreicht dort die höchsten ausgewiesenen Werte bei den exakten Aktionen der Rechnungsverarbeitung und bei Sicherheitsvorfällen; bei Kundenservice liegt Clef-Flash knapp vorn, bei der Hauptaktion zur Agenten-Trace-Beobachtbarkeit Jev. Diese Tabellen sind die vom Bericht angegebenen Evaluationsergebnisse; sie belegen für sich genommen keine allgemeine Überlegenheit außerhalb der genannten Aufgaben und Bedingungen. Weitergehende Details zu unabhängiger Reproduktion oder zur Aussagekraft über diese Tests hinaus enthält der Text nicht.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Die Zusammenfassungen sind überwiegend korrekt, enthalten aber eine falsche Zählung der Bestwerte bei den Geschäftsablauf-Evaluationen. Die Einordnungen stützen sich allein auf den Bericht; zu Unlearning, Verantwortung und Denkaufwand enthält er nichts.
Im Bericht, aber nicht in der Zusammenfassung
- Die Vergleichsmodelle Kev 9B, Laya und DiffusionGemma Jev werden in den Zusammenfassungen nicht genannt.
In der Zusammenfassung, laut Prüfung nicht im Bericht belegt
- Die Angabe, Clef schneide bei zwei ausgewiesenen Kennzahlen der Geschäftsablauf-Evaluationen am besten ab, ist falsch: Der Bericht markiert Clef in drei Zeilen als Bestwert (Rechnungsverarbeitung zweimal, Sicherheitsvorfälle einmal).
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Vorfälle melden
- SF-M3 Wie stellt man fest, ob ein Vorfall gewollt oder versehentlich war, und ob KI oder herkömmliche Mittel dahinterstecken?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-M4 Wie kommen Meldungen von Laboren, Betreibern und Nutzern schnell und geschützt zu den Stellen, die handeln müssen, auch über Grenzen hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 49 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 27 %Hintergrund, keine Belege
- SubQ 41 %gleiches Oberthema, hilft nicht
- drex 38 %gleiches Oberthema, hilft nicht
- d3-ultra 46 %gleiches Oberthema, hilft nicht
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 31 %Hintergrund, keine Belege
- JEV
- amos 25 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 32 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 42 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-F5 Wie gehen Staaten gemeinsam gegen KI-gestützte Cyberangriffe vor und verhindern Eskalation zwischen autonomen Systemen, ohne die Verteidigung zu behindern?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 31 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 49 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 31 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 32 %gleiches Oberthema, hilft nicht
- d3-ultra 45 %gleiches Oberthema, hilft nicht
- SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 35 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 54 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 30 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 43 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 51 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 67 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 29 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 42 %gleiches Oberthema, hilft nicht
- d3-ultra 50 %gleiches Oberthema, hilft nicht
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 29 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 57 %gleiches Oberthema, hilft nicht
- d3-ultra 50 %gleiches Oberthema, hilft nicht
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 40 %Hintergrund, keine Belege
- JEV
- amos 27 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 45 %gleiches Oberthema, hilft nicht
- d3-ultra 52 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung nur am Rande erwähnt
- SF-V5-T02 Würde man lieber einem großen, überwachten Modell vertrauen oder vielen kleinen, nicht überwachten?
- SF-V5-T03 Ist es wirtschaftlich klug, Modelle mit geringem Denkaufwand zu betreiben, oder wird das Ausrichtungsproblem (Modelle dazu zu bringen, den vorgesehenen Zielen und Werten zu folgen) dadurch nur schwerer sichtbar?
Agenten und vernetzte Systeme
- SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 31 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 57 %gleiches Oberthema, hilft nicht
- SF-A3 Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Modelle teilen und schützen
- SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 26 %nur am Rande erwähnt
- SubQ 100 %kein Bezug
- drex 32 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 49 %einzelne zitierbare Belege
- JEV
- amos 26 %einzelne zitierbare Belege
- SubQ 43 %gleiches Oberthema, hilft nicht
- drex 32 %gleiches Oberthema, hilft nicht
- d3-ultra 41 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung nur am Rande erwähnt
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 48 %umfangreiche Belege
- JEV
- amos 37 %einzelne zitierbare Belege
- SubQ 29 %gleiches Oberthema, hilft nicht
- drex 28 %einzelne zitierbare Belege
- d3-ultra 24 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung beantwortet teilweise oder widerspricht
- SF-H3-T06 Welcher unabhängig prüfbare Mindestbeleg zeigt, dass eine bestimmte Person, Organisation oder ein geschützter Datensatz aus einem veröffentlichten Modell und seinen Adaptern (Zusatzmodulen) verlernt wurde, und welches Restrisiko einer Extraktion lässt sich womöglich nie auf null senken?
- SF-H4 Was geschieht mit Modellen und Sicherheitspflichten, wenn ein Labor verkauft, aufgelöst oder ein Modell stillgelegt wird?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 36 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 55 %gleiches Oberthema, hilft nicht
- drex 38 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-O3 Welcher Text gilt, und wie beweist man, dass ein Dokument nicht verändert wurde?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 36 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E2 In welchem Rahmen sollen Staaten KI regeln, und wo liegt eine gemeinsame Untergrenze?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Wirtschaft und Haftung
- SF-W2 Wie wirken sich Wettbewerbsrecht und öffentliche Beschaffung auf die KI-Sicherheit aus?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- Alle Berichte im Archiv