Hugging Face
Zusammenfassung
Kurz
Der Bericht stellt d3-ultra als multimodales Modell für gebündelte Entscheidungen über Text, Bilder und Videos vor; es liefert Antworten samt Wahrscheinlichkeiten und unterstützt unter anderem Bildrahmen. In den privaten Anbietertests erzielt es den besten SR-Text-Gesamtwert, liegt bei SR-Box aber hinter d3-turbo; die Tests sind kein offizielles Leaderboard und nicht unabhängig anhand veröffentlichter Datensätze überprüfbar.
Mittel
Der Bericht beschreibt d3-ultra als multimodales Entscheidungsmodell mit 26,09 Milliarden Parametern. Es verarbeitet Text oder JSON sowie Bilder und Videos und soll mehrere Fragen zu einer Eingabe in einem Durchgang beantworten. Unterstützt werden Auswahl, Ja-Nein-Antworten, Bewertungen, Bildrahmen und Videoverfolgung; pro Antwort wird eine Wahrscheinlichkeit ausgegeben. Das Kontextlimit liegt bei 131.072 Token je Frage, die Lizenz ist Apache-2.0.
Auf einer einzelnen AMD Instinct MI325X benötigten laut Anbieter eine Bildfrage 304 Millisekunden und 255 Fragen 2,16 Sekunden im Median. In den privaten, selbst erstellten Vergleichstests erreichte d3-ultra bei SR-Text 87,2 Punkte und damit den höchsten Gesamtwert der verglichenen Modelle. Bei SR-Box lag es mit 58,2 Prozent über zehn Bereiche hinter d3-turbo (60,0 Prozent); ohne Diagramme waren es 54,6 gegenüber 59,6 Prozent. Der Bericht schreibt d3-turbo Vorteile bei natürlichen Bildern und d3-ultra bei Diagrammen zu.
Die Tests gelten nicht als offizielles Leaderboard, und ihre Datensätze sind unveröffentlicht. Die Messwerte stammen aus bestimmten Hardware- und API-Konfigurationen; abgelehnte oder ungültige Antworten wurden teilweise als falsch gewertet. Eine unabhängige Überprüfung der Testdaten und Ergebnisse ist anhand des Berichts daher nicht möglich.
Ausführlich lesen
Der Hugging-Face-Bericht stellt d3-ultra als neues multimodales Entscheidungsmodell mit 26,09 Milliarden Parametern vor, darunter einen Bildencoder mit 0,46 Milliarden Parametern. Es gehört zur Decision-3.0-Reihe des vLLM Semantic Router. Laut Beschreibung verarbeitet das Modell Text oder JSON sowie mehrere Bilder und Videos pro Anfrage. Es soll zahlreiche Fragen zu derselben Eingabe in einem Durchgang beantworten und für jede Antwort eine Wahrscheinlichkeit ausgeben, ohne selbst Antworttexte zu erzeugen. Unterstützt werden Auswahlfragen, Ja-Nein-Entscheidungen, Bewertungen, Bildausschnitte und Objektverfolgung in Videos. Der angegebene Kontextumfang beträgt bis zu 131.072 Token je Frage; die Lizenz ist Apache-2.0.
Die Beispiele im Bericht zeigen unter anderem gebündelte Fragen zu Gemälden, einem Rover-Selbstporträt, einer Spielszene und Textnachrichten sowie Bildvergleiche und Box-Antworten. Bei einer Box gibt das Modell genau einen Rahmen mit Konfidenzwert zurück; ein niedriger Wert soll anzeigen, dass das gesuchte Objekt nicht gefunden wurde. Fragen oberhalb des Kontextlimits werden laut Bericht mit „max_length_exceeded“ abgewiesen, ohne den Text zu kürzen. Für die Nutzung nennt die Seite ein kostenloses API-Angebot und einen Quickstart mit Transformers samt Beispielcode.
Als Leistungsvorteil hebt der Bericht hervor, dass zusätzliche Fragen zur gleichen Eingabe vergleichsweise wenig Zeit kosten. Auf einer einzelnen AMD Instinct MI325X dauerte die Bearbeitung einer Bildfrage im Median 304 Millisekunden, bei 255 Fragen 2,16 Sekunden; für jede weitere Frage nach der ersten werden ungefähr 7,3 Millisekunden angegeben. Diese Werte beziehen sich auf die beschriebene Hardware und AutoModel-Ausführung.
Die Modellanbieter vergleichen d3-ultra mit fünf anderen Modellen anhand eigener, nicht veröffentlichter Tests: SR-Text und SR-Box. Bei SR-Text erreicht d3-ultra im Mittel der sechs Teilbereiche 87,2 Punkte und liegt damit vor den verglichenen Modellen. Der Bericht zufolge ist es in allen Bereichen außer „Kunst und menschlicher Geschmack“ vorn; dort liegt d1-ultra mit 90,8 gegenüber 89,6 leicht darüber, laut Bericht innerhalb der Fehlermarge. SR-Text umfasst 10.411 Textanfragen mit 73.495 Fragen, darunter nachgebildete öffentliche Benchmarks und eigens erstellte Aufgaben.
Bei SR-Box erzielt d3-ultra 58,2 Prozent über zehn Bereiche beziehungsweise 54,6 Prozent ohne Diagramme. d3-turbo liegt mit 60,0 beziehungsweise 59,6 Prozent insgesamt darüber und wird als stärker bei natürlichen Bildern beschrieben; d3-ultra führt laut Bericht bei Diagrammen. Der Box-Test umfasst 5.678 Fragen zu 4.984 Bildern; Abwesenheitsfragen zählen nicht in die Wertung. Eine Box gilt bei mindestens 0,5 IoU als korrekt.
Die Ergebnisse sind als anbieterinterne Vergleiche zu verstehen, nicht als offizielles Leaderboard. Die Testsätze sind nicht öffentlich. Modelle liefen teils lokal und teils über APIs; nicht beantwortbare Anfragen und von einer API abgelehnte Bilder wurden bei Jev als falsch gewertet. Der Bericht erläutert damit zentrale Testbedingungen, erlaubt aber keine unabhängige Prüfung der privaten Datensätze oder der Ergebnisse.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Luna gibt die Zahlen korrekt wieder. Zu korrigieren sind „Bildrahmen“, eine Fehlübersetzung von Box (Begrenzungsrahmen, nicht Bilderrahmen), und „teilweise“ bei verworfenen Antworten, denn der Bericht nennt nur Jev 1.14. Bei der Einordnung liegt Luna bei SF-H3 (Stufe 5 statt 1), SF-V5 (4 statt 2), SF-F1-T05 (4 statt 1) und SF-V5-T02 (1 statt 1, passt) deutlich zu hoch; SF-P3 und SF-P3-T07 sind vertretbar.
Im Bericht, aber nicht in der Zusammenfassung
- Das Grundkonzept „Ask once, answer many“: Die Eingabe wird einmal gelesen und alle Fragen werden daraus beantwortet, mit etwa 7,3 ms je weiterer Frage
- Die Box-Antwort als genau eine Box mit Konfidenz sowie die 900 Box-Fragen ohne gesuchtes Objekt, die nicht in die Wertung eingingen
- Dass GLiDE V1.2, d1-ultra und d3 keine Box-Fragen unterstützen und deshalb keinen SR-Box-Wert haben
- Dass d3-ultra bei SR-Text in allen Bereichen außer Kunst und menschlichem Geschmack vorne liegt
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Vorfälle melden
- SF-M2 Wie muss ein Meldekanal zwischen Staaten gebaut sein, damit er verlässlich arbeitet, auch in einer Krise?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 34 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-M4 Wie kommen Meldungen von Laboren, Betreibern und Nutzern schnell und geschützt zu den Stellen, die handeln müssen, auch über Grenzen hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 50 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 32 %einzelne zitierbare Belege
- JEV
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 49 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-F1-T05 Welche Cyber-Prüfungen und welche Testbausteine (Testfälle, Bewertungswerkzeuge, Datensätze) würden jedes Labor und jedes Ministerium anstelle einer bloßen Behauptung als gültig anerkennen, wenn andere sie an ihrem Modell durchführen? Und welche genormte Testsammlung würden Labore verschiedener Staaten gemeinsam an eingefrorenen Modellversionen laufen lassen, verwaltet von einer dritten Stelle, der alle trauen?
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 31 %Hintergrund, keine Belege
- JEV
- amos 34 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 46 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 44 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 41 %einzelne zitierbare Belege
- JEV
- amos 27 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 40 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung einzelne zitierbare Belege
- SF-P3-T07 Wird jede öffentliche Aussage, ein führendes KI-Modell sei „besser ausgerichtet“ als ein anderes (folge also seinen vorgesehenen Zielen und Werten besser), reproduzierbare Kriterien, externe Prüfungen und widersprechende Ergebnisse enthalten?
- SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 62 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 35 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 49 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 57 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 46 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 53 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 38 %einzelne zitierbare Belege
- JEV
- amos 34 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 47 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung nur am Rande erwähnt
- SF-V5-T02 Würde man lieber einem großen, überwachten Modell vertrauen oder vielen kleinen, nicht überwachten?
Modelle teilen und schützen
- SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 34 %einzelne zitierbare Belege
- JEV
- amos 23 %nur am Rande erwähnt
- SubQ 100 %kein Bezug
- drex 41 %gleiches Oberthema, hilft nicht
- d3-ultra 46 %gleiches Oberthema, hilft nicht
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 47 %umfangreiche Belege
- JEV
- amos 29 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 51 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung gleiches Oberthema, hilft nicht
Frieden und Sicherheit
- SF-K2 Wie weit gelten KI-Abkommen für Verbündete und Geheimdienste, und wie verhalten sie sich zu bestehenden Rüstungskontrollverträgen und -regimen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 52 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 50 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 39 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-O3 Welcher Text gilt, und wie beweist man, dass ein Dokument nicht verändert wurde?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E2 In welchem Rahmen sollen Staaten KI regeln, und wo liegt eine gemeinsame Untergrenze?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 36 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 53 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Wirtschaft und Haftung
- SF-W2 Wie wirken sich Wettbewerbsrecht und öffentliche Beschaffung auf die KI-Sicherheit aus?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- Alle Berichte im Archiv