Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
mistral17. September 2024 · Q001150

[Deprecated] Pixtral 12B | Mistral AI

mistral.ai · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Mistral beschreibt Pixtral 12B als multimodales Modell, das Bilder und Text verarbeitet und laut Anbieter bei verschiedenen Bild- und Textbenchmarks gute Ergebnisse erzielt. Der Bericht kennzeichnet es ausdrücklich als veraltet und nicht mehr gepflegt; die Leistungsangaben beruhen auf Mistrals eigenen Vergleichen, deren Prompts teilweise erst veröffentlicht werden sollten.

Mittel

Der Bericht beschreibt Pixtral 12B als multimodales Mistral-Modell für Bilder und Text, erklärt es jedoch zugleich für veraltet und nicht mehr gepflegt. Es sei durch neuere Vision- und Multimodalmodelle ersetzt worden. Laut Mistral besteht Pixtral aus einem Vision-Encoder mit 400 Millionen Parametern und einem 12-Milliarden-Parameter-Decoder auf Basis von Mistral Nemo. Es verarbeite Bilder in variabler Auflösung und variablem Seitenverhältnis und könne mehrere Bilder in einem Kontextfenster von 128.000 Token behandeln.

Mistral zufolge erreichte Pixtral 52,5 Prozent im MMMU-Benchmark und zeigte gute Resultate bei Bildverständnis und Anweisungsbefolgung. Eine Tabelle nennt Werte für MMMU, MathVista, ChartQA, DocVQA und VQAv2; außerdem enthält die Seite Beispiele zu Diagrammen, mehreren Tabellenbildern, Bild-zu-Code und Szenenverständnis. Die Vergleiche seien mit einer gemeinsamen Evaluierungsumgebung und denselben Prompts durchgeführt worden. Mistral kündigt an, Prompts und einen multimodalen Benchmark teilweise zu veröffentlichen. Da die Leistungsangaben vom Anbieter stammen und die Seite keine unabhängige Prüfung belegt, sind sie als Herstellerbehauptungen einzuordnen.

Ausführlich lesen

Der Bericht stellt Pixtral 12B als multimodales Modell von Mistral vor, weist aber ausdrücklich darauf hin, dass es inzwischen veraltet ist, nicht mehr gepflegt wird und durch neuere Vision- und Multimodalmodelle ersetzt wurde. Die Seite beschreibt daher ein früheres Modell und verweist für aktuelle Fähigkeiten auf Mistrals Dokumentation.

Nach Darstellung des Mistral-Teams wurde Pixtral für Text- und Bildverarbeitung entwickelt und soll auf Anweisungen in beiden Bereichen gut reagieren. Die Architektur kombiniere einen neu entwickelten Vision-Encoder mit 400 Millionen Parametern und einen multimodalen Decoder mit 12 Milliarden Parametern, der auf Mistral Nemo basiere. Bilder würden in ihrer ursprünglichen Auflösung und ihrem Seitenverhältnis verarbeitet und in Bild-Token umgewandelt. Dadurch solle das Modell sowohl komplexe Diagramme und Dokumente als auch mehrere Bilder innerhalb eines Kontextfensters von 128.000 Token bearbeiten können. Der Bericht behauptet außerdem, die multimodalen Fähigkeiten gingen nicht zulasten der Textleistung, etwa bei Anweisungsbefolgung, Programmierung und Mathematik.

Als Leistungsbeleg nennt Mistral 52,5 Prozent im MMMU-Schlussfolgerungsbenchmark und präsentiert Vergleiche mit offenen und geschlossenen Modellen. Laut Bericht wurden die verglichenen Systeme mit derselben Evaluierungsumgebung und denselben, auf führende Modelle abgestimmten Prompts geprüft. Mistral zufolge übertreffe Pixtral viele offene Modelle ähnlicher Größe und erreiche in einigen Vergleichen Ergebnisse auf Höhe oder über denen größerer Modelle. Bei textbasierter Anweisungsbefolgung wird ein relativer Vorsprung von 20 Prozent gegenüber dem nächstplatzierten offenen Modell bei IF-Eval und MT-Bench angegeben. Für multimodale Anweisungsbefolgung beschreibt die Seite eigens angepasste Benchmarks und kündigt an, MM-MT-Bench zu veröffentlichen.

Eine im Bericht wiedergegebene Tabelle zeigt unter anderem Pixtrals Werte von 52,5 bei MMMU, 58,0 bei MathVista, 81,8 bei ChartQA, 90,7 bei DocVQA und 78,6 bei VQAv2. Die Seite ergänzt beispielhafte Aufgaben zur Auswertung von Diagrammen, zum Zusammenführen von Tabellen aus mehreren Bildern, zur Erzeugung von HTML aus einem Bild und zum Verständnis einer optischen Täuschung mit dem Schiefen Turm von Pisa. Diese Beispiele illustrieren die vorgesehenen Einsatzarten; der Bericht dokumentiert jedoch keine unabhängige Überprüfung ihrer Antworten.

Zum Einsatz nennt die Seite Le Chat, die API-Plattform La Plateforme sowie lokale Ausführung mit mistral-inference oder vLLM. Als Lizenz wird Apache 2.0 angegeben. Die Aussagekraft der Leistungsdarstellung bleibt durch die Perspektive des Anbieters begrenzt: Die Seite berichtet Mistrals eigene Evaluierungen und kündigt an, Prompts beziehungsweise Benchmarks teilweise später offenzulegen. Die enthaltenen Ergebnisse sind daher als Herstellerangaben wiederzugeben, nicht als unabhängige Bestätigung.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Beide Zusammenfassungen von Luna sind inhaltlich überwiegend korrekt und nennen die richtigen Zahlen (400 Mio. Encoder-Parameter, 12 Mrd. Decoder, 128.000 Token, 52,5 Prozent MMMU). Die Abweichung betrifft die Formulierung 'teilweise' bei der Veröffentlichung der Prompts, die der Bericht nicht stützt. Die Einordnung der Teilfragen bewertet nur, wie stark der Bericht sie beantwortet, und ist unabhängig von Lunas eigenen Stufen und Anteilen.

Im Bericht, aber nicht in der Zusammenfassung

  • Apache-2.0-Lizenz
  • Pixtral als Drop-in-Ersatz für Mistral Nemo 12B
  • Ausführungswege (Le Chat, La Plateforme, lokale Nutzung)
  • Hinweis, dass Pixtral auch Benchmarks textbasierter Modelle nicht verschlechtert und mehr Modelle wie Claude 3 Haiku übertrifft

In der Zusammenfassung, laut Prüfung nicht im Bericht belegt

  • Einschränkung 'teilweise' bei der Veröffentlichung der Prompts; der Bericht sagt 'All prompts will be open-sourced'

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Fähigkeiten messen
  1. SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
    • clef 100 %kein Bezug
    • Luna 34 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 39 %gleiches Oberthema, hilft nicht
    • SubQ 49 %gleiches Oberthema, hilft nicht
    • drex 53 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Unabhängig prüfen
  1. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 100 %kein Bezug
    • Luna 32 %einzelne zitierbare Belege
    • JEV 44 %einzelne zitierbare Belege
    • amos 28 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 45 %gleiches Oberthema, hilft nicht
    • d3-ultra 46 %gleiches Oberthema, hilft nicht

    • SF-P3-T07 Wird jede öffentliche Aussage, ein führendes KI-Modell sei „besser ausgerichtet“ als ein anderes (folge also seinen vorgesehenen Zielen und Werten besser), reproduzierbare Kriterien, externe Prüfungen und widersprechende Ergebnisse enthalten? Luna: Stufe 1 · 31 % · gleiches Oberthema, hilft nicht · Haiku-Prüfung: Stufe 3 · Hintergrund, keine Belege
Tempo und Grenzen
Vertrauen in Modelle
  1. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 33 %einzelne zitierbare Belege
    • amos 47 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  2. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 44 %Hintergrund, keine Belege
    • JEV 30 %einzelne zitierbare Belege
    • amos 37 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 58 %gleiches Oberthema, hilft nicht
    • d3-ultra 57 %gleiches Oberthema, hilft nicht

Agenten und vernetzte Systeme
Modelle teilen und schützen
  1. SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
    • clef 100 %kein Bezug
    • Luna 43 %einzelne zitierbare Belege
    • JEV 47 %einzelne zitierbare Belege
    • amos 27 %einzelne zitierbare Belege
    • SubQ 54 %gleiches Oberthema, hilft nicht
    • drex 44 %gleiches Oberthema, hilft nicht
    • d3-ultra 48 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung einzelne zitierbare Belege
  2. SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
    • clef 100 %kein Bezug
    • Luna 50 %umfangreiche Belege
    • JEV 39 %beantwortet teilweise oder widerspricht
    • amos 30 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 40 %gleiches Oberthema, hilft nicht
    • d3-ultra 59 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung Hintergrund, keine Belege
  3. SF-H4 Was geschieht mit Modellen und Sicherheitspflichten, wenn ein Labor verkauft, aufgelöst oder ein Modell stillgelegt wird?
    • clef 100 %kein Bezug
    • Luna 60 %einzelne zitierbare Belege
    • JEV 33 %nur am Rande erwähnt
    • amos 28 %nur am Rande erwähnt
    • SubQ 100 %kein Bezug
    • drex 29 %nur am Rande erwähnt
    • d3-ultra 41 %nur am Rande erwähnt
    • Haiku-Prüfung einzelne zitierbare Belege
Frieden und Sicherheit
Offenlegung und Rechenschaft
Beteiligung und Gemeinwohl
  1. SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 53 %einzelne zitierbare Belege
    • amos 37 %gleiches Oberthema, hilft nicht
    • SubQ 53 %gleiches Oberthema, hilft nicht
    • drex 51 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Wirtschaft und Haftung
Information und Öffentlichkeit

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →