[Deprecated] Pixtral 12B | Mistral AI
Zusammenfassung
Kurz
Mistral beschreibt Pixtral 12B als multimodales Modell, das Bilder und Text verarbeitet und laut Anbieter bei verschiedenen Bild- und Textbenchmarks gute Ergebnisse erzielt. Der Bericht kennzeichnet es ausdrücklich als veraltet und nicht mehr gepflegt; die Leistungsangaben beruhen auf Mistrals eigenen Vergleichen, deren Prompts teilweise erst veröffentlicht werden sollten.
Mittel
Der Bericht beschreibt Pixtral 12B als multimodales Mistral-Modell für Bilder und Text, erklärt es jedoch zugleich für veraltet und nicht mehr gepflegt. Es sei durch neuere Vision- und Multimodalmodelle ersetzt worden. Laut Mistral besteht Pixtral aus einem Vision-Encoder mit 400 Millionen Parametern und einem 12-Milliarden-Parameter-Decoder auf Basis von Mistral Nemo. Es verarbeite Bilder in variabler Auflösung und variablem Seitenverhältnis und könne mehrere Bilder in einem Kontextfenster von 128.000 Token behandeln.
Mistral zufolge erreichte Pixtral 52,5 Prozent im MMMU-Benchmark und zeigte gute Resultate bei Bildverständnis und Anweisungsbefolgung. Eine Tabelle nennt Werte für MMMU, MathVista, ChartQA, DocVQA und VQAv2; außerdem enthält die Seite Beispiele zu Diagrammen, mehreren Tabellenbildern, Bild-zu-Code und Szenenverständnis. Die Vergleiche seien mit einer gemeinsamen Evaluierungsumgebung und denselben Prompts durchgeführt worden. Mistral kündigt an, Prompts und einen multimodalen Benchmark teilweise zu veröffentlichen. Da die Leistungsangaben vom Anbieter stammen und die Seite keine unabhängige Prüfung belegt, sind sie als Herstellerbehauptungen einzuordnen.
Ausführlich lesen
Der Bericht stellt Pixtral 12B als multimodales Modell von Mistral vor, weist aber ausdrücklich darauf hin, dass es inzwischen veraltet ist, nicht mehr gepflegt wird und durch neuere Vision- und Multimodalmodelle ersetzt wurde. Die Seite beschreibt daher ein früheres Modell und verweist für aktuelle Fähigkeiten auf Mistrals Dokumentation.
Nach Darstellung des Mistral-Teams wurde Pixtral für Text- und Bildverarbeitung entwickelt und soll auf Anweisungen in beiden Bereichen gut reagieren. Die Architektur kombiniere einen neu entwickelten Vision-Encoder mit 400 Millionen Parametern und einen multimodalen Decoder mit 12 Milliarden Parametern, der auf Mistral Nemo basiere. Bilder würden in ihrer ursprünglichen Auflösung und ihrem Seitenverhältnis verarbeitet und in Bild-Token umgewandelt. Dadurch solle das Modell sowohl komplexe Diagramme und Dokumente als auch mehrere Bilder innerhalb eines Kontextfensters von 128.000 Token bearbeiten können. Der Bericht behauptet außerdem, die multimodalen Fähigkeiten gingen nicht zulasten der Textleistung, etwa bei Anweisungsbefolgung, Programmierung und Mathematik.
Als Leistungsbeleg nennt Mistral 52,5 Prozent im MMMU-Schlussfolgerungsbenchmark und präsentiert Vergleiche mit offenen und geschlossenen Modellen. Laut Bericht wurden die verglichenen Systeme mit derselben Evaluierungsumgebung und denselben, auf führende Modelle abgestimmten Prompts geprüft. Mistral zufolge übertreffe Pixtral viele offene Modelle ähnlicher Größe und erreiche in einigen Vergleichen Ergebnisse auf Höhe oder über denen größerer Modelle. Bei textbasierter Anweisungsbefolgung wird ein relativer Vorsprung von 20 Prozent gegenüber dem nächstplatzierten offenen Modell bei IF-Eval und MT-Bench angegeben. Für multimodale Anweisungsbefolgung beschreibt die Seite eigens angepasste Benchmarks und kündigt an, MM-MT-Bench zu veröffentlichen.
Eine im Bericht wiedergegebene Tabelle zeigt unter anderem Pixtrals Werte von 52,5 bei MMMU, 58,0 bei MathVista, 81,8 bei ChartQA, 90,7 bei DocVQA und 78,6 bei VQAv2. Die Seite ergänzt beispielhafte Aufgaben zur Auswertung von Diagrammen, zum Zusammenführen von Tabellen aus mehreren Bildern, zur Erzeugung von HTML aus einem Bild und zum Verständnis einer optischen Täuschung mit dem Schiefen Turm von Pisa. Diese Beispiele illustrieren die vorgesehenen Einsatzarten; der Bericht dokumentiert jedoch keine unabhängige Überprüfung ihrer Antworten.
Zum Einsatz nennt die Seite Le Chat, die API-Plattform La Plateforme sowie lokale Ausführung mit mistral-inference oder vLLM. Als Lizenz wird Apache 2.0 angegeben. Die Aussagekraft der Leistungsdarstellung bleibt durch die Perspektive des Anbieters begrenzt: Die Seite berichtet Mistrals eigene Evaluierungen und kündigt an, Prompts beziehungsweise Benchmarks teilweise später offenzulegen. Die enthaltenen Ergebnisse sind daher als Herstellerangaben wiederzugeben, nicht als unabhängige Bestätigung.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Beide Zusammenfassungen von Luna sind inhaltlich überwiegend korrekt und nennen die richtigen Zahlen (400 Mio. Encoder-Parameter, 12 Mrd. Decoder, 128.000 Token, 52,5 Prozent MMMU). Die Abweichung betrifft die Formulierung 'teilweise' bei der Veröffentlichung der Prompts, die der Bericht nicht stützt. Die Einordnung der Teilfragen bewertet nur, wie stark der Bericht sie beantwortet, und ist unabhängig von Lunas eigenen Stufen und Anteilen.
Im Bericht, aber nicht in der Zusammenfassung
- Apache-2.0-Lizenz
- Pixtral als Drop-in-Ersatz für Mistral Nemo 12B
- Ausführungswege (Le Chat, La Plateforme, lokale Nutzung)
- Hinweis, dass Pixtral auch Benchmarks textbasierter Modelle nicht verschlechtert und mehr Modelle wie Claude 3 Haiku übertrifft
In der Zusammenfassung, laut Prüfung nicht im Bericht belegt
- Einschränkung 'teilweise' bei der Veröffentlichung der Prompts; der Bericht sagt 'All prompts will be open-sourced'
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 34 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 49 %gleiches Oberthema, hilft nicht
- drex 53 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 52 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 48 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 32 %einzelne zitierbare Belege
- JEV 44 %einzelne zitierbare Belege
- amos 28 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 45 %gleiches Oberthema, hilft nicht
- d3-ultra 46 %gleiches Oberthema, hilft nicht
- SF-P3-T07 Wird jede öffentliche Aussage, ein führendes KI-Modell sei „besser ausgerichtet“ als ein anderes (folge also seinen vorgesehenen Zielen und Werten besser), reproduzierbare Kriterien, externe Prüfungen und widersprechende Ergebnisse enthalten?
- SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 36 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 57 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 60 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 51 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 48 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 54 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 76 %gleiches Oberthema, hilft nicht
- d3-ultra 53 %gleiches Oberthema, hilft nicht
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 58 %gleiches Oberthema, hilft nicht
- d3-ultra 50 %gleiches Oberthema, hilft nicht
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 52 %gleiches Oberthema, hilft nicht
- JEV 100 %kein Bezug
- amos 50 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 71 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 33 %einzelne zitierbare Belege
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 44 %Hintergrund, keine Belege
- JEV 30 %einzelne zitierbare Belege
- amos 37 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 58 %gleiches Oberthema, hilft nicht
- d3-ultra 57 %gleiches Oberthema, hilft nicht
- SF-V5-T02 Würde man lieber einem großen, überwachten Modell vertrauen oder vielen kleinen, nicht überwachten?
Agenten und vernetzte Systeme
- SF-A2 Lassen sich KI-Systeme sicher anhalten, zurücksetzen, abschotten oder drosseln, und wer darf das anordnen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 46 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Modelle teilen und schützen
- SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 43 %einzelne zitierbare Belege
- JEV 47 %einzelne zitierbare Belege
- amos 27 %einzelne zitierbare Belege
- SubQ 54 %gleiches Oberthema, hilft nicht
- drex 44 %gleiches Oberthema, hilft nicht
- d3-ultra 48 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung einzelne zitierbare Belege
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 50 %umfangreiche Belege
- JEV 39 %beantwortet teilweise oder widerspricht
- amos 30 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 40 %gleiches Oberthema, hilft nicht
- d3-ultra 59 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung Hintergrund, keine Belege
- SF-H4 Was geschieht mit Modellen und Sicherheitspflichten, wenn ein Labor verkauft, aufgelöst oder ein Modell stillgelegt wird?
- clef 100 %kein Bezug
- Luna 60 %einzelne zitierbare Belege
- JEV 33 %nur am Rande erwähnt
- amos 28 %nur am Rande erwähnt
- SubQ 100 %kein Bezug
- drex 29 %nur am Rande erwähnt
- d3-ultra 41 %nur am Rande erwähnt
- Haiku-Prüfung einzelne zitierbare Belege
Frieden und Sicherheit
- SF-K2 Wie weit gelten KI-Abkommen für Verbündete und Geheimdienste, und wie verhalten sie sich zu bestehenden Rüstungskontrollverträgen und -regimen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 61 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 56 %gleiches Oberthema, hilft nicht
- drex 53 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-O3 Welcher Text gilt, und wie beweist man, dass ein Dokument nicht verändert wurde?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 53 %einzelne zitierbare Belege
- amos 37 %gleiches Oberthema, hilft nicht
- SubQ 53 %gleiches Oberthema, hilft nicht
- drex 51 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 51 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 44 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Wirtschaft und Haftung
- SF-W2 Wie wirken sich Wettbewerbsrecht und öffentliche Beschaffung auf die KI-Sicherheit aus?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 46 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Information und Öffentlichkeit
- SF-I1 Wie erkennt man KI-erzeugte Inhalte und KI-erzeugte Einflussnahme, ohne die Meinungsfreiheit zu beschneiden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 43 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- Was geschieht mit Modellen und Sicherheitspflichten, wenn ein Labor verkauft, aufgelöst oder ein Modell stillgelegt wird?
- Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- Alle Berichte im Archiv