Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
mistral13. Januar 2025 · Q001000

Codestral 25.01 | Mistral AI

mistral.ai · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Mistral AI zufolge macht Codestral 25.01 Codevervollständigung etwa doppelt so schnell und erzielt in mehreren selbst präsentierten Benchmarks hohe Werte, insbesondere bei FIM-Aufgaben. Die Ankündigung nennt IDE- und Cloud-Verfügbarkeit sowie lokale Bereitstellung, erläutert aber keine unabhängige Prüfung oder vollständigen Testbedingungen; die Ergebnisse sind daher als Angaben des Unternehmens einzuordnen.

Mittel

Mistral AI kündigt Codestral 25.01 als überarbeitete Version seines Coding-Modells an. Eine effizientere Architektur und ein verbesserter Tokenizer sollen laut Unternehmen Code etwa doppelt so schnell generieren und vervollständigen. Das Modell unterstütze unter anderem Fill-in-the-Middle (FIM), Codekorrektur und Testerzeugung und habe einen Kontextumfang von 256.000 Tokens.

In Mistrals Benchmarktabellen erreicht Codestral 86,6 Prozent bei HumanEval für Python, 71,4 Prozent im mehrsprachigen HumanEval-Durchschnitt und rund 85,9 Prozent im durchschnittlichen HumanEvalFIM. Es liegt bei vielen der aufgeführten Messwerte vorn, aber nicht bei allen: DeepSeek Coder V2 lite erzielt zum Beispiel höhere Werte bei MBPP und Spider, und Codestral ist auch nicht in jeder einzelnen Sprache führend. Mistral berichtet außerdem 95,3 Prozent bei FIM pass@1.

Die Vergleiche stammen aus der Produktankündigung und betreffen ausgewählte Coding-Modelle unter 100 Milliarden Parametern. Unabhängige Prüfungen und vollständige Testbedingungen werden nicht beschrieben. Mistral zufolge wird das Modell über IDE-Partner verfügbar, kann lokal oder in einer VPC eingesetzt und über mehrere Cloud-Plattformen genutzt werden. Das Unternehmen meldet zudem einen Start auf Platz eins der LMsys-Copilot-Arena-Rangliste.

Ausführlich lesen

Der Bericht ist eine Produktankündigung von Mistral AI für Codestral 25.01, eine überarbeitete Version des Unternehmensmodells zur Codevervollständigung. Mistral stellt Codegenerierung als wichtige Veränderung in der Softwareentwicklung dar und beschreibt das frühere Codestral als schnelles, leichtgewichtiges Modell für mehr als 80 Programmiersprachen. Es sei unter anderem für Fill-in-the-Middle-Aufgaben (FIM), Codekorrekturen und das Erzeugen von Tests ausgelegt.

Als Neuerungen von Codestral 25.01 nennt Mistral eine effizientere Architektur und einen verbesserten Tokenizer. Das Modell soll dadurch Code ungefähr doppelt so schnell generieren und vervollständigen wie sein Vorgänger. Außerdem beansprucht Mistral eine Spitzenposition bei FIM-Aufgaben und unter den Coding-Modellen seiner Gewichtsklasse. Die im Bericht aufgeführten Vergleiche beziehen sich auf ausgewählte, laut Mistral führende Modelle mit weniger als 100 Milliarden Parametern.

In den präsentierten Benchmarks erreicht Codestral 25.01 einen Kontextumfang von 256.000 Tokens. In der Übersicht liegt es bei HumanEval für Python bei 86,6 Prozent und beim mehrsprachigen HumanEval-Durchschnitt bei 71,4 Prozent. Beim durchschnittlichen HumanEvalFIM-Wert weist die Tabelle 85,9 Prozent aus. Bei mehreren Vergleichswerten liegt das neue Modell vor den aufgeführten Konkurrenten; DeepSeek Coder V2 lite erzielt jedoch etwa höhere Werte bei MBPP und Spider, während Codestral und sein Vorgänger bei CanItEdit gleichauf liegen. Im sprachbezogenen HumanEval-Vergleich ist Codestral nicht in jeder einzelnen Sprache führend: Für Java wird beispielsweise ein niedrigerer Wert als beim älteren Codestral 2405 angegeben.

Für FIM nennt der Bericht außerdem einen Durchschnitt von 85,89 Prozent bei „single line exact match“ und 95,3 Prozent bei pass@1. Das sind vom Unternehmen berichtete Benchmarkresultate. Die Veröffentlichung beschreibt keine unabhängige Prüfung, keine vollständigen Testbedingungen und keine nähere Erläuterung der Benchmarks oder ihrer Vergleichbarkeit. Die Zahlen belegen daher innerhalb des vorgelegten Textes Mistrals eigene Auswertung, nicht eine unabhängig bestätigte allgemeine Überlegenheit.

Zur Verfügbarkeit erklärt Mistral, das Modell werde weltweit über IDEs und deren Erweiterungen bereitgestellt. Für Unternehmen sei eine lokale Bereitstellung oder der Betrieb in einer VPC möglich. Eine API werde über Mistrals Plattform angeboten; zudem nennt der Bericht Google Cloud Vertex AI, eine private Vorschau auf Azure AI Foundry und eine geplante Verfügbarkeit bei Amazon Bedrock. Ein Continue-Mitgründer lobt insbesondere die Genauigkeit und Geschwindigkeit der FIM-Vervollständigung und empfiehlt das Modell für Autovervollständigung. Abschließend meldet Mistral einen Einstieg auf Platz eins der LMsys-Copilot-Arena-Rangliste. Auch dies ist eine Angabe der Ankündigung; nähere Belege oder Ranglistendetails enthält der Bericht nicht.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Geprüft wurde die mittlere Zusammenfassung von Luna, die kurze enthält keine erfundenen Angaben und deckt die Kernaussagen ebenfalls ab. Die Benchmark-Werte und Vergleiche in der mittleren Fassung stimmen mit den Tabellen des Berichts überein. Alle Leistungsangaben stammen laut Bericht vom Unternehmen selbst, unabhängige Prüfungen werden nicht beschrieben.

Im Bericht, aber nicht in der Zusammenfassung

  • Über 80 Programmiersprachen werden als Unterstützung genannt
  • Mistral bezeichnet das Modell selbst als State of the Art (SOTA) und als klaren Spitzenreiter seiner Gewichtsklasse

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Vorfälle melden
  1. SF-M4 Wie kommen Meldungen von Laboren, Betreibern und Nutzern schnell und geschützt zu den Stellen, die handeln müssen, auch über Grenzen hinweg?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 30 %einzelne zitierbare Belege
    • amos 49 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Fähigkeiten messen
  1. SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
    • clef 100 %kein Bezug
    • Luna 39 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 38 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 56 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Unabhängig prüfen
  1. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 37 %einzelne zitierbare Belege
    • amos 33 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 51 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Tempo und Grenzen
  1. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 100 %kein Bezug
    • Luna 33 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 45 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 62 %gleiches Oberthema, hilft nicht
    • d3-ultra 48 %gleiches Oberthema, hilft nicht
Vertrauen in Modelle
  1. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 33 %einzelne zitierbare Belege
    • amos 43 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  2. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 56 %Hintergrund, keine Belege
    • JEV 31 %einzelne zitierbare Belege
    • amos 42 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 61 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung nur am Rande erwähnt
Modelle teilen und schützen
  1. SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
    • clef 100 %kein Bezug
    • Luna 48 %Hintergrund, keine Belege
    • JEV 35 %gleiches Oberthema, hilft nicht
    • amos 44 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung nur am Rande erwähnt
Offenlegung und Rechenschaft
Beteiligung und Gemeinwohl
  1. SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
    • clef 100 %kein Bezug
    • Luna 42 %Hintergrund, keine Belege
    • JEV 38 %einzelne zitierbare Belege
    • amos 46 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 51 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
Information und Öffentlichkeit

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →