Codestral 25.01 | Mistral AI
Zusammenfassung
Kurz
Mistral AI zufolge macht Codestral 25.01 Codevervollständigung etwa doppelt so schnell und erzielt in mehreren selbst präsentierten Benchmarks hohe Werte, insbesondere bei FIM-Aufgaben. Die Ankündigung nennt IDE- und Cloud-Verfügbarkeit sowie lokale Bereitstellung, erläutert aber keine unabhängige Prüfung oder vollständigen Testbedingungen; die Ergebnisse sind daher als Angaben des Unternehmens einzuordnen.
Mittel
Mistral AI kündigt Codestral 25.01 als überarbeitete Version seines Coding-Modells an. Eine effizientere Architektur und ein verbesserter Tokenizer sollen laut Unternehmen Code etwa doppelt so schnell generieren und vervollständigen. Das Modell unterstütze unter anderem Fill-in-the-Middle (FIM), Codekorrektur und Testerzeugung und habe einen Kontextumfang von 256.000 Tokens.
In Mistrals Benchmarktabellen erreicht Codestral 86,6 Prozent bei HumanEval für Python, 71,4 Prozent im mehrsprachigen HumanEval-Durchschnitt und rund 85,9 Prozent im durchschnittlichen HumanEvalFIM. Es liegt bei vielen der aufgeführten Messwerte vorn, aber nicht bei allen: DeepSeek Coder V2 lite erzielt zum Beispiel höhere Werte bei MBPP und Spider, und Codestral ist auch nicht in jeder einzelnen Sprache führend. Mistral berichtet außerdem 95,3 Prozent bei FIM pass@1.
Die Vergleiche stammen aus der Produktankündigung und betreffen ausgewählte Coding-Modelle unter 100 Milliarden Parametern. Unabhängige Prüfungen und vollständige Testbedingungen werden nicht beschrieben. Mistral zufolge wird das Modell über IDE-Partner verfügbar, kann lokal oder in einer VPC eingesetzt und über mehrere Cloud-Plattformen genutzt werden. Das Unternehmen meldet zudem einen Start auf Platz eins der LMsys-Copilot-Arena-Rangliste.
Ausführlich lesen
Der Bericht ist eine Produktankündigung von Mistral AI für Codestral 25.01, eine überarbeitete Version des Unternehmensmodells zur Codevervollständigung. Mistral stellt Codegenerierung als wichtige Veränderung in der Softwareentwicklung dar und beschreibt das frühere Codestral als schnelles, leichtgewichtiges Modell für mehr als 80 Programmiersprachen. Es sei unter anderem für Fill-in-the-Middle-Aufgaben (FIM), Codekorrekturen und das Erzeugen von Tests ausgelegt.
Als Neuerungen von Codestral 25.01 nennt Mistral eine effizientere Architektur und einen verbesserten Tokenizer. Das Modell soll dadurch Code ungefähr doppelt so schnell generieren und vervollständigen wie sein Vorgänger. Außerdem beansprucht Mistral eine Spitzenposition bei FIM-Aufgaben und unter den Coding-Modellen seiner Gewichtsklasse. Die im Bericht aufgeführten Vergleiche beziehen sich auf ausgewählte, laut Mistral führende Modelle mit weniger als 100 Milliarden Parametern.
In den präsentierten Benchmarks erreicht Codestral 25.01 einen Kontextumfang von 256.000 Tokens. In der Übersicht liegt es bei HumanEval für Python bei 86,6 Prozent und beim mehrsprachigen HumanEval-Durchschnitt bei 71,4 Prozent. Beim durchschnittlichen HumanEvalFIM-Wert weist die Tabelle 85,9 Prozent aus. Bei mehreren Vergleichswerten liegt das neue Modell vor den aufgeführten Konkurrenten; DeepSeek Coder V2 lite erzielt jedoch etwa höhere Werte bei MBPP und Spider, während Codestral und sein Vorgänger bei CanItEdit gleichauf liegen. Im sprachbezogenen HumanEval-Vergleich ist Codestral nicht in jeder einzelnen Sprache führend: Für Java wird beispielsweise ein niedrigerer Wert als beim älteren Codestral 2405 angegeben.
Für FIM nennt der Bericht außerdem einen Durchschnitt von 85,89 Prozent bei „single line exact match“ und 95,3 Prozent bei pass@1. Das sind vom Unternehmen berichtete Benchmarkresultate. Die Veröffentlichung beschreibt keine unabhängige Prüfung, keine vollständigen Testbedingungen und keine nähere Erläuterung der Benchmarks oder ihrer Vergleichbarkeit. Die Zahlen belegen daher innerhalb des vorgelegten Textes Mistrals eigene Auswertung, nicht eine unabhängig bestätigte allgemeine Überlegenheit.
Zur Verfügbarkeit erklärt Mistral, das Modell werde weltweit über IDEs und deren Erweiterungen bereitgestellt. Für Unternehmen sei eine lokale Bereitstellung oder der Betrieb in einer VPC möglich. Eine API werde über Mistrals Plattform angeboten; zudem nennt der Bericht Google Cloud Vertex AI, eine private Vorschau auf Azure AI Foundry und eine geplante Verfügbarkeit bei Amazon Bedrock. Ein Continue-Mitgründer lobt insbesondere die Genauigkeit und Geschwindigkeit der FIM-Vervollständigung und empfiehlt das Modell für Autovervollständigung. Abschließend meldet Mistral einen Einstieg auf Platz eins der LMsys-Copilot-Arena-Rangliste. Auch dies ist eine Angabe der Ankündigung; nähere Belege oder Ranglistendetails enthält der Bericht nicht.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Geprüft wurde die mittlere Zusammenfassung von Luna, die kurze enthält keine erfundenen Angaben und deckt die Kernaussagen ebenfalls ab. Die Benchmark-Werte und Vergleiche in der mittleren Fassung stimmen mit den Tabellen des Berichts überein. Alle Leistungsangaben stammen laut Bericht vom Unternehmen selbst, unabhängige Prüfungen werden nicht beschrieben.
Im Bericht, aber nicht in der Zusammenfassung
- Über 80 Programmiersprachen werden als Unterstützung genannt
- Mistral bezeichnet das Modell selbst als State of the Art (SOTA) und als klaren Spitzenreiter seiner Gewichtsklasse
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Vorfälle melden
- SF-M4 Wie kommen Meldungen von Laboren, Betreibern und Nutzern schnell und geschützt zu den Stellen, die handeln müssen, auch über Grenzen hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 30 %einzelne zitierbare Belege
- amos 49 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 39 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 56 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 47 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 49 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 37 %einzelne zitierbare Belege
- amos 33 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 51 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 54 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 52 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 33 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 62 %gleiches Oberthema, hilft nicht
- d3-ultra 48 %gleiches Oberthema, hilft nicht
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 46 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 50 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 67 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 33 %einzelne zitierbare Belege
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 56 %Hintergrund, keine Belege
- JEV 31 %einzelne zitierbare Belege
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 61 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung nur am Rande erwähnt
Modelle teilen und schützen
- SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 56 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 48 %Hintergrund, keine Belege
- JEV 35 %gleiches Oberthema, hilft nicht
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung nur am Rande erwähnt
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 49 %gleiches Oberthema, hilft nicht
- SubQ 50 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 42 %Hintergrund, keine Belege
- JEV 38 %einzelne zitierbare Belege
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 51 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung gleiches Oberthema, hilft nicht
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 52 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 59 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Information und Öffentlichkeit
- SF-I1 Wie erkennt man KI-erzeugte Inhalte und KI-erzeugte Einflussnahme, ohne die Meinungsfreiheit zu beschneiden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 50 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Wie kommen Meldungen von Laboren, Betreibern und Nutzern schnell und geschützt zu den Stellen, die handeln müssen, auch über Grenzen hinweg?
- Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- Alle Berichte im Archiv