Mistral AI
Zusammenfassung
Kurz
Mistral AI beschreibt Mathstral 7B als auf STEM und komplexe mathematische Schlussfolgerungen spezialisiertes Modell auf Basis von Mistral 7B. Das Unternehmen nennt 56,6 Prozent bei MATH und 63,47 Prozent bei MMLU sowie höhere MATH-Werte bei zusätzlicher Inferenzberechnung; nähere Angaben zur Testmethodik enthält der bereitgestellte Text nicht.
Mittel
Mistral AI stellt Mathstral als Modell für anspruchsvolle mathematische Aufgaben mit mehrstufigem logischem Schlussfolgern vor. Die Veröffentlichung soll laut Unternehmen die Wissenschaft unterstützen und entstand im Rahmen der Zusammenarbeit mit Project Numina. Mathstral 7B baut auf Mistral 7B auf und ist auf STEM-Fächer spezialisiert. Mistral gibt 56,6 Prozent bei MATH und 63,47 Prozent bei MMLU an und bezeichnet die Leistung als führend in der Größenklasse. Zusätzliche Rechenleistung bei der Inferenz erhöhe die MATH-Werte laut Bericht auf 68,37 Prozent mit Mehrheitsabstimmung beziehungsweise 74,59 Prozent bei der Bewertung von 64 Kandidaten durch ein starkes Reward-Modell. Der Text führt Mathstral als Beispiel für zweckgebundene Modelle mit ausgewogenem Verhältnis von Leistung und Geschwindigkeit an. Es wird als Instruktionsmodell angeboten; Gewichte und Werkzeuge zum Ausprobieren oder Fine-Tuning werden verlinkt. Der Bericht nennt keine ausführliche Testmethodik; die verlinkten Benchmark-Abbildungen liegen im bereitgestellten Text nur als Verweise vor.
Ausführlich lesen
Mistral AI stellt Mathstral als ein Modell für anspruchsvolle mathematische Aufgaben vor, bei denen mehrstufiges logisches Schlussfolgern erforderlich ist. Das Unternehmen erklärt, Mathstral der Wissenschaftsgemeinschaft zur Verfügung zu stellen, um entsprechende Forschungsarbeiten zu unterstützen. Die Veröffentlichung entstand laut Bericht im Rahmen der Zusammenarbeit mit Project Numina.
Mathstral 7B baut nach Angaben von Mistral auf Mistral 7B auf und ist auf STEM-Fächer spezialisiert. Mistral bezeichnet seine Schlussfolgerungsleistung als führend in seiner Größenklasse und nennt dafür Ergebnisse aus etablierten Benchmarks: 56,6 Prozent bei MATH und 63,47 Prozent bei MMLU. Für MMLU verweist der Bericht außerdem auf einen Vergleich der Fachleistungen von Mathstral 7B und Mistral 7B. Die zugehörigen Abbildungen sind im vorliegenden Quelltext lediglich mit Bildtiteln beziehungsweise Verweisen enthalten; weitere Werte daraus lassen sich hier nicht entnehmen.
Mistral hebt hervor, dass zusätzliche Rechenleistung während der Inferenz die Ergebnisse bei MATH steigern kann. Mit Mehrheitsabstimmung nennt das Unternehmen 68,37 Prozent. Bei der Bewertung von 64 Kandidaten mit einem starken Reward-Modell seien es 74,59 Prozent. Diese Zahlen beschreiben die im Bericht angegebenen Auswertungsbedingungen; eine nähere Erläuterung des Testaufbaus oder der Vergleichsmaßstäbe enthält der bereitgestellte Text nicht.
Der Beitrag ordnet Mathstral als Beispiel für den von Mistral beworbenen Kompromiss zwischen Leistung und Geschwindigkeit bei zweckgebundenen Modellen ein und verweist auf die Fine-Tuning-Funktionen der Plattform La Plateforme. Mathstral wird als Instruktionsmodell beschrieben. Die Gewichte liegen laut Bericht auf Hugging Face; zum Ausprobieren und Anpassen nennt Mistral die Werkzeuge mistral-inference und mistral-finetune. Abschließend bedankt sich das Unternehmen bei Professor Paul Bourdon für die Zusammenstellung der GRE-Math-Subject-Test-Aufgaben, die in der Auswertung verwendet wurden.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Der Bericht ist eine Produktankündigung mit Benchmark-Werten zu Mathstral 7B und hilft bei den Sammelfragen zu Offenheit, Verantwortung und Selbstverbesserung nur wenig; Lunas Stufen liegen bei den Teilfragen deutlich über dem, was der Text hergibt.
Im Bericht, aber nicht in der Zusammenfassung
- Zusammenarbeit mit Project Numina (fehlt in der kurzen Fassung)
- Kuratierung der GRE-Math-Subject-Test-Aufgaben durch Professor Paul Bourdon (fehlt in beiden Fassungen)
- Konkrete Zahlen 68,37 Prozent mit Mehrheitsabstimmung und 74,59 Prozent mit Reward-Modell bei 64 Kandidaten (fehlen in der kurzen Fassung, nur grob umschrieben)
- Hinweis auf die neuen Fine-Tuning-Funktionen auf la Plateforme (fehlt in beiden Fassungen)
In der Zusammenfassung, laut Prüfung nicht im Bericht belegt
- Kurze Fassung: die Aussage, der Text enthalte keine naeheren Angaben zur Testmethodik, ist nicht belegt, denn der Bericht nennt die GRE-Math-Subject-Test-Aufgaben als Evaluationsgrundlage
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 45 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 24 %einzelne zitierbare Belege
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 55 %einzelne zitierbare Belege
- amos 37 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 47 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 45 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 25 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 52 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 65 %gleiches Oberthema, hilft nicht
- d3-ultra 58 %gleiches Oberthema, hilft nicht
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 24 %einzelne zitierbare Belege
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 48 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 57 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 50 %einzelne zitierbare Belege
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 31 %gleiches Oberthema, hilft nicht
- JEV 31 %einzelne zitierbare Belege
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 61 %gleiches Oberthema, hilft nicht
- d3-ultra 53 %gleiches Oberthema, hilft nicht
Modelle teilen und schützen
- SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 44 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 35 %Hintergrund, keine Belege
- JEV 43 %einzelne zitierbare Belege
- amos 22 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 42 %gleiches Oberthema, hilft nicht
- d3-ultra 55 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung Hintergrund, keine Belege
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 61 %einzelne zitierbare Belege
- JEV 58 %beantwortet teilweise oder widerspricht
- amos 26 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 36 %gleiches Oberthema, hilft nicht
- d3-ultra 55 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung Hintergrund, keine Belege
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 46 %einzelne zitierbare Belege
- amos 50 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 41 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-O3 Welcher Text gilt, und wie beweist man, dass ein Dokument nicht verändert wurde?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 33 %Hintergrund, keine Belege
- JEV 64 %einzelne zitierbare Belege
- amos 30 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 53 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung nur am Rande erwähnt
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 54 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- Alle Berichte im Archiv