MiniMax-M2 vs. Kimi-K2 vs. Sonnet 4.5: The Open-Source LLM That Beats Big Tech at 8% of the Cost
Zusammenfassung
Kurz
Der Bericht behauptet, MiniMax-M2 und Kimi-K2 könnten bei vielen Codeaufgaben mit geschlossenen Modellen mithalten; in der eigenen Evaluation lag MiniMax-M2 mit 8,67 Punkten knapp vor Sonnet 4.5 mit 8,42 und sei zugleich schneller und deutlich günstiger gewesen. Da Testumfang und Bedingungen kaum dokumentiert werden, lassen sich die Ergebnisse nicht ohne Weiteres verallgemeinern. Zusätzlich erläutert der Text Lernkurven als Möglichkeit, den Nutzen weiterer Trainingsdaten einzuschätzen.
Mittel
Der Bericht vergleicht MiniMax-M2 und Kimi-K2 mit Claude Sonnet 4.5 bei Aufgaben zur Codegenerierung. Die Verfassenden nutzten laut eigener Darstellung CometMLs Opik und Aufgaben aus GitHub-Projekten, etwa Refactoring, Unit-Tests und Fehlerbehebung. Sie bewerteten Korrektheit, Lesbarkeit und grundlegende Programmierpraktiken. Angaben zur Zahl der Aufgaben und zu genauen Testbedingungen fehlen.
In ihrer Auswertung erreichte MiniMax-M2 8,67 Punkte gegenüber 8,42 für Sonnet 4.5. Der Bericht behauptet außerdem, MiniMax-M2 sei etwa doppelt so schnell und koste rund acht Prozent so viel. Die Verfassenden folgern, offene Modelle könnten bei vielen Codeaufgaben mit geschlossenen Modellen mithalten und für interaktive, datenschutzsensible oder lokale Anwendungen attraktiv sein. Sie nennen etwa zehn Milliarden aktivierte Parameter als Grund für die Effizienz. Die Zahlen belegen jedoch nur die beschriebene, nicht näher dokumentierte Evaluation.
Ein Codebeispiel veranschaulicht das Zählen von Issues nach Status. Zusätzlich empfiehlt der Artikel Lernkurven, um zu prüfen, ob mehr Trainingsdaten die Modellleistung verbessern. Bei stagnierenden Ergebnissen solle man auch die Datenlage untersuchen.
Ausführlich lesen
Der Bericht vergleicht MiniMax-M2 und Kimi-K2 mit Claude Sonnet 4.5 für Codegenerierung. Die Autorinnen und Autoren wollen nach eigener Darstellung prüfen, ob offene Modelle für praktische Entwicklungsaufgaben inzwischen ausreichen. Als Hintergrund nennen sie den Wunsch vieler Teams, Code und Kundendaten nicht an externe, geschlossene APIs zu übermitteln.
Für ihre Auswertung nutzten sie CometMLs Opik und Aufgaben aus GitHub-Repositories. Dazu gehörten etwa das Überarbeiten einer älteren Funktion, das Schreiben von Unit-Tests und das Beheben eines Fehlers anhand von Logs. Bewertet wurden laut Bericht Korrektheit, Lesbarkeit und grundlegende Programmierpraktiken. Konkrete Angaben zur Zahl der Aufgaben, zur Bewertungsmethode oder zu den Testbedingungen liefert der Text jedoch nicht.
Die Autorinnen und Autoren berichten, MiniMax-M2 und Kimi-K2 hätten bei vielen Aufgaben ungefähr das Niveau geschlossener Modelle wie Sonnet 4.5 und Gemini 3 erreicht. In ihrer Auswertung erzielte MiniMax-M2 8,67 Punkte und Sonnet 4.5 8,42; laut Text sei MiniMax damit leicht vorn gewesen. Außerdem behauptet der Bericht, MiniMax-M2 sei ungefähr doppelt so schnell und koste rund acht Prozent so viel wie Sonnet 4.5. Diese Zahlen beziehen sich auf das beschriebene, aber nicht näher dokumentierte Testszenario und belegen keine allgemeine Überlegenheit.
Als Erklärung für die Effizienz nennt der Artikel rund zehn Milliarden aktivierte Parameter. Daraus leitet er mögliche Vorteile bei Antwortzeit, Durchsatz und Kosten ab. Als Einsatzfelder schlägt er interaktive Programmierhilfen, Anwendungen mit geringen Latenzanforderungen sowie lokale oder kundenseitige Installationen vor. So könnten Unternehmen sensible Daten innerhalb ihrer eigenen Infrastruktur halten. Der Bericht bezeichnet MiniMax-M2 zudem als Open Source und für Entwickler kostenlos, erläutert aber die Lizenz- und Bereitstellungsbedingungen nicht.
Ein Python-Beispiel zählt GitHub-Issues nach Status und zeigt den Einsatz der Standardbibliothek sowie einen Ersatzwert für fehlende Statusangaben. Der Artikel führt es als Illustration für lesbaren, leicht anpassbaren Code an; es ist kein dokumentierter Vergleichstest.
Zusätzlich behandelt der Text Lernkurven als Methode zur Frage, ob mehr Trainingsdaten die Leistung verbessern: Modelle werden mit wachsenden Datenmengen trainiert und auf derselben Validierungsmenge geprüft. Eine weiter steigende Kurve könne auf Nutzen zusätzlicher Daten hindeuten, eine flache Kurve auf Sättigung. Die abschließende Empfehlung lautet, offene Modelle bei Bedarf an Geschwindigkeit, Datenschutz oder Skalierbarkeit praktisch zu erproben und bei stagnierender Modellleistung auch die Datenlage zu untersuchen. Die berichteten Resultate bleiben mangels ausführlicher Testdetails auf die eigene Evaluation der Verfassenden begrenzt.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Das Schema erlaubt nur eine Zusammenfassung; geprüft wurde die mittlere Fassung. Die kurze Fassung lässt das zentrale Datenschutz- und On-Prem-Argument ebenfalls aus, ist aber sonst treu.
Im Bericht, aber nicht in der Zusammenfassung
- Das Argument, dass sich offene Modelle auf eigener Infrastruktur betreiben lassen und Daten das Unternehmen nicht verlassen müssen (On-Prem, Datenschutz)
- Die Aussage, offene Modelle seien für Entwickler kostenlos nutzbar und müssten nicht über einen API-Vertrag bezogen werden
- Die Einordnung der Effizienz (niedrigere Latenz, höherer Durchsatz, geringere Kosten pro Anfrage) als Voraussetzung für Echtzeit-Werkzeuge und Edge-Anwendungen
- Der Hinweis, dass Gemini 3 ebenfalls in den Vergleich einbezogen wurde
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Vorfälle melden
- SF-M4 Wie kommen Meldungen von Laboren, Betreibern und Nutzern schnell und geschützt zu den Stellen, die handeln müssen, auch über Grenzen hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 22 %einzelne zitierbare Belege
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 30 %gleiches Oberthema, hilft nicht
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 50 %gleiches Oberthema, hilft nicht
- drex 54 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 34 %einzelne zitierbare Belege
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 49 %Hintergrund, keine Belege
- JEV 27 %einzelne zitierbare Belege
- amos 35 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 49 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung Hintergrund, keine Belege
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 51 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 43 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 36 %Hintergrund, keine Belege
- JEV 37 %einzelne zitierbare Belege
- amos 33 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 48 %gleiches Oberthema, hilft nicht
- d3-ultra 47 %gleiches Oberthema, hilft nicht
- SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 36 %gleiches Oberthema, hilft nicht
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 54 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 49 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 70 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 45 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 65 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 26 %nur am Rande erwähnt
- JEV 41 %einzelne zitierbare Belege
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 47 %Hintergrund, keine Belege
- JEV 43 %beantwortet teilweise oder widerspricht
- amos 29 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 48 %gleiches Oberthema, hilft nicht
- d3-ultra 53 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung Hintergrund, keine Belege
Agenten und vernetzte Systeme
- SF-A2 Lassen sich KI-Systeme sicher anhalten, zurücksetzen, abschotten oder drosseln, und wer darf das anordnen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 47 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-A3 Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Modelle teilen und schützen
- SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 43 %Hintergrund, keine Belege
- JEV 34 %nur am Rande erwähnt
- amos 31 %nur am Rande erwähnt
- SubQ 52 %gleiches Oberthema, hilft nicht
- drex 41 %gleiches Oberthema, hilft nicht
- d3-ultra 61 %gleiches Oberthema, hilft nicht
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 39 %gleiches Oberthema, hilft nicht
- JEV 34 %gleiches Oberthema, hilft nicht
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 46 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 48 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E2 In welchem Rahmen sollen Staaten KI regeln, und wo liegt eine gemeinsame Untergrenze?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 48 %einzelne zitierbare Belege
- JEV 43 %beantwortet teilweise oder widerspricht
- amos 25 %Hintergrund, keine Belege
- SubQ 39 %gleiches Oberthema, hilft nicht
- drex 38 %gleiches Oberthema, hilft nicht
- d3-ultra 46 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung nur am Rande erwähnt
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 24 %Hintergrund, keine Belege
- JEV 43 %einzelne zitierbare Belege
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 48 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Wirtschaft und Haftung
- SF-W2 Wie wirken sich Wettbewerbsrecht und öffentliche Beschaffung auf die KI-Sicherheit aus?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 41 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Wie kommen Meldungen von Laboren, Betreibern und Nutzern schnell und geschützt zu den Stellen, die handeln müssen, auch über Grenzen hinweg?
- Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- Alle Berichte im Archiv