Granite Switch 4.1.1: check the release tag before loading weights
Zusammenfassung
Kurz
Der Autor berichtet, dass der angekündigte Granite-Switch-Tag bei der Abfrage fehlte, während die aufgelöste Build-Datei des `main`-Commits `decision-4.1.1` nannte. Diese Metadatenprüfung bestätigt weder Gewichtsinhalt noch Modellleistung. Der Beitrag weist auch auf ungeklärte widersprüchliche Sprachangaben hin und enthält keine Benchmarks oder Kompatibilitätsprüfung.
Mittel
Der Artikel schildert eine Metadatenprüfung für Granite Switch 4.1.1. Laut Autor war der in der Modellkarte genannte Tag `granite-switch-4.1.1-30b` in der abgefragten Hugging-Face-Referenzliste nicht vorhanden; eine direkte Anfrage danach habe einen 404-Fehler geliefert. Ein Python-Skript löste stattdessen `main` zu einem konkreten Commit auf und prüfte dessen `BUILD.md`. Diese habe `decision-4.1.1` genannt. Damit sei laut Autor belegt, was die geprüften Metadaten und die Build-Datei ausweisen – nicht aber, dass die Gewichte korrekt sind oder das Modell gute Ergebnisse erzielt.
Der Beitrag berichtet außerdem, IBM beschreibe die Version als rückwärtskompatibel: Basismodell und Schnittstellen blieben demnach gleich, während Sprachmodell und Decision-Adapter aktualisiert würden. Der Autor weist darauf hin, dass gleichbleibende Aufrufe keine identischen Vorhersagen garantieren, und empfiehlt, Schnittstellen und Aufgabenleistung getrennt zu prüfen. Eine solche Leistungsprüfung enthält der Artikel nicht.
Zudem widersprechen sich laut Beitrag die Sprachangaben: IBM nenne zehn, die geprüften Modellkarten sieben Sprachen. Der Widerspruch bleibt ungeklärt; ein Transkriptionsfehler wurde nicht beobachtet. Es gibt weder Benchmark noch Genauigkeitsresultat oder Kompatibilitätszertifizierung. Der Artikel empfiehlt, Versions- und Zusammensetzungsmetadaten vor dem Laden der Gewichte zu prüfen.
Ausführlich lesen
Der Artikel beschreibt eine Prüfung der Versionsangaben für Granite Switch 4.1.1, ein von IBM veröffentlichtes zusammengesetztes Modell. Laut Autor nennt die Modellkarte den Release-Tag `granite-switch-4.1.1-30b`; eine Anfrage nach dieser Revision habe jedoch einen HTTP-404-Fehler ergeben. Die abgefragte Referenzliste des Hugging-Face-Repositoriums habe stattdessen den älteren Release-Tag und `main` enthalten. Der Autor hebt hervor, dass diese Abweichung vor einem Download oder einer Bereitstellung auffallen sollte.
Zur Prüfung führte der Autor ein Python-Skript aus, das öffentliche Metadaten über HTTP abruft. Es prüft, ob der erwartete Tag in den Refs erscheint, löst den `main`-Branch zu einem Commit auf und liest die zu diesem Commit gehörende `BUILD.md`. Laut dem dokumentierten Ergebnis fehlte der erwartete Tag; der aufgelöste Commit lautete `eb206725d03c0f1c409ce3aa512afe325fdf8731`, und dessen Build-Datei nannte `decision-4.1.1`. Der Autor betont, dass dies lediglich belegt, was in den abgefragten Metadaten und der Zusammensetzungsdatei stand. Es prüft weder den Inhalt der Modellgewichte noch die Genauigkeit des Modells. Außerdem kann sich die Tag-Abfrage ändern, wenn der Herausgeber den Tag später ergänzt.
Der Beitrag ordnet ein, was eine Patch-Version laut den zitierten IBM-Unterlagen verändert: Das Basismodell bleibe unverändert, während das Sprachmodell und der Decision-Adapter aktualisiert würden; IBM bezeichne die Veröffentlichung als rückwärtskompatibel. Die Modellkarte beschreibe für den Decision-Adapter gleichbleibendes Prompt-Format, Aufruf und Ausgabeformat bei geänderten Gewichten. Daraus folgert der Autor, dass die Integrationsschnittstelle unverändert funktionieren kann, während Vorhersagen abweichen. Er empfiehlt daher, Schnittstellenprüfungen und die Bewertung der Aufgabenresultate getrennt zu betrachten. Im Artikel werden jedoch keine solchen Laufzeit- oder Aufgabentests berichtet.
Die `BUILD.md` des festgelegten Commits führe `guardian-core` und `decision` als eingebettete Adapter auf und dokumentiere unter anderem Kontroll-Tokens, Zielmodule und Quellen. Der Autor nennt dies als hilfreiche Information, um die Zusammensetzung des Artefakts nachzuvollziehen. Zugleich weist er auf eine Dokumentationsabweichung hin: IBM nenne zehn unterstützte Sprachen, während die geprüfte Modellkarte und die Karte des Sprachmodells sieben aufführten – Englisch, Französisch, Deutsch, Spanisch, Portugiesisch, Italienisch und Japanisch. Der Artikel löst den Widerspruch nicht auf. Er schlägt vor, die sieben dokumentierten Sprachen als zu prüfenden Umfang zu behandeln und vor dem Einsatz weiterer Sprachen Klarheit einzuholen; ein tatsächlicher Transkriptionsfehler sei nicht beobachtet worden.
Insgesamt zeigt der Beitrag einen eng begrenzten Metadaten- und Zusammensetzungscheck. Er enthält weder einen Transkriptionsbenchmark noch ein Ergebnis zur Decision-Genauigkeit oder eine Kompatibilitätszertifizierung. Die zentrale Empfehlung des Autors lautet, vor dem kostspieligen Laden oder Bereitstellen zu prüfen, ob eine angegebene Revision existiert und ob der festgelegte Commit die erwartete Komponente aufführt. Der Autor legt außerdem offen, dass KI beim Entwurf des Artikels verwendet wurde.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Lunas zwei Zusammenfassungen liegen vor; bewertet wurde die mittlere Fassung. Die kurze Fassung ist ebenfalls treu, lässt aber die IBM-Aussage zur Rückwärtskompatibilität aus. Die Einordnung bezieht sich ausschließlich auf den Bericht zu Granite Switch 4.1.1, der thematisch nur am Rande zu den Sammelfragen passt.
Im Bericht, aber nicht in der Zusammenfassung
- Der Tag kann sich später ändern, weshalb die Prüfung den Dienst abfragt und nicht den Artikel als dauerhaften Stand betrachtet
- Der Bericht nennt den Hinweis, dass Tokenizer, Serving-Konfiguration und Komponenteneinstellungen erfasst werden müssen, und verweist dazu auf die Gefahr geänderter Chat-Templates oder Serving-Präzision
- Das Skript nutzt nur Standardbibliothek und öffentliche HTTP-Abfragen und lädt weder Modellcode noch Gewichte
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Vorfälle melden
- SF-M3 Wie stellt man fest, ob ein Vorfall gewollt oder versehentlich war, und ob KI oder herkömmliche Mittel dahinterstecken?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-M4 Wie kommen Meldungen von Laboren, Betreibern und Nutzern schnell und geschützt zu den Stellen, die handeln müssen, auch über Grenzen hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 27 %gleiches Oberthema, hilft nicht
- amos 56 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 46 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 28 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F2-T03 Ein Minister beschreibt Risiken durch Spionage und Datenabfluss, etwa über quelloffene KI-Agentenwerkzeuge, und durch ein Ungleichgewicht in der technologischen Entwicklung, das Monopole und Technologiebeschränkungen verschärfen. Welche veröffentlichten Belege würden diese Risiken an der Fähigkeit eines Modells statt an seiner Herkunft festmachen?
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 42 %Hintergrund, keine Belege
- JEV 53 %einzelne zitierbare Belege
- amos 27 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 46 %gleiches Oberthema, hilft nicht
- d3-ultra 53 %gleiches Oberthema, hilft nicht
- SF-F4-T03 Welche neue Prüfung braucht jeder Einsatz, wenn Fähigkeiten zunehmend im Nachdenken des Modells während der Nutzung stecken statt in einem einmal trainierten Modell, und würden die für ein festes Modell gebauten Freigabetests das noch erfassen?
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 30 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 47 %gleiches Oberthema, hilft nicht
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 51 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 60 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 49 %Hintergrund, keine Belege
- JEV 30 %einzelne zitierbare Belege
- amos 27 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 35 %gleiches Oberthema, hilft nicht
- d3-ultra 58 %gleiches Oberthema, hilft nicht
- SF-P3-T02 Welche unabhängig überprüfbaren Zusagen könnten Regierungen von ihren KI-Laboren zur Veröffentlichung verlangen, und wie sieht unabhängige Prüfung aus, wenn der Beleg, dass ein Modell seinen vorgesehenen Zielen und Werten folgt, nur vom trainierenden Labor kommt und Prüfer weder die Modellgewichte (die gelernten Parameter) noch die Trainingsdaten sehen?
- SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 51 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 50 %Hintergrund, keine Belege
- JEV 35 %einzelne zitierbare Belege
- amos 30 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung gleiches Oberthema, hilft nicht
- SF-T1-T05 Welche messbaren Vergleichswerte würden zeigen, dass die Ausrichtung der Modelle eines Labors an den vorgesehenen Zielen und Werten schneller vorankommt, als ihre Fähigkeiten wachsen, über das Fehlen öffentlicher Fehlschläge hinaus?
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 72 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 44 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 38 %gleiches Oberthema, hilft nicht
- JEV 28 %einzelne zitierbare Belege
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 56 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 25 %einzelne zitierbare Belege
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 50 %Hintergrund, keine Belege
- JEV 44 %einzelne zitierbare Belege
- amos 27 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 49 %gleiches Oberthema, hilft nicht
- d3-ultra 55 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung Hintergrund, keine Belege
Modelle teilen und schützen
- SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 52 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 26 %gleiches Oberthema, hilft nicht
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 43 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 19 %Hintergrund, keine Belege
- Luna 56 %beantwortet teilweise oder widerspricht
- JEV 64 %beantwortet direkt und ausführlich
- amos 30 %einzelne zitierbare Belege
- SubQ 42 %einzelne zitierbare Belege
- drex 29 %einzelne zitierbare Belege
- d3-ultra 36 %einzelne zitierbare Belege
- Haiku-Prüfung beantwortet teilweise oder widerspricht
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 50 %gleiches Oberthema, hilft nicht
- drex 43 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-O3 Welcher Text gilt, und wie beweist man, dass ein Dokument nicht verändert wurde?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 32 %einzelne zitierbare Belege
- amos 23 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 41 %gleiches Oberthema, hilft nicht
Beteiligung und Gemeinwohl
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Information und Öffentlichkeit
- SF-I1 Wie erkennt man KI-erzeugte Inhalte und KI-erzeugte Einflussnahme, ohne die Meinungsfreiheit zu beschneiden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 54 %nur am Rande erwähnt
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 33 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- Welcher Text gilt, und wie beweist man, dass ein Dokument nicht verändert wurde?
- Alle Berichte im Archiv