Advancing coding in low‑resource programming languages
Zusammenfassung
Kurz
OpenAI berichtet von besseren Ergebnissen seiner Modelle bei Aufgaben in wenig verbreiteten Programmiersprachen: GPT‑6 Astra habe in einer Mehrsprachen-Evaluation durchschnittlich 87,4 Prozent der Tests bestanden, und GPT‑6.1 Sol habe bei COBOL-Migrationen bis zu 97,9 Prozent Genauigkeit erreicht. Die Angaben beruhen auf zwei konkreten Testverfahren; laut Bericht benötigen produktive Migrationen weiterhin fachkundige Prüfung und Tests mit den Geschäftsregeln und Abhängigkeiten des jeweiligen Systems.
Mittel
Der Bericht beschreibt Fortschritte von OpenAI-Modellen bei der Arbeit mit Programmiersprachen wie COBOL, Fortran und Visual Basic, für die vergleichsweise wenig Trainingsmaterial verfügbar ist. OpenAI begründet den Bedarf mit dem Einsatz dieser Sprachen in wichtiger Infrastruktur und den Schwierigkeiten, ältere Systeme zu warten, wenn Dokumentation oder Wissen über Geschäftsregeln fehlen.
Gemessen wurde die Leistung mit zwei Evaluationen: MultiLangBench prüft den Bau einer SQLite-kompatiblen Datenbank in 20 Sprachen; eine zweite Evaluation testet, ob COBOL-Programme nach C++, Java, Kotlin, Python oder Rust migriert werden können, ohne ihr beobachtbares Verhalten zu verändern. OpenAI berichtet, GPT‑6 Astra habe in MultiLangBench im Mittel 87,4 Prozent der Tests bestanden, gegenüber 26,8 Prozent für GPT‑5.6 Sol. GPT‑6 Luna erreiche 40,3 Prozent bei laut Bericht deutlich niedrigeren geschätzten API-Kosten. Bei der COBOL-Migration nennt OpenAI für GPT‑6.1 Sol 86,6 Prozent Genauigkeit bei niedrigem und 97,9 Prozent bei höherem Reasoning-Aufwand.
Die Ergebnisse beziehen sich auf diese konkreten Tests. Für den Einsatz in produktiven Systemen verlangt der Bericht weiterhin fachkundige Prüfung und Tests anhand der jeweiligen Geschäftsregeln und Abhängigkeiten.
Ausführlich lesen
Der Bericht beschreibt Fortschritte von OpenAI bei Modellen, die in Programmiersprachen mit vergleichsweise wenigen verfügbaren Trainingsdaten arbeiten, darunter COBOL, Fortran und Visual Basic. Diese Sprachen kämen laut Bericht dennoch in wichtiger Infrastruktur und essenziellen Diensten zum Einsatz. Als Beispiele nennt OpenAI COBOL in Bank- und Kartenzahlungssystemen sowie Fortran bei Wettervorhersagen und Sicherheitsanalysen von Kernreaktoren. Die Pflege älterer Software sei oft schwierig, weil Dokumentation fehle, ursprüngliche Entwickler nicht mehr verfügbar seien und Geschäftsregeln nur im Code festgehalten sein könnten. Bei Reparaturen und Migrationen müsse deshalb das bisherige Systemverhalten erhalten bleiben.
Zur Messung der Fortschritte stellt der Bericht zwei Evaluationen vor. MultiLangBench prüft, ob ein Modell über eine längere Programmieraufgabe hinweg eine SQLite-kompatible Datenbank in einer vorgegebenen Sprache erstellen kann. Dafür werden angepasste Tests aus der SQLite-Testsuite genutzt; Datenbankdateien dienen als gemeinsame Schnittstelle, und die Resultate werden mit der Referenzimplementierung von SQLite verglichen. Erfasst werden bestandene Tests und API-Kosten. Die zweite Evaluation prüft die Übertragung bestehender COBOL-Programme nach C++, Java, Kotlin, Python oder Rust. Verborgene Tests verlangen dabei identische beobachtbare Ausgaben; eine Migration gilt nur dann als erfolgreich, wenn alle Tests bestanden werden. Der Bericht hebt hervor, dass auch sprachspezifische Einzelheiten wie COBOLs Umgang mit Dezimalstellen für korrekte Ergebnisse entscheidend sein können.
OpenAI berichtet, GPT‑6 Astra habe in MultiLangBench bei maximalem Reasoning-Aufwand im Mittel 87,4 Prozent der Tests bestanden, gegenüber 26,8 Prozent für GPT‑5.6 Sol. Verbesserungen habe es in allen 20 geprüften Sprachen gegeben. Astra habe in 19 davon über 83 Prozent erreicht; COBOL sei mit 72,1 Prozent weiterhin am schwierigsten. GPT‑6 Luna habe durchschnittlich 40,3 Prozent erzielt und dabei laut Bericht geschätzte API-Kosten von 0,77 US-Dollar je Stichprobe verursacht, gegenüber 3,48 US-Dollar für GPT‑5.6 Sol.
Bei der COBOL-Migration nennt der Bericht für GPT‑6.1 Sol eine Genauigkeit von 86,6 Prozent bei niedrigem Reasoning-Aufwand, verglichen mit 5,4 Prozent für GPT‑5.6 Sol. Die Kosten hätten dabei 61 Prozent der Vergleichskosten betragen. Bei höherem Reasoning-Aufwand sei die Genauigkeit auf 97,9 Prozent gestiegen. OpenAI stellt die Ergebnisse als Fortschritt hin zu kostengünstigerer Arbeit mit älteren Codebeständen dar und veröffentlicht nach eigener Aussage MultiLangBench samt Tests und Ergebnissen auf GitHub.
Die Aussagekraft bleibt an die beschriebenen Evaluationen gebunden: MultiLangBench misst eine bestimmte Datenbankbau-Aufgabe, die Migrationstests prüfen eine festgelegte Programmauswahl und verborgene Ausgaben. Der Bericht erklärt ausdrücklich, dass produktive Migrationen weiterhin fachkundige Prüfung und Tests anhand der Geschäftsregeln und Abhängigkeiten des jeweiligen Systems erfordern.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Lunas Zusammenfassungen sind inhaltlich treu, lassen aber Kosteneinsparungen und Teile der Methodik aus. Die Einordnung ist zu hoch angesetzt: Der Bericht ist ein Produktbericht zu Programmierfähigkeiten und enthält keine Belege zu Cyberrisiken, Alignment, Pausenschwellen oder Prüfarchitektur. Bei SF-F1, SF-T1-T05 und SF-P3-T06 hat Luna Stufen von 1 bis 4 vergeben, die der Quelle nicht entsprechen. Die Zusammenfassung wurde für die kurze und die mittlere Fassung gemeinsam bewertet, da das Schema nur ein Urteil vorsieht.
Im Bericht, aber nicht in der Zusammenfassung
- Konkrete Kostenangaben: GPT-6 Luna laut Bericht rund 78 % günstiger als GPT-5.6 Sol, GPT-6.1 Sol rund 39 % günstiger bei der COBOL-Migration
- Vergleichswert von 5,4 % für GPT-5.6 Sol bei der COBOL-Migration (in der kurzen Fassung)
- Begründung, warum COBOL, Fortran und Visual Basic wichtig sind: Banken, Geldautomaten, Wetterprognosen und Reaktorsicherheit
- Beschreibung der Testmethode: SQLite-Datenbanken als gemeinsame Schnittstelle und byte-genaue Prüfung mit versteckten Tests
- Ankündigung, Evaluationssetup und Testsuite auf GitHub zu veröffentlichen
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Vorfälle melden
- SF-M4 Wie kommen Meldungen von Laboren, Betreibern und Nutzern schnell und geschützt zu den Stellen, die handeln müssen, auch über Grenzen hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 55 %einzelne zitierbare Belege
- JEV 100 %kein Bezug
- amos 37 %gleiches Oberthema, hilft nicht
- SubQ 47 %gleiches Oberthema, hilft nicht
- drex 48 %gleiches Oberthema, hilft nicht
- d3-ultra
- Haiku-Prüfung gleiches Oberthema, hilft nicht
- SF-F1-T05 Welche Cyber-Prüfungen und welche Testbausteine (Testfälle, Bewertungswerkzeuge, Datensätze) würden jedes Labor und jedes Ministerium anstelle einer bloßen Behauptung als gültig anerkennen, wenn andere sie an ihrem Modell durchführen? Und welche genormte Testsammlung würden Labore verschiedener Staaten gemeinsam an eingefrorenen Modellversionen laufen lassen, verwaltet von einer dritten Stelle, der alle trauen?
- SF-F1-T09 Wem gehört eine gemeinsam gebaute Testsammlung, wer darf sie an wessen Modellen erneut laufen lassen, darf ein Beteiligter seine Aufgaben zurückziehen, nachdem Ergebnisse veröffentlicht sind, und was wird dann aus der Vergleichbarkeit?
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 52 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra
- SF-F3 Welche Regeln gelten für gefährliche Fähigkeiten jenseits von Cyber, etwa in Biologie, Chemie, bei radioaktiven Stoffen oder in der Nukleartechnik?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 28 %einzelne zitierbare Belege
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 49 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-F5 Wie gehen Staaten gemeinsam gegen KI-gestützte Cyberangriffe vor und verhindern Eskalation zwischen autonomen Systemen, ohne die Verteidigung zu behindern?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 56 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 51 %gleiches Oberthema, hilft nicht
- drex 48 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 35 %einzelne zitierbare Belege
- JEV 51 %umfangreiche Belege
- amos 27 %Hintergrund, keine Belege
- SubQ 42 %gleiches Oberthema, hilft nicht
- drex 27 %gleiches Oberthema, hilft nicht
- d3-ultra
- Haiku-Prüfung nur am Rande erwähnt
- SF-P3-T02 Welche unabhängig überprüfbaren Zusagen könnten Regierungen von ihren KI-Laboren zur Veröffentlichung verlangen, und wie sieht unabhängige Prüfung aus, wenn der Beleg, dass ein Modell seinen vorgesehenen Zielen und Werten folgt, nur vom trainierenden Labor kommt und Prüfer weder die Modellgewichte (die gelernten Parameter) noch die Trainingsdaten sehen?
- SF-P3-T06 Wenn getrennte Sicherheitsprüfungen Repositorien, Zwischenspeicher oder andere beschreibbare Dienste teilen: Wie zeigt man, dass Modellinstanzen zwischen den Läufen keine Informationen austauschen und dadurch das gemeldete Ergebnis ungültig machen können?
- SF-P3-T07 Wird jede öffentliche Aussage, ein führendes KI-Modell sei „besser ausgerichtet“ als ein anderes (folge also seinen vorgesehenen Zielen und Werten besser), reproduzierbare Kriterien, externe Prüfungen und widersprechende Ergebnisse enthalten?
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 59 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 47 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- Haiku-Prüfung kein Bezug
- SF-T1-T05 Welche messbaren Vergleichswerte würden zeigen, dass die Ausrichtung der Modelle eines Labors an den vorgesehenen Zielen und Werten schneller vorankommt, als ihre Fähigkeiten wachsen, über das Fehlen öffentlicher Fehlschläge hinaus?
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 47 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 29 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 68 %gleiches Oberthema, hilft nicht
- d3-ultra
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 33 %gleiches Oberthema, hilft nicht
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 54 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 27 %gleiches Oberthema, hilft nicht
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 38 %Hintergrund, keine Belege
- JEV 37 %einzelne zitierbare Belege
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 61 %gleiches Oberthema, hilft nicht
- d3-ultra
Modelle teilen und schützen
- SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 40 %einzelne zitierbare Belege
- amos 35 %gleiches Oberthema, hilft nicht
- SubQ 51 %gleiches Oberthema, hilft nicht
- drex 40 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 31 %gleiches Oberthema, hilft nicht
- JEV 36 %gleiches Oberthema, hilft nicht
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Frieden und Sicherheit
- SF-K2 Wie weit gelten KI-Abkommen für Verbündete und Geheimdienste, und wie verhalten sie sich zu bestehenden Rüstungskontrollverträgen und -regimen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 48 %gleiches Oberthema, hilft nicht
- d3-ultra
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 29 %Hintergrund, keine Belege
- JEV 43 %einzelne zitierbare Belege
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 54 %gleiches Oberthema, hilft nicht
- drex 47 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-O3 Welcher Text gilt, und wie beweist man, dass ein Dokument nicht verändert wurde?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 35 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Beteiligung und Gemeinwohl
- SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-E2 In welchem Rahmen sollen Staaten KI regeln, und wo liegt eine gemeinsame Untergrenze?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 48 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 44 %gleiches Oberthema, hilft nicht
- JEV 28 %einzelne zitierbare Belege
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 47 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 29 %einzelne zitierbare Belege
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 49 %gleiches Oberthema, hilft nicht
- drex 48 %gleiches Oberthema, hilft nicht
- d3-ultra
Weitere Berichte zu diesen Fragen
- Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- Alle Berichte im Archiv