Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
openai19. Oktober 2026 · Q005832

Advancing coding in low‑resource programming languages

openai.com · Originalbericht öffnen ↗

Zusammenfassung

Kurz

OpenAI berichtet von besseren Ergebnissen seiner Modelle bei Aufgaben in wenig verbreiteten Programmiersprachen: GPT‑6 Astra habe in einer Mehrsprachen-Evaluation durchschnittlich 87,4 Prozent der Tests bestanden, und GPT‑6.1 Sol habe bei COBOL-Migrationen bis zu 97,9 Prozent Genauigkeit erreicht. Die Angaben beruhen auf zwei konkreten Testverfahren; laut Bericht benötigen produktive Migrationen weiterhin fachkundige Prüfung und Tests mit den Geschäftsregeln und Abhängigkeiten des jeweiligen Systems.

Mittel

Der Bericht beschreibt Fortschritte von OpenAI-Modellen bei der Arbeit mit Programmiersprachen wie COBOL, Fortran und Visual Basic, für die vergleichsweise wenig Trainingsmaterial verfügbar ist. OpenAI begründet den Bedarf mit dem Einsatz dieser Sprachen in wichtiger Infrastruktur und den Schwierigkeiten, ältere Systeme zu warten, wenn Dokumentation oder Wissen über Geschäftsregeln fehlen.

Gemessen wurde die Leistung mit zwei Evaluationen: MultiLangBench prüft den Bau einer SQLite-kompatiblen Datenbank in 20 Sprachen; eine zweite Evaluation testet, ob COBOL-Programme nach C++, Java, Kotlin, Python oder Rust migriert werden können, ohne ihr beobachtbares Verhalten zu verändern. OpenAI berichtet, GPT‑6 Astra habe in MultiLangBench im Mittel 87,4 Prozent der Tests bestanden, gegenüber 26,8 Prozent für GPT‑5.6 Sol. GPT‑6 Luna erreiche 40,3 Prozent bei laut Bericht deutlich niedrigeren geschätzten API-Kosten. Bei der COBOL-Migration nennt OpenAI für GPT‑6.1 Sol 86,6 Prozent Genauigkeit bei niedrigem und 97,9 Prozent bei höherem Reasoning-Aufwand.

Die Ergebnisse beziehen sich auf diese konkreten Tests. Für den Einsatz in produktiven Systemen verlangt der Bericht weiterhin fachkundige Prüfung und Tests anhand der jeweiligen Geschäftsregeln und Abhängigkeiten.

Ausführlich lesen

Der Bericht beschreibt Fortschritte von OpenAI bei Modellen, die in Programmiersprachen mit vergleichsweise wenigen verfügbaren Trainingsdaten arbeiten, darunter COBOL, Fortran und Visual Basic. Diese Sprachen kämen laut Bericht dennoch in wichtiger Infrastruktur und essenziellen Diensten zum Einsatz. Als Beispiele nennt OpenAI COBOL in Bank- und Kartenzahlungssystemen sowie Fortran bei Wettervorhersagen und Sicherheitsanalysen von Kernreaktoren. Die Pflege älterer Software sei oft schwierig, weil Dokumentation fehle, ursprüngliche Entwickler nicht mehr verfügbar seien und Geschäftsregeln nur im Code festgehalten sein könnten. Bei Reparaturen und Migrationen müsse deshalb das bisherige Systemverhalten erhalten bleiben.

Zur Messung der Fortschritte stellt der Bericht zwei Evaluationen vor. MultiLangBench prüft, ob ein Modell über eine längere Programmieraufgabe hinweg eine SQLite-kompatible Datenbank in einer vorgegebenen Sprache erstellen kann. Dafür werden angepasste Tests aus der SQLite-Testsuite genutzt; Datenbankdateien dienen als gemeinsame Schnittstelle, und die Resultate werden mit der Referenzimplementierung von SQLite verglichen. Erfasst werden bestandene Tests und API-Kosten. Die zweite Evaluation prüft die Übertragung bestehender COBOL-Programme nach C++, Java, Kotlin, Python oder Rust. Verborgene Tests verlangen dabei identische beobachtbare Ausgaben; eine Migration gilt nur dann als erfolgreich, wenn alle Tests bestanden werden. Der Bericht hebt hervor, dass auch sprachspezifische Einzelheiten wie COBOLs Umgang mit Dezimalstellen für korrekte Ergebnisse entscheidend sein können.

OpenAI berichtet, GPT‑6 Astra habe in MultiLangBench bei maximalem Reasoning-Aufwand im Mittel 87,4 Prozent der Tests bestanden, gegenüber 26,8 Prozent für GPT‑5.6 Sol. Verbesserungen habe es in allen 20 geprüften Sprachen gegeben. Astra habe in 19 davon über 83 Prozent erreicht; COBOL sei mit 72,1 Prozent weiterhin am schwierigsten. GPT‑6 Luna habe durchschnittlich 40,3 Prozent erzielt und dabei laut Bericht geschätzte API-Kosten von 0,77 US-Dollar je Stichprobe verursacht, gegenüber 3,48 US-Dollar für GPT‑5.6 Sol.

Bei der COBOL-Migration nennt der Bericht für GPT‑6.1 Sol eine Genauigkeit von 86,6 Prozent bei niedrigem Reasoning-Aufwand, verglichen mit 5,4 Prozent für GPT‑5.6 Sol. Die Kosten hätten dabei 61 Prozent der Vergleichskosten betragen. Bei höherem Reasoning-Aufwand sei die Genauigkeit auf 97,9 Prozent gestiegen. OpenAI stellt die Ergebnisse als Fortschritt hin zu kostengünstigerer Arbeit mit älteren Codebeständen dar und veröffentlicht nach eigener Aussage MultiLangBench samt Tests und Ergebnissen auf GitHub.

Die Aussagekraft bleibt an die beschriebenen Evaluationen gebunden: MultiLangBench misst eine bestimmte Datenbankbau-Aufgabe, die Migrationstests prüfen eine festgelegte Programmauswahl und verborgene Ausgaben. Der Bericht erklärt ausdrücklich, dass produktive Migrationen weiterhin fachkundige Prüfung und Tests anhand der Geschäftsregeln und Abhängigkeiten des jeweiligen Systems erfordern.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Lunas Zusammenfassungen sind inhaltlich treu, lassen aber Kosteneinsparungen und Teile der Methodik aus. Die Einordnung ist zu hoch angesetzt: Der Bericht ist ein Produktbericht zu Programmierfähigkeiten und enthält keine Belege zu Cyberrisiken, Alignment, Pausenschwellen oder Prüfarchitektur. Bei SF-F1, SF-T1-T05 und SF-P3-T06 hat Luna Stufen von 1 bis 4 vergeben, die der Quelle nicht entsprechen. Die Zusammenfassung wurde für die kurze und die mittlere Fassung gemeinsam bewertet, da das Schema nur ein Urteil vorsieht.

Im Bericht, aber nicht in der Zusammenfassung

  • Konkrete Kostenangaben: GPT-6 Luna laut Bericht rund 78 % günstiger als GPT-5.6 Sol, GPT-6.1 Sol rund 39 % günstiger bei der COBOL-Migration
  • Vergleichswert von 5,4 % für GPT-5.6 Sol bei der COBOL-Migration (in der kurzen Fassung)
  • Begründung, warum COBOL, Fortran und Visual Basic wichtig sind: Banken, Geldautomaten, Wetterprognosen und Reaktorsicherheit
  • Beschreibung der Testmethode: SQLite-Datenbanken als gemeinsame Schnittstelle und byte-genaue Prüfung mit versteckten Tests
  • Ankündigung, Evaluationssetup und Testsuite auf GitHub zu veröffentlichen

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Vorfälle melden
Fähigkeiten messen
  1. SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
    • clef 100 %kein Bezug
    • Luna 55 %einzelne zitierbare Belege
    • JEV 100 %kein Bezug
    • amos 37 %gleiches Oberthema, hilft nicht
    • SubQ 47 %gleiches Oberthema, hilft nicht
    • drex 48 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
    • Haiku-Prüfung gleiches Oberthema, hilft nicht

    • SF-F1-T05 Welche Cyber-Prüfungen und welche Testbausteine (Testfälle, Bewertungswerkzeuge, Datensätze) würden jedes Labor und jedes Ministerium anstelle einer bloßen Behauptung als gültig anerkennen, wenn andere sie an ihrem Modell durchführen? Und welche genormte Testsammlung würden Labore verschiedener Staaten gemeinsam an eingefrorenen Modellversionen laufen lassen, verwaltet von einer dritten Stelle, der alle trauen? Luna: Stufe 3 · 33 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 1 · gleiches Oberthema, hilft nicht
  2. SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 28 %einzelne zitierbare Belege
    • amos 38 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 49 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Unabhängig prüfen
  1. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 100 %kein Bezug
    • Luna 35 %einzelne zitierbare Belege
    • JEV 51 %umfangreiche Belege
    • amos 27 %Hintergrund, keine Belege
    • SubQ 42 %gleiches Oberthema, hilft nicht
    • drex 27 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
    • Haiku-Prüfung nur am Rande erwähnt

Tempo und Grenzen
  1. SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
    • clef 100 %kein Bezug
    • Luna 47 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen
    • Haiku-Prüfung kein Bezug

  2. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 100 %kein Bezug
    • Luna 29 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 43 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 68 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Vertrauen in Modelle
  1. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 38 %Hintergrund, keine Belege
    • JEV 37 %einzelne zitierbare Belege
    • amos 41 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 61 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Modelle teilen und schützen
  1. SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 40 %einzelne zitierbare Belege
    • amos 35 %gleiches Oberthema, hilft nicht
    • SubQ 51 %gleiches Oberthema, hilft nicht
    • drex 40 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Frieden und Sicherheit
Offenlegung und Rechenschaft
  1. SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
    • clef 100 %kein Bezug
    • Luna 29 %Hintergrund, keine Belege
    • JEV 43 %einzelne zitierbare Belege
    • amos 38 %gleiches Oberthema, hilft nicht
    • SubQ 54 %gleiches Oberthema, hilft nicht
    • drex 47 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Beteiligung und Gemeinwohl
  1. SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
    • clef 100 %kein Bezug
    • Luna 44 %gleiches Oberthema, hilft nicht
    • JEV 28 %einzelne zitierbare Belege
    • amos 44 %gleiches Oberthema, hilft nicht
    • SubQ 47 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra offen
  2. SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 29 %einzelne zitierbare Belege
    • amos 48 %gleiches Oberthema, hilft nicht
    • SubQ 49 %gleiches Oberthema, hilft nicht
    • drex 48 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →