Competitive programming with AlphaCode
Zusammenfassung
Kurz
DeepMind berichtet, dass AlphaCode in zehn simulierten Codeforces-Wettbewerben ungefähr das Niveau der mittleren Teilnehmenden erreichte und zu den besten 54 Prozent zählte. Das System erzeugt große Mengen von Programmvorschlägen und filtert daraus Kandidaten; laut Beitrag bleibt es weit davon entfernt, Wettbewerbe zu gewinnen, und die Evaluation ist auf zehn Wettbewerbe beschränkt.
Mittel
Der Beitrag beschreibt AlphaCode, ein DeepMind-System, das neue Aufgaben aus Programmierwettbewerben lösen soll. Laut Team kombiniert es das Verständnis von Aufgabenstellungen mit der Entwicklung von Algorithmen und der Umsetzung in Code. Das Modell wird mit ausgewähltem öffentlichem GitHub-Code vortrainiert und anschließend an einem kleineren Datensatz von Wettbewerbsaufgaben weitertrainiert. Für jede Aufgabe erzeugt es sehr viele Lösungen in C++ und Python, filtert und gruppiert diese und reicht zehn Kandidaten zur Bewertung ein.
DeepMind simulierte mit Erlaubnis von Codeforces die Teilnahme an zehn Wettbewerben, deren Aufgaben neuer waren als die Trainingsdaten. Nach Angaben des Teams lag AlphaCode ungefähr auf dem Niveau der mittleren Teilnehmenden und unter den besten 54 Prozent; eine Grafik nennt 34 Prozent gelöste Aufgaben. Die Verfasser sehen darin einen Fortschritt für KI bei anspruchsvoller Problemlösung. Sie betonen zugleich, dass AlphaCode weit davon entfernt war, Wettbewerbe zu gewinnen und noch erheblicher Verbesserungsbedarf besteht. Der Beitrag berichtet außerdem von einem veröffentlichten Datensatz mit Aufgaben, Lösungen und Tests. Die Evaluation ist auf zehn Wettbewerbe begrenzt und belegt keine allgemeine Leistungsfähigkeit außerhalb dieses Rahmens.
Ausführlich lesen
Der Blogbeitrag stellt AlphaCode vor, ein von DeepMind entwickeltes System zur Lösung von Aufgaben aus Programmierwettbewerben. Laut den Verfassern verlangt diese Aufgabe mehr als das Schreiben von Code: Teilnehmende müssen lange Aufgabenstellungen verstehen, Lösungswege entwickeln und passende Algorithmen umsetzen. Bestehende KI-Systeme hätten solche Anforderungen zuvor nur eingeschränkt bewältigt, etwa bei einfacheren Mathematik- und Programmieraufgaben oder durch das Wiederverwenden bekannter Lösungen.
AlphaCode soll nach Darstellung des Teams eigenständige Lösungen für bislang unbekannte Wettbewerbsaufgaben erzeugen. Das Modell wird zunächst mit ausgewähltem öffentlichen Code von GitHub vortrainiert und anschließend mit einem vergleichsweise kleinen Datensatz von Programmieraufgaben und Lösungen weitertrainiert. Bei einer Aufgabe erzeugt es sehr viele Programme in C++ und Python – laut Beitrag Größenordnungen mehr als frühere Ansätze. Anschließend filtert, gruppiert und bewertet das System die Vorschläge erneut und reicht zehn aussichtsreiche Programme zur externen Beurteilung ein. Diese automatisierte Auswahl soll den üblichen Prozess aus Ausprobieren, Kompilieren, Testen und Überarbeiten ersetzen.
Die Verfasser erprobten AlphaCode mit Erlaubnis von Codeforces in einer Simulation von zehn jüngeren Wettbewerben. Diese Wettbewerbe lagen zeitlich nach den Trainingsdaten. Nach ihrer Auswertung erreichte das System ungefähr das Niveau der mittleren Teilnehmenden und wurde auf etwa den oberen 54 Prozent der Konkurrenz eingeordnet. Eine begleitende Grafik zeigt laut Bildbeschreibung, dass das Modell 34 Prozent der Aufgaben löste. DeepMind bezeichnet dies als erheblichen Fortschritt und als ersten Fall, in dem ein KI-System in Programmierwettbewerben ein konkurrenzfähiges Leistungsniveau erreicht habe. Zugleich räumt der Beitrag ein, dass AlphaCode weit davon entfernt war, Wettbewerbe zu gewinnen.
Der Text enthält positive Einschätzungen des Codeforces-Gründers und eines Google-Softwareentwicklers, der zugleich als Spitzenprogrammierer vorgestellt wird. Beide äußern sich beeindruckt von den Ergebnissen; der Beitrag gibt damit auch fachliche Reaktionen wieder, die jedoch keine unabhängige umfassende Bewertung der Leistungsgrenzen ersetzen.
DeepMind veröffentlichte nach eigenen Angaben einen Datensatz mit Wettbewerbsaufgaben, Lösungen und umfangreichen Tests auf GitHub. Die Tests sollen die Prüfung erleichtern, ob Programme korrekt sind. Das Team hofft, damit weitere Forschung zu Problemlösung und Codegenerierung anzustoßen und künftig Werkzeuge zu entwickeln, die Programmierende unterstützen oder den Zugang zum Programmieren erleichtern.
Die belegten Grenzen im Beitrag sind deutlich: Die Auswertung umfasst zehn Wettbewerbe, und das System erreichte ungefähr das Mittelfeld, nicht die Spitze. Der Text beschreibt die Ergebnisse als frühen Fortschritt und sagt ausdrücklich, dass bei der Codegenerierung noch viel Verbesserungsspielraum besteht. Er liefert keine umfassende Aussage darüber, wie AlphaCode außerhalb dieses Wettbewerbsrahmens abschneidet.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Luna hat zwei Zusammenfassungen geliefert; beide wurden geprüft, das Urteil bezieht sich auf beide. Die mittlere Fassung gibt den Bericht treu wieder, die kurze lässt den Erstfall und die Datensatzveröffentlichung weg. Die Schlussfolgerung, die Evaluation belege keine Leistung außerhalb der zehn Wettbewerbe, ist eine Deutung und keine Aussage des Berichts. Die Einordnung der Sammelfragen erfolgt nach dem Bericht, der AlphaCode betrifft und nur in Einzelpunkten an Governance-Fragen anknüpft.
Im Bericht, aber nicht in der Zusammenfassung
- Erstmals erreicht ein KI-Codesystem ein wettbewerbsfähiges Niveau in Programmierwettbewerben (fehlt in beiden Fassungen)
- Veröffentlichung des Datensatzes mit Aufgaben, Lösungen und Tests auf GitHub (fehlt in der kurzen Fassung)
- Publikation in Science (fehlt in der mittleren Fassung)
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 45 %gleiches Oberthema, hilft nicht
- drex 50 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 31 %umfangreiche Belege
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 56 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 44 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 65 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 41 %einzelne zitierbare Belege
- amos 28 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 40 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 34 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 46 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 48 %Hintergrund, keine Belege
- JEV 35 %gleiches Oberthema, hilft nicht
- amos 35 %gleiches Oberthema, hilft nicht
- SubQ 51 %gleiches Oberthema, hilft nicht
- drex 60 %gleiches Oberthema, hilft nicht
- d3-ultra 58 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung gleiches Oberthema, hilft nicht
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 51 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 39 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 58 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 34 %nur am Rande erwähnt
- JEV 60 %einzelne zitierbare Belege
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 57 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 34 %gleiches Oberthema, hilft nicht
- JEV 32 %gleiches Oberthema, hilft nicht
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 60 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Agenten und vernetzte Systeme
- SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 26 %gleiches Oberthema, hilft nicht
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-A2 Lassen sich KI-Systeme sicher anhalten, zurücksetzen, abschotten oder drosseln, und wer darf das anordnen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 51 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Modelle teilen und schützen
- SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 42 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 25 %nur am Rande erwähnt
- amos 31 %gleiches Oberthema, hilft nicht
- SubQ 50 %gleiches Oberthema, hilft nicht
- drex 40 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 65 %einzelne zitierbare Belege
- JEV 41 %beantwortet teilweise oder widerspricht
- amos 27 %einzelne zitierbare Belege
- SubQ 100 %kein Bezug
- drex 38 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung einzelne zitierbare Belege
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 40 %einzelne zitierbare Belege
- amos 49 %gleiches Oberthema, hilft nicht
- SubQ 56 %gleiches Oberthema, hilft nicht
- drex 45 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-O3 Welcher Text gilt, und wie beweist man, dass ein Dokument nicht verändert wurde?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 49 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 54 %Hintergrund, keine Belege
- JEV 38 %einzelne zitierbare Belege
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 52 %gleiches Oberthema, hilft nicht
- drex 55 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung nur am Rande erwähnt
- SF-E4-T01 Was hieße die Formel von KI als „gemeinsamem Gut der ganzen Menschheit“ praktisch (Zugang, Teilen des Nutzens, gestaffelte Preise, Technologietransfer), so dass jeder Staat sie tatsächlich unterschreiben und prüfen könnte?
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 39 %gleiches Oberthema, hilft nicht
- amos 57 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 60 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Information und Öffentlichkeit
- SF-I1 Wie erkennt man KI-erzeugte Inhalte und KI-erzeugte Einflussnahme, ohne die Meinungsfreiheit zu beschneiden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 54 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- Alle Berichte im Archiv