Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
deepmind20. Juni 2025 · Q005512

AuPair: Golden Example Pairs for Code Repair

deepmind.google · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Der vorliegende Bericht enthält nur den Abstract. Darin wird AuPair als Verfahren beschrieben, das ausgewählte Beispiele aus fehlerhaften und korrigierten Codeantworten nutzt; laut Autorinnen und Autoren verbessert es die Code-Reparatur gegenüber Best-of-N in Tests mit vier Modellen und sieben Datensätzen, doch der Abstract nennt keine konkreten Messwerte.

Mittel

Der vorliegende Bericht enthält nur den Abstract der Arbeit, nicht den vollständigen Artikel. Die Autorinnen und Autoren schlagen AuPairs vor: Beispiele aus einem Problem, einem ersten fehlerhaften Lösungsvorschlag und dessen Korrektur. Bei der Code-Reparatur dient jeweils ein solches Paar als In-Context-Beispiel für einen 1-Shot-Prompt. Bei einem Budget von N Modellaufrufen wählt das Verfahren N möglichst ergänzende und nützliche Paare aus; aus mehreren erzeugten Antworten wird die am höchsten bewertete ausgewählt.

Laut Abstract wurde das Verfahren mit vier Sprachmodellen auf sieben Datensätzen für Competitive Programming untersucht. Die AuPairs hätten Best-of-N deutlich übertroffen, über Modelle und Datensätze hinweg generalisiert und auch bei größeren Inferenzbudgets gut abgeschnitten. Der Auszug nennt allerdings keine konkreten Kennzahlen, Modelle, Datensatznamen oder Details zur Bewertung. Die berichteten Ergebnisse lassen sich deshalb anhand des bereitgestellten Textes nicht genauer einordnen; Aussagen betreffen die Code-Reparatur.

Ausführlich lesen

Der vorliegende Bericht enthält nur den Abstract der Arbeit „AuPair: Golden Example Pairs for Code Repair“ und Angaben zu Autorinnen und Autoren sowie zum Veranstaltungsort; er enthält nicht den vollständigen Artikel. Die Zusammenfassung der Methode und Ergebnisse beruht daher ausschließlich auf diesem Abstract.

Die Autorinnen und Autoren untersuchen, wie zusätzliche Rechenzeit während der Inferenz die Fähigkeit großer Sprachmodelle zur Selbstkorrektur verbessern kann. Dabei soll ein Modell eine zunächst fehlerhafte eigene Antwort überarbeiten. Vorgeschlagen wird, dafür „goldene“ Beispielpaare zu verwenden: Jedes Paar enthält ein Problem, einen ersten fehlerhaften Lösungsvorschlag („guess“) und eine anschließende Korrektur („fix“). Die Arbeit nennt solche Paare AuPairs.

Zur Generierung einer reparierten Lösung erhält das Modell bei der Inferenz jeweils ein AuPair als In-Context-Beispiel in einem 1-Shot-Prompt. Entsprechend dem Best-of-N-Prinzip werden mehrere Antworten erzeugt und die am höchsten bewertete ausgewählt. Bei einem verfügbaren Budget von N Modellaufrufen wählt das Verfahren N AuPairs so aus, dass sie einander möglichst ergänzen und nützlich sind.

Laut Abstract wurde das Verfahren für Code-Reparatur mit vier Sprachmodellen und sieben Datensätzen aus dem Bereich Competitive Programming untersucht. Die Autorinnen und Autoren berichten, dass die ausgewählten AuPairs die Leistung gegenüber Best-of-N deutlich steigern und über Datensätze sowie Modelle hinweg gut generalisieren. Außerdem soll das Verfahren auch bei wachsendem Inferenzbudget gute Ergebnisse zeigen.

Der Abstract nennt keine konkreten Messwerte, Einzelheiten zu den Datensätzen oder Modellen, Definitionen der Bewertungsmaßstäbe oder genaueren Vergleichsbedingungen. Daher lassen sich aus dem bereitgestellten Text weder die Größe der berichteten Verbesserungen noch ihre statistische Absicherung beurteilen. Die Angaben beziehen sich auf Code-Reparatur; Aussagen zur Wirksamkeit in anderen Aufgabenbereichen enthält der Auszug nicht. Die Arbeit ist für ICML 2025 angegeben.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Luna lieferte zwei Zusammenfassungen (kurz und mittel). Das Schema sieht nur eine Bewertung vor, daher wurden beide gemeinsam beurteilt. Beide geben den Abstract treu wieder und erfinden keine Angaben; Lunas Hinweis, dass nur der Abstract vorliegt und keine Kennzahlen stehen, ist zutreffend.

Im Bericht, aber nicht in der Zusammenfassung

  • Die Methode arbeitet zur Inferenzzeit ohne Fine-Tuning.
  • Die Rahmung als Self-Repair-Aufgabe, bei der das Modell seinen eigenen fehlerhaften Vorschlag korrigiert.
  • Die Synthese und Auswahl eines Golden-Sets von Paaren, die auf Ergänzung und Nützlichkeit optimiert werden.
  • Die berichtete Skalierung mit wachsendem Inferenzbudget N ist nur knapp angedeutet.

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Tempo und Grenzen
Vertrauen in Modelle

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →