AuPair: Golden Example Pairs for Code Repair
Zusammenfassung
Kurz
Der vorliegende Bericht enthält nur den Abstract. Darin wird AuPair als Verfahren beschrieben, das ausgewählte Beispiele aus fehlerhaften und korrigierten Codeantworten nutzt; laut Autorinnen und Autoren verbessert es die Code-Reparatur gegenüber Best-of-N in Tests mit vier Modellen und sieben Datensätzen, doch der Abstract nennt keine konkreten Messwerte.
Mittel
Der vorliegende Bericht enthält nur den Abstract der Arbeit, nicht den vollständigen Artikel. Die Autorinnen und Autoren schlagen AuPairs vor: Beispiele aus einem Problem, einem ersten fehlerhaften Lösungsvorschlag und dessen Korrektur. Bei der Code-Reparatur dient jeweils ein solches Paar als In-Context-Beispiel für einen 1-Shot-Prompt. Bei einem Budget von N Modellaufrufen wählt das Verfahren N möglichst ergänzende und nützliche Paare aus; aus mehreren erzeugten Antworten wird die am höchsten bewertete ausgewählt.
Laut Abstract wurde das Verfahren mit vier Sprachmodellen auf sieben Datensätzen für Competitive Programming untersucht. Die AuPairs hätten Best-of-N deutlich übertroffen, über Modelle und Datensätze hinweg generalisiert und auch bei größeren Inferenzbudgets gut abgeschnitten. Der Auszug nennt allerdings keine konkreten Kennzahlen, Modelle, Datensatznamen oder Details zur Bewertung. Die berichteten Ergebnisse lassen sich deshalb anhand des bereitgestellten Textes nicht genauer einordnen; Aussagen betreffen die Code-Reparatur.
Ausführlich lesen
Der vorliegende Bericht enthält nur den Abstract der Arbeit „AuPair: Golden Example Pairs for Code Repair“ und Angaben zu Autorinnen und Autoren sowie zum Veranstaltungsort; er enthält nicht den vollständigen Artikel. Die Zusammenfassung der Methode und Ergebnisse beruht daher ausschließlich auf diesem Abstract.
Die Autorinnen und Autoren untersuchen, wie zusätzliche Rechenzeit während der Inferenz die Fähigkeit großer Sprachmodelle zur Selbstkorrektur verbessern kann. Dabei soll ein Modell eine zunächst fehlerhafte eigene Antwort überarbeiten. Vorgeschlagen wird, dafür „goldene“ Beispielpaare zu verwenden: Jedes Paar enthält ein Problem, einen ersten fehlerhaften Lösungsvorschlag („guess“) und eine anschließende Korrektur („fix“). Die Arbeit nennt solche Paare AuPairs.
Zur Generierung einer reparierten Lösung erhält das Modell bei der Inferenz jeweils ein AuPair als In-Context-Beispiel in einem 1-Shot-Prompt. Entsprechend dem Best-of-N-Prinzip werden mehrere Antworten erzeugt und die am höchsten bewertete ausgewählt. Bei einem verfügbaren Budget von N Modellaufrufen wählt das Verfahren N AuPairs so aus, dass sie einander möglichst ergänzen und nützlich sind.
Laut Abstract wurde das Verfahren für Code-Reparatur mit vier Sprachmodellen und sieben Datensätzen aus dem Bereich Competitive Programming untersucht. Die Autorinnen und Autoren berichten, dass die ausgewählten AuPairs die Leistung gegenüber Best-of-N deutlich steigern und über Datensätze sowie Modelle hinweg gut generalisieren. Außerdem soll das Verfahren auch bei wachsendem Inferenzbudget gute Ergebnisse zeigen.
Der Abstract nennt keine konkreten Messwerte, Einzelheiten zu den Datensätzen oder Modellen, Definitionen der Bewertungsmaßstäbe oder genaueren Vergleichsbedingungen. Daher lassen sich aus dem bereitgestellten Text weder die Größe der berichteten Verbesserungen noch ihre statistische Absicherung beurteilen. Die Angaben beziehen sich auf Code-Reparatur; Aussagen zur Wirksamkeit in anderen Aufgabenbereichen enthält der Auszug nicht. Die Arbeit ist für ICML 2025 angegeben.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Luna lieferte zwei Zusammenfassungen (kurz und mittel). Das Schema sieht nur eine Bewertung vor, daher wurden beide gemeinsam beurteilt. Beide geben den Abstract treu wieder und erfinden keine Angaben; Lunas Hinweis, dass nur der Abstract vorliegt und keine Kennzahlen stehen, ist zutreffend.
Im Bericht, aber nicht in der Zusammenfassung
- Die Methode arbeitet zur Inferenzzeit ohne Fine-Tuning.
- Die Rahmung als Self-Repair-Aufgabe, bei der das Modell seinen eigenen fehlerhaften Vorschlag korrigiert.
- Die Synthese und Auswahl eines Golden-Sets von Paaren, die auf Ergänzung und Nützlichkeit optimiert werden.
- Die berichtete Skalierung mit wachsendem Inferenzbudget N ist nur knapp angedeutet.
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Tempo und Grenzen
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 47 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Vertrauen in Modelle
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 60 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 33 %gleiches Oberthema, hilft nicht
- JEV
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 54 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung gleiches Oberthema, hilft nicht