FunSearch: Making new discoveries in mathematical sciences using Large Language Models
Zusammenfassung
Kurz
FunSearch verbindet ein Sprachmodell, das Programme vorschlägt, mit einem automatisierten Prüfer und einer wiederholten Auswahl guter Lösungen. Die Autoren berichten von Fortschritten beim Cap-Set-Problem und beim Bin-Packing sowie davon, dass die ausgegebenen Programme Forschenden neue Einsichten ermöglichen können. Die beschriebenen Erfolge stammen aus dem Bericht der Entwickler und belegen keine allgemeine Wirksamkeit.
Mittel
Der Bericht beschreibt FunSearch als Verfahren, das ein Sprachmodell Programme für ein vorgegebenes Problem erzeugen lässt. Ein automatisierter Prüfer bewertet die Vorschläge; gute Programme werden in einen Pool aufgenommen und dienen als Grundlage weiterer Suchrunden. Die Autoren sagen, sie hätten Vielfalt, vorhandenes Wissen und parallele Suche genutzt, um die Entwicklung guter Kandidaten zu unterstützen.
Beim Cap-Set-Problem habe FunSearch in bestimmten Fällen die größten bis dahin bekannten Mengen gefunden. Laut Bericht war dies der stärkste Zuwachs seit 20 Jahren und übertraf aktuelle rechnergestützte Verfahren. Für Online-Bin-Packing habe das System angepasste Programme erzeugt, die dieselbe Zahl von Gegenständen mit weniger Behältern verpackten als etablierte Faustregeln.
Als Vorteil hebt der Bericht hervor, dass FunSearch kurze, prüfbare Programme statt bloßer Lösungsergebnisse liefert. Die Forschenden berichten, dass sie in diesen Programmen Symmetrien entdeckten und damit die Suche verbesserten. Ein Update von 2024 nennt außerdem Anwendungen bei kombinatorischen Programmierwettbewerben, bei denen Menschen das Grundgerüst vorgeben und ein Modell eine Funktion weiterentwickelt. Die Ergebnisse und Nutzenversprechen sind Darstellungen der Autoren; der Text belegt keine universelle Wirksamkeit oder unabhängige Reproduktion.
Ausführlich lesen
Der Bericht stellt FunSearch vor, ein von den Autoren entwickeltes Verfahren, das große Sprachmodelle zur Suche nach neuen mathematischen Lösungen und Algorithmen einsetzt. Die zentrale Idee: Ein Sprachmodell schlägt Programme vor, ein automatisierter Prüfer bewertet sie anhand einer Problemdefinition. Gute Programme gelangen in einen Pool und dienen in späteren Durchläufen als Ausgangspunkt für weitere Vorschläge. So soll die Suche die kreativen Fähigkeiten des Modells nutzen und zugleich fehlerhafte oder unbrauchbare Vorschläge aussortieren. Für den beschriebenen Ablauf verwendeten die Autoren PaLM 2; nach ihrer Darstellung lässt sich FunSearch auch mit anderen auf Code trainierten Sprachmodellen einsetzen.
Die Nutzerin oder der Nutzer legt das Problem als Code fest, einschließlich eines Bewertungsverfahrens und eines Startprogramms. FunSearch wählt Programme aus dem bisherigen Pool aus, gibt sie dem Sprachmodell als Kontext und lässt neue Varianten erzeugen. Diese werden ausgeführt und geprüft; erfolgreiche Kandidaten werden in den Pool aufgenommen. Die Autoren ergänzen, dass sie mit etabliertem Wissen beginnen, die Vielfalt der Vorschläge fördern und mehrere Suchläufe parallel ausführen, um Stillstand zu vermeiden und die Effizienz zu erhöhen.
Als mathematischen Anwendungsfall nennen sie das Cap-Set-Problem: Gesucht wird eine möglichst große Punktmenge in einem hochdimensionalen Gitter, in der keine drei Punkte auf einer Geraden liegen. Laut Bericht erzeugte FunSearch Programme, die in bestimmten Fällen die bis dahin größten bekannten Cap-Sets fanden. Die Autoren bezeichnen den Zuwachs als den größten in diesem Problemfeld seit 20 Jahren und berichten, dass FunSearch aktuelle rechnergestützte Lösungsverfahren übertraf. Der Text betont zugleich, dass das Problem so schnell wächst, dass eine vollständige Prüfung aller Möglichkeiten praktisch ausscheidet.
Ein weiterer Anwendungsfall ist Online-Bin-Packing, bei dem unterschiedlich große Gegenstände mit möglichst wenigen Behältern verpackt werden. Die Autoren berichten, FunSearch habe dafür ein an die jeweiligen Daten angepasstes Programm gefunden, das etablierte Faustregeln übertraf und dieselbe Anzahl von Gegenständen mit weniger Behältern verpackte. Sie stellen dem Ansätze mit neuronalen Netzen und bestärkendem Lernen gegenüber: Diese könnten ebenfalls wirksam sein, erforderten aber möglicherweise erhebliche Einsatzressourcen. FunSearch gebe dagegen inspizierbaren Code aus, der sich nach Einschätzung der Autoren leichter in bestehende Systeme integrieren lasse.
Ein wesentliches Merkmal ist die Ausgabe kurzer Programme, die beschreiben, wie eine Lösung entsteht, statt nur eine fertige Zahlenmenge zu liefern. Der Bericht argumentiert, solche kompakten Programme seien für Forschende verständlicher und könnten große Objekte knapp darstellen. Bei der Untersuchung von Ausgaben entdeckten die Forschenden laut eigener Darstellung Symmetrien, die ihnen neue Hinweise gaben. Sie nutzten diese Einsichten, um die Problemdefinition zu verfeinern und bessere Lösungen zu erhalten. Der Bericht versteht FunSearch daher auch als mögliche Zusammenarbeit zwischen Menschen und Modell.
Ein Update von Dezember 2024 beschreibt Anwendungen in kombinatorischen Programmierwettbewerben: Menschen schreiben demnach das Grundgerüst eines Programms, während ein Sprachmodell eine steuernde Funktion weiterentwickelt. Die Autoren berichten, dass so Lösungen erzielt werden konnten, die jene eines großen Anteils der Teilnehmenden übertrafen. Außerdem verweisen sie auf Arbeiten zur Optimierung von Funktionen mittels Bayes’scher Optimierung und auf den Einsatz von Gemini 1.5 Flash.
Die Aussagen zu Erfolgen und praktischem Nutzen stammen aus dem Bericht der Entwickler. Er belegt nicht, dass FunSearch für beliebige Probleme funktioniert oder dass die genannten Ergebnisse unabhängig reproduziert wurden. Die Autoren präsentieren das Verfahren als Ansatz mit Potenzial und kündigen an, seine Fähigkeiten weiter auszubauen.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Luna hat zwei Zusammenfassungen geliefert (kurz und mittel); beide wurden geprüft. Die mittlere Fassung ist inhaltlich treuer und nennt die Ergebnisse, das Update und die Autorenperspektive. Die Formulierung, die Ergebnisse belegten keine universelle Wirksamkeit, ist eine Schlussfolgerung von Luna und keine ausdrückliche Aussage des Berichts. Die von Luna angegebenen Stufen und Anteile der Einordnung wurden nicht übernommen, sondern unabhängig vergeben.
Im Bericht, aber nicht in der Zusammenfassung
- Kurzfassung nennt nicht das zentrale Motiv, dass der Prüfer Halluzinationen der LLMs abfängt
- Kurzfassung erwähnt das Cap-Set-Ergebnis nur allgemein, nicht den größten Zuwachs seit 20 Jahren
- Kurzfassung lässt das 2024-Update zu kombinatorischen Programmierwettbewerben aus
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 31 %einzelne zitierbare Belege
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 47 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 52 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 41 %Hintergrund, keine Belege
- JEV 46 %einzelne zitierbare Belege
- amos 37 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 46 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 73 %einzelne zitierbare Belege
- JEV 38 %einzelne zitierbare Belege
- amos 28 %nur am Rande erwähnt
- SubQ 39 %gleiches Oberthema, hilft nicht
- drex 45 %gleiches Oberthema, hilft nicht
- d3-ultra 58 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung nur am Rande erwähnt
- SF-T3-T05 Wenn Selbstverbesserung schneller voranschreitet als der Beobachtungstakt fortlaufender Prüfer: Wie kurz muss dieser Takt sein, und wer darf zwischen zwei Beobachtungen eine Pause durchsetzen: der Prüfer, das Labor oder eine Stelle von außen?
- SF-T3-T07 Wenn mehrere Anbieter je verschiedene Stufen von Forschung, Training und Prüfung automatisieren und erst ihre ausgetauschten Ergebnisse zusammen einen Kreislauf der Selbstverbesserung schließen, ohne dass eine Firma den ganzen Ablauf betreibt: Welche Regel stellt diesen gemeinsamen Kreislauf unter Aufsicht?
- SF-T3-T08 Welche kontrollierten Versuche können Labore heute machen, um Selbstverbesserung nachzubilden, ohne eine unbeabsichtigte Beschleunigung zu riskieren?
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 40 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 42 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V1-T01 Welche beobachtbaren Belege zeigen die Ziele und Werte eines Modells und ob es noch ausgerichtet ist, wenn seine sichtbaren Gedankengänge kein verlässlicher Hinweis mehr darauf sind oder ihre Überwachung nachlässt?
- SF-V1-T02 Welche Belege würden Vertrauen in ein KI-System rechtfertigen, über seine flüssigen Erklärungen hinaus?
- SF-V1-T03 Was ist das Kleinste, das ein Modell öffentlich vorlegen kann (ein Test, ein Protokoll, eine Spur), das als Beleg für Ausrichtung an den vorgesehenen Zielen und Werten zählt und nicht nur für Leistung?
- SF-V1-T07 Lieber ein Modell, das immer seinen Lösungsweg zeigen muss, oder eines, das im Stillen mehr kann: Welches Risiko nimmt man in Kauf?
- SF-V1-T10 Kann etwas, das Modelle über sich und ihre Absichten sagen, als Beleg für Ausrichtung zählen, wenn es nur weiterer erzeugter Text ist, und welche Verfahren machen solche Selbstauskünfte vertrauenswürdig statt nur flüssig?
- SF-V1-T11 Wie unterscheidet man bei sich selbst ehrliches von interessegeleitetem Denken, welche Belege für diesen Unterschied würde man von einem Modell akzeptieren, und welcher Test trennt tatsächlich vertretene von nur vorgeführten Werten?
- SF-V1-T15 Welches messbare Maß für Überwachbarkeit könnte neben Fähigkeitstests stehen, und würden Labore es tatsächlich über weitere Skalierung entscheiden lassen? Welcher gemessene Verlust an Überwachung würde Einschränkungen der Selbstständigkeit eines Modells auslösen, und wie erkennt man Fehler, die im sichtbaren Denken nicht auftauchen?
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 43 %gleiches Oberthema, hilft nicht
- JEV 100 %kein Bezug
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 66 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 30 %Hintergrund, keine Belege
- JEV 51 %einzelne zitierbare Belege
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 55 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 51 %Hintergrund, keine Belege
- JEV 45 %einzelne zitierbare Belege
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 50 %gleiches Oberthema, hilft nicht
- d3-ultra 53 %gleiches Oberthema, hilft nicht
- SF-V5-T02 Würde man lieber einem großen, überwachten Modell vertrauen oder vielen kleinen, nicht überwachten?
- SF-V5-T03 Ist es wirtschaftlich klug, Modelle mit geringem Denkaufwand zu betreiben, oder wird das Ausrichtungsproblem (Modelle dazu zu bringen, den vorgesehenen Zielen und Werten zu folgen) dadurch nur schwerer sichtbar?
Agenten und vernetzte Systeme
- SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 48 %einzelne zitierbare Belege
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-A2 Lassen sich KI-Systeme sicher anhalten, zurücksetzen, abschotten oder drosseln, und wer darf das anordnen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 49 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Modelle teilen und schützen
- SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 35 %einzelne zitierbare Belege
- JEV 34 %einzelne zitierbare Belege
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 41 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung Hintergrund, keine Belege
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 48 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 70 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 44 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung gleiches Oberthema, hilft nicht
- SF-E4-T01 Was hieße die Formel von KI als „gemeinsamem Gut der ganzen Menschheit“ praktisch (Zugang, Teilen des Nutzens, gestaffelte Preise, Technologietransfer), so dass jeder Staat sie tatsächlich unterschreiben und prüfen könnte?
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 28 %Hintergrund, keine Belege
- JEV 24 %Hintergrund, keine Belege
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 52 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Information und Öffentlichkeit
- SF-I1 Wie erkennt man KI-erzeugte Inhalte und KI-erzeugte Einflussnahme, ohne die Meinungsfreiheit zu beschneiden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 41 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- Alle Berichte im Archiv