Designing AI resistant technical evaluations
Zusammenfassung
Kurz
Der Bericht beschreibt, wie Anthropic seinen Performance-Engineering-Einstellungstest mehrfach änderte, nachdem Claude-Modelle die Aufgaben zunehmend gut lösten. Die aktuelle Version setzt auf ungewöhnliche Programmierpuzzles; Anthropic veröffentlicht zugleich den ursprünglichen Test, wobei die angeführten Modellvergleiche aus unterschiedlichen Laufzeiten und Testbedingungen stammen.
Mittel
Tristan Hume von Anthropic schildert, wie neue Claude-Modelle einen technischen Einstellungstest für Performance Engineers zunehmend gut lösten. Im ursprünglichen Test optimierten Kandidaten Code für einen simulierten Beschleuniger und durchliefen dabei Aufgaben zu Parallelisierung, Vektorisierung, Instruktionsplanung und Debugging. Laut Autor half der Test bei der Einstellung vieler Teammitglieder und gab auch Bewerbern ohne viel Berufserfahrung Gelegenheit, ihre Fähigkeiten zu zeigen.
Claude Opus 4 übertraf die meisten Bewerber im Vierstundenlimit; eine überarbeitete Version hielt nur einige Monate, bevor Opus 4.5 die Bestehensgrenze in weniger als einer Stunde erreichte. Ein weiteres, realitätsnahes Optimierungsproblem löste das Modell ebenfalls. Die aktuelle Testversion nutzt deshalb ungewöhnliche Programmierpuzzles mit eingeschränkter Befehlssprache und misst, wie Kandidaten Werkzeuge und gegebenenfalls KI einsetzen. Frühe Ergebnisse seien laut Bericht vielversprechend, aber noch begrenzt; die Aufgaben seien weniger praxisnah.
Anthropic veröffentlicht den ursprünglichen Test als offene Herausforderung. Die genannten Modellwerte stammen aus unterschiedlichen Laufzeiten und Rechenversuchen. Der Autor sagt, die beste menschliche Lösung sei schneller, nennt an dieser Stelle aber keine genauen Vergleichswerte.
Ausführlich lesen
Der Bericht von Tristan Hume, der bei Anthropic für Leistungsoptimierung zuständig ist, beschreibt, wie die Firma einen technischen Einstellungstest mehrfach überarbeiten musste, weil neuere Claude-Modelle darin immer besser abschnitten. Der Test soll Fähigkeiten für Performance Engineering sichtbar machen und zugleich Kandidaten eine längere, praxisnahe Arbeitsprobe ermöglichen. Anthropic erlaubte ausdrücklich KI-Unterstützung. Laut Autor hatten seit Anfang 2024 mehr als 1.000 Kandidaten den ursprünglichen Test absolviert; er habe bei der Einstellung eines großen Teils des heutigen Performance-Teams geholfen, auch bei Bewerbern mit wenig Berufserfahrung.
Im ursprünglichen Test optimierten Kandidaten Code für einen simulierten Beschleuniger. Die Maschine bildete Eigenschaften von TPUs nach, darunter manuell verwalteten Speicher, parallele Ausführung, Vektoroperationen und mehrere Rechenkerne. Aufgabe war die parallele Durchquerung eines Baums. Die Teilnehmenden starteten mit einer seriellen Lösung und konnten schrittweise parallelisieren und optimieren. Ein anfänglicher Fehler sollte außerdem Gelegenheit geben, Fähigkeiten beim Debuggen und beim Bau von Werkzeugen zu zeigen. Der Autor nennt als Gestaltungsziele unter anderem Praxisnähe, Spaß, eine breite Bewertungsstreuung und möglichst viele Gelegenheiten, unterschiedliche Fähigkeiten zu demonstrieren.
Nach Darstellung des Autors übertraf Claude Opus 4 im Zeitlimit von vier Stunden die meisten Bewerber. Anthropic setzte daraufhin eine zweite Version auf, die am Punkt ansetzte, an dem das Modell Schwierigkeiten hatte. Der Test erhielt saubereren Ausgangscode und zusätzliche Optimierungstiefe; bereits gelöste Mehrkernarbeit entfiel. Das Zeitlimit sank auf zwei Stunden, auch um Verzögerungen im Bewerbungsprozess zu verringern. Diese Version hielt mehrere Monate. Claude Opus 4.5 erreichte später innerhalb von weniger als einer Stunde die Bestehensgrenze und fand nach einem Hinweis auf ein erreichbares Ergebnis auch eine zuvor übersehene Optimierung. In internen Rechenversuchen übertraf es laut Bericht menschliche Leistungen im Zweistundenrahmen.
Der Autor erwog, KI zu verbieten oder nur Kandidaten zu bestehen, die Claude deutlich übertreffen. Er sah dabei praktische Probleme: Ein Verbot sei schwer durchzusetzen, und Menschen könnten beim bloßen Beobachten eines schneller arbeitenden Modells kaum sinnvolle Steuerung zeigen. Ein Versuch mit einem anderen, auf Daten-Transponierung und Speicherbank-Konflikte zugeschnittenen Problem scheiterte ebenfalls: Claude fand erst eine unerwartete Umformulierung und löste das angepasste Problem später mit längerem Nachdenken.
Die nächste Testversion setzt deshalb auf ungewöhnliche, stark eingeschränkte Programmieraufgaben, bei denen Lösungen mit möglichst wenigen Befehlen erstellt werden. Anthropic stellt laut Autor keine speziellen Visualisierungs- oder Debugging-Werkzeuge bereit; Kandidaten können eigene Hilfsmittel bauen oder KI dafür einsetzen. Frühe Ergebnisse seien vielversprechend, doch der Bericht nennt noch keine umfangreiche Auswertung. Der Autor räumt ein, dass diese Aufgaben weniger realitätsnah sind als der ursprüngliche Test.
Zum Schluss veröffentlicht Anthropic den ursprünglichen Test als offene Herausforderung für unbegrenzte Bearbeitungszeit. Als Vergleich nennt der Bericht Ergebnisse von Claude-Modellen zwischen 2.164 und 1.363 simulierten Takten, erzielt unter unterschiedlichen Laufzeiten und Rechenversuchsbedingungen. Die schnellste menschliche Einsendung liege laut Autor deutlich unter den Modellwerten; genaue menschliche Vergleichsdaten nennt der Text hier nicht. Die Messwerte sind daher keine einheitlichen Zweistundentests und belegen für sich genommen nicht, dass Menschen in jeder Situation überlegen sind.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Bewertet wurden beide Zusammenfassungen gemeinsam, da das Schema nur eine Bewertung vorsieht; die mittlere ist im Wesentlichen treu, die kurze knapper, aber ohne sachliche Fehler.
Im Bericht, aber nicht in der Zusammenfassung
- Opus 4.5 erreichte im Zwei-Stunden-Limit etwa die Leistung des besten menschlichen Bewerbers
- Anthropic erwog ein KI-Verbot im Test und verwarf es
- Die Preisbedingung lautet unter 1487 Zyklen mit Bewerbung per E-Mail
- Die Kurzfassung nennt die Modellfortschritte gar nicht und ist dadurch unvollständiger als die mittlere
In der Zusammenfassung, laut Prüfung nicht im Bericht belegt
- Die aktuelle Testversion misst, wie Kandidaten KI einsetzen (der Bericht sagt nur, dass Werkzeugeinsatz zählt, nicht eindeutig zur neuen Version)
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 38 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 33 %umfangreiche Belege
- amos 34 %gleiches Oberthema, hilft nicht
- SubQ 49 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 29 %beantwortet teilweise oder widerspricht
- amos 36 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 34 %Hintergrund, keine Belege
- JEV 23 %einzelne zitierbare Belege
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 46 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 48 %einzelne zitierbare Belege
- JEV 46 %umfangreiche Belege
- amos 25 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 31 %gleiches Oberthema, hilft nicht
- d3-ultra
- Haiku-Prüfung Hintergrund, keine Belege
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 27 %einzelne zitierbare Belege
- amos 34 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 42 %Hintergrund, keine Belege
- JEV 25 %Hintergrund, keine Belege
- amos 27 %nur am Rande erwähnt
- SubQ 100 %kein Bezug
- drex 33 %gleiches Oberthema, hilft nicht
- d3-ultra
- Haiku-Prüfung gleiches Oberthema, hilft nicht
- SF-T3-T05 Wenn Selbstverbesserung schneller voranschreitet als der Beobachtungstakt fortlaufender Prüfer: Wie kurz muss dieser Takt sein, und wer darf zwischen zwei Beobachtungen eine Pause durchsetzen: der Prüfer, das Labor oder eine Stelle von außen?
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 66 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 25 %Hintergrund, keine Belege
- JEV 49 %umfangreiche Belege
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 52 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-V4-T04 Wenn ein Eigenwert des Menschseins verankert werden soll: Lässt er sich schützen, ohne sich vorher zu einigen, worin er besteht?
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 38 %Hintergrund, keine Belege
- JEV 31 %umfangreiche Belege
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 49 %gleiches Oberthema, hilft nicht
- d3-ultra
- Haiku-Prüfung gleiches Oberthema, hilft nicht
Agenten und vernetzte Systeme
- SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 24 %nur am Rande erwähnt
- amos 32 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Modelle teilen und schützen
- SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 37 %einzelne zitierbare Belege
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 51 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 50 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Frieden und Sicherheit
- SF-K2 Wie weit gelten KI-Abkommen für Verbündete und Geheimdienste, und wie verhalten sie sich zu bestehenden Rüstungskontrollverträgen und -regimen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 45 %gleiches Oberthema, hilft nicht
- d3-ultra
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 33 %einzelne zitierbare Belege
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 46 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-O3 Welcher Text gilt, und wie beweist man, dass ein Dokument nicht verändert wurde?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Beteiligung und Gemeinwohl
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 26 %einzelne zitierbare Belege
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 30 %umfangreiche Belege
- amos 49 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Weitere Berichte zu diesen Fragen
- Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- Alle Berichte im Archiv