Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
anthropic21. Januar 2026 · Q002486

Designing AI resistant technical evaluations

anthropic.com · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Der Bericht beschreibt, wie Anthropic seinen Performance-Engineering-Einstellungstest mehrfach änderte, nachdem Claude-Modelle die Aufgaben zunehmend gut lösten. Die aktuelle Version setzt auf ungewöhnliche Programmierpuzzles; Anthropic veröffentlicht zugleich den ursprünglichen Test, wobei die angeführten Modellvergleiche aus unterschiedlichen Laufzeiten und Testbedingungen stammen.

Mittel

Tristan Hume von Anthropic schildert, wie neue Claude-Modelle einen technischen Einstellungstest für Performance Engineers zunehmend gut lösten. Im ursprünglichen Test optimierten Kandidaten Code für einen simulierten Beschleuniger und durchliefen dabei Aufgaben zu Parallelisierung, Vektorisierung, Instruktionsplanung und Debugging. Laut Autor half der Test bei der Einstellung vieler Teammitglieder und gab auch Bewerbern ohne viel Berufserfahrung Gelegenheit, ihre Fähigkeiten zu zeigen.

Claude Opus 4 übertraf die meisten Bewerber im Vierstundenlimit; eine überarbeitete Version hielt nur einige Monate, bevor Opus 4.5 die Bestehensgrenze in weniger als einer Stunde erreichte. Ein weiteres, realitätsnahes Optimierungsproblem löste das Modell ebenfalls. Die aktuelle Testversion nutzt deshalb ungewöhnliche Programmierpuzzles mit eingeschränkter Befehlssprache und misst, wie Kandidaten Werkzeuge und gegebenenfalls KI einsetzen. Frühe Ergebnisse seien laut Bericht vielversprechend, aber noch begrenzt; die Aufgaben seien weniger praxisnah.

Anthropic veröffentlicht den ursprünglichen Test als offene Herausforderung. Die genannten Modellwerte stammen aus unterschiedlichen Laufzeiten und Rechenversuchen. Der Autor sagt, die beste menschliche Lösung sei schneller, nennt an dieser Stelle aber keine genauen Vergleichswerte.

Ausführlich lesen

Der Bericht von Tristan Hume, der bei Anthropic für Leistungsoptimierung zuständig ist, beschreibt, wie die Firma einen technischen Einstellungstest mehrfach überarbeiten musste, weil neuere Claude-Modelle darin immer besser abschnitten. Der Test soll Fähigkeiten für Performance Engineering sichtbar machen und zugleich Kandidaten eine längere, praxisnahe Arbeitsprobe ermöglichen. Anthropic erlaubte ausdrücklich KI-Unterstützung. Laut Autor hatten seit Anfang 2024 mehr als 1.000 Kandidaten den ursprünglichen Test absolviert; er habe bei der Einstellung eines großen Teils des heutigen Performance-Teams geholfen, auch bei Bewerbern mit wenig Berufserfahrung.

Im ursprünglichen Test optimierten Kandidaten Code für einen simulierten Beschleuniger. Die Maschine bildete Eigenschaften von TPUs nach, darunter manuell verwalteten Speicher, parallele Ausführung, Vektoroperationen und mehrere Rechenkerne. Aufgabe war die parallele Durchquerung eines Baums. Die Teilnehmenden starteten mit einer seriellen Lösung und konnten schrittweise parallelisieren und optimieren. Ein anfänglicher Fehler sollte außerdem Gelegenheit geben, Fähigkeiten beim Debuggen und beim Bau von Werkzeugen zu zeigen. Der Autor nennt als Gestaltungsziele unter anderem Praxisnähe, Spaß, eine breite Bewertungsstreuung und möglichst viele Gelegenheiten, unterschiedliche Fähigkeiten zu demonstrieren.

Nach Darstellung des Autors übertraf Claude Opus 4 im Zeitlimit von vier Stunden die meisten Bewerber. Anthropic setzte daraufhin eine zweite Version auf, die am Punkt ansetzte, an dem das Modell Schwierigkeiten hatte. Der Test erhielt saubereren Ausgangscode und zusätzliche Optimierungstiefe; bereits gelöste Mehrkernarbeit entfiel. Das Zeitlimit sank auf zwei Stunden, auch um Verzögerungen im Bewerbungsprozess zu verringern. Diese Version hielt mehrere Monate. Claude Opus 4.5 erreichte später innerhalb von weniger als einer Stunde die Bestehensgrenze und fand nach einem Hinweis auf ein erreichbares Ergebnis auch eine zuvor übersehene Optimierung. In internen Rechenversuchen übertraf es laut Bericht menschliche Leistungen im Zweistundenrahmen.

Der Autor erwog, KI zu verbieten oder nur Kandidaten zu bestehen, die Claude deutlich übertreffen. Er sah dabei praktische Probleme: Ein Verbot sei schwer durchzusetzen, und Menschen könnten beim bloßen Beobachten eines schneller arbeitenden Modells kaum sinnvolle Steuerung zeigen. Ein Versuch mit einem anderen, auf Daten-Transponierung und Speicherbank-Konflikte zugeschnittenen Problem scheiterte ebenfalls: Claude fand erst eine unerwartete Umformulierung und löste das angepasste Problem später mit längerem Nachdenken.

Die nächste Testversion setzt deshalb auf ungewöhnliche, stark eingeschränkte Programmieraufgaben, bei denen Lösungen mit möglichst wenigen Befehlen erstellt werden. Anthropic stellt laut Autor keine speziellen Visualisierungs- oder Debugging-Werkzeuge bereit; Kandidaten können eigene Hilfsmittel bauen oder KI dafür einsetzen. Frühe Ergebnisse seien vielversprechend, doch der Bericht nennt noch keine umfangreiche Auswertung. Der Autor räumt ein, dass diese Aufgaben weniger realitätsnah sind als der ursprüngliche Test.

Zum Schluss veröffentlicht Anthropic den ursprünglichen Test als offene Herausforderung für unbegrenzte Bearbeitungszeit. Als Vergleich nennt der Bericht Ergebnisse von Claude-Modellen zwischen 2.164 und 1.363 simulierten Takten, erzielt unter unterschiedlichen Laufzeiten und Rechenversuchsbedingungen. Die schnellste menschliche Einsendung liege laut Autor deutlich unter den Modellwerten; genaue menschliche Vergleichsdaten nennt der Text hier nicht. Die Messwerte sind daher keine einheitlichen Zweistundentests und belegen für sich genommen nicht, dass Menschen in jeder Situation überlegen sind.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Bewertet wurden beide Zusammenfassungen gemeinsam, da das Schema nur eine Bewertung vorsieht; die mittlere ist im Wesentlichen treu, die kurze knapper, aber ohne sachliche Fehler.

Im Bericht, aber nicht in der Zusammenfassung

  • Opus 4.5 erreichte im Zwei-Stunden-Limit etwa die Leistung des besten menschlichen Bewerbers
  • Anthropic erwog ein KI-Verbot im Test und verwarf es
  • Die Preisbedingung lautet unter 1487 Zyklen mit Bewerbung per E-Mail
  • Die Kurzfassung nennt die Modellfortschritte gar nicht und ist dadurch unvollständiger als die mittlere

In der Zusammenfassung, laut Prüfung nicht im Bericht belegt

  • Die aktuelle Testversion misst, wie Kandidaten KI einsetzen (der Bericht sagt nur, dass Werkzeugeinsatz zählt, nicht eindeutig zur neuen Version)

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Fähigkeiten messen
  1. SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 33 %umfangreiche Belege
    • amos 34 %gleiches Oberthema, hilft nicht
    • SubQ 49 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra offen
  2. SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 29 %beantwortet teilweise oder widerspricht
    • amos 36 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen
Unabhängig prüfen
  1. SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
    • clef 100 %kein Bezug
    • Luna 34 %Hintergrund, keine Belege
    • JEV 23 %einzelne zitierbare Belege
    • amos 45 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 46 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
  2. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 100 %kein Bezug
    • Luna 48 %einzelne zitierbare Belege
    • JEV 46 %umfangreiche Belege
    • amos 25 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 31 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
    • Haiku-Prüfung Hintergrund, keine Belege
Tempo und Grenzen
  1. SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 27 %einzelne zitierbare Belege
    • amos 34 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen
  2. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 100 %kein Bezug
    • Luna 42 %Hintergrund, keine Belege
    • JEV 25 %Hintergrund, keine Belege
    • amos 27 %nur am Rande erwähnt
    • SubQ 100 %kein Bezug
    • drex 33 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
    • Haiku-Prüfung gleiches Oberthema, hilft nicht

Vertrauen in Modelle
  1. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 25 %Hintergrund, keine Belege
    • JEV 49 %umfangreiche Belege
    • amos 46 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 52 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

  2. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 38 %Hintergrund, keine Belege
    • JEV 31 %umfangreiche Belege
    • amos 42 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 49 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
Agenten und vernetzte Systeme
Modelle teilen und schützen
  1. SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 37 %einzelne zitierbare Belege
    • amos 45 %gleiches Oberthema, hilft nicht
    • SubQ 51 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra offen
Frieden und Sicherheit
Offenlegung und Rechenschaft
  1. SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 33 %einzelne zitierbare Belege
    • amos 42 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 46 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Beteiligung und Gemeinwohl
  1. SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 26 %einzelne zitierbare Belege
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen
  2. SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 30 %umfangreiche Belege
    • amos 49 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →