Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
medium.com5. August 2026 · Q011020

The AI Agent Skills Study Everyone Cites Has a Number for Software Engineering. It’s 4.5.

medium.com · Originalbericht öffnen ↗

Zusammenfassung

Für diesen Bericht lag nur ein Auszug oder keine vollständige Fassung vor. Die Zusammenfassung sagt das selbst.

Kurz

Der vorliegende Text ist nur ein Auszug eines hinter einer Medium-Mitglieder-Schranke liegenden Beitrags. Laut Autor steigerte SkillsBench mit kuratierten Skills die durchschnittliche Bestehensquote um 16,2 Prozentpunkte; für Softwareentwicklung betrug der Zuwachs 4,5 Punkte und war damit der kleinste nach Fachgebiet. Details zum Studienaufbau fehlen im Auszug.

Mittel

Der vorliegende Text ist nur ein Auszug; der vollständige Medium-Beitrag ist hinter einer Mitglieder-Schranke. Details zum Studienaufbau fehlen deshalb im verfügbaren Material.

Der Autor beschreibt SkillsBench als Benchmark dafür, ob strukturierte, von Menschen verfasste Verfahrenshinweise die Leistung von KI-Agenten verbessern. Dem Beitrag zufolge erhöhten kuratierte Skills die durchschnittliche Bestehensquote um 16,2 Prozentpunkte. Haiku 4.5 mit Skills habe 27,7 Prozent erreicht und damit Opus 4.5 ohne Skills mit 22,0 Prozent übertroffen.

Für Softwareentwicklung nennt der Beitrag einen Zugewinn von 4,5 Prozentpunkten, den niedrigsten Wert nach Fachgebiet. Der Autor sagt, die Studie nicht als methodisch schwach abtun zu wollen. Wie genau sie durchgeführt wurde, lässt sich aus dem Auszug nicht beurteilen; die Zahlen sind daher als Berichtsaussagen zu verstehen.

Ausführlich lesen

Der vorliegende Text ist nur ein Auszug: Der vollständige Medium-Beitrag ist hinter einer Mitglieder-Schranke und der Abschnitt „What the benchmark actually measured“ enthält hier keine weiteren Einzelheiten. Deshalb lässt sich das Vorgehen der Studie aus diesem Material nicht genauer zusammenfassen.

Der Autor berichtet über SkillsBench, einen im Februar veröffentlichten Benchmark dazu, ob strukturierte, von Menschen verfasste Verfahrenshinweise die Ergebnisse von KI-Agenten verbessern. Laut Beitrag stieg die durchschnittliche Bestehensquote mit kuratierten Skills um 16,2 Prozentpunkte. Als besonders einprägsamen Vergleich nennt der Autor Haiku 4.5 mit Skills, das demnach 27,7 Prozent erreichte, gegenüber 22,0 Prozent für Opus 4.5 ohne Skills.

Der Beitrag schlüsselt den Effekt nach Fachgebiet auf: Für Softwareentwicklung nennt er einen Zuwachs von 4,5 Prozentpunkten – den kleinsten Wert der untersuchten Bereiche. Der Autor merkt an, dass der größere Effekt über alle Bereiche hinweg leicht die Aufmerksamkeit auf sich zieht, während die Zahl für Softwareentwicklung seltener erwähnt wird. Zugleich stellt er ausdrücklich klar, dass er die Studie nicht als methodisch schwach abtun wolle. Welche konkreten Aufgaben, Stichproben oder Auswertungsverfahren dem Benchmark zugrunde lagen, ist im bereitgestellten Auszug jedoch nicht ersichtlich; die genannten Werte sind daher hier nur als Angaben des Beitrags wiederzugeben.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19 ungeprüft

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 7 von 7
Angezeigte Modelle
Fähigkeiten messen
Unabhängig prüfen
Tempo und Grenzen
Vertrauen in Modelle
  1. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 29 %gleiches Oberthema, hilft nicht
    • JEV 38 %einzelne zitierbare Belege
    • amos 48 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  2. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 49 %Hintergrund, keine Belege
    • JEV 45 %einzelne zitierbare Belege
    • amos 38 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 56 %gleiches Oberthema, hilft nicht
    • d3-ultra 55 %gleiches Oberthema, hilft nicht
Agenten und vernetzte Systeme
Modelle teilen und schützen
Offenlegung und Rechenschaft
Beteiligung und Gemeinwohl
Wirtschaft und Haftung

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →