96,000 Stars Later, GitHub’s Most Viral Claude Code Skill Still Has One File Almost Nobody Reads
Zusammenfassung
Kurz
Der Bericht vergleicht Cavemans oft zitierte Einsparung von 65 Prozent aus kurzen Einzelprompts mit 8,5 Prozent in einem Test mit 86 Programmieraufgaben. Laut Autor kürzt der Skill nur Modellantworten, verursacht selbst zusätzliche Eingabe-Token und kann je nach Arbeitsablauf weniger sparen oder sogar mehr kosten; die Testwerte sind nicht automatisch auf einzelne Nutzer übertragbar. Sein dreitägiger Selbstversuch deutete auf besser lesbare Antworten hin, lieferte aber keine quantifizierten Einsparungen.
Mittel
Der Bericht betrachtet Caveman, einen Skill für Claude Code und weitere Programmieragenten, der Füllwörter aus Antworten entfernen und so Ausgabe-Token sparen soll. Der oft genannte Benchmarkwert von 65 Prozent beruht laut Autor auf zehn einzelnen Frage-Antwort-Prompts. Für längere Programmierarbeit hält er ihn deshalb nur begrenzt für aussagekräftig. Ein von ihm angeführter JetBrains-Test mit 86 realen Coding-Aufgaben habe eine Reduktion um 8,5 Prozent ergeben.
Die Differenz erklärt der Bericht damit, dass Caveman nur die formulierten Antworten kürzt, nicht aber Werkzeugaufrufe, Datei-Inhalte oder Befehle. Die Datei `docs/HONEST-NUMBERS.md` weise zudem darauf hin, dass der Skill pro Runde etwa 1.000 bis 1.500 Eingabe-Token hinzufüge, Eingabe- und Reasoning-Token nicht spare und bei knappen Antworten die Gesamtersparnis negativ werden könne. Beide Werte stammten aus bestimmten Tests und seien keine Garantie für einzelne Nutzer.
Der Autor berichtet aus einem dreitägigen Selbstversuch von besser lesbaren Antworten, nennt aber keine eigenen Verbrauchszahlen. Er empfiehlt, den Skill anhand eigener mehrstufiger Aufgaben zu prüfen. Als zentrale Lehre hebt er die offene Darstellung von Grenzen hervor; seine Einschätzung, dass dies Vertrauen schafft, und seine Vorhersage über künftige Projekte sind Meinungen des Autors.
Ausführlich lesen
Der Bericht untersucht das Open-Source-Projekt Caveman, eine Anweisung („Skill“) für Claude Code und andere Programmieragenten. Sie soll Füllwörter in Antworten reduzieren und dadurch weniger Ausgabe-Token verbrauchen. Der Autor nennt sechs Intensitätsstufen und beschreibt, dass sich der Skill in Claude Code automatisch aktivieren lasse. Laut Bericht stieg das Projekt nach einem Auftritt auf Hacker News und GitHub Trending auf mehr als 96.000 Sterne; der Autor stellt diese Verbreitung dem Fehlen einer Finanzierungs- oder Unternehmensmeldung gegenüber.
Im Zentrum stehen zwei sehr unterschiedliche Einsparungswerte. Der häufig zitierte Wert von 65 Prozent stammt laut Bericht aus zehn Benchmark-Prompts. Der Autor präzisiert, dass es sich dabei um jeweils eine Frage und eine Antwort handle, nicht um längere Programmierarbeit. Die Tests seien im Repository dokumentiert und reproduzierbar; technische Angaben wie Code, Befehle und Fehlermeldungen seien dabei unverändert geblieben. Der Bericht hält den Wert also für echt, aber nur für diesen begrenzten Testaufbau aussagekräftig.
Als näher an realer Agentenarbeit beschreibt der Autor einen JetBrains-Test mit 86 Aufgaben aus SkillsBench, den er auf Juli 2026 datiert. Dabei habe Caveman die Zahl der Token um 8,5 Prozent reduziert. Der Bericht erklärt die Differenz damit, dass der Skill nur die vom Modell formulierten Worte verkürzt. Werkzeugaufrufe, eingelesene Dateien und ausgeführte Befehle blieben davon unberührt und machten bei Programmieraufgaben einen großen Teil der Arbeit aus. Der Autor bezeichnet 8,5 Prozent als den relevanteren Wert, weist aber zugleich darauf hin, dass auch dieser nicht ohne Weiteres auf andere Arbeitsabläufe übertragbar sei.
Seine wichtigste Quelle für Einschränkungen ist die Datei `docs/HONEST-NUMBERS.md`, die nach seiner Darstellung rund 400 Zeilen umfasst. Sie lege offen, dass Eingabe- und Reasoning-Token nicht reduziert würden und der Skill selbst pro Runde etwa 1.000 bis 1.500 zusätzliche Eingabe-Token koste. Bei ohnehin knappen Antworten könne die Gesamtersparnis laut Datei sogar negativ werden. Beide Benchmarks beruhten auf einem bestimmten Testaufbau, Modell und Aufgabensatz; deshalb seien weder die 65 noch die 8,5 Prozent automatisch die individuelle Ersparnis eines Nutzers.
Der Autor berichtet außerdem von einem dreitägigen Selbstversuch mit einem Newsletter-Entwurf, einer Python-Reparatur und einer längeren Überarbeitung. Er fand die Antworten leichter zu überfliegen, nennt dafür aber keine eigenen Verbrauchsmessungen. Sein Fazit: Die möglichen Einsparungen sollte man mit einer mehrstufigen Aufgabe aus dem eigenen Alltag prüfen und den tatsächlichen Tokenverbrauch vergleichen. Als übergreifende Lehre empfiehlt der Bericht, Einschränkungen und Testbedingungen offen zu dokumentieren. Die Aussage, transparente Einschränkungen stärkten Vertrauen, ist die Einschätzung des Autors; seine Vorhersage, vergleichbare Dateien würden künftig zum Standard, ist ausdrücklich eine Prognose.
Gegengeprüft von Claude Haiku 5.5: ok
Luna hat zwei Zusammenfassungen geliefert. Bewertet wurde die mittlere Fassung, die den Bericht treu und ohne erfundene Angaben wiedergibt. Die kurze Fassung ist ebenfalls sachlich korrekt, nennt aber die zentrale Datei docs/HONEST-NUMBERS.md und den JetBrains-Test nicht ausdrücklich. Die Einordnung beurteilt nur die Nähe der Inhalte zu den Fragen, nicht deren Qualität.
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Vorfälle melden
- SF-M4 Wie kommen Meldungen von Laboren, Betreibern und Nutzern schnell und geschützt zu den Stellen, die handeln müssen, auch über Grenzen hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 20 %gleiches Oberthema, hilft nicht
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 47 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 55 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 53 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 79 %einzelne zitierbare Belege
- JEV 32 %beantwortet teilweise oder widerspricht
- amos 25 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 23 %einzelne zitierbare Belege
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung gleiches Oberthema, hilft nicht
- SF-P3-T07 Wird jede öffentliche Aussage, ein führendes KI-Modell sei „besser ausgerichtet“ als ein anderes (folge also seinen vorgesehenen Zielen und Werten besser), reproduzierbare Kriterien, externe Prüfungen und widersprechende Ergebnisse enthalten?
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 52 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 44 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 67 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 38 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 48 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung kein Bezug
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 63 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 53 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 50 %Hintergrund, keine Belege
- JEV 37 %einzelne zitierbare Belege
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 51 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung gleiches Oberthema, hilft nicht
- SF-V5-T03 Ist es wirtschaftlich klug, Modelle mit geringem Denkaufwand zu betreiben, oder wird das Ausrichtungsproblem (Modelle dazu zu bringen, den vorgesehenen Zielen und Werten zu folgen) dadurch nur schwerer sichtbar?
Agenten und vernetzte Systeme
- SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- clef 100 %kein Bezug
- Luna 32 %nur am Rande erwähnt
- JEV 36 %nur am Rande erwähnt
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Modelle teilen und schützen
- SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 47 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 30 %gleiches Oberthema, hilft nicht
- JEV 100 %kein Bezug
- amos 49 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Frieden und Sicherheit
- SF-K2 Wie weit gelten KI-Abkommen für Verbündete und Geheimdienste, und wie verhalten sie sich zu bestehenden Rüstungskontrollverträgen und -regimen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 49 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Offenlegung und Rechenschaft
- SF-O1 Wie können Mitarbeitende Sicherheitsbedenken melden, ohne alles zu riskieren?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 35 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 45 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-O3 Welcher Text gilt, und wie beweist man, dass ein Dokument nicht verändert wurde?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 37 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 38 %gleiches Oberthema, hilft nicht
- JEV 28 %gleiches Oberthema, hilft nicht
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 24 %einzelne zitierbare Belege
- amos 55 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- Alle Berichte im Archiv