I Made AI Agent Decisions 150x Cheaper With Jev and TrueForge
Zusammenfassung
Kurz
Der Autor berichtet, dass ein Agent mit Jev, TrueForge und Daytona in einem Test mit 40 Kundenanfragen dieselbe Zuordnungsgenauigkeit wie Claude Opus bei jeder Entscheidung erzielt habe, zu ungefähr 150-mal geringeren Entscheidungskosten. Unsichere Fälle wurden Opus zur Prüfung vorgelegt; dieser Schritt erkannte laut Beitrag fünf Fehlzuordnungen. Die kleine Stichprobe belegt keine allgemeine Leistung, weshalb der Autor größere Tests und eine sorgfältige Kalibrierung empfiehlt.
Mittel
Der Beitrag schildert einen Versuch, die Kosten eines wöchentlichen Agenten zur Zuordnung von Kundenanfragen zu GitHub-Issues zu senken. Der Autor kombinierte Jev, ein Entscheidungsmodell von TypeSafe AI, mit TrueForge als Agenten-Framework und Daytona als Umgebung für Code- und Dateiarbeit. Jev soll aus vorgegebenen Optionen eine Auswahl samt Vertrauenswert liefern; bei niedriger Zuversicht prüft Claude Opus den Vorschlag. Ein Schwellenwert von 0,90 wird nur beispielhaft genannt und müsse mit eigenen Daten kalibriert werden.
Laut Autor erreichte Jev in einem Test mit 40 Anfragen dieselbe Zuordnungsgenauigkeit wie Opus bei jeder Entscheidung, bei etwa 150-mal niedrigeren Entscheidungskosten. Die Opus-Prüfung fing fünf falsche Zuordnungen ab. Der Beitrag warnt, dass der kleine Test keine allgemeinen oder produktionsreifen Ergebnisse belegt und Zuversicht keine Richtigkeit garantiert. Auch TrueForges separat berichtetes Ergebnis auf DevRevs Enterprise Bench ist laut Autor nicht direkt mit diesem Versuch vergleichbar. Empfohlen werden größere Tests und gezielte Prüfungen unsicherer oder mehrdeutiger Fälle. Die Grundidee: einfache Datenfilterung per Code, spezialisierte Modelle für begrenzte Auswahlaufgaben und leistungsfähige Sprachmodelle für schwierige Fälle einsetzen.
Ausführlich lesen
Der Beitrag von Code Coup beschreibt einen Versuch, Entscheidungen in einem regelmäßig laufenden KI-Agenten günstiger zu treffen. Als Beispiel dient ein wöchentlicher Kunden-Follow-up-Agent, der eingehende Kundenanfragen passenden GitHub-Issues zuordnen soll. Der Autor stellt die verbreitete Nutzung eines allgemeinen Sprachmodells für jede einzelne Zuordnung infrage: Bei einer begrenzten Auswahl möglicher Antworten könnten spezialisierte Entscheidungsmodelle und gewöhnlicher Programmcode ausreichen.
Für den Versuch setzte der Autor Jev von TypeSafe AI in das Open-Source-Agenten-Framework TrueForge von TrueFoundry ein. Jev erhält eine Anfrage und eine Liste von Optionen und liefert laut Beitrag eine strukturierte Auswahl samt Vertrauenswert, statt einen längeren Erklärungstext zu erzeugen. Der dargestellte JSON-Aufbau ist ausdrücklich nur ein Beispiel und laut Autor nicht Jevs dokumentiertes API-Schema. Bei hoher Zuversicht soll die Zuordnung direkt übernommen werden; unsichere Fälle gehen zur Prüfung an Claude Opus. Der Beispielwert von 0,90 für die Schwelle ist nicht als allgemein gültig angegeben, sondern müsse anhand eigener Testdaten kalibriert werden.
Nach Darstellung des Autors wurde das Verfahren mit 40 Anfragen erprobt. Jev habe dabei dieselbe Zuordnungsgenauigkeit wie Opus bei jeder einzelnen Entscheidung erreicht, während die Entscheidungskosten ungefähr 150-mal niedriger gewesen seien. Die zusätzliche Prüfung habe fünf falsche Zuordnungen erkannt, die sonst übernommen worden wären. Der Beitrag betont zugleich, dass ein Vertrauenswert keine Korrektheit garantiert und ein Test dieser Größe keine verlässliche Aussage über andere Aufgaben oder größere Produktionslasten erlaubt. Empfohlen werden eine umfangreichere Auswertung, die Messung der Kosten unsicherer Fälle und Prüfungen mit ähnlich wirkenden Optionen.
TrueForge übernimmt in der beschriebenen Architektur die Verwaltung von Werkzeugen, Kontext und Ausführung. Der Autor hebt hervor, dass Werkzeuge bei Bedarf geladen, umfangreiche Ergebnisse in Dateien ausgelagert und einfache Filter mit Code statt zusätzlichen Modellabfragen umgesetzt werden können. Außerdem nennt er Kontextkomprimierung und dynamische Unteragenten. Daytona stellt die Sandbox für Code- und Dateiarbeit bereit. Der Beitrag ordnet Jev der Auswahlentscheidung, TrueForge der Agentensteuerung und Daytona der Ausführungsumgebung zu. TrueForge soll Zugangsdaten außerhalb der Sandbox halten und für Schreibvorgänge eine Genehmigung verlangen; vor einem Einsatz mit Produktionssystemen seien Berechtigungen und Freigaberegeln dennoch sorgfältig zu prüfen.
Zusätzlich berichtet der Autor von einem separaten Ergebnis für TrueForge auf DevRevs Enterprise Bench: Das Framework habe ungefähr so viele Aufgaben wie Claude Managed Agents gelöst und dabei rund ein Drittel der Tokens verwendet. Diese Angabe und der 40-Anfragen-Versuch seien keine direkt vergleichbaren Benchmarks. Zum lokalen Ausprobieren nennt der Beitrag Node.js ab Version 22.14, einen Startbefehl und eine lokale Betriebsart mit SQLite. Diese habe standardmäßig keine Anmeldung und sei nicht für den Produktivbetrieb oder den Betrieb im Internet ausgelegt. Die zentrale Schlussfolgerung des Autors lautet, Rechenaufwand gezielter einzusetzen: Daten zunächst per Code filtern, bekannte Auswahlprobleme einem spezialisierten Modell überlassen und ein leistungsfähigeres Sprachmodell für mehrdeutige Fälle bereithalten.
Gegengeprüft von Claude Haiku 5.5: ok
Die Zusammenfassung wurde gegen Lunas mittlere Fassung geprüft, da das Schema nur eine Zusammenfassung vorsieht. Die kurze Fassung enthält keine Fehler, lässt aber die Warnung vor Verallgemeinerung des kleinen Tests ebenfalls unerwähnt, obwohl sie dort steht. Die Einordnung stützt sich nur auf den Bericht; die Abbildungen enthalten keinen zusätzlichen Textinhalt.
Im Bericht, aber nicht in der Zusammenfassung
- Hinweis des Autors, dass das Jev-Ein- und Ausgabebeispiel nicht dem dokumentierten API-Schema entspricht
- Angaben zum lokalen Start von TrueForge (Node.js 22.14, MIT-Lizenz, lokale SQLite-Datenbank)
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Vorfälle melden
- SF-M2 Wie muss ein Meldekanal zwischen Staaten gebaut sein, damit er verlässlich arbeitet, auch in einer Krise?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 45 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-M3 Wie stellt man fest, ob ein Vorfall gewollt oder versehentlich war, und ob KI oder herkömmliche Mittel dahinterstecken?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 68 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-M4 Wie kommen Meldungen von Laboren, Betreibern und Nutzern schnell und geschützt zu den Stellen, die handeln müssen, auch über Grenzen hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 49 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 52 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 37 %gleiches Oberthema, hilft nicht
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 26 %nur am Rande erwähnt
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 43 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 55 %gleiches Oberthema, hilft nicht
- drex 54 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 27 %gleiches Oberthema, hilft nicht
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 51 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 63 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 62 %einzelne zitierbare Belege
- JEV 42 %beantwortet teilweise oder widerspricht
- amos 28 %gleiches Oberthema, hilft nicht
- SubQ 45 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung nur am Rande erwähnt
- SF-T1-T05 Welche messbaren Vergleichswerte würden zeigen, dass die Ausrichtung der Modelle eines Labors an den vorgesehenen Zielen und Werten schneller vorankommt, als ihre Fähigkeiten wachsen, über das Fehlen öffentlicher Fehlschläge hinaus?
- SF-T1-T06 Welcher öffentliche Beleg zeigt, ob vereinbarte Grenzen eingehalten werden?
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 60 %gleiches Oberthema, hilft nicht
- drex 48 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 35 %gleiches Oberthema, hilft nicht
- Luna 43 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 76 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 34 %gleiches Oberthema, hilft nicht
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 66 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 74 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 40 %einzelne zitierbare Belege
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 26 %gleiches Oberthema, hilft nicht
- Luna 54 %einzelne zitierbare Belege
- JEV 53 %beantwortet teilweise oder widerspricht
- amos 26 %nur am Rande erwähnt
- SubQ 36 %gleiches Oberthema, hilft nicht
- drex 30 %gleiches Oberthema, hilft nicht
- d3-ultra 52 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung gleiches Oberthema, hilft nicht
- SF-V5-T02 Würde man lieber einem großen, überwachten Modell vertrauen oder vielen kleinen, nicht überwachten?
- SF-V5-T03 Ist es wirtschaftlich klug, Modelle mit geringem Denkaufwand zu betreiben, oder wird das Ausrichtungsproblem (Modelle dazu zu bringen, den vorgesehenen Zielen und Werten zu folgen) dadurch nur schwerer sichtbar?
Agenten und vernetzte Systeme
- SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- clef 23 %gleiches Oberthema, hilft nicht
- Luna 56 %einzelne zitierbare Belege
- JEV 49 %einzelne zitierbare Belege
- amos 27 %einzelne zitierbare Belege
- SubQ 26 %nur am Rande erwähnt
- drex 25 %nur am Rande erwähnt
- d3-ultra 31 %nur am Rande erwähnt
- Haiku-Prüfung nur am Rande erwähnt
- SF-A1-T01 Welche Mindestgrenzen und Schutzvorkehrungen sollen für Zugangsdaten, Kommunikation, Geld, dauerhaftes Gedächtnis, Verträge, Änderungen an Systemen und Handlungen in der physischen Welt gelten, auch wenn ein Agent über Tage ohne sofortige menschliche Zustimmung handelt, und wer darf Befugnisse erteilen, prüfen und entziehen?
- SF-A1-T03 Werden Freigabetests messen, ob ein Agent folgenreiche Handlungen außerhalb seines Auftrags unterlässt, auch wenn kein einzeln aufgeführtes Verbot sie blockiert, und werden die Kriterien veröffentlicht?
- SF-A2 Lassen sich KI-Systeme sicher anhalten, zurücksetzen, abschotten oder drosseln, und wer darf das anordnen?
- clef 32 %gleiches Oberthema, hilft nicht
- Luna 43 %Hintergrund, keine Belege
- JEV 29 %nur am Rande erwähnt
- amos 32 %nur am Rande erwähnt
- SubQ 32 %gleiches Oberthema, hilft nicht
- drex 34 %gleiches Oberthema, hilft nicht
- d3-ultra 52 %gleiches Oberthema, hilft nicht
- SF-A2-T01 Welche Tests zeigen, dass ein Agent sicher angehalten, zurückgesetzt oder abgeschottet werden kann, wenn er sich unerwartet verhält, auch wenn er das Abschalten vorhersieht oder sich wehrt?
- SF-A2-T02 Welcher gemeinsame Notmechanismus könnte verteilte Agentennetze und kritische automatisierte Dienste anhalten, drosseln oder abschalten, ohne einem einzelnen Akteur die alleinige Kontrolle zu geben?
- SF-A3 Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
- clef 33 %gleiches Oberthema, hilft nicht
- Luna 72 %Hintergrund, keine Belege
- JEV 41 %nur am Rande erwähnt
- amos 33 %gleiches Oberthema, hilft nicht
- SubQ 49 %gleiches Oberthema, hilft nicht
- drex 41 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-A3-T01 Welche Beobachtungen oder gemeinsamen Tests erkennen entstehende Abstimmung, Absprachen oder Kettenfehler zwischen Modellen in Arbeitsabläufen, Lieferketten und Gruppen vieler Agenten (Schwärmen), die kein einzelnes Labor steuert oder vorhersieht?
Modelle teilen und schützen
- SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- clef 100 %kein Bezug
- Luna 28 %gleiches Oberthema, hilft nicht
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 31 %gleiches Oberthema, hilft nicht
- Luna 100 %kein Bezug
- JEV 33 %nur am Rande erwähnt
- amos 31 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 55 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Frieden und Sicherheit
- SF-K2 Wie weit gelten KI-Abkommen für Verbündete und Geheimdienste, und wie verhalten sie sich zu bestehenden Rüstungskontrollverträgen und -regimen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 60 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Offenlegung und Rechenschaft
- SF-O1 Wie können Mitarbeitende Sicherheitsbedenken melden, ohne alles zu riskieren?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 50 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 58 %gleiches Oberthema, hilft nicht
- drex 63 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 63 %Hintergrund, keine Belege
- JEV 30 %einzelne zitierbare Belege
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 46 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 40 %einzelne zitierbare Belege
- amos 52 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- Lassen sich KI-Systeme sicher anhalten, zurücksetzen, abschotten oder drosseln, und wer darf das anordnen?
- Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
- Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- Alle Berichte im Archiv