How I Cut My LLM Token Costs by 80% with One Line of Code
Zusammenfassung
Kurz
Der Autor stellt Memori als SQL-basierte Speicherschicht vor, die LLM-Anwendungen Gesprächskontext verfügbar machen und dadurch wiederholte Tokens einsparen soll. Er behauptet eine Kostenreduktion von etwa 80 Prozent, erläutert jedoch weder ein Testverfahren noch Vergleichsbedingungen, die diese Zahl unabhängig belegen.
Mittel
Code Coup beschreibt Memori als quelloffene Speicherschicht für LLM-Anwendungen. Ausgangspunkt ist, dass Modelle frühere Gespräche nicht selbst behalten und Anwendungen den benötigten Kontext deshalb wiederholt mitsenden müssen. Das koste Tokens, erhöhe die Antwortzeit und treibe die Rechnung nach oben. Laut Beitrag lässt sich Memori mit `memori.enable()` einschalten und mit Diensten wie OpenAI, Anthropic, LangChain und LiteLLM verwenden. Der Speicher nutzt SQL-Datenbanken wie SQLite, PostgreSQL oder MySQL; eine Vektordatenbank sei dafür nicht nötig. Der Autor betont, dass gespeicherte Erinnerungen einsehbar und die Daten unter eigener Kontrolle seien.
Ein Python-Beispiel zeigt zwei aufeinanderfolgende Anfragen: Nach der Erwähnung eines FastAPI-Projekts soll das Modell bei einer späteren Bitte um Login-Hilfe diesen Zusammenhang berücksichtigen. Der Autor berichtet von rund 80 Prozent geringeren Kosten: Für eine Million Tokens nennt er 11,25 US-Dollar ohne und 2,25 US-Dollar mit Memori. Diese Werte sind im Beitrag nicht durch ein beschriebenes Testverfahren, Vergleichsbedingungen oder unabhängige Prüfung belegt. Auch bleibt offen, wie die Erinnerungen genau erzeugt und eingesetzt werden.
Ausführlich lesen
Der Beitrag von Code Coup beschreibt, wie sich nach Darstellung des Autors die Kosten für LLM-Anfragen durch eine Speicherkomponente namens Memori senken lassen. Als Ausgangsproblem nennt er, dass Sprachmodelle frühere Gespräche nicht von selbst behalten: Soll der Gesprächskontext verfügbar bleiben, müsse die Anwendung ihn bei jeder Anfrage erneut mitsenden. Das verbrauche zusätzliche Tokens, verlangsame Antworten und erhöhe die Kosten.
Der Autor stellt Memori als quelloffene Speicherschicht vor, die sich in bestehende KI-Anwendungen einfügen lasse. Laut Beitrag soll sich die Funktion mit `memori.enable()` aktivieren lassen, ohne das Modell neu zu trainieren. Als unterstützte Umgebungen nennt der Artikel OpenAI, Anthropic, LangChain und LiteLLM. Der Speicher beruhe auf SQL-Datenbanken; aufgeführt werden SQLite, PostgreSQL und MySQL. Der Autor hebt außerdem hervor, dass sich die gespeicherten Erinnerungen etwa in SQLite einsehen ließen und die Daten dadurch unter eigener Kontrolle blieben. Weil keine Vektordatenbank nötig sei, könne die Lösung nach seiner Darstellung Infrastrukturkosten vermeiden.
Als kurzes Beispiel führt der Beitrag ein Python-Skript mit OpenAI und Memori an. In einer ersten Anfrage erwähnt die Nutzerin oder der Nutzer ein FastAPI-Projekt; in einer zweiten bittet die Person um Hilfe mit einer Login-Funktion. Die zweite Antwort soll den zuvor genannten Projektkontext berücksichtigen. Für die Installation nennt der Artikel `pip install memorisdk openai`; außerdem zeigt er, wie ein API-Schlüssel über eine Umgebungsvariable oder eine `.env`-Datei bereitgestellt werden kann. SQLite werde ohne zusätzlichen Datenbanktreiber verwendet; für PostgreSQL und MySQL listet der Beitrag optionale Pakete auf.
Als Ergebnis berichtet der Autor von einer Verringerung des Tokenverbrauchs beziehungsweise der Kosten um ungefähr 80 Prozent. Seine Tabelle setzt für eine Million Tokens 11,25 US-Dollar ohne und 2,25 US-Dollar mit Memori an; für zehn Millionen nennt sie 112,50 beziehungsweise 22,50 US-Dollar. Der Beitrag führt die Einsparung darauf zurück, dass Kontext nicht bei jeder Anfrage wiederholt übertragen werden müsse.
Die Zahlen und die berichtete Einsparung sind Aussagen des Autors. Der Text nennt weder ein Versuchsprotokoll noch Vergleichsbedingungen, Messzeitraum oder unabhängige Prüfung. Auch erläutert das Beispiel nicht im Detail, wie Memori Informationen auswählt, speichert oder in spätere Anfragen einbringt. Die Anleitung zeigt daher einen einfachen Installations- und Anwendungspfad, belegt aber für sich genommen weder die behauptete allgemeine Kostenreduktion noch, dass die Ein-Zeilen-Aktivierung in jeder genannten Umgebung ohne weitere Anpassungen ausreicht.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Die Zusammenfassung „mittel“ wurde geprüft. Die kurze Fassung ist ebenfalls treu und weist zutreffend darauf hin, dass Testverfahren und Vergleichsbedingungen fehlen. Die Einordnung betrifft nur die drei Sammelfragen; Teilfragen waren nicht angegeben.
Im Bericht, aber nicht in der Zusammenfassung
- Die zweite Kostenangabe für 10 Mio. Tokens (112,50 gegenüber 22,50 US-Dollar) aus der Tabelle
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Unabhängig prüfen
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 46 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 68 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 45 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 48 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 32 %einzelne zitierbare Belege
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 50 %Hintergrund, keine Belege
- JEV 42 %beantwortet teilweise oder widerspricht
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 56 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung gleiches Oberthema, hilft nicht
Modelle teilen und schützen
- SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 57 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 39 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung nur am Rande erwähnt
Beteiligung und Gemeinwohl
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 42 %einzelne zitierbare Belege
- JEV 63 %einzelne zitierbare Belege
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 50 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung nur am Rande erwähnt
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 25 %nur am Rande erwähnt
- amos 56 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- Alle Berichte im Archiv