I Tested 5 ‘LLM Wiki’ Implementations So You Don’t Have To
Zusammenfassung
Kurz
Der Autor testete fünf junge „LLM Wiki“-Werkzeuge eine Woche lang mit denselben zehn Quellen und fünf Fragen. Er lobt besonders klare Schemas, sorgfältige Quellenaufnahme und zugängliche Darstellung; seine Favoriten sind Obsidian-llm-wiki für bestehende Obsidian-Nutzer und engram für technisch versierte Anwender. Die Einschätzung beruht auf einem persönlichen Test: Alle Werkzeuge seien noch früh, verursachten teils Reibung und benötigten weiterhin manuell zugeführte Quellen.
Mittel
Der Autor vergleicht fünf frühe Umsetzungen von Karpathys „LLM Wiki“-Muster: unveränderte Originalquellen werden von einem Sprachmodell in verknüpfte Notizseiten überführt und anhand eines Schemas gepflegt. Für alle Werkzeuge nutzte er dieselben zehn Quellen und fünf Fragen, darunter eine quellenübergreifende; bewertet wurden Einrichtung, Aufnahmequalität, Antwortgenauigkeit und Nutzung am siebten Tag. Es handelt sich um einen persönlichen einwöchigen Praxistest.
Engram überzeugte den Autor mit strenger Prüfung und gepflegten Verknüpfungen, erfordere aber Terminalkenntnisse. Tome machte die Sammlung als Website gut zugänglich, ließ laut Test jedoch in zwei Zusammenfassungen Punkte aus. Obsidian-llm-wiki sei für bestehende Obsidian-Nutzer besonders passend; die Videoaufnahme gefiel dem Autor, allerdings sei das Werkzeug auf Cursor ausgerichtet. pm-llm-wiki lieferte seiner Einschätzung nach dank seines Produktmanagement-Schemas besonders nützliche Fachantworten. jarvis-vault wurde wegen unerwünschter und mehrfacher Ablage verworfen.
Der Autor folgert, dass klare Fachregeln und gute Quellenaufnahme entscheidend seien und eine browsbare Darstellung zur regelmäßigen Nutzung beitragen könne. Er betont zugleich, dass alle Projekte sehr jung seien, Quellen weiterhin manuell zugeführt werden müssten und intensive Nutzung laut Bericht zwei bis vier Dollar API-Kosten am Tag verursachen könne. Für Menschen mit einem funktionierenden Notizsystem sieht er keinen zwingenden Wechselgrund.
Ausführlich lesen
Der Bericht schildert den einwöchigen Praxistest des Autors mit fünf frühen Umsetzungen von Andrej Karpathys „LLM Wiki“-Muster. Gemeint ist eine Wissenssammlung aus unveränderten Originalquellen, verknüpften Markdown-Seiten, die ein Sprachmodell pflegt, und einer Schema-Datei mit Regeln für diese Arbeit. Der Autor beschreibt drei zentrale Abläufe: Quellen aufnehmen, Fragen stellen und die Sammlung aufräumen lassen. Seine These: Neue Quellen können vorhandenes Wissen ergänzen und neu verknüpfen, sofern das Modell durch klare Regeln geführt wird.
Für den Vergleich gab der Autor allen fünf Werkzeugen dieselben zehn Quellen: vier Artikel, drei YouTube-Transkripte, zwei X-Beiträge und ein PDF. Anschließend stellte er fünf identische Fragen mit steigendem Schwierigkeitsgrad, darunter eine, die eine Verbindung zwischen zwei zunächst unabhängigen Quellen erforderte. Bewertet wurden Einrichtungsaufwand, Qualität der Aufnahme, Genauigkeit beim Abruf und die Funktionsfähigkeit am siebten Tag. Die Ergebnisse beruhen auf diesem persönlichen Test und sind keine umfassende oder unabhängige Produktbewertung.
Engram erhielt das beste Urteil für technische Disziplin: Laut Autor prüft ein Kommandozeilenwerkzeug Metadaten, Suchindizes und Verknüpfungen, während der Agent die inhaltliche Arbeit übernimmt. Nach zehn Quellen seien keine verwaisten Seiten oder defekten Links aufgetreten. Die Einrichtung setze jedoch Terminal- und npm-Kenntnisse voraus. Tome überzeugte den Autor durch eine veröffentlichbare Website mit Rückverweisen und Graphansicht, die zum Stöbern einlade; bei zwei längeren Transkripten hätten Zusammenfassungen wichtige Punkte ausgelassen.
Für Menschen mit bestehendem Obsidian-Vault empfiehlt der Autor obsidian-llm-wiki als besonders einfachen Einstieg. Als stärkste Einzelfunktion nennt er „video2wiki“: Aus einem 40-minütigen Vortrag seien eine Zusammenfassung, vier Konzeptseiten und Verknüpfungen zu vorhandenen Notizen entstanden. Das Werkzeug sei jedoch auf Cursor ausgerichtet; Nutzer anderer Agenten müssten die Fähigkeiten anpassen. pm-llm-wiki, auf Produktmanagement zugeschnitten, habe besonders nützliche Antworten zu Entscheidungen, Risiken und Beteiligten geliefert. Der Autor führt das auf das Fachschema zurück und empfiehlt, die Struktur an den eigenen Arbeitsbereich anzupassen. jarvis-vault habe dagegen zu viel automatische Ablage versprochen: Der Autor berichtet von einer unerwünschten Ordnerstruktur und mehrfach abgelegten Inhalten und löschte es während des Tests.
Als übergreifende Erkenntnisse hebt der Autor die Bedeutung des Schemas, eine sorgfältige Quellenaufnahme und eine ansprechende Darstellung hervor. Strenge Regeln hätten seiner Einschätzung nach verlässlichere Ergebnisse erbracht als weitgehend automatische Organisation; die Qualität der Aufnahme sei für schwierige, quellenübergreifende Fragen wichtiger gewesen als raffinierter Abruf. Zugleich seien alle fünf Projekte weniger als zwei Wochen alt gewesen, hätten Reibungspunkte und könnten an intensiven Aufnahmetagen laut Bericht zwei bis vier Dollar an API-Kosten verursachen. Quellen müsse man weiterhin selbst zuführen. Wer bereits ein funktionierendes Notizsystem regelmäßig nutzt, brauche diese Werkzeuge nach Ansicht des Autors nicht unbedingt. Sein persönlicher Favorit für den Alltag ist obsidian-llm-wiki; engram will er weiter beobachten und die fachbezogene Schema-Idee von pm-llm-wiki übernehmen.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Der Bericht ist ein Medium-Praxistest von fünf Werkzeugen rund um Karpathys „LLM Wiki“-Muster für persönliche Notizen. Er hat kaum Bezug zu den Sicherheitsfragen. Lunas Zusammenfassung ist im Kern treu, lässt aber das Drei-Ebenen-Modell und die Erkenntnis zur Ingest-Qualität aus.
Im Bericht, aber nicht in der Zusammenfassung
- Die drei Ebenen des Musters (Rohquellen, vom LLM gepflegte Seiten, Schemadatei) sowie die Operationen ingest, query und lint
- Die Kernerkenntnis des Autors, dass die Qualität der Quellenaufnahme (ingest) für Antworten auf schwierige, quellenübergreifende Fragen wichtiger ist als raffinierte Abfragetechnik
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Vorfälle melden
- SF-M3 Wie stellt man fest, ob ein Vorfall gewollt oder versehentlich war, und ob KI oder herkömmliche Mittel dahinterstecken?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-M4 Wie kommen Meldungen von Laboren, Betreibern und Nutzern schnell und geschützt zu den Stellen, die handeln müssen, auch über Grenzen hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 52 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 54 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 55 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 61 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 57 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 52 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 71 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 24 %einzelne zitierbare Belege
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 31 %Hintergrund, keine Belege
- JEV 41 %einzelne zitierbare Belege
- amos 26 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 42 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Agenten und vernetzte Systeme
- SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- clef 100 %kein Bezug
- Luna 39 %Hintergrund, keine Belege
- JEV 43 %beantwortet teilweise oder widerspricht
- amos 27 %nur am Rande erwähnt
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 40 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung nur am Rande erwähnt
- SF-A2 Lassen sich KI-Systeme sicher anhalten, zurücksetzen, abschotten oder drosseln, und wer darf das anordnen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 32 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-A3 Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 48 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Modelle teilen und schützen
- SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 58 %einzelne zitierbare Belege
- JEV 20 %beantwortet teilweise oder widerspricht
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung gleiches Oberthema, hilft nicht
Frieden und Sicherheit
- SF-K2 Wie weit gelten KI-Abkommen für Verbündete und Geheimdienste, und wie verhalten sie sich zu bestehenden Rüstungskontrollverträgen und -regimen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 58 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 64 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 54 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung kein Bezug
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 42 %beantwortet teilweise oder widerspricht
- amos 50 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- Alle Berichte im Archiv