S3 Vector. A Cost-optimized, But Overly Purpose-built Vector Storage.
Zusammenfassung
Kurz
Der Autor zeigt, wie S3 Vectors mit boto3, Bedrock-Embeddings und Metadatenfiltern für semantische Suchen eingerichtet werden kann. Er hält den Dienst wegen eingeschränkter Änderungs- und Löschmöglichkeiten sowie begrenzter Metadatenfunktionen vor allem für Bedrock Knowledge Bases geeignet; die beworbene Kostenersparnis von bis zu 90 Prozent wird im Beitrag nicht selbst gemessen.
Mittel
Der Beitrag beschreibt Amazon S3 Vectors als speziell entwickelte und laut AWS bis zu 90 Prozent kostengünstigere Vektorspeicherung. Nach einem eigenen Praxistest würde der Autor den Dienst vor allem für Anwendungen wie Bedrock Knowledge Bases nutzen, bei denen AWS das Erzeugen und Abfragen der Embeddings übernimmt. Für direkten Umgang mit Vektoren zieht er PostgreSQL mit pgvector vor.
Anhand von boto3 zeigt der Autor, wie man einen Vektor-Bucket und einen Index anlegt, mit Titan Text Embeddings V2 Text in Vektoren umwandelt, diese samt Metadaten speichert und eine Ähnlichkeitssuche mit Metadatenfilter ausführt. Nicht filterbare Metadaten wie der Quelltext können dennoch mit Treffern zurückgegeben werden.
Als zentrale Einschränkung nennt der Beitrag die Verwaltung veralteter Vektoren: Es gebe keine Aktualisierungsoperation; Löschen erfordere genaue Schlüssel, und Auflisten sowie Löschen unterstützten keine Metadatenfilter. Alternativen seien eine separate Schlüsselverwaltung, das Durchsuchen aller Vektoren oder das Neuerstellen des Index, was teuer sein könne. Auch komplexe Verknüpfungen und Filter seien gegenüber relationalen Datenbanken eingeschränkt. Die Empfehlung ist die persönliche Einschätzung des Autors; die angeführte Kostenersparnis wird nicht im Artikel selbst gemessen.
Ausführlich lesen
Der Beitrag stellt Amazon S3 Vectors als speziell für Vektorspeicherung und semantische Suche entwickelte, laut AWS bis zu 90 Prozent kostengünstigere Lösung vor. Der Autor bewertet den Dienst nach eigenen Versuchen jedoch als sehr zweckgebunden: Er würde ihn vor allem dann einsetzen, wenn etwa eine mit Amazon Bedrock Knowledge Bases verbundene Anwendung die Vektoren selbst verwaltet. Für eigenständige Arbeit mit Embeddings bevorzugt er nach eigener Einschätzung eine relationale Datenbank wie PostgreSQL mit pgvector.
Zur Erläuterung zeigt der Autor einen Ablauf mit dem AWS-Python-SDK boto3. S3 Vectors besteht demnach aus Vektor-Buckets, Indizes und Vektoren. Beim Anlegen eines Buckets lassen sich Name und serverseitige Verschlüsselung festlegen; beides kann laut Beitrag danach nicht geändert werden. Ein Index erhält unter anderem eine Dimension, eine Distanzmetrik – Kosinus oder euklidisch – und optional Metadatenfelder, die nicht für Filter verwendet werden. Der Beitrag nennt float32 als einzigen unterstützten Datentyp und beschreibt Dimensionen bis 4096.
Für ein praktisches Beispiel erstellt der Autor mit Titan Text Embeddings V2 über Bedrock Embeddings aus Textdateien, speichert sie samt Schlüssel und Metadaten im Index und führt eine Ähnlichkeitssuche mit einer Textanfrage aus. Ein Metadatenfilter kann die Suche etwa auf Vektoren ab einer bestimmten Versionsnummer beschränken. Nicht filterbare Metadaten wie der Ursprungstext lassen sich laut Beispiel trotzdem mit den Suchtreffern zurückgeben. Der Autor empfiehlt, Vektoren in Stapeln von höchstens 500 pro API-Aufruf einzufügen oder zu löschen. Außerdem weist er darauf hin, dass einige Vorgänge nicht über die Konsole verfügbar seien und ein Index dort nicht gelöscht werden könne.
Die Hauptkritik betrifft die Pflege veralteter oder ersetzter Embeddings. Versionsmetadaten erlauben zwar eine Filterung bei der Suche, lösen laut Autor aber nicht ohne Weiteres die Frage, welche Einträge gelöscht oder erneuert werden müssen. Eine Aktualisierungsoperation gebe es nicht; zum Löschen müsse man die genauen Vektorschlüssel angeben, da die Lösch- und Auflistungsoperationen keine Filterung nach Metadaten böten. Als mögliche Umwege nennt der Beitrag eine separate Datenbank zur Zuordnung von Schlüsseln und Zeitstempeln, das Auflisten und lokale Filtern aller Vektoren oder das Löschen und Neuerstellen des gesamten Index. Letzteres könne teuer sein.
Auch die Metadaten erscheinen dem Autor im Vergleich zu relationalen Datenbanken begrenzt, insbesondere für komplexe Verknüpfungen, Filter und zusätzliche zusammengehörige Daten. Das Fazit ist eine persönliche Einschätzung auf Grundlage eines beschriebenen Praxistests, kein allgemeiner Leistungsvergleich: S3 Vectors könne für automatisierte Bedrock-Wissensdatenbanken passen, sei für den Autor außerhalb dieses Anwendungsfalls aber weniger attraktiv. Die Kostenersparnis von bis zu 90 Prozent wird als AWS-Aussage wiedergegeben; der Beitrag liefert dafür keine eigene Messung.
Gegengeprüft von Claude Haiku 5.5: ok
Die Sammelfragen wurden einzeln bewertet. Teilfragen waren nicht angegeben. Die Zusammenfassungen decken die Kernaussagen des Berichts ab, und die 90-Prozent-Angabe wird korrekt als Herstellerangabe gekennzeichnet.
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Tempo und Grenzen
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 48 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Vertrauen in Modelle
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 74 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 45 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Agenten und vernetzte Systeme
- SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- clef 100 %kein Bezug
- Luna 37 %nur am Rande erwähnt
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung nur am Rande erwähnt
Modelle teilen und schützen
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 58 %einzelne zitierbare Belege
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung gleiches Oberthema, hilft nicht
Beteiligung und Gemeinwohl
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 61 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung gleiches Oberthema, hilft nicht