Heaps do lie: debugging a memory leak in vLLM.
Zusammenfassung
Kurz
Mistral berichtet, dass ein nur in einem bestimmten vLLM-Aufbau auftretender RSS-Anstieg auf UCX-Speicher-Hooks und eine anwachsende Bereinigungswarteschlange zurückgeführt wurde. `UCX_MEM_MMAP_HOOK_MODE=none` behob das Problem laut Artikel ohne Leistungseinbußen in diesem Szenario; warum die vorgesehene Bereinigung nicht griff, blieb ungeklärt.
Mittel
Der Bericht beschreibt die Untersuchung eines Speicheranstiegs in vLLM, der nur bei einem komplexen Prefill/Decode-Aufbau mit NIXL, Mistral Medium 3.1 und Graph-Kompilierung auftrat. Unter produktionsähnlicher Last nahm der RSS laut Artikel um rund 400 MB pro Minute zu. Übliche Python-Profiler fanden die Ursache nicht: Heaptrack zeigte einen stabilen Heap, während der residente Speicher wuchs. Mit `pmap` entdeckte das Team größer werdende anonyme Speicherbereiche. BPFtrace führte zu `mmap`-Systemaufrufen; gezielte GDB-Haltepunkte machten schließlich UCX als Quelle sichtbar.
Dem Bericht zufolge fängt UCX Speicheraufrufe ab, unter anderem für seinen InfiniBand-Registration-Cache. Nach `munmap` gelangten Bereiche in eine Warteschlange zur späteren Bereinigung, die sich im untersuchten Sonderfall ausweitete und weitere Zuweisungen verursachte. Warum die vorgesehene Bereinigung nicht griff, blieb offen. Als Abhilfe nennt Mistral `UCX_MEM_MMAP_HOOK_MODE=none`, das den Fehler im beschriebenen Einsatz ohne Leistungseinbußen behoben habe. Auch eine Begrenzung der Warteschlange sei möglich. UCX und NIXL planten eine Änderung für eine künftige NIXL-Version; zudem sei ein vLLM-Patch zusammengeführt worden. Die Aussagen beziehen sich auf den untersuchten Aufbau.
Ausführlich lesen
Der Bericht schildert, wie ein Team von Mistral AI einen Speicheranstieg in vLLM untersuchte, der beim Vorabtest eines verteilten Prefill/Decode-Betriebs mit Mistral Medium 3.1, NIXL und aktivierter Graph-Kompilierung auftrat. Unter produktionsähnlicher Last wuchs der belegte Arbeitsspeicher laut Bericht linear um etwa 400 MB pro Minute. Nach einigen Stunden drohte ein Speicherfehler. Der Effekt ließ sich nicht mit kleineren Modellen oder vereinfachten Einstellungen nachstellen, sondern nur in diesem komplexen Aufbau und auf der Decode-Seite.
Zunächst prüfte das Team den Prozess mit Memray und Guppy 3, ohne eine Ursache zu finden. GDB war zunächst nicht praktikabel, und Valgrind war für die große vLLM-Instanz zu langsam oder nicht nutzbar. Heaptrack zeigte ebenfalls keine entsprechende Zunahme des Heaps. Ein Vergleich seiner Messwerte ergab jedoch, dass der Spitzenwert des residenten Speichers (RSS) zunahm, obwohl der Heap stabil blieb. Daraus folgerte das Team, dass der Speicher außerhalb der von Heaptrack erfassten Heap-Verwaltung anwuchs.
Mit `pmap` beobachteten die Entwickler, dass bestimmte anonyme Speicherbereiche größer wurden und ihre Adressen wechselten. Das deutete auf Speicherzuweisungen auf Systemebene hin. Ein eigener `LD_PRELOAD`-Hook erfasste diese nicht vollständig. BPFtrace zeigte, dass die betroffenen Bereiche durch `mmap`-Systemaufrufe entstanden; die Aufrufspuren führten zunächst nur bis zu einem rohen Systemaufruf-Wrapper. Nach einem Wechsel der Ubuntu-Version ließ sich die fehlende Aufrufkette weiterhin nicht erklären. Mit gezielten GDB-Haltepunkten gelang es schließlich, die vollständigen Aufrufspuren der passenden Zuweisungen zu erfassen.
Diese Spuren führten zu UCX, das NIXL für den Datentransfer zwischen den vLLM-Instanzen verwendet. Laut Bericht fängt UCX standardmäßig Speicheraufrufe ab und verändert dafür zur Laufzeit Einträge in der Global Offset Table. Das dient unter anderem dem „Registration Cache“ für InfiniBand, bei dem registrierte Speicherbereiche für schnelle Netzwerkübertragungen vorbereitet werden. Die Autoren berichten, dass UCX Speicherbereiche nach `munmap` zunächst in eine Warteschlange zur späteren Bereinigung verschob. Diese Warteschlange konnte wachsen und selbst weitere Speicherzuweisungen auslösen. Weshalb die vorgesehene Bereinigung durch `ucp_worker_progress()` in diesem Sonderfall nicht griff, blieb jedoch ungeklärt.
Als wirksame Abhilfe nennt der Bericht die Umgebungsvariable `UCX_MEM_MMAP_HOOK_MODE=none`. Im beschriebenen vLLM-Szenario sei das sicher gewesen und habe den Speicheranstieg behoben, ohne die Leistung des disaggregierten Betriebs zu beeinträchtigen: NIXL müsse dort nur einen großen, zusammenhängenden KV-Cache-Bereich registrieren. Als weitere Begrenzung nennt der Text `UCX_RCACHE_MAX_UNRELEASED=1024`; der Standardwert sei unbegrenzt. Die UCX- und NIXL-Teams wollten das Standardverhalten für eine künftige NIXL-Version ändern. Außerdem berichtet Mistral von einem in vLLM zusammengeführten Patch für die Community. Der Artikel erklärt den technischen Befund für diesen speziellen Aufbau; eine allgemeine Aussage über alle UCX- oder vLLM-Konfigurationen macht er nicht.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Beide Zusammenfassungen geben den Bericht sachlich korrekt wieder; bewertet wurde das Gesamtbild, die kleinen Lücken betreffen Details. Die Sammelfragen zu Meldewegen, Mehrsystem-Risiken und Pausenschwellen werden vom technischen Bericht nur am Rande berührt, daher fallen die Einordnungen niedrig aus. Teilfragen gab es nicht.
Im Bericht, aber nicht in der Zusammenfassung
- Die kurze Fassung nennt weder den vLLM-Patch noch die Begrenzung der Warteschlange über UCX_RCACHE_MAX_UNRELEASED.
- Beide Fassungen erwähnen nicht, dass Heaptrack nur glibc-Aufrufe erfasst und deshalb den wachsenden Speicher übersah.
In der Zusammenfassung, laut Prüfung nicht im Bericht belegt
- Die mittlere Zusammenfassung nennt die 400 MB pro Minute einen RSS-Anstieg, der Bericht beschreibt dafür aber den Anstieg des Systemspeichers (system memory).
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Vorfälle melden
- SF-M4 Wie kommen Meldungen von Laboren, Betreibern und Nutzern schnell und geschützt zu den Stellen, die handeln müssen, auch über Grenzen hinweg?
- clef 100 %kein Bezug
- Luna 54 %einzelne zitierbare Belege
- JEV 32 %einzelne zitierbare Belege
- amos 35 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung nur am Rande erwähnt
- SF-M5 Was muss vor und nach einem Vorfall geschehen, damit Verantwortliche einstehen, man daraus lernt, Beweise bleiben und Betroffene auch über Grenzen hinweg zu ihrem Recht kommen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 25 %einzelne zitierbare Belege
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 45 %Hintergrund, keine Belege
- JEV 38 %gleiches Oberthema, hilft nicht
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung nur am Rande erwähnt
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 47 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 50 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Vertrauen in Modelle
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 41 %Hintergrund, keine Belege
- JEV 33 %einzelne zitierbare Belege
- amos 37 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Agenten und vernetzte Systeme
- SF-A3 Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
- clef 100 %kein Bezug
- Luna 52 %einzelne zitierbare Belege
- JEV 44 %einzelne zitierbare Belege
- amos 31 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung einzelne zitierbare Belege
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 42 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Wie kommen Meldungen von Laboren, Betreibern und Nutzern schnell und geschützt zu den Stellen, die handeln müssen, auch über Grenzen hinweg?
- Was muss vor und nach einem Vorfall geschehen, damit Verantwortliche einstehen, man daraus lernt, Beweise bleiben und Betroffene auch über Grenzen hinweg zu ihrem Recht kommen?
- Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
- Alle Berichte im Archiv