LIA: Cost-efficient LLM Inference Acceleration with Intel Advanced Matrix Extensions and CXL
Zusammenfassung
Für diesen Bericht lag nur ein Auszug oder keine vollständige Fassung vor. Die Zusammenfassung sagt das selbst.
Kurz
Der vorliegende Bericht enthält nur den Abstract. Darin wird LIA als System beschrieben, das CPU-AMX-Berechnungen mit einer einzelnen GPU sowie DDR- und CXL-Speicher kombiniert; für H100-Systeme nennt der Abstract deutliche Latenz- und Durchsatzgewinne gegenüber einem Vergleichssystem. Die Werte sind berichtete Höchstwerte, zu denen der Auszug keine Benchmarkdetails liefert.
Mittel
Der bereitgestellte Text besteht nur aus dem Abstract und bibliografischen Angaben, nicht aus dem vollständigen Fachartikel. Laut Abstract soll das System LIA die Inferenz großer Sprachmodelle mit einer einzelnen GPU beschleunigen, indem es Berechnungen zwischen GPU und Intel-Xeon-CPUs mit Advanced Matrix Extensions (AMX) verteilt. Benchmarks der Autorinnen und Autoren weisen für Sapphire Rapids 20 TFLOPS und für Granite Rapids 40 TFLOPS bei Matrixmultiplikationen aus. LIA kombiniert diese CPU-Berechnung mit einer Speicherstrategie, die DDR- und CXL-Speicher nutzt.
Für Systeme mit einer H100-GPU berichtet der Abstract gegenüber einem aktuellen Single-GPU-Offloading-Framework von bis zu 5,1-fach geringerer Latenz und 3,7-fach höherem Durchsatz auf Sapphire Rapids sowie bis zu 19-fach geringerer Latenz und 5,1-fach höherem Durchsatz auf Granite Rapids. CXL soll den Durchsatz gegenüber der DDR-only-Variante zusätzlich um den Faktor 1,5 erhöhen und die maximale Batchgröße von 900 auf 1.600 anheben. Das sind Abstract-Angaben zu Höchstwerten; Benchmarkbedingungen und Messdetails fehlen im vorliegenden Text.
Ausführlich lesen
Der vorgelegte Bericht enthält nur den Abstract sowie Angaben zu Autorinnen und Autoren und zum Veranstaltungsort; der vollständige Fachartikel liegt hier nicht vor. Die folgenden Aussagen geben daher die Darstellung des Abstracts wieder.
Der Beitrag „LIA: Cost-efficient LLM Inference Acceleration with Intel Advanced Matrix Extensions and CXL“ befasst sich mit der Beschleunigung der Inferenz großer Sprachmodelle bei begrenztem GPU-Speicher. Laut Abstract führt dieser Engpass häufig entweder zu kostspieligen Systemen mit mehreren GPUs oder zu häufigen Datentransfers zwischen CPU und GPU über PCIe, die die Leistung bremsen können.
Als Grundlage berichten die Autorinnen und Autoren von Benchmarks aktueller Intel-Xeon-Prozessoren mit Advanced Matrix Extensions (AMX). Für die vierte Generation (Sapphire Rapids) geben sie eine Matrixmultiplikationsleistung von 20 TFLOPS und für die sechste Generation (Granite Rapids) 40 TFLOPS an. Der Abstract vergleicht diese Werte mit denen mancher jüngerer GPUs und leitet daraus ab, dass sich mehr Berechnungen auf die CPU auslagern lassen, wodurch CPU-GPU-Transfers sinken könnten.
Auf dieser Grundlage stellen sie LIA vor, ein Inferenzsystem für eine einzelne GPU, das CPU und GPU gemeinsam rechnen lässt und außerdem Berechnungen auf AMX-fähige CPUs auslagert. Das System soll Latenz und Durchsatz gezielt optimieren. Für durchsatzorientierte Aufgaben beschreibt der Abstract zusätzlich eine Speicherstrategie, die kostengünstigeren CXL-Speicher mit DDR-Speicher kombiniert.
Für Systeme mit einer H100-GPU berichtet der Abstract im Vergleich zu einem als aktuell bezeichneten Single-GPU-Offloading-Framework von Ergebnissen bis zu 5,1-fach geringerer Latenz und 3,7-fach höherem Durchsatz auf Sapphire Rapids. Auf Granite Rapids nennt er bis zu 19-fach geringere Latenz und 5,1-fach höheren Durchsatz. Mit CXL-Offloading soll LIA gegenüber einer Variante, die nur DDR-Speicher nutzt, den Durchsatz zusätzlich um den Faktor 1,5 steigern und die maximale Batchgröße von 900 auf 1.600 erhöhen.
Die Angaben sind Höchstwerte aus dem Abstract. Der bereitgestellte Text nennt keine näheren Benchmarkbedingungen, Aufgaben, Messmethoden oder Streuungen und erlaubt deshalb keine weitergehende Einordnung oder unabhängige Prüfung der berichteten Leistungsgewinne. Als Veranstaltungsort wird ISCA 2025 angegeben.
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Tempo und Grenzen
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 51 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Vertrauen in Modelle
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 25 %Hintergrund, keine Belege
- JEV 20 %einzelne zitierbare Belege
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 32 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug