Mixture of Nested Experts: Adaptive Processing of Visual Tokens
Zusammenfassung
Für diesen Bericht lag nur ein Auszug oder keine vollständige Fassung vor. Die Zusammenfassung sagt das selbst.
Kurz
Der bereitgestellte Text ist ein Auszug aus dem Abstract, kein vollständiger Bericht. Die Autorinnen und Autoren stellen MoNE vor, das redundante Bild- und Videotokens mit günstigeren verschachtelten Experten verarbeiten soll; laut Abstract bleibt die Leistung der Basismodelle erhalten, während der Inferenz-Rechenaufwand um mehr als die Hälfte sinkt. Konkrete Messwerte und Versuchsdetails enthält der Auszug nicht.
Mittel
Der bereitgestellte Text ist nur ein Auszug mit Abstract und bibliografischen Angaben, nicht der vollständige Bericht. Er beschreibt MoNE, ein Verfahren zur effizienteren Verarbeitung von Bild- und Videodaten. Die Autorinnen und Autoren argumentieren, dass Vision-Transformer Redundanz in visuellen Daten nicht ausreichend ausnutzen; Mixture-of-Experts-Modelle seien skalierbar, hätten jedoch einen größeren Parameterumfang.
MoNE ordnet Experten verschachtelt nach Rechenaufwand und Genauigkeit. Bei einem vorgegebenen Rechenbudget wählt das Modell Tokens nach Priorität aus, sodass redundante Tokens mit günstigeren Experten verarbeitet werden können. Laut Abstract erreicht MoNE die Leistung der Basismodelle bei mehr als halbiertem Inferenz-Rechenaufwand. Die Methode sei auf ImageNet-21K, Kinetics400 und Something-Something-v2 untersucht worden. Für Videos berichten die Autorinnen und Autoren außerdem von starker Leistung über verschiedene Inferenzbudgets hinweg, mit nur einem trainierten Modell. Messwerte, Versuchsdetails und eine Erörterung der Grenzen fehlen im Auszug.
Ausführlich lesen
Der bereitgestellte Text ist ein Auszug: Er enthält den Abstract und bibliografische Angaben zu „Mixture of Nested Experts: Adaptive Processing of Visual Tokens“, nicht den vollständigen Bericht. Die Autorinnen und Autoren behandeln den hohen Rechenaufwand bei der Verarbeitung von Bildern und Videos. Sie führen ihn darauf zurück, dass Vision-Transformer (ViT) nach ihrer Darstellung die in visuellen Daten vorhandene Redundanz nicht ausreichend nutzen. Mixture-of-Experts-Modelle seien zwar skalierbar, benötigten aber mehr Parameter.
Als Ansatz stellen sie Mixture of Nested Experts (MoNE) vor. Dabei sind die Experten verschachtelt angeordnet und unterscheiden sich laut Abstract entlang einer Kurve aus Rechenaufwand und Genauigkeit. Für ein vorgegebenes Rechenbudget lerne das Modell, visuelle Tokens nach Priorität auszuwählen. Weniger wichtige beziehungsweise redundante Tokens könnten dadurch mit günstigeren Experten verarbeitet werden.
Die Autorinnen und Autoren berichten, MoNE erreiche die Leistung der jeweiligen Basismodelle bei mehr als halbiertem Inferenz-Rechenaufwand. Sie geben an, das Verfahren auf den Bild- und Videodatensätzen ImageNet-21K, Kinetics400 und Something-Something-v2 geprüft zu haben. Für Videos heben sie außerdem hervor, dass ein einziges trainiertes Modell bei unterschiedlichen Rechenbudgets zur Inferenz starke Leistung beibehalte.
Der Auszug enthält keine konkreten Messwerte, Angaben zu Versuchsaufbau und Vergleichsbedingungen oder eine Diskussion möglicher Einschränkungen. Die Leistungs- und Effizienzaussagen lassen sich anhand des bereitgestellten Abstracts daher nicht näher prüfen.
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Tempo und Grenzen
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 45 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Vertrauen in Modelle
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 31 %Hintergrund, keine Belege
- JEV 36 %einzelne zitierbare Belege
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Modelle teilen und schützen
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 21 %einzelne zitierbare Belege
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug