Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
deepmind26. April 2025 · Q005082

Relaxed Recursive Transformers: Effective Parameter Sharing with Layer-wise LoRA

deepmind.google · Originalbericht öffnen ↗

Zusammenfassung

Für diesen Bericht lag nur ein Auszug oder keine vollständige Fassung vor. Die Zusammenfassung sagt das selbst.

Kurz

Der vorliegende Auszug beschreibt eine Methode, die Transformer-Parameter über wiederholte Schichten teilt und sie mit schleifenspezifischen LoRA-Adaptern ergänzt. Laut Abstract können solche Modelle bei geringerem Umfang konkurrenzfähig bleiben; ein dynamisches Batching-Verfahren könnte den Durchsatz theoretisch um bis zu das 2,76-Fache steigern. Versuchsdetails aus dem vollständigen Artikel liegen hier nicht vor.

Mittel

Der bereitgestellte Bericht besteht nur aus dem Abstract und bibliografischen Angaben zu einer ICLR-2025-Arbeit; Details des vollständigen Artikels fehlen. Die Autoren schlagen „Recursive Transformers“ vor, die einen einzigen Block einzigartiger Schichten mehrfach anwenden, statt in jeder Schicht eigene Parameter zu nutzen. Bestehende vortrainierte Modelle sollen sich durch sorgfältige Initialisierung und wenig zusätzliches Training in solche kompakteren Modelle umwandeln lassen. Schleifenspezifische LoRA-Adapter sollen dabei die Durchläufe spezialisieren und die Leistung mit geringem Zusatzaufwand verbessern.

Laut Abstract können umgebaute Modelle ausgehend von Modellen doppelter Größe besser sein als vortrainierte Modelle gleicher Größe. Mit Wissensdestillation hätten sie zudem annähernd die Leistung des ursprünglichen, ungeteilten Modells erreicht, das auf einem deutlich größeren Korpus trainiert wurde. Ein weiteres Verfahren, „Continuous Depth-wise Batching“, soll dynamische Berechnungstiefen bei der Inferenz unterstützen. Die Autoren geben dafür theoretisch mögliche Durchsatzgewinne von bis zu 2,76-fach an. Der Auszug enthält keine Versuchsdetails, sodass sich diese Aussagen und ihre Übertragbarkeit anhand des vorliegenden Textes nicht näher prüfen lassen.

Ausführlich lesen

Der bereitgestellte Bericht enthält den Abstract und bibliografische Angaben zu einer auf der ICLR 2025 veröffentlichten Arbeit über kompaktere Sprachmodelle durch geteilte Parameter. Es liegt damit nur ein Auszug vor; Einzelheiten aus dem vollständigen Artikel sind nicht enthalten.

Die Autoren stellen „Recursive Transformers“ vor: Ein bereits vortrainiertes Transformer-Modell wird so umgebaut, dass es nur noch einen Block einzigartiger Schichten besitzt und diesen Block in einer Schleife mehrfach anwendet. Ziel ist, den Speicher- und Berechnungsaufwand großer Sprachmodelle zu senken, ohne ihre Leistung stark zu beeinträchtigen. Für die Umwandlung nutzen die Autoren nach eigener Darstellung eine sorgfältige Initialisierung und nur ein begrenztes weiteres Training.

Um die wiederholte Verwendung desselben Blocks flexibler zu machen, ergänzen sie schleifenspezifische Low-Rank-Adapter (LoRA). Diese sollen den wiederholten Durchläufen eine gewisse Spezialisierung ermöglichen und die Leistung mit geringem Zusatzaufwand verbessern, während das Modell kompakt bleibt. Den Abstract-Angaben zufolge können so rekursive Modelle, die aus Modellen mit doppelter Größe hervorgehen, besser abschneiden als vortrainierte Modelle ihrer eigenen Größe. Mit zusätzlicher Wissensdestillation hätten die kompakten Modelle außerdem eine Leistung erreicht, die mit der des ursprünglichen Modells ohne geteilte Schichten vergleichbar sei, obwohl dieses auf einem deutlich größeren Korpus vortrainiert wurde.

Als weiteren Beitrag beschreiben die Autoren „Continuous Depth-wise Batching“. Zusammen mit dynamischer Berechnung auf Basis eines vorzeitigen Ausstiegs soll dieses Inferenzverfahren Beispiele abhängig von der jeweils benötigten Verarbeitungstiefe einteilen und planen. Theoretisch könne das den Durchsatz steigern; der Abstract nennt als mögliche Beschleunigung bis zu das 2,76-Fache.

Diese Leistungs- und Effizienzangaben sind Aussagen des Abstracts. Der Auszug nennt keine konkreten Datensätze, Aufgaben, Messverfahren, Vergleichsbedingungen oder Unsicherheiten. Daher lässt sich aus dem bereitgestellten Text allein weder die Breite der experimentellen Evidenz noch die praktische Übertragbarkeit der Ergebnisse beurteilen.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19 ungeprüft

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 7 von 7
Angezeigte Modelle
Tempo und Grenzen
Vertrauen in Modelle
  1. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 26 %einzelne zitierbare Belege
    • JEV 30 %einzelne zitierbare Belege
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Modelle teilen und schützen
  1. SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 37 %einzelne zitierbare Belege
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →