Building architectures that can handle the world’s data
Zusammenfassung
Kurz
DeepMind stellt Perceiver IO als allgemeine Architektur vor, die viele Datenarten und Aufgaben über ein latentes Array verarbeiten soll. Die Entwickler berichten von breiten Benchmark-Ergebnissen und Spitzenleistung bei optischem Fluss, nennen im Beitrag aber keine konkreten Messwerte oder unabhängige Bestätigung.
Mittel
Der Bericht beschreibt Perceiver und Perceiver IO als allgemeine KI-Architekturen, die unterschiedliche Datenarten verarbeiten sollen. Die Autorinnen und Autoren kritisieren, dass herkömmliche Modelle meist auf bestimmte Eingaben und Aufgaben spezialisiert sind und multimodale Systeme oft aus aufwendig angepassten Komponenten bestehen.
Der Perceiver überträgt große Eingaben zunächst in ein kleines latentes Array. Laut Beitrag begrenzt das den Rechenaufwand der Aufmerksamkeit, der bei Transformern mit der Eingabegröße stark steigen kann. Die ursprüngliche Version konnte jedoch nur einfache Ausgaben wie Klassifikationen erzeugen. Perceiver IO nutzt Aufmerksamkeit zusätzlich beim Dekodieren und soll dadurch vielfältige Ausgaben und Aufgaben ermöglichen, etwa Sprachverarbeitung, Bildbewegungsverfolgung, multimodale Analyse und Spiele.
Die Entwickler berichten von Experimenten in den Bereichen Sprache, Vision, multimodale Daten und Spiele sowie von Ergebnissen auf damaligem Spitzenstand bei der Schätzung optischen Flusses. Sie stellen außerdem fest, der ursprüngliche Perceiver sei bei mehreren Datentypen konkurrenzfähig mit spezialisierten Modellen. Der Code wurde veröffentlicht. Der Beitrag liefert allerdings keine konkreten Messwerte oder unabhängigen Prüfungen; seine Leistungsangaben bleiben daher Behauptungen der Entwickler. Weitere Verbesserungen, insbesondere bei Geschwindigkeit und Benutzerfreundlichkeit, werden als künftige Arbeit beschrieben.
Ausführlich lesen
Der Bericht stellt Perceiver und die erweiterte Architektur Perceiver IO von DeepMind als vielseitige Alternativen zu spezialisierten KI-Modellen vor. Die Autorinnen und Autoren argumentieren, dass verbreitete Architekturen oft auf bestimmte Datenarten und Aufgaben zugeschnitten sind. Ein Bildmodell lasse sich beispielsweise nur eingeschränkt für Lidar-Signale oder Robotikdaten nutzen. Systeme, die mehrere Modalitäten wie Bild und Ton verarbeiten, erforderten demnach häufig eigens angepasste, aus mehreren Komponenten bestehende Lösungen.
Der zuvor vorgestellte Perceiver soll unterschiedliche Eingaben wie Bilder, Punktwolken, Audio und Video verarbeiten können. Der Bericht beschreibt seine zentrale Idee als eine Möglichkeit, den hohen Rechen- und Speicheraufwand der Transformer-Aufmerksamkeit bei sehr großen Eingaben zu begrenzen: Die Eingabe wird zunächst in ein kleines latentes Array übertragen. Dieses wird anschließend weiterverarbeitet, wobei die Kosten laut Bericht nicht von der ursprünglichen Eingabegröße abhängen. So könne der Aufwand mit wachsenden Eingaben moderat zunehmen, ohne spezielle Annahmen über die jeweilige Datenart einzuführen. Der ursprüngliche Perceiver war allerdings auf Aufgaben mit einfachen Ausgaben, etwa Klassifikation, beschränkt.
Perceiver IO erweitert das Verfahren, indem Aufmerksamkeit auch beim Dekodieren aus dem latenten Array eingesetzt wird. Dadurch könne das Modell verschiedene Ausgaben erzeugen und große, vielfältige Ein- und Ausgaben bearbeiten. Als mögliche Einsatzfelder nennt der Text Sprache, Bildverarbeitung, multimodales Verstehen und Spiele wie StarCraft II. Beispiele im Bericht umfassen die Analyse sprachlicher Elemente auf Zeichenebene und die Schätzung des optischen Flusses, bei der Bewegungen für alle Bildpunkte verfolgt werden. Die Autorinnen und Autoren berichten, Perceiver IO erziele bei optischem Fluss Ergebnisse auf dem damaligen Spitzenstand.
Als Beleg führen sie Experimente über mehrere Benchmarkbereiche hinweg an: Sprache, visuelle Daten, multimodale Aufgaben und Spiele. Für Bilder, 3D-Punktwolken sowie kombinierte Audio- und Bilddaten sei bereits der ursprüngliche Perceiver mit spezialisierten Modellen konkurrenzfähig gewesen. Die neue IO-Variante solle zusätzliche Aufgaben und Datentypen in einer einzelnen Architektur ermöglichen und dabei einfacher als Alternativen sein. Der Code wurde laut Beitrag frei zugänglich gemacht; außerdem verweisen die Autorinnen und Autoren auf einen Konferenzbeitrag zu Perceiver und einen neuen Vorabdruck zu Perceiver IO.
Die Aussagen sind als Darstellung und Bewertung der Entwickler zu lesen. Der Bericht nennt keine konkreten Benchmarkwerte, Versuchsdetails oder unabhängige Überprüfungen und belegt daher nicht im Einzelnen, wie groß die Leistungsunterschiede ausfallen oder für welche Bedingungen die Ergebnisse gelten. Er beschreibt Perceiver IO zudem als laufende Forschungsarbeit: Die Autorinnen und Autoren hoffen, die Architektur weiter zu verbessern und schneller sowie leichter nutzbar zu machen.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Luna lieferte zwei Zusammenfassungen (kurz und mittel); beide wurden geprüft, die mittlere wurde als Hauptfassung bewertet und enthält keine erfundenen Angaben. Die Mängel betreffen vor allem die fehlende Begründung für das Skalierungsproblem der Transformer. Lunas Stufen und Anteilswerte wurden nicht übernommen, die Einordnung erfolgte unabhängig. Teilfragen waren nicht angegeben.
Im Bericht, aber nicht in der Zusammenfassung
- Transformer-Aufmerksamkeit wird bei Eingaben mit Millionen Elementen zu teuer, und der Perceiver löst dieses Skalierungsproblem ohne domänenspezifische Annahmen
- Perceiver IO ist eine einzige, einfachere Architektur für viele Aufgaben und ersetzt aufwendig angepasste Systeme
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Tempo und Grenzen
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 50 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 62 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 64 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung gleiches Oberthema, hilft nicht
Vertrauen in Modelle
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 73 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 34 %Hintergrund, keine Belege
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 38 %gleiches Oberthema, hilft nicht
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 58 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung gleiches Oberthema, hilft nicht
Modelle teilen und schützen
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 41 %einzelne zitierbare Belege
- amos 32 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 39 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 33 %gleiches Oberthema, hilft nicht
- JEV 39 %einzelne zitierbare Belege
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Frieden und Sicherheit
- SF-K2 Wie weit gelten KI-Abkommen für Verbündete und Geheimdienste, und wie verhalten sie sich zu bestehenden Rüstungskontrollverträgen und -regimen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 52 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 73 %Hintergrund, keine Belege
- JEV 57 %einzelne zitierbare Belege
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung nur am Rande erwähnt
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- Alle Berichte im Archiv