Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
deepmind11. Februar 2025 · Q005926

Scaling Pre-training to One Hundred Billion Data for Vision Language Models

deepmind.google · Originalbericht öffnen ↗

Zusammenfassung

Für diesen Bericht lag nur ein Auszug oder keine vollständige Fassung vor. Die Zusammenfassung sagt das selbst.

Kurz

Der bereitgestellte Auszug berichtet, dass Vortraining mit 100 Milliarden Webbeispielen laut Abstract bei vielen gängigen westlich geprägten Benchmarks nur begrenzte zusätzliche Gewinne bringt, kulturell vielfältige Aufgaben und Sprachen mit wenigen Ressourcen aber stärker profitieren können. Qualitätsfilter wie CLIP könnten zugleich die kulturelle Vielfalt der Daten mindern; konkrete Versuchsdetails und Messwerte enthält der Auszug nicht.

Mittel

Der bereitgestellte Bericht ist ein Auszug aus dem Abstract und enthält keine ausführliche Beschreibung der Methoden oder Messwerte. Darin berichten die Autorinnen und Autoren über eine empirische Untersuchung zum Vortraining von Vision-Language-Modellen mit bis zu 100 Milliarden Webbeispielen. Bei vielen verbreiteten, westlich geprägten Klassifikations- und Abruf-Benchmarks, darunter COCO Captions, scheine die Leistung auf dieser Größenordnung weitgehend auszureizen. Aufgaben mit stärkerem Bezug zu kultureller Vielfalt profitierten laut Abstract deutlicher, möglicherweise weil die Daten mehr seltene Konzepte abdecken. Außerdem werden Fortschritte bei Sprachen mit wenigen Ressourcen beschrieben.

Der Abstract warnt zugleich, dass Qualitätsfilter wie CLIP zwar die Leistung verbessern sollen, aber unbeabsichtigt die kulturelle Vielfalt der Daten verringern könnten. Die Autorinnen und Autoren sehen große Rohdatensätze daher als bedeutsam für inklusive multimodale Systeme, auch wenn herkömmliche Benchmarks davon nicht zwingend stark profitieren. Der Auszug enthält keine Angaben zu konkreten Versuchsaufbauten, Zahlen oder Unsicherheiten; die berichteten Schlussfolgerungen lassen sich daher hier nicht näher prüfen. Als Publikationsort wird arXiv genannt.

Ausführlich lesen

Der bereitgestellte Bericht ist ein Auszug: Er enthält den Abstract sowie Angaben zu Autorinnen und Autoren und zum Erscheinungsort, aber keine ausführliche Darstellung der Methoden oder Ergebnisse. Der Abstract beschreibt eine empirische Untersuchung dazu, wie sich das Vortraining von Vision-Language-Modellen mit sehr großen Webdatensätzen auswirkt. Untersucht wird eine Größenordnung von 100 Milliarden Beispielen.

Laut Abstract sättigt sich die Leistung bei vielen verbreiteten, westlich geprägten Klassifikations- und Abruf-Benchmarks auf dieser Größenordnung tendenziell. COCO Captions wird als Beispiel genannt. Für Aufgaben, die kulturelle Vielfalt berücksichtigen, berichtet der Abstract dagegen von stärkeren Verbesserungen. Als mögliche Erklärung führt er an, dass die großen Webdaten mehr seltene, wenig verbreitete Konzepte abdecken. Auch für Sprachen mit wenigen verfügbaren Ressourcen werden dem Abstract zufolge Verbesserungen beobachtet.

Der Bericht hebt außerdem einen möglichen Zielkonflikt bei der Datenfilterung hervor: Qualitätsfilter wie CLIP, die üblicherweise zur Leistungssteigerung eingesetzt werden, könnten die kulturelle Vielfalt der enthaltenen Daten unbeabsichtigt verringern – sogar bei großen Datensätzen. Die Autorinnen und Autoren folgern, dass eine Ausweitung verrauschter Rohdaten aus dem Web auf 100 Milliarden Beispiele herkömmliche Benchmarks nicht unbedingt deutlich verbessert, für inklusive multimodale Systeme aber wichtig sein kann.

Diese Aussagen sind hier nur als Ergebnisse und Schlussfolgerungen des Abstracts wiedergegeben. Der Auszug nennt keine konkreten Versuchsaufbauten, Vergleichswerte, Unsicherheiten oder Einzelheiten zur Messung kultureller Vielfalt und Mehrsprachigkeit; solche Details lassen sich daraus nicht beurteilen. Als Erscheinungsort ist arXiv angegeben.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19 ungeprüft

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 7 von 7
Angezeigte Modelle
Unabhängig prüfen
  1. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 36 %einzelne zitierbare Belege
    • amos 44 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 45 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Tempo und Grenzen
Vertrauen in Modelle
  1. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 36 %gleiches Oberthema, hilft nicht
    • JEV 40 %einzelne zitierbare Belege
    • amos 45 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 49 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Modelle teilen und schützen
  1. SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
    • clef 100 %kein Bezug
    • Luna 35 %Hintergrund, keine Belege
    • JEV 36 %einzelne zitierbare Belege
    • amos 28 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
  1. SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
    • clef 100 %kein Bezug
    • Luna 53 %Hintergrund, keine Belege
    • JEV 26 %einzelne zitierbare Belege
    • amos 46 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →