Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
deepmind22. November 2022 · Q004841

Benchmarking the next generation of never-ending learners

deepmind.google · Originalbericht öffnen ↗

Zusammenfassung

Kurz

NEVIS’22 ist ein Benchmark mit 106 chronologisch geordneten Computervisions-Klassifikationsaufgaben, der untersucht, wie Modelle Wissen zwischen Aufgaben übertragen können. Erste Experimente legen laut den Autorinnen und Autoren nahe, dass Transferlernen und sorgfältige Feinabstimmung Genauigkeit und Rechenaufwand gut verbinden können; allgemeine Überlegenheit wird damit nicht belegt.

Mittel

Der Beitrag beschreibt NEVIS’22, einen Benchmark zur Erforschung von Modellen, die Wissen aus früheren Aufgaben für spätere nutzen. Anlass sei, dass große Deep-Learning-Modelle bei neuen Aufgaben oft wenig auf bereits Gelerntes zurückgreifen und mit zusätzlichen Daten oder Rechenleistung häufig von Grund auf neu trainiert würden.

NEVIS’22 enthält 106 überwachte Klassifikationsaufgaben aus Computervisionsveröffentlichungen der vergangenen drei Jahrzehnte. Sie wurden laut Beitrag zufällig ausgewählt und chronologisch angeordnet; ihre Themen reichen von Zeichenerkennung bis Szenenerkennung. Zum Benchmark gehören ein Evaluationsprotokoll, erste Vergleichsmodelle und quelloffener Code. Bewertet werden Fehlerrate und Rechenaufwand, gemessen an der Zahl der Gleitkommaoperationen. Gute Genauigkeit soll also nicht genügen, wenn sie unverhältnismäßig teuer erkauft wird.

Erste Experimente deuteten laut den Autorinnen und Autoren darauf hin, dass Ansätze, die gemeinsame Strukturen zwischen Aufgaben und Transferlernen nutzen, ein günstigeres Verhältnis von Genauigkeit und Aufwand erreichen. Auch sorgfältige Feinabstimmung großer vortrainierter Modelle sei konkurrenzfähig. Das sind vorläufige Ergebnisse: Der Beitrag belegt keine allgemeine Überlegenheit fortlaufenden Lernens, sondern stellt NEVIS’22 als reproduzierbare Grundlage für weitere Forschung vor.

Ausführlich lesen

Der Beitrag stellt NEVIS’22 vor, einen Benchmark für Modelle, die über längere Zeit Wissen aufbauen und bei neuen Aufgaben wiederverwenden sollen. Die Autorinnen und Autoren begründen den Bedarf damit, dass große Deep-Learning-Modelle zwar leistungsfähig seien, beim Wechsel zu neuen Aufgaben aber häufig bereits Gelerntes kaum nutzten. Wenn neue Daten oder Rechenleistung verfügbar würden, würden solche Modelle zudem oft von Grund auf neu trainiert. Das könne viel Zeit und Rechenaufwand kosten. NEVIS’22 soll untersuchen, ob sich Leistung und Effizienz durch fortlaufenden Wissenstransfer besser miteinander verbinden lassen.

Der Benchmark umfasst laut Beitrag 106 überwachte Klassifikationsaufgaben aus Veröffentlichungen, die zufällig aus den Online-Tagungsbänden wichtiger Computervisionskonferenzen der vergangenen drei Jahrzehnte ausgewählt wurden. Die Aufgaben sind chronologisch geordnet und werden im Verlauf vielfältiger und anspruchsvoller. Dadurch können Modelle möglicherweise Wissen aus früheren, verwandten Aufgaben auf spätere übertragen. Die Themen reichen laut Text von optischer Zeichenerkennung und Texturanalyse bis zu Menschenmengenzählung und Szenenerkennung. Die Auswahl soll keine bestimmte Methode bevorzugen, sondern die Themen widerspiegeln, die die Computervisionsgemeinschaft im Laufe der Zeit bearbeitet hat.

NEVIS’22 ist nicht allein eine Datensammlung: Das Paket enthält außerdem ein Evaluationsprotokoll, erste Vergleichsmodelle und eine quelloffene Codebasis. Bewertet wird, wie gut ein Modell spätere Aufgaben bewältigt, wobei Fehlerrate und Rechenaufwand gegeneinander abgewogen werden. Der Aufwand wird anhand der Zahl der Gleitkommaoperationen gemessen. Eine niedrigere Fehlerrate allein gilt demnach nicht als ausreichend, wenn sie unverhältnismäßig viel Rechenleistung erfordert. Der Benchmark soll so Genauigkeit und Effizienz gemeinsam berücksichtigen und reproduzierbare Vergleiche ermöglichen.

Als erste Ergebnisse berichten die Autorinnen und Autoren, dass Modelle mit einem besseren Verhältnis von Fehler und Rechenaufwand gemeinsame Strukturen zwischen Aufgaben nutzen und Transferlernen einsetzen. Besonders sorgfältige Feinabstimmung könne konkurrenzfähig sein, auch in Verbindung mit großen vortrainierten Modellen. Daraus leiten sie die Möglichkeit ab, allgemeine Repräsentationen solcher Modelle weiter zu verbessern.

Die Aussagekraft dieser Ergebnisse ist im Beitrag begrenzt: Berichtet werden erste Experimente, keine umfassende Bilanz für alle Lernverfahren oder Einsatzfelder. Der Text beschreibt NEVIS’22 als Forschungsbenchmark und offenen Ansatz; er belegt nicht, dass fortlaufendes Lernen bereits generell kostengünstiger oder leistungsfähiger als Training von Grund auf ist. Die Autorinnen und Autoren stellen die Plattform vielmehr als Grundlage für weitere Untersuchungen und offene Forschungsfragen vor.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Lunas Zusammenfassungen sind weitgehend treu und enthalten keine erfundenen Angaben. Es fehlt lediglich der Hinweis auf die zunehmende Schwierigkeit der chronologisch geordneten Aufgaben. Lunas Einordnungen mit Stufe 3 sind zu hoch, weil der Bericht die drei Sammelfragen nicht mit Belegen beantwortet. Die genannten Anteilswerte in Prozent sind im Bericht nicht begründet und werden hier nicht übernommen. Teilfragen waren nicht angegeben, daher gibt es dazu keine Einordnung.

Im Bericht, aber nicht in der Zusammenfassung

  • Die Aufgaben werden im Verlauf der Chronologie zunehmend anspruchsvoller und bieten wachsende Möglichkeiten zum Wissenstransfer

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Fähigkeiten messen
Unabhängig prüfen
  1. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 100 %kein Bezug
    • Luna 42 %Hintergrund, keine Belege
    • JEV 49 %einzelne zitierbare Belege
    • amos 38 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 43 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung nur am Rande erwähnt
Tempo und Grenzen
  1. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 100 %kein Bezug
    • Luna 31 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 51 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 66 %gleiches Oberthema, hilft nicht
    • d3-ultra 50 %gleiches Oberthema, hilft nicht
Vertrauen in Modelle
  1. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 47 %Hintergrund, keine Belege
    • JEV 40 %einzelne zitierbare Belege
    • amos 44 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 54 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
Modelle teilen und schützen
Beteiligung und Gemeinwohl
  1. SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
    • clef 100 %kein Bezug
    • Luna 42 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 43 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung nur am Rande erwähnt

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →