Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
deepmind5. März 2025 · Q005807

KiVA: Kid-Inspired Visual Analogies for Testing Large Multimodal Models

deepmind.google · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Der vorliegende Text ist nur der Abstract: Er beschreibt KiVA, einen Benchmark mit 4.300 visuellen Analogien, der Modelle, Kinder und Erwachsene vergleicht. Laut Abstract erkennen die getesteten Modelle oft, was sich verändert hat, haben aber Schwierigkeiten, die Veränderung genau zu bestimmen und Regeln auf neue Objekte zu übertragen; Kinder und Erwachsene schneiden deutlich besser ab.

Mittel

Der bereitgestellte Text enthält nur den Abstract und bibliografische Angaben, nicht den vollständigen Bericht. Darin wird KiVA vorgestellt: ein Benchmark mit 4.300 visuellen Veränderungen an Alltagsgegenständen, der große multimodale Modelle mit Kindern im Alter von drei bis fünf Jahren und Erwachsenen vergleicht. Die Aufgaben prüfen in drei Schritten, ob Teilnehmende erkennen, was sich verändert hat, wie die Veränderung erfolgte und ob sie die Regel auf neue Situationen übertragen können.

Laut Abstract erkannten GPT-o1, GPT-4V, LLaVA-1.5 und MANTIS meist die veränderte Eigenschaft, hatten aber größere Probleme, die Art der Veränderung zu bestimmen und die Regel zu übertragen. Kinder und Erwachsene schnitten den berichteten Ergebnissen zufolge in allen drei Schritten deutlich besser ab. GPT-o1 war bei einfachen Merkmalen wie Farbe und Größe stärker; Aufgaben zu Anzahl, Drehung und Spiegelung bereiteten größere Schwierigkeiten. Die Autorinnen und Autoren sehen darin Hinweise auf Grenzen des Trainings mit überwiegend zweidimensionalen Bildern und Text. Genauere Angaben zu Methode, Messwerten und Einschränkungen sind im vorliegenden Auszug nicht enthalten.

Ausführlich lesen

Der bereitgestellte Text enthält nur den Abstract sowie Angaben zu Autorinnen und Autoren und zum Publikationsort; eine vollständige Darstellung des Berichts liegt hier nicht vor. Der Abstract beschreibt eine Untersuchung visueller Analogien in großen multimodalen Modellen (LMMs) im Vergleich zu Erwachsenen und Kindern im Alter von drei bis fünf Jahren. Eine visuelle Analogie wird dabei als Regel verstanden, die aus einem Bild abgeleitet und auf ein anderes angewendet wird.

Die Autorinnen und Autoren stellen KiVA vor, einen Benchmark mit 4.300 visuellen Veränderungen an Alltagsgegenständen. Die Aufgaben sind in drei Schritte gegliedert: erkennen, was sich verändert hat, bestimmen, wie die Veränderung erfolgte, und die abgeleitete Regel auf neue Situationen übertragen. Damit soll der Benchmark auch grundlegende Analogiefähigkeiten erfassen, die laut Abstract in bestehenden Tests mit höheren Anforderungen nicht ausreichend berücksichtigt würden.

Den berichteten Ergebnissen zufolge konnten GPT-o1, GPT-4V, LLaVA-1.5 und MANTIS meist gut benennen, welche Eigenschaft sich verändert hatte. Schwierigkeiten zeigten sich jedoch beim genauen Bestimmen der Veränderung und beim Übertragen der Regel auf neue Objekte. Kinder und Erwachsene hätten in allen drei Aufgabenschritten deutlich besser abgeschnitten. GPT-o1, das stärkste der getesteten Modelle, war laut Abstract bei einfachen sichtbaren Merkmalen wie Farbe und Größe vergleichsweise leistungsfähig. Diese Aufgaben gingen bei Erwachsenen zugleich mit kürzeren Antwortzeiten einher. Aufgaben zu Anzahl, Drehung und Spiegelung waren für das Modell schwieriger; der Abstract führt sie auf höhere Anforderungen an kognitive Verarbeitung und das Verständnis räumlicher Eigenschaften zurück.

Die Autorinnen und Autoren folgern, dass die Ergebnisse Grenzen des Trainings mit Daten aufzeigen, die vorwiegend aus zweidimensionalen Bildern und Text bestehen. Da hier nur der Abstract vorliegt, fehlen nähere Angaben zu Versuchsaufbau, Auswertung, Ergebnismessungen und möglichen Einschränkungen der Studie. Der Text nennt ICLR 2025 als Publikationsort.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Die Einordnung stützt sich nur auf den Abstract, der den vollständigen Bericht nicht ersetzt; Methodik, Messwerte und Einschränkungen fehlen im Auszug.

Im Bericht, aber nicht in der Zusammenfassung

  • Der Bericht nennt, dass GPT-o1 bei einfachen Merkmalen besser abschneidet, weil diese mit schnelleren Antwortzeiten erwachsener Menschen korrelieren; das lassen beide Zusammenfassungen aus.

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Fähigkeiten messen
Unabhängig prüfen
  1. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 37 %einzelne zitierbare Belege
    • amos 39 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Tempo und Grenzen
Vertrauen in Modelle
  1. SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
    • clef 100 %kein Bezug
    • Luna 44 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 50 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
  2. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 55 %einzelne zitierbare Belege
    • amos 42 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  3. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 36 %Hintergrund, keine Belege
    • JEV 33 %einzelne zitierbare Belege
    • amos 44 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 61 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung gleiches Oberthema, hilft nicht

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →