Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
epoch23. September 2026 · Q004429

Can AI spot mistakes in IKEA assembly?

epoch.ai · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Epoch AI berichtet, dass GPT-6 Astra im Test FAB Montagefehler auf Fotos von drei IKEA-Möbelaufbauten mit 80 Prozent Genauigkeit erkannte und im Median drei Minuten pro Bild benötigte. Der Benchmark umfasst nur 60 Fotos; menschliche Vergleichswerte fehlen, und die Ergebnisse belegen noch nicht, dass die Leistung auf andere Reparaturen übertragbar ist.

Mittel

Epoch AI beschreibt den Furniture Assembly Benchmark (FAB), mit dem geprüft wird, ob KI-Modelle Montagefehler auf Fotos von IKEA-Möbeln erkennen und anhand der Anleitung erklären können. Der Test umfasst 60 Fotos aus drei absichtlich unterschiedlich komplexen Aufbauten. Die Modelle erhielten die Montageanleitung, Bildvergrößerung und einen Python-Interpreter. Bewertet wurde, ob sie fehlerfreie Zustände erkennen beziehungsweise bei Fehlern die betroffenen Schritte benennen und das Problem beschreiben. Ein Sprachmodell prüfte die Beschreibungen nach großzügigen Kriterien.

Laut Bericht erreichte GPT-6 Astra mit 80 Prozent den höchsten Wert, vor Claude Fable 5.1 mit 70 und Claude Opus 5 mit 61 Prozent. Astra brauchte im Median drei Minuten pro Foto. Die Genauigkeit hing nicht klar mit der berechneten Möbelkomplexität zusammen; möglicherweise waren Sichtwinkel und Fehlerauffälligkeit wichtiger. Die Autoren berichten außerdem von einer Steigerung gegenüber 28 Prozent für Claude Opus 4.5 im November 2025. Kimi K3, das beste geprüfte chinesische Modell mit offenen Gewichten, habe bei FAB sieben Monate hinter der US-Spitze gelegen.

Die Ergebnisse gelten zunächst nur für 60 Bilder und drei Möbelstücke. Menschliche Vergleichswerte fehlen, und die Fehlerbeschreibungen wurden durch ein Sprachmodell bewertet. Deshalb zeigen die Resultate Fortschritte bei dieser konkreten Aufgabe, belegen aber noch keine zuverlässige Leistung bei allgemeinen Reparaturen oder Echtzeit-Hilfe.

Ausführlich lesen

Der Bericht stellt den Furniture Assembly Benchmark (FAB) von Epoch AI vor. Er soll prüfen, ob KI-Modelle auf Fotos von teilweise aufgebauten IKEA-Möbeln Montagefehler erkennen und anhand der Anleitung die betroffenen Schritte sowie den Fehler beschreiben können. Die Autoren sehen darin einen möglichen Hinweis auf Fähigkeiten, die auch bei Reparaturen von Autos oder Haushaltsgeräten nützlich wären. Ob solche Fähigkeiten tatsächlich auf andere Aufgaben übertragbar sind, bleibt jedoch offen.

Für den Benchmark wurden drei Möbelstücke unterschiedlicher berechneter Komplexität ausgewählt: ein STÄLL-Schuhschrank, ein TONSTAD-Bettgestell und eine GULLABERG-Kommode. Während des Aufbaus entstanden 60 Fotos; einige zeigen korrekte Zwischenstände, andere absichtlich eingebaute, laut Bericht sichtbar dargestellte Fehler. Die Modelle erhielten die Montageanleitung als PDF sowie Werkzeuge zum Vergrößern der Bilder und zur Nutzung eines Python-Interpreters. Pro Bild galt ein Limit von 80 Arbeitsschritten, das laut Bericht bei weniger als fünf Prozent der Fälle erreicht wurde. Bei fehlerfreien Bildern musste das Modell dies erkennen; bei Fehlern musste es die betroffenen Montageschritte benennen und das Problem beschreiben. Ein Sprachmodell bewertete die Fehlerbeschreibungen nach einem bewusst großzügigen Maßstab.

Als bestes Ergebnis nennt der Bericht GPT-6 Astra mit 80 Prozent Genauigkeit. Claude Fable 5.1 erreichte 70 Prozent und Claude Opus 5 61 Prozent. Astra benötigte pro Foto im Median drei Minuten; Epoch AI zufolge war es damit das schnellste der geprüften Modelle und zugleich genauer als die übrigen. Für unmittelbare Echtzeit-Hilfe sei diese Antwortzeit aber noch etwas zu lang. Die Werte unterschieden sich je nach Möbelstück: Astra erzielte beim TONSTAD 96 Prozent, beim STÄLL 71 und beim GULLABERG 67 Prozent. Einen klaren Zusammenhang zwischen der Komplexitätskennzahl eines Möbelstücks und der Modellgenauigkeit fanden die Autoren nicht. Sie vermuten, dass unter anderem Sichtwinkel, Feinheit des Fehlers und der Baufortschritt nach dem Fehler eine Rolle spielen.

Der Bericht beschreibt außerdem wiederkehrende Fehlertendenzen: Gemini- und Qwen-Modelle gingen laut den Autoren häufig fälschlich davon aus, dass ein Fehler vorliegt; frühe Anthropic- und OpenAI-Modelle übersahen Fehler eher. Epoch AI berichtet von einer deutlichen Leistungssteigerung: Claude Opus 4.5 habe im November 2025 mit 28 Prozent den damaligen Höchstwert erzielt, GPT-6 Astra zehn Monate später 80 Prozent. Das beste chinesische Modell mit offenen Gewichten, Kimi K3, habe bei FAB zum Zeitpunkt seiner Veröffentlichung sieben Monate hinter der US-Spitze gelegen. Der Bericht merkt an, dass mehrere chinesische Modelle keine Bildverarbeitung unterstützten und dass Geschwindigkeit und Qualität offener Modelle je nach API-Anbieter schwanken können.

Die Aussagekraft ist begrenzt: Getestet wurden nur 60 Fotos aus drei Möbelaufbauten. Menschliche Vergleichswerte wurden noch nicht erhoben, und die Autoren erwarten, dass manche Fehler für Personen ohne Kenntnis des konkreten Aufbaus schwierig zu erkennen wären. Auch die Fehlerbewertung durch ein Sprachmodell ist Teil des Vorgehens. Daher belegen die Resultate Fortschritte bei dieser eng umrissenen Prüfaufgabe, aber noch keine verlässliche Leistung bei allgemeinen Reparaturen oder praktischer Echtzeit-Unterstützung.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Die Zusammenfassungen geben den Bericht treu wieder, lassen aber Failure-Modes und den Geschwindigkeitsvorsprung aus. Luna hat die Stufen für alle drei Sammelfragen zu hoch angesetzt, weil der Bericht nur die allgemeine Fähigkeitsmessung berührt. Teilfragen gab es nicht, daher ist die Liste dort leer.

Im Bericht, aber nicht in der Zusammenfassung

  • Failure-Modes: Gemini- und Qwen-Modelle unterstellen fast immer einen Fehler, frühe Anthropic- und OpenAI-Modelle übersahen Fehler zu oft
  • Astra ist laut Bericht 2- bis 10-mal so schnell wie zuvor führende Modelle und das schnellste getestete Modell
  • Der Bericht nennt Claude Opus 5 und Claude Fable 5.1 als Zweit- und Drittplatzierte, die Zusammenfassungen nennen sie nur am Rande
  • Die Kurzfassung erwähnt die Steigerung von 28 auf 80 Prozent innerhalb von zehn Monaten nicht

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Vorfälle melden
Fähigkeiten messen
  1. SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
    • clef 100 %kein Bezug
    • Luna 56 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 37 %gleiches Oberthema, hilft nicht
    • SubQ 44 %gleiches Oberthema, hilft nicht
    • drex 46 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung Hintergrund, keine Belege
  2. SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 34 %umfangreiche Belege
    • amos 27 %gleiches Oberthema, hilft nicht
    • SubQ 48 %gleiches Oberthema, hilft nicht
    • drex 47 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
  3. SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 23 %einzelne zitierbare Belege
    • amos 34 %gleiches Oberthema, hilft nicht
    • SubQ 46 %gleiches Oberthema, hilft nicht
    • drex 56 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Unabhängig prüfen
  1. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 100 %kein Bezug
    • Luna 38 %einzelne zitierbare Belege
    • JEV 46 %umfangreiche Belege
    • amos 30 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 45 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
Tempo und Grenzen
Vertrauen in Modelle
  1. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 46 %einzelne zitierbare Belege
    • amos 48 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  2. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 60 %Hintergrund, keine Belege
    • JEV 43 %einzelne zitierbare Belege
    • amos 32 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 58 %gleiches Oberthema, hilft nicht
    • d3-ultra 49 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
Agenten und vernetzte Systeme
  1. SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
    • clef 100 %kein Bezug
    • Luna 44 %Hintergrund, keine Belege
    • JEV 48 %einzelne zitierbare Belege
    • amos 27 %nur am Rande erwähnt
    • SubQ 100 %kein Bezug
    • drex 43 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Modelle teilen und schützen
Frieden und Sicherheit
Offenlegung und Rechenschaft
  1. SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 28 %einzelne zitierbare Belege
    • amos 50 %gleiches Oberthema, hilft nicht
    • SubQ 51 %gleiches Oberthema, hilft nicht
    • drex 51 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
  1. SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 42 %einzelne zitierbare Belege
    • amos 38 %gleiches Oberthema, hilft nicht
    • SubQ 47 %gleiches Oberthema, hilft nicht
    • drex 58 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Wirtschaft und Haftung

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →