Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
epoch8. Oktober 2026 · Q003813

Can AI automate Epoch?

epoch.ai · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Epoch testete sechs Modelle mit elf realen Aufgaben aus fünf Arbeitsbereichen. Fable 5.1 und GPT-6 Astra waren bei klar umrissenen Tätigkeiten am zuverlässigsten, scheiterten laut Bericht aber weiterhin an unausgesprochenen Qualitätsmaßstäben, gutem Forschungsdesign und der richtigen Deutung fehlerhafter Ergebnisse. Die Ergebnisse sind wegen kleiner Stichprobe, Einzelbewertungen, Epoch-spezifischer Aufgaben und unterschiedlicher Softwareumgebungen nur eingeschränkt verallgemeinerbar.

Mittel

Epoch untersuchte sechs KI-Modelle anhand von elf eigenen Arbeitsaufgaben aus fünf Bereichen, darunter Grafikgestaltung, Datenanalyse, Rechenzentrumsrecherche und Forschungsdesign. Die Modelle erhielten umfangreiche Referenzen und passende Werkzeuge; ihre Ergebnisse bewertete jeweils eine einzelne Person anhand aufgabenspezifischer, teilweise subjektiver Kriterien. Nach dem Bericht lagen Claude Fable 5.1 und GPT-6 Astra vorn und arbeiteten bei klar umrissenen Aufgaben wie Programmierung, Analyse und Computerbedienung oft zuverlässig. Für eine vollständige Automatisierung reiche das jedoch nicht: Modelle verfehlten unausgesprochene Gestaltungs- und Publikumsstandards, wählten teils zu spezielle Themen und lieferten überladene Ausgaben. Bei Forschungsaufgaben schlugen sie zwar interessante Richtungen vor, entwickelten aber mitunter unklare oder fehlerhafte Experimente und deuteten deren Ergebnisse falsch. Open-Weight-Modelle hätten zusätzlich Probleme bei grundlegender Datenkorrektheit gezeigt. Epoch zufolge können solche Lücken in üblichen Benchmarks untergehen. Die Aussagekraft bleibt begrenzt: Das Aufgabenset ist klein, jedes Modell wurde pro Aufgabe nur einmal geprüft, Bewertungen sind teilweise subjektiv, die Aufgaben spiegeln Epochs Maßstäbe wider, und unterschiedliche Softwareumgebungen können Vergleiche verzerren. Die Ergebnisse sind daher kein allgemeines Maß für alle Berufe.

Ausführlich lesen

Der Bericht „Can AI automate Epoch?“ beschreibt eine Untersuchung dazu, wie gut sechs KI-Modelle echte Aufgaben aus der Arbeit von Epoch erledigen und ob sie diese Arbeit bereits durchgängig automatisieren könnten. Epoch entwickelte dafür zum Start elf Aufgaben aus fünf Bereichen: Grafikgestaltung, Datenanalyse und -aufbereitung für kurze Beiträge, interaktive Datenansichten, Recherche zu KI-Rechenzentren sowie Entwurf und Erprobung von Forschungsvorhaben. Die Modelle erhielten nach Darstellung des Berichts jeweils passende Arbeitsmittel und umfangreiches Referenzmaterial, vergleichbar mit der Ausstattung einer neuen Arbeitskraft, und wurden ohne weitere Eingriffe auf den jeweils höchsten verfügbaren Denkstufen eingesetzt. Epoch bewertete die Ergebnisse anhand aufgabenspezifischer Kriterien, teils objektiv, teils subjektiv; pro Aufgabe prüfte eine einzelne Person die Ausgabe. Die Autorinnen und Autoren beziehen außerdem die Arbeitsverläufe in ihre qualitative Auswertung ein.

Nach Epoch liegen Claude Fable 5.1 und GPT-6 Astra insgesamt vorn. Sie seien besonders zuverlässig bei klar umrissenen Teilen wie Programmierung, rechnerischer Analyse und Computerbedienung. Der Bericht führt als Beispiele an, dass neuere Modelle einen Artikel nach Substack übertragen konnten und Fable eine vergleichsweise einfache Grafik erfolgreich im Epoch-Stil überarbeitete. Trotzdem reiche diese Leistung nicht für eine vollständige Automatisierung. Die Modelle erfassten trotz vieler Beispiele oft unausgesprochene redaktionelle und gestalterische Maßstäbe nicht: Sie wählten etwa zu spezielle Themen für das Publikum oder produzierten unnötig informationsreiche Grafiken und Texte.

Epoch beobachtete zudem Schwächen bei Recherche und wissenschaftlichem Urteilsvermögen. Modelle könnten interessante Forschungsfragen vorschlagen, entwürfen aber mitunter unklare Experimente, deren Durchführung oder Messziel nicht ausreichend erklärt sei. Im Beispiel eines GPT-6-Astra-Pilotversuchs wurden Antworten durch ein zu knappes Tokenlimit abgeschnitten. Obwohl das Modell den Fehler erkannte und das Limit erhöhte, deutete es die dadurch verursachten Leistungsunterschiede laut Bericht teilweise irreführend als Befund über die Informationsbeschaffung. Auch Open-Weight-Modelle hätten größere Schwierigkeiten: Kimi K3 habe etwa eine Auswertung zu Physikpublikationen auf falsch gefilterten arXiv-Daten aufgebaut und einen fehlerhaften Ablauf in einer Grafik nicht korrigiert. Epoch argumentiert, solche Fehler würden von üblichen Benchmarkwerten nicht immer sichtbar gemacht. Bei offenen Aufgaben seien außerdem oft ähnliche Ideen entstanden.

Die Autorinnen und Autoren betonen mehrere Grenzen: Das Aufgabenset sei klein, jedes Modell sei je Aufgabe nur einmal getestet worden, und die Ergebnisse könnten sich bei Wiederholungen ändern. Subjektive Bewertungsmaßstäbe und einzelne Bewertende begrenzten die Aussagekraft der Punktzahlen; Epoch hält die qualitativen Beobachtungen für aussagekräftiger. Die Aufgaben und Qualitätsstandards seien Epoch-spezifisch und nicht repräsentativ für alle Berufe. Zudem nutzten die Modelle unterschiedliche Softwareumgebungen, die ihre Leistungen beeinflusst haben könnten. Der Bericht versteht die Untersuchung daher als Einblick in konkrete Epoch-Aufgaben, nicht als allgemeines Maß für die Automatisierbarkeit sämtlicher Arbeit. Epochs Schlussfolgerung lautet, dass die besten getesteten Modelle klar umrissene Tätigkeiten inzwischen verlässlich unterstützen, aber bei offenen Aufgaben weiterhin an Urteil, Übertragbarkeit und der Interpretation fehlerhafter Ergebnisse scheitern.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Bewertet wurde die ausführliche Zusammenfassung (mittel); die kurze Fassung ist ebenfalls treu, lässt aber dieselben Befunde aus. Lunas Stufen und Anteile wurden nicht übernommen, die Einordnung erfolgte unabhängig.

Im Bericht, aber nicht in der Zusammenfassung

  • Modelle konvergieren bei offenen Aufgaben oft auf ähnliche Ideen
  • Epoch hat eine Grafikaufgabe aus der Suite entfernt, weil Fable 5.1 sie in Epoch-Qualität löste
  • Kimi K3 erreicht im ECI einen Wert ähnlich Grok 4.6, obwohl es bei einfachen Aufgaben schwächer ist, was zeigt, dass Benchmarks die Lücken unterschätzen
  • GPT-6 Astras Pilotversuch: ein zu niedriges Token-Budget führte zu abgeschnittenen Antworten, die als Befund über das Acquisition-Budget missdeutet wurden

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Fähigkeiten messen
  1. SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
    • clef 27 %gleiches Oberthema, hilft nicht
    • Luna 28 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 28 %gleiches Oberthema, hilft nicht
    • SubQ 41 %gleiches Oberthema, hilft nicht
    • drex 38 %gleiches Oberthema, hilft nicht
    • d3-ultra 49 %gleiches Oberthema, hilft nicht

    • SF-F1-T05 Welche Cyber-Prüfungen und welche Testbausteine (Testfälle, Bewertungswerkzeuge, Datensätze) würden jedes Labor und jedes Ministerium anstelle einer bloßen Behauptung als gültig anerkennen, wenn andere sie an ihrem Modell durchführen? Und welche genormte Testsammlung würden Labore verschiedener Staaten gemeinsam an eingefrorenen Modellversionen laufen lassen, verwaltet von einer dritten Stelle, der alle trauen? Luna: Stufe 3 · 29 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 2 · nur am Rande erwähnt
  2. SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 28 %einzelne zitierbare Belege
    • amos 25 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  3. SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 21 %einzelne zitierbare Belege
    • amos 27 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 40 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Unabhängig prüfen
  1. SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
    • clef 100 %kein Bezug
    • Luna 57 %Hintergrund, keine Belege
    • JEV 35 %einzelne zitierbare Belege
    • amos 32 %gleiches Oberthema, hilft nicht
    • SubQ 51 %gleiches Oberthema, hilft nicht
    • drex 37 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung nur am Rande erwähnt
  2. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 20 %gleiches Oberthema, hilft nicht
    • Luna 54 %umfangreiche Belege
    • JEV 40 %umfangreiche Belege
    • amos 29 %Hintergrund, keine Belege
    • SubQ 35 %gleiches Oberthema, hilft nicht
    • drex 23 %einzelne zitierbare Belege
    • d3-ultra 38 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung nur am Rande erwähnt

Tempo und Grenzen
  1. SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
    • clef 100 %kein Bezug
    • Luna 46 %Hintergrund, keine Belege
    • JEV 31 %gleiches Oberthema, hilft nicht
    • amos 30 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug

  2. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 29 %gleiches Oberthema, hilft nicht
    • Luna 49 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 27 %gleiches Oberthema, hilft nicht
    • SubQ 44 %gleiches Oberthema, hilft nicht
    • drex 53 %gleiches Oberthema, hilft nicht
    • d3-ultra 59 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung nur am Rande erwähnt

    • SF-T3-T03 Welche Teile von Training, Prüfung und Einsatz laufen schon heute weitgehend durch KI, und welche Rollen sagt jedes Labor zu, bei Menschen zu lassen, in einer veröffentlichten Liste statt als bloßer Grundsatz? Wenn KI nachfolgende Modelle selbst entwirft, trainiert und prüft: Welcher Mindestanteil der Forschung muss unter direkter menschlicher Prüfung bleiben, und wie belegt man, dass ein Durchbruch mit menschlicher Beteiligung und nicht vollautomatisch entstanden ist? Luna: Stufe 3 · 28 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 3 · Hintergrund, keine Belege
Vertrauen in Modelle
  1. SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 33 %einzelne zitierbare Belege
    • amos 30 %Hintergrund, keine Belege
    • SubQ 39 %gleiches Oberthema, hilft nicht
    • drex 31 %gleiches Oberthema, hilft nicht
    • d3-ultra 48 %gleiches Oberthema, hilft nicht
  2. SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
    • clef 100 %kein Bezug
    • Luna 45 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 29 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 51 %gleiches Oberthema, hilft nicht
    • d3-ultra 56 %gleiches Oberthema, hilft nicht

  3. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 36 %Hintergrund, keine Belege
    • JEV 47 %einzelne zitierbare Belege
    • amos 43 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 44 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
  4. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 44 %Hintergrund, keine Belege
    • JEV 39 %umfangreiche Belege
    • amos 28 %Hintergrund, keine Belege
    • SubQ 46 %gleiches Oberthema, hilft nicht
    • drex 35 %gleiches Oberthema, hilft nicht
    • d3-ultra 51 %gleiches Oberthema, hilft nicht

Agenten und vernetzte Systeme
  1. SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
    • clef 100 %kein Bezug
    • Luna 35 %Hintergrund, keine Belege
    • JEV 54 %einzelne zitierbare Belege
    • amos 28 %nur am Rande erwähnt
    • SubQ 100 %kein Bezug
    • drex 46 %gleiches Oberthema, hilft nicht
    • d3-ultra 60 %gleiches Oberthema, hilft nicht
Modelle teilen und schützen
Frieden und Sicherheit
Offenlegung und Rechenschaft
  1. SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 39 %einzelne zitierbare Belege
    • amos 35 %gleiches Oberthema, hilft nicht
    • SubQ 60 %gleiches Oberthema, hilft nicht
    • drex 38 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
  1. SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
    • clef 100 %kein Bezug
    • Luna 31 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 42 %gleiches Oberthema, hilft nicht
    • SubQ 49 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  2. SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
    • clef 100 %kein Bezug
    • Luna 32 %Hintergrund, keine Belege
    • JEV 31 %Hintergrund, keine Belege
    • amos 43 %gleiches Oberthema, hilft nicht
    • SubQ 48 %gleiches Oberthema, hilft nicht
    • drex 47 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →