Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
anthropic29. April 2026 · Q004254

Evaluating Claude with BioMysteryBench

anthropic.com · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Anthropic berichtet, dass Claude bei BioMysteryBench – 99 überprüfbaren Bioinformatikaufgaben mit realen Daten – über Generationen besser wurde und auch einen Teil der von Fachleuten nicht gelösten Aufgaben bewältigte. Die schwierigeren Erfolge waren jedoch deutlich weniger zuverlässig wiederholbar; zudem kann der Benchmark nicht klären, ob ungelöste Aufgaben unlösbar oder nur außergewöhnlich schwierig sind.

Mittel

Anthropic beschreibt BioMysteryBench als Benchmark für offene Bioinformatikaufgaben mit realen, teils rohen Datensätzen. Die 99 Fragen wurden von Fachleuten erstellt und sollen überprüfbare Eigenschaften der Daten oder unabhängig bestätigte Metadaten abfragen. Validierungsnotebooks sollen sicherstellen, dass das gesuchte Signal tatsächlich vorhanden ist. Claude kann gängige Bioinformatikwerkzeuge, zusätzliche installierbare Programme und einschlägige Datenbanken nutzen; gewertet wird die Antwort, nicht der konkrete Analyseweg.

Fachleute lösten mindestens eine Antwort bei 76 Aufgaben; 23 weitere blieben nach einer Qualitätsprüfung menschlich schwierig. Anthropic berichtet von Verbesserungen über Claude-Generationen hinweg. Mythos Preview löste 30 Prozent der menschlich schwierigen Aufgaben. Als hilfreiche Strategien nennt der Bericht die Kombination von internem Fachwissen mit eigener Analyse sowie den Vergleich mehrerer Lösungsansätze. Die Wiederholbarkeit blieb jedoch geringer: Bei Opus 4.6 wurden 86 Prozent der gelösten menschlich lösbaren Aufgaben mindestens vier von fünf Mal gelöst, gegenüber 44 Prozent der schwierigen Aufgaben. Anthropic räumt ein, dass ungelöste Aufgaben möglicherweise nur besonders schwierig oder tatsächlich unlösbar sind. Der Benchmark belegt daher nicht automatisch allgemeine wissenschaftliche Überlegenheit.

Ausführlich lesen

Der Bericht von Anthropic stellt BioMysteryBench vor, einen Benchmark zur Bewertung von Claude bei offenen Bioinformatikaufgaben. Die Autorinnen und Autoren argumentieren, dass viele bisherige Prüfungen wissenschaftlicher Fähigkeiten zwar Wissen und Schlussfolgern messen, aber reale Forschungsarbeit mit unübersichtlichen Daten, Werkzeugen und mehreren möglichen Lösungswegen nur teilweise abbilden. In der Biologie erschweren zudem subjektive Forschungsentscheidungen und verrauschte Datensätze verlässliche Vergleiche. Bei manchen relevanten Forschungsfragen gibt es noch keine bekannte menschliche Lösung.

BioMysteryBench umfasst 99 von Fachleuten erstellte Fragen aus verschiedenen Bereichen der Bioinformatik. Sie beruhen auf realen, teils rohen oder wenig verarbeiteten Daten, etwa Sequenzierungsdaten, sowie auf Proteomik und Metabolomik. Die Fragen zielen laut Bericht auf überprüfbare Eigenschaften der Daten oder unabhängig bestätigte Metadaten, nicht auf wissenschaftliche Schlussfolgerungen, die von einzelnen Forschenden geprägt sein könnten. Für jede Aufgabe mussten die Erstellenden ein Validierungsnotebook vorlegen, das zeigt, dass das gesuchte Signal in den Daten vorhanden ist. Claude erhält eine Umgebung mit gängigen Bioinformatikwerkzeugen, kann weitere Werkzeuge installieren und auf einschlägige Datenbanken zugreifen. Bewertet wird die finale Antwort, sodass unterschiedliche Analysewege zulässig sind.

Bis zu fünf Fachleute versuchten jede Aufgabe eigenständig zu lösen. Eine Aufgabe galt als menschlich lösbar, sobald mindestens eine Person sie korrekt beantwortet hatte. So wurden 76 Aufgaben als menschlich lösbar eingestuft. Weitere 23 blieben nach einer Qualitätsprüfung menschlich schwierig; vier zunächst nicht gelöste Aufgaben wurden entfernt, weil sie fehlerhaft oder ungeeignet waren. Laut Anthropic verbesserten sich die Claude-Generationen deutlich. Die neueren Modelle lösten die meisten menschlich lösbaren Aufgaben zuverlässig. Claude Sonnet 4.6 und leistungsfähigere Modelle bewältigten zudem einen beträchtlichen Teil der menschlich schwierigen Fragen; für Claude Mythos Preview nennt der Bericht eine Lösungsquote von 30 Prozent.

Als mögliche Gründe für Erfolge bei schwierigen Aufgaben beschreibt der Bericht zwei Muster: Claude kann internes Wissen aus wissenschaftlicher Literatur mit Datenbankabfragen und eigener Analyse verbinden. Außerdem probiert es bei Unsicherheit oft mehrere Verfahren aus und stützt sich auf Ergebnisse, die über verschiedene Ansätze hinweg übereinstimmen. Der Bericht weist zugleich darauf hin, dass Vorwissen auch in die Irre führen kann. Eine zusätzliche Auswertung von fünf Versuchen pro Aufgabe zeigt, dass richtige Antworten auf den schwierigen Aufgaben weniger verlässlich wiederholt werden. Für Opus 4.6 waren laut der dargestellten Analyse 86 Prozent der gelösten menschlich lösbaren Aufgaben in mindestens vier von fünf Versuchen lösbar; bei den menschlich schwierigen Aufgaben traf das nur auf 44 Prozent zu. Bei Sonnet 4.6 sank der entsprechende Anteil von 75 auf 22 Prozent. Der Bericht beschreibt viele Erfolge auf schwierigen Aufgaben daher als fragile, nicht regelmäßig reproduzierbare Lösungswege.

Die Autorinnen und Autoren betonen eine zentrale Grenze: Wenn weder Menschen noch Modelle eine Aufgabe lösen, lässt sich nicht sicher entscheiden, ob sie unmöglich oder lediglich außerordentlich schwierig ist. Die Validierungsnotebooks belegen, dass Daten und Signal vorhanden sind, aber nicht, dass Menschen oder Modelle die Antwort eigenständig finden können. Anthropic deutet die Ergebnisse als Hinweis auf den wachsenden Nutzen fortgeschrittener Modelle in der Bioinformatik und verweist auf einen ähnlich ausgerichteten Benchmark von Genentech und Roche. Diese Einordnung und die Leistungsangaben sind Aussagen des Berichts; sie belegen keine allgemeine Überlegenheit von Modellen in sämtlicher wissenschaftlicher Arbeit.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Die Bewertung stützt sich allein auf den Bericht zu BioMysteryBench. Die Sammelfragen sind allgemein gehalten, daher fallen die Einordnungen überwiegend niedrig aus.

Im Bericht, aber nicht in der Zusammenfassung

  • Die Aussage des Berichts, dass aktuelle Modelle bei den menschlich lösbaren Aufgaben etwa gleichauf mit Fachleuten liegen, fehlt in der kurzen Zusammenfassung.
  • Die Zahl 30 Prozent für Claude Mythos Preview bei den menschlich schwierigen Aufgaben fehlt in der kurzen Zusammenfassung.

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Vorfälle melden
Fähigkeiten messen
  1. SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 25 %einzelne zitierbare Belege
    • amos 26 %Hintergrund, keine Belege
    • SubQ 44 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra offen
  2. SF-F3 Welche Regeln gelten für gefährliche Fähigkeiten jenseits von Cyber, etwa in Biologie, Chemie, bei radioaktiven Stoffen oder in der Nukleartechnik?
    • clef 100 %kein Bezug
    • Luna 45 %Hintergrund, keine Belege
    • JEV 36 %gleiches Oberthema, hilft nicht
    • amos 26 %nur am Rande erwähnt
    • SubQ 100 %kein Bezug
    • drex 38 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

    • SF-F3-T02 Welche Verantwortung sollten KI-Firmen gegenüber der Öffentlichkeit tragen, wenn ihre Modelle grundlegende wissenschaftliche Entdeckungen ermöglichen, die gefährliche Anwendungen finden könnten? Luna: Stufe 3 · 43 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 1 · gleiches Oberthema, hilft nicht
Unabhängig prüfen
  1. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 100 %kein Bezug
    • Luna 49 %einzelne zitierbare Belege
    • JEV 26 %beantwortet teilweise oder widerspricht
    • amos 29 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 22 %einzelne zitierbare Belege
    • d3-ultra offen
    • Haiku-Prüfung einzelne zitierbare Belege

Tempo und Grenzen
  1. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 27 %gleiches Oberthema, hilft nicht
    • Luna 56 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 30 %nur am Rande erwähnt
    • SubQ 100 %kein Bezug
    • drex 52 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
    • Haiku-Prüfung nur am Rande erwähnt
Vertrauen in Modelle
  1. SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 100 %kein Bezug
    • amos 29 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 37 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
  2. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 41 %Hintergrund, keine Belege
    • JEV 50 %einzelne zitierbare Belege
    • amos 32 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 61 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

  3. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 62 %Hintergrund, keine Belege
    • JEV 30 %einzelne zitierbare Belege
    • amos 30 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 50 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
    • Haiku-Prüfung gleiches Oberthema, hilft nicht

Agenten und vernetzte Systeme
  1. SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
    • clef 100 %kein Bezug
    • Luna 34 %Hintergrund, keine Belege
    • JEV 53 %einzelne zitierbare Belege
    • amos 24 %einzelne zitierbare Belege
    • SubQ 100 %kein Bezug
    • drex 42 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Modelle teilen und schützen
Frieden und Sicherheit
Offenlegung und Rechenschaft
  1. SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 30 %einzelne zitierbare Belege
    • amos 35 %gleiches Oberthema, hilft nicht
    • SubQ 56 %gleiches Oberthema, hilft nicht
    • drex 42 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Beteiligung und Gemeinwohl

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →