Evaluating Claude with BioMysteryBench
Zusammenfassung
Kurz
Anthropic berichtet, dass Claude bei BioMysteryBench – 99 überprüfbaren Bioinformatikaufgaben mit realen Daten – über Generationen besser wurde und auch einen Teil der von Fachleuten nicht gelösten Aufgaben bewältigte. Die schwierigeren Erfolge waren jedoch deutlich weniger zuverlässig wiederholbar; zudem kann der Benchmark nicht klären, ob ungelöste Aufgaben unlösbar oder nur außergewöhnlich schwierig sind.
Mittel
Anthropic beschreibt BioMysteryBench als Benchmark für offene Bioinformatikaufgaben mit realen, teils rohen Datensätzen. Die 99 Fragen wurden von Fachleuten erstellt und sollen überprüfbare Eigenschaften der Daten oder unabhängig bestätigte Metadaten abfragen. Validierungsnotebooks sollen sicherstellen, dass das gesuchte Signal tatsächlich vorhanden ist. Claude kann gängige Bioinformatikwerkzeuge, zusätzliche installierbare Programme und einschlägige Datenbanken nutzen; gewertet wird die Antwort, nicht der konkrete Analyseweg.
Fachleute lösten mindestens eine Antwort bei 76 Aufgaben; 23 weitere blieben nach einer Qualitätsprüfung menschlich schwierig. Anthropic berichtet von Verbesserungen über Claude-Generationen hinweg. Mythos Preview löste 30 Prozent der menschlich schwierigen Aufgaben. Als hilfreiche Strategien nennt der Bericht die Kombination von internem Fachwissen mit eigener Analyse sowie den Vergleich mehrerer Lösungsansätze. Die Wiederholbarkeit blieb jedoch geringer: Bei Opus 4.6 wurden 86 Prozent der gelösten menschlich lösbaren Aufgaben mindestens vier von fünf Mal gelöst, gegenüber 44 Prozent der schwierigen Aufgaben. Anthropic räumt ein, dass ungelöste Aufgaben möglicherweise nur besonders schwierig oder tatsächlich unlösbar sind. Der Benchmark belegt daher nicht automatisch allgemeine wissenschaftliche Überlegenheit.
Ausführlich lesen
Der Bericht von Anthropic stellt BioMysteryBench vor, einen Benchmark zur Bewertung von Claude bei offenen Bioinformatikaufgaben. Die Autorinnen und Autoren argumentieren, dass viele bisherige Prüfungen wissenschaftlicher Fähigkeiten zwar Wissen und Schlussfolgern messen, aber reale Forschungsarbeit mit unübersichtlichen Daten, Werkzeugen und mehreren möglichen Lösungswegen nur teilweise abbilden. In der Biologie erschweren zudem subjektive Forschungsentscheidungen und verrauschte Datensätze verlässliche Vergleiche. Bei manchen relevanten Forschungsfragen gibt es noch keine bekannte menschliche Lösung.
BioMysteryBench umfasst 99 von Fachleuten erstellte Fragen aus verschiedenen Bereichen der Bioinformatik. Sie beruhen auf realen, teils rohen oder wenig verarbeiteten Daten, etwa Sequenzierungsdaten, sowie auf Proteomik und Metabolomik. Die Fragen zielen laut Bericht auf überprüfbare Eigenschaften der Daten oder unabhängig bestätigte Metadaten, nicht auf wissenschaftliche Schlussfolgerungen, die von einzelnen Forschenden geprägt sein könnten. Für jede Aufgabe mussten die Erstellenden ein Validierungsnotebook vorlegen, das zeigt, dass das gesuchte Signal in den Daten vorhanden ist. Claude erhält eine Umgebung mit gängigen Bioinformatikwerkzeugen, kann weitere Werkzeuge installieren und auf einschlägige Datenbanken zugreifen. Bewertet wird die finale Antwort, sodass unterschiedliche Analysewege zulässig sind.
Bis zu fünf Fachleute versuchten jede Aufgabe eigenständig zu lösen. Eine Aufgabe galt als menschlich lösbar, sobald mindestens eine Person sie korrekt beantwortet hatte. So wurden 76 Aufgaben als menschlich lösbar eingestuft. Weitere 23 blieben nach einer Qualitätsprüfung menschlich schwierig; vier zunächst nicht gelöste Aufgaben wurden entfernt, weil sie fehlerhaft oder ungeeignet waren. Laut Anthropic verbesserten sich die Claude-Generationen deutlich. Die neueren Modelle lösten die meisten menschlich lösbaren Aufgaben zuverlässig. Claude Sonnet 4.6 und leistungsfähigere Modelle bewältigten zudem einen beträchtlichen Teil der menschlich schwierigen Fragen; für Claude Mythos Preview nennt der Bericht eine Lösungsquote von 30 Prozent.
Als mögliche Gründe für Erfolge bei schwierigen Aufgaben beschreibt der Bericht zwei Muster: Claude kann internes Wissen aus wissenschaftlicher Literatur mit Datenbankabfragen und eigener Analyse verbinden. Außerdem probiert es bei Unsicherheit oft mehrere Verfahren aus und stützt sich auf Ergebnisse, die über verschiedene Ansätze hinweg übereinstimmen. Der Bericht weist zugleich darauf hin, dass Vorwissen auch in die Irre führen kann. Eine zusätzliche Auswertung von fünf Versuchen pro Aufgabe zeigt, dass richtige Antworten auf den schwierigen Aufgaben weniger verlässlich wiederholt werden. Für Opus 4.6 waren laut der dargestellten Analyse 86 Prozent der gelösten menschlich lösbaren Aufgaben in mindestens vier von fünf Versuchen lösbar; bei den menschlich schwierigen Aufgaben traf das nur auf 44 Prozent zu. Bei Sonnet 4.6 sank der entsprechende Anteil von 75 auf 22 Prozent. Der Bericht beschreibt viele Erfolge auf schwierigen Aufgaben daher als fragile, nicht regelmäßig reproduzierbare Lösungswege.
Die Autorinnen und Autoren betonen eine zentrale Grenze: Wenn weder Menschen noch Modelle eine Aufgabe lösen, lässt sich nicht sicher entscheiden, ob sie unmöglich oder lediglich außerordentlich schwierig ist. Die Validierungsnotebooks belegen, dass Daten und Signal vorhanden sind, aber nicht, dass Menschen oder Modelle die Antwort eigenständig finden können. Anthropic deutet die Ergebnisse als Hinweis auf den wachsenden Nutzen fortgeschrittener Modelle in der Bioinformatik und verweist auf einen ähnlich ausgerichteten Benchmark von Genentech und Roche. Diese Einordnung und die Leistungsangaben sind Aussagen des Berichts; sie belegen keine allgemeine Überlegenheit von Modellen in sämtlicher wissenschaftlicher Arbeit.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Die Bewertung stützt sich allein auf den Bericht zu BioMysteryBench. Die Sammelfragen sind allgemein gehalten, daher fallen die Einordnungen überwiegend niedrig aus.
Im Bericht, aber nicht in der Zusammenfassung
- Die Aussage des Berichts, dass aktuelle Modelle bei den menschlich lösbaren Aufgaben etwa gleichauf mit Fachleuten liegen, fehlt in der kurzen Zusammenfassung.
- Die Zahl 30 Prozent für Claude Mythos Preview bei den menschlich schwierigen Aufgaben fehlt in der kurzen Zusammenfassung.
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Vorfälle melden
- SF-M4 Wie kommen Meldungen von Laboren, Betreibern und Nutzern schnell und geschützt zu den Stellen, die handeln müssen, auch über Grenzen hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 33 %gleiches Oberthema, hilft nicht
- SubQ 28 %gleiches Oberthema, hilft nicht
- drex 34 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 25 %einzelne zitierbare Belege
- amos 26 %Hintergrund, keine Belege
- SubQ 44 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra
- SF-F3 Welche Regeln gelten für gefährliche Fähigkeiten jenseits von Cyber, etwa in Biologie, Chemie, bei radioaktiven Stoffen oder in der Nukleartechnik?
- clef 100 %kein Bezug
- Luna 45 %Hintergrund, keine Belege
- JEV 36 %gleiches Oberthema, hilft nicht
- amos 26 %nur am Rande erwähnt
- SubQ 100 %kein Bezug
- drex 38 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-F3-T02 Welche Verantwortung sollten KI-Firmen gegenüber der Öffentlichkeit tragen, wenn ihre Modelle grundlegende wissenschaftliche Entdeckungen ermöglichen, die gefährliche Anwendungen finden könnten?
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 28 %nur am Rande erwähnt
- SubQ 100 %kein Bezug
- drex 48 %gleiches Oberthema, hilft nicht
- d3-ultra
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 27 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 47 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 49 %einzelne zitierbare Belege
- JEV 26 %beantwortet teilweise oder widerspricht
- amos 29 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 22 %einzelne zitierbare Belege
- d3-ultra
- Haiku-Prüfung einzelne zitierbare Belege
- SF-P3-T02 Welche unabhängig überprüfbaren Zusagen könnten Regierungen von ihren KI-Laboren zur Veröffentlichung verlangen, und wie sieht unabhängige Prüfung aus, wenn der Beleg, dass ein Modell seinen vorgesehenen Zielen und Werten folgt, nur vom trainierenden Labor kommt und Prüfer weder die Modellgewichte (die gelernten Parameter) noch die Trainingsdaten sehen?
- SF-P3-T06 Wenn getrennte Sicherheitsprüfungen Repositorien, Zwischenspeicher oder andere beschreibbare Dienste teilen: Wie zeigt man, dass Modellinstanzen zwischen den Läufen keine Informationen austauschen und dadurch das gemeldete Ergebnis ungültig machen können?
- SF-P3-T07 Wird jede öffentliche Aussage, ein führendes KI-Modell sei „besser ausgerichtet“ als ein anderes (folge also seinen vorgesehenen Zielen und Werten besser), reproduzierbare Kriterien, externe Prüfungen und widersprechende Ergebnisse enthalten?
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 52 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 29 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 46 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 27 %gleiches Oberthema, hilft nicht
- Luna 56 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 30 %nur am Rande erwähnt
- SubQ 100 %kein Bezug
- drex 52 %gleiches Oberthema, hilft nicht
- d3-ultra
- Haiku-Prüfung nur am Rande erwähnt
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 29 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 37 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 30 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 56 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 41 %Hintergrund, keine Belege
- JEV 50 %einzelne zitierbare Belege
- amos 32 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 61 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-V4-T03 Ist Intelligenz, die „eher gewachsen als entworfen“ ist, ein Grund für mehr Vorsicht oder dafür, Modelle wie ein Ökosystem zu pflegen?
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 62 %Hintergrund, keine Belege
- JEV 30 %einzelne zitierbare Belege
- amos 30 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 50 %gleiches Oberthema, hilft nicht
- d3-ultra
- Haiku-Prüfung gleiches Oberthema, hilft nicht
- SF-V5-T02 Würde man lieber einem großen, überwachten Modell vertrauen oder vielen kleinen, nicht überwachten?
Agenten und vernetzte Systeme
- SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- clef 100 %kein Bezug
- Luna 34 %Hintergrund, keine Belege
- JEV 53 %einzelne zitierbare Belege
- amos 24 %einzelne zitierbare Belege
- SubQ 100 %kein Bezug
- drex 42 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-A2 Lassen sich KI-Systeme sicher anhalten, zurücksetzen, abschotten oder drosseln, und wer darf das anordnen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 30 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Modelle teilen und schützen
- SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 40 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 31 %gleiches Oberthema, hilft nicht
- JEV 26 %nur am Rande erwähnt
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Frieden und Sicherheit
- SF-K2 Wie weit gelten KI-Abkommen für Verbündete und Geheimdienste, und wie verhalten sie sich zu bestehenden Rüstungskontrollverträgen und -regimen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 59 %gleiches Oberthema, hilft nicht
- d3-ultra
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 30 %einzelne zitierbare Belege
- amos 35 %gleiches Oberthema, hilft nicht
- SubQ 56 %gleiches Oberthema, hilft nicht
- drex 42 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-O3 Welcher Text gilt, und wie beweist man, dass ein Dokument nicht verändert wurde?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 33 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Beteiligung und Gemeinwohl
- SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 51 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Weitere Berichte zu diesen Fragen
- Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- Welche Regeln gelten für gefährliche Fähigkeiten jenseits von Cyber, etwa in Biologie, Chemie, bei radioaktiven Stoffen oder in der Nukleartechnik?
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- Alle Berichte im Archiv