Claude 3 Beats GPT-4 in Benchmarks: Is That Enough to Switch?
Zusammenfassung
Kurz
Der Autor findet Claude 3 Opus in seinen kleinen Tests zu Logik, Programmierung, Bildanalyse und Kreativität insgesamt mit GPT‑4 vergleichbar; Claude antwortet meist knapper, GPT‑4 oft ausführlicher. Die Benchmarkvorsprünge werden im Bericht als Angaben von Anthropic wiedergegeben, und die persönlichen Tests sind zu begrenzt für allgemeine Aussagen. Für GPT‑4 sprechen laut Autor außerdem Zusatzfunktionen wie Code Interpreter, DALL‑E 3 und GPTs.
Mittel
Der Bericht prüft, ob Claude 3 Opus’ Benchmarkwerte einen Wechsel von GPT‑4 nahelegen. Anthropic zufolge liegt Opus in mehreren Vergleichen vorn; genannt werden 86,8 gegenüber 86,4 Prozent bei Wissen auf Undergraduate-Niveau und größere Vorsprünge bei GPQA und GSM8K. Der Autor gibt diese Benchmarkangaben wieder, überprüft sie aber nicht unabhängig.
In eigenen Aufgaben zu Logik, Code, Bildanalyse und Kreativität schneiden beide Modelle meist ähnlich ab. Bei Reihenaufgaben antworten beide korrekt, Claude meist knapp und GPT‑4 häufiger mit einer Erklärung. Beide erzeugen laut Autor funktionierenden Code für Pascals Dreieck. Ein einzelner Lauf war mit Claudes Skript schneller, doch der Beitrag räumt ein, dass solche Zeiten von der jeweiligen Aufgabe abhängen. Beide beschreiben auch Teslas Kursbild; GPT‑4 ausführlicher. Die kurzen Geschichten erfüllen die Vorgabe, werden aber nicht als besonders originell bewertet.
Der Autor hält Claude insgesamt für konkurrenzfähig, merkt jedoch an, dass Antworten oft knapp oder zu allgemein seien. Für GPT‑4 sprächen zusätzliche Funktionen wie Code Interpreter und DALL‑E 3. Die kleinen, nicht systematisch beschriebenen Einzeltests erlauben keine weitreichenden Schlussfolgerungen; der Bericht liefert vor allem persönliche Eindrücke.
Ausführlich lesen
Der Bericht fragt, ob Claude 3 Opus’ gute Benchmarkwerte einen Wechsel von ChatGPT mit GPT‑4 rechtfertigen. Der Autor stellt zunächst Claude 3 als Modellfamilie mit drei Varianten vor, die unterschiedliche Leistungs- und Kostenprofile bieten sollen; Haiku sei zum Zeitpunkt des Artikels allerdings noch nicht verfügbar gewesen. Anthropic zufolge liege Opus in manchen Benchmarks vor GPT‑4 und Gemini Ultra. Als Beispiele nennt der Beitrag 86,8 Prozent gegenüber 86,4 Prozent bei Wissen auf Undergraduate-Niveau sowie größere Abstände bei Graduate-Level-Reasoning (GPQA) und Grundschulmathematik (GSM8K). Das sind im Bericht wiedergegebene Benchmarkangaben, keine unabhängige Überprüfung.
Anschließend vergleicht der Autor beide Modelle anhand eigener Aufgaben zu logischem Denken, Programmierung, Bildverständnis und Kreativität. Bei einfachen Reihenaufgaben finden beide die richtigen Antworten. Claude antworte dabei meist knapp, während GPT‑4 den Lösungsweg häufig ungefragt erläutere. Der Autor bewertet das als Frage der bevorzugten Antwortform, nicht als klaren Leistungssieg eines Modells.
Für die Programmierprobe sollen beide eine Funktion zum Zeichnen von Pascals Dreieck anhand der Seitenlänge erstellen. Laut Beitrag funktionierten beide erzeugten Programme; Claude habe zusätzlich die Funktionsweise und die erwartete Ausgabe erklärt. Bei einem gemessenen Lauf benötigte Claudes Skript 5,5 × 10⁻⁵ Sekunden, das von GPT‑4 2,3 × 10⁻⁴ Sekunden. Der Autor bezeichnet den Unterschied als geringfügig und weist selbst darauf hin, dass die Laufzeit je nach angeforderter Lösung variieren kann. Aus dieser einzelnen Messung lässt sich daher kein allgemeiner Geschwindigkeitsvorteil ableiten.
Beim Bildtest sollten die Modelle eine Abbildung zu Teslas Aktienkurs beschreiben und Schlussfolgerungen nennen. Beide erkennen laut Autor die Aktie und die Kursbewegungen; GPT‑4 liefere dabei eine ausführlichere Analyse. Der Beitrag sieht deshalb die Bildverarbeitung nicht als überzeugenden Grund für einen Wechsel. Auch bei einer kurzen, futuristischen Geschichte mit einem Roboter und einem Anwalt erfüllen beide die Vorgabe, ohne den Autor durch besondere Originalität zu beeindrucken.
Das Fazit lautet, Claude 3 Opus könne bei den ausprobierten Aufgaben qualitativ mit GPT‑4 mithalten. Zugleich seien Claudes Antworten häufig zu kurz oder gelegentlich zu allgemein. Für GPT‑4 spreche aus Sicht des Autors außerdem das Angebot exklusiver Funktionen wie Custom Instructions, Code Interpreter, DALL‑E 3 und GPTs. Die praktischen Vergleiche beruhen auf einer kleinen Auswahl selbst gestellter Aufgaben; der Text beschreibt weder ein systematisches Testverfahren noch genügend Wiederholungen, um allgemeine Leistungsurteile abzusichern. Die Ergebnisse geben daher vor allem die Beobachtungen und Präferenzen des Autors wieder. Insgesamt sieht er keinen zwingenden Wechselgrund allein aufgrund der Benchmarks oder dieser Beispiele.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Die Einordnung stützt sich nur auf den Berichtstext. Luna hat zwei Fassungen der Zusammenfassung geliefert; beide wurden gemeinsam bewertet. Die Anteilsangaben in Lunas Einordnung wurden nicht übernommen, da die Skala des Prüfauftrags gilt.
Im Bericht, aber nicht in der Zusammenfassung
- Claude erklärte beim Pascal-Dreieck zusätzlich, wie der Code funktioniert und wie die Ausgabe aussieht.
- Haiku ist noch nicht auf dem Markt; der Bericht nennt drei Modellversionen mit unterschiedlichem Verhältnis von Leistung und Kosten.
In der Zusammenfassung, laut Prüfung nicht im Bericht belegt
- Die Aussage, die persönlichen Tests seien zu begrenzt bzw. nicht systematisch beschrieben, steht so nicht im Bericht; sie ist eine Schlussfolgerung von Luna.
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 31 %gleiches Oberthema, hilft nicht
- JEV
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 55 %gleiches Oberthema, hilft nicht
- drex 58 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 52 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 53 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 50 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 52 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 49 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 47 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 61 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 56 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 46 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 42 %gleiches Oberthema, hilft nicht
- JEV
- amos 58 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 74 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 44 %gleiches Oberthema, hilft nicht
- JEV
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 58 %gleiches Oberthema, hilft nicht
- d3-ultra 49 %gleiches Oberthema, hilft nicht
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 70 %gleiches Oberthema, hilft nicht
- JEV
- amos 51 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 69 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung gleiches Oberthema, hilft nicht
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 56 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 47 %gleiches Oberthema, hilft nicht
- JEV
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 48 %gleiches Oberthema, hilft nicht
- drex 61 %gleiches Oberthema, hilft nicht
- d3-ultra 61 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung gleiches Oberthema, hilft nicht
Agenten und vernetzte Systeme
- SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 56 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-A2 Lassen sich KI-Systeme sicher anhalten, zurücksetzen, abschotten oder drosseln, und wer darf das anordnen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 63 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Modelle teilen und schützen
- SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 52 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 57 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 45 %gleiches Oberthema, hilft nicht
- JEV
- amos 51 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Frieden und Sicherheit
- SF-K2 Wie weit gelten KI-Abkommen für Verbündete und Geheimdienste, und wie verhalten sie sich zu bestehenden Rüstungskontrollverträgen und -regimen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 46 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 51 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 100 %kein Bezug
- SubQ 51 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E2 In welchem Rahmen sollen Staaten KI regeln, und wo liegt eine gemeinsame Untergrenze?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 49 %gleiches Oberthema, hilft nicht
- drex 52 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 54 %gleiches Oberthema, hilft nicht
- JEV
- amos 49 %gleiches Oberthema, hilft nicht
- SubQ 48 %gleiches Oberthema, hilft nicht
- drex 52 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung nur am Rande erwähnt
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 50 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 46 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Wirtschaft und Haftung
- SF-W2 Wie wirken sich Wettbewerbsrecht und öffentliche Beschaffung auf die KI-Sicherheit aus?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Information und Öffentlichkeit
- SF-I1 Wie erkennt man KI-erzeugte Inhalte und KI-erzeugte Einflussnahme, ohne die Meinungsfreiheit zu beschneiden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 57 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug