Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
frank-andrade.medium.com7. März 2024 · Q009977

Claude 3 Beats GPT-4 in Benchmarks: Is That Enough to Switch?

frank-andrade.medium.com · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Der Autor findet Claude 3 Opus in seinen kleinen Tests zu Logik, Programmierung, Bildanalyse und Kreativität insgesamt mit GPT‑4 vergleichbar; Claude antwortet meist knapper, GPT‑4 oft ausführlicher. Die Benchmarkvorsprünge werden im Bericht als Angaben von Anthropic wiedergegeben, und die persönlichen Tests sind zu begrenzt für allgemeine Aussagen. Für GPT‑4 sprechen laut Autor außerdem Zusatzfunktionen wie Code Interpreter, DALL‑E 3 und GPTs.

Mittel

Der Bericht prüft, ob Claude 3 Opus’ Benchmarkwerte einen Wechsel von GPT‑4 nahelegen. Anthropic zufolge liegt Opus in mehreren Vergleichen vorn; genannt werden 86,8 gegenüber 86,4 Prozent bei Wissen auf Undergraduate-Niveau und größere Vorsprünge bei GPQA und GSM8K. Der Autor gibt diese Benchmarkangaben wieder, überprüft sie aber nicht unabhängig.

In eigenen Aufgaben zu Logik, Code, Bildanalyse und Kreativität schneiden beide Modelle meist ähnlich ab. Bei Reihenaufgaben antworten beide korrekt, Claude meist knapp und GPT‑4 häufiger mit einer Erklärung. Beide erzeugen laut Autor funktionierenden Code für Pascals Dreieck. Ein einzelner Lauf war mit Claudes Skript schneller, doch der Beitrag räumt ein, dass solche Zeiten von der jeweiligen Aufgabe abhängen. Beide beschreiben auch Teslas Kursbild; GPT‑4 ausführlicher. Die kurzen Geschichten erfüllen die Vorgabe, werden aber nicht als besonders originell bewertet.

Der Autor hält Claude insgesamt für konkurrenzfähig, merkt jedoch an, dass Antworten oft knapp oder zu allgemein seien. Für GPT‑4 sprächen zusätzliche Funktionen wie Code Interpreter und DALL‑E 3. Die kleinen, nicht systematisch beschriebenen Einzeltests erlauben keine weitreichenden Schlussfolgerungen; der Bericht liefert vor allem persönliche Eindrücke.

Ausführlich lesen

Der Bericht fragt, ob Claude 3 Opus’ gute Benchmarkwerte einen Wechsel von ChatGPT mit GPT‑4 rechtfertigen. Der Autor stellt zunächst Claude 3 als Modellfamilie mit drei Varianten vor, die unterschiedliche Leistungs- und Kostenprofile bieten sollen; Haiku sei zum Zeitpunkt des Artikels allerdings noch nicht verfügbar gewesen. Anthropic zufolge liege Opus in manchen Benchmarks vor GPT‑4 und Gemini Ultra. Als Beispiele nennt der Beitrag 86,8 Prozent gegenüber 86,4 Prozent bei Wissen auf Undergraduate-Niveau sowie größere Abstände bei Graduate-Level-Reasoning (GPQA) und Grundschulmathematik (GSM8K). Das sind im Bericht wiedergegebene Benchmarkangaben, keine unabhängige Überprüfung.

Anschließend vergleicht der Autor beide Modelle anhand eigener Aufgaben zu logischem Denken, Programmierung, Bildverständnis und Kreativität. Bei einfachen Reihenaufgaben finden beide die richtigen Antworten. Claude antworte dabei meist knapp, während GPT‑4 den Lösungsweg häufig ungefragt erläutere. Der Autor bewertet das als Frage der bevorzugten Antwortform, nicht als klaren Leistungssieg eines Modells.

Für die Programmierprobe sollen beide eine Funktion zum Zeichnen von Pascals Dreieck anhand der Seitenlänge erstellen. Laut Beitrag funktionierten beide erzeugten Programme; Claude habe zusätzlich die Funktionsweise und die erwartete Ausgabe erklärt. Bei einem gemessenen Lauf benötigte Claudes Skript 5,5 × 10⁻⁵ Sekunden, das von GPT‑4 2,3 × 10⁻⁴ Sekunden. Der Autor bezeichnet den Unterschied als geringfügig und weist selbst darauf hin, dass die Laufzeit je nach angeforderter Lösung variieren kann. Aus dieser einzelnen Messung lässt sich daher kein allgemeiner Geschwindigkeitsvorteil ableiten.

Beim Bildtest sollten die Modelle eine Abbildung zu Teslas Aktienkurs beschreiben und Schlussfolgerungen nennen. Beide erkennen laut Autor die Aktie und die Kursbewegungen; GPT‑4 liefere dabei eine ausführlichere Analyse. Der Beitrag sieht deshalb die Bildverarbeitung nicht als überzeugenden Grund für einen Wechsel. Auch bei einer kurzen, futuristischen Geschichte mit einem Roboter und einem Anwalt erfüllen beide die Vorgabe, ohne den Autor durch besondere Originalität zu beeindrucken.

Das Fazit lautet, Claude 3 Opus könne bei den ausprobierten Aufgaben qualitativ mit GPT‑4 mithalten. Zugleich seien Claudes Antworten häufig zu kurz oder gelegentlich zu allgemein. Für GPT‑4 spreche aus Sicht des Autors außerdem das Angebot exklusiver Funktionen wie Custom Instructions, Code Interpreter, DALL‑E 3 und GPTs. Die praktischen Vergleiche beruhen auf einer kleinen Auswahl selbst gestellter Aufgaben; der Text beschreibt weder ein systematisches Testverfahren noch genügend Wiederholungen, um allgemeine Leistungsurteile abzusichern. Die Ergebnisse geben daher vor allem die Beobachtungen und Präferenzen des Autors wieder. Insgesamt sieht er keinen zwingenden Wechselgrund allein aufgrund der Benchmarks oder dieser Beispiele.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Die Einordnung stützt sich nur auf den Berichtstext. Luna hat zwei Fassungen der Zusammenfassung geliefert; beide wurden gemeinsam bewertet. Die Anteilsangaben in Lunas Einordnung wurden nicht übernommen, da die Skala des Prüfauftrags gilt.

Im Bericht, aber nicht in der Zusammenfassung

  • Claude erklärte beim Pascal-Dreieck zusätzlich, wie der Code funktioniert und wie die Ausgabe aussieht.
  • Haiku ist noch nicht auf dem Markt; der Bericht nennt drei Modellversionen mit unterschiedlichem Verhältnis von Leistung und Kosten.

In der Zusammenfassung, laut Prüfung nicht im Bericht belegt

  • Die Aussage, die persönlichen Tests seien zu begrenzt bzw. nicht systematisch beschrieben, steht so nicht im Bericht; sie ist eine Schlussfolgerung von Luna.

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Fähigkeiten messen
Unabhängig prüfen
Tempo und Grenzen
Vertrauen in Modelle
Agenten und vernetzte Systeme
Modelle teilen und schützen
Frieden und Sicherheit
Offenlegung und Rechenschaft
Beteiligung und Gemeinwohl
Wirtschaft und Haftung
Information und Öffentlichkeit

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →