Gemini Ultra vs GPT-4: Did Google Beat GPT-4 This Time?
Zusammenfassung
Kurz
Andrade sieht Gemini Ultra in seinen Versuchen bei Geschwindigkeit, Google-Apps und realistischen Bildern im Vorteil, GPT‑4 dagegen beim Schlussfolgern und bei der Codegenerierung. Sein Vergleich beruht auf wenigen persönlichen Tests; Datei- und Kreativitätstests fehlen, und die Bildbewertung ist teilweise subjektiv.
Mittel
Frank Andrade vergleicht Gemini Ultra mit GPT‑4 anhand eigener Versuche zu Geschwindigkeit, Google-Diensten, Bildgenerierung, Schlussfolgern und Code. Gemini sei in den meisten Tests schneller und könne für Reiseanfragen direkt Google Flights und Hotels nutzen. Seine Bilder wirkten laut Andrade besonders realistisch; für ausgearbeitete Bildideen und detaillierte Prompts bevorzugt er jedoch DALL‑E 3 oder Midjourney. Die Bildpräferenz sei teilweise subjektiv. Bei Versuchen in Europa habe Gemini keine Bilder erzeugt; mit einem VPN-Standort in den USA habe es funktioniert.
Bei zwei Rätseln fand Gemini die richtigen Lösungen erst in späteren Entwürfen. GPT‑4 löste eines direkt und das andere beim zweiten Versuch. Andrade sieht GPT‑4 deshalb beim Schlussfolgern vorn. Beide Modelle könnten Code erklären, doch Gemini habe bei mehreren Skripten die Generierung abgebrochen; ein Snake-Spiel habe es dagegen erstellt und den Export nach Colab angeboten. Daraus leitet Andrade einen Vorteil für GPT‑4 beim Programmieren ab. Der Vergleich ist begrenzt: Er beruht auf persönlichen Tests mit nur zwei Denkaufgaben. Datei- und Kreativitätstests ließ der Autor aus; Gemini habe damals außer Bildern keine Dateien unterstützt.
Ausführlich lesen
Frank Andrade vergleicht in seinem Beitrag Gemini Ultra, das damals über Gemini Advanced verfügbar war, mit GPT‑4. Er untersucht Geschwindigkeit, die Anbindung an Google-Dienste, Bildgenerierung, logisches Schlussfolgern und Programmiererzeugung. Sein Fazit fällt gemischt aus: Gemini sei in den meisten von ihm ausprobierten Aufgaben schneller und könne Google Flights und Hotels direkt einbeziehen; bei den gezeigten Denk- und Programmieraufgaben schneide GPT‑4 besser ab.
Für einen Reiseplan fragt Andrade nach Flügen von Kalifornien nach New York und Hotels nahe dem Central Park. Laut seinem Bericht ruft Gemini dafür automatisch Informationen aus den Google-Apps ab. GPT‑4 biete diese Verbindung standardmäßig nicht, könne aber über Plugins oder speziell eingerichtete Aktionen eine ähnliche Funktion erhalten.
Bei der Bildgenerierung beschreibt Andrade Geminis Bilder als auffallend realistisch, fast wie professionelle Stockfotos. Für einfache Prompts und realistische Motive hält er Gemini für geeignet. DALL‑E 3 schneide seiner Einschätzung nach besser ab, wenn ein prägnanterer, ausgearbeiteter Bildstil oder Hilfe beim Formulieren eines detaillierten Prompts gefragt sei; auch Midjourney nennt er als mögliche Alternative. Die Bildauswahl bewertet er teilweise ausdrücklich nach persönlichem Geschmack. Bei seinen Versuchen in Europa habe Gemini zudem keine Bilder erzeugt; erst mit einem VPN-Standort in den USA sei es gelungen.
Das Schlussfolgern vergleicht er anhand zweier Rätsel. Bei einer Zahlenfolge habe Gemini zunächst eine falsche Antwort geliefert, in einem späteren Entwurf aber die richtige; GPT‑4 sei langsamer gewesen und habe beim ersten Versuch richtig geantwortet. Beim zweiten Rätsel seien Geminis erste Entwürfe falsch gewesen, bevor ein weiterer Entwurf zur Lösung führte. GPT‑4 habe zunächst ebenfalls danebengelegen, beim zweiten Versuch jedoch richtig geantwortet. Aus diesen Beispielen folgert Andrade, GPT‑4 sei beim logischen Schlussfolgern besser.
Beim Programmieren berichtet er, beide Modelle könnten Code erklären. Gemini habe ein Snake-Spiel erzeugt, das sich mit einem Klick nach Google Colab exportieren ließ. Bei anderen Skripten sei die Ausgabe in seinen Versuchen dagegen abgebrochen. Er erwähnt, dass auch einige YouTuber ähnliche Schwierigkeiten beschrieben hätten, und bewertet GPT‑4 deshalb als zuverlässiger bei der Codegenerierung.
Die Vergleiche beruhen auf Andrades eigenen, begrenzten Versuchen und zwei Aufgaben zum Schlussfolgern; der Beitrag belegt damit keinen allgemeinen Leistungsvergleich. Er lässt Dateiuploads wie PDFs und Datensätze aus, weil Gemini laut Artikel zu diesem Zeitpunkt außer Bildern keine Dateien unterstützte. Einen Kreativitätstest führt Andrade ebenfalls nicht durch, da er ihn für subjektiv hält.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Luna hat nur drei Sammelfragen eingeordnet und keine Teilfragen angegeben. Die Einordnung wurde deshalb nur für diese drei Kennungen vorgenommen; die Anteilswerte (50, 47, 43 Prozent) wurden nicht übernommen. Die Zusammenfassung wurde am mittleren Text geprüft, der kurze Text ist inhaltlich ebenfalls treu.
Im Bericht, aber nicht in der Zusammenfassung
- Gemini verbessert Prompts nicht selbst, DALL-E 3 dagegen schon, was Andrade als Vorteil von DALL-E 3 für Einsteiger wertet
- Gemini Ultra hatte zuvor in Benchmarks GPT-4 geschlagen; Andrade testet, ob das im Alltag hält
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Vorfälle melden
- SF-M3 Wie stellt man fest, ob ein Vorfall gewollt oder versehentlich war, und ob KI oder herkömmliche Mittel dahinterstecken?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-M4 Wie kommen Meldungen von Laboren, Betreibern und Nutzern schnell und geschützt zu den Stellen, die handeln müssen, auch über Grenzen hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 53 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 57 %gleiches Oberthema, hilft nicht
- drex 58 %gleiches Oberthema, hilft nicht
- d3-ultra 49 %gleiches Oberthema, hilft nicht
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 51 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 59 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 54 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 44 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 50 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 57 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 56 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 56 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 53 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 66 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 55 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 71 %gleiches Oberthema, hilft nicht
- d3-ultra 61 %gleiches Oberthema, hilft nicht
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 41 %gleiches Oberthema, hilft nicht
- JEV
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 59 %gleiches Oberthema, hilft nicht
- d3-ultra 51 %gleiches Oberthema, hilft nicht
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 42 %gleiches Oberthema, hilft nicht
- JEV
- amos 50 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 73 %gleiches Oberthema, hilft nicht
- d3-ultra 49 %gleiches Oberthema, hilft nicht
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 40 %gleiches Oberthema, hilft nicht
- JEV
- amos 56 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 44 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 47 %gleiches Oberthema, hilft nicht
- JEV
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 54 %gleiches Oberthema, hilft nicht
- drex 63 %gleiches Oberthema, hilft nicht
- d3-ultra 65 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung nur am Rande erwähnt
Agenten und vernetzte Systeme
- SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 35 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 48 %gleiches Oberthema, hilft nicht
- d3-ultra 61 %gleiches Oberthema, hilft nicht
- SF-A2 Lassen sich KI-Systeme sicher anhalten, zurücksetzen, abschotten oder drosseln, und wer darf das anordnen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 54 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-A3 Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Modelle teilen und schützen
- SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 54 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 100 %kein Bezug
- SubQ 62 %gleiches Oberthema, hilft nicht
- drex 51 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 43 %gleiches Oberthema, hilft nicht
- JEV
- amos 52 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 44 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung gleiches Oberthema, hilft nicht
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 48 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E2 In welchem Rahmen sollen Staaten KI regeln, und wo liegt eine gemeinsame Untergrenze?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 64 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 50 %gleiches Oberthema, hilft nicht
- JEV
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 57 %gleiches Oberthema, hilft nicht
- drex 68 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung nur am Rande erwähnt
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 56 %gleiches Oberthema, hilft nicht
- SubQ 51 %gleiches Oberthema, hilft nicht
- drex 63 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Wirtschaft und Haftung
- SF-W2 Wie wirken sich Wettbewerbsrecht und öffentliche Beschaffung auf die KI-Sicherheit aus?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 46 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Information und Öffentlichkeit
- SF-I1 Wie erkennt man KI-erzeugte Inhalte und KI-erzeugte Einflussnahme, ohne die Meinungsfreiheit zu beschneiden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 47 %gleiches Oberthema, hilft nicht
- d3-ultra 58 %gleiches Oberthema, hilft nicht