A Hands-On Comparison: Gemini Pro vs GPT-3.5
Zusammenfassung
Kurz
Frank Andrade findet Gemini Pro und GPT‑3.5 bei allgemeinen Aufgaben ähnlich gut, sieht GPT‑3.5 aber bei seinen Denk- und Programmieraufgaben leicht bis deutlich vorn. Bard punktet für ihn mit Google-App-Verbindungen; die Einschätzung beruht auf wenigen Einzeltests und ist nicht umfassend.
Mittel
Frank Andrade vergleicht Gemini Pro in Googles Bard mit GPT‑3.5 bei Schreib- und Assistenzaufgaben, drei Denkaufgaben sowie Code-Erklärung und -Erzeugung. Bei allgemeinen Anfragen sieht er ähnliche Leistungen. Bard bietet in seinem Test durch Verbindungen zu Google-Diensten Zugriff auf Reiseinformationen und persönliche Apps; den humorvollen Text von Gemini Pro bewertet Andrade etwas höher.
Bei den Denkaufgaben lösen beide eine einfache Frage. GPT‑3.5 bewältigt eine Zahlenfolge, an der Gemini Pro scheitert; bei einer schwierigeren Buchstabenfolge scheitern beide. Der Autor hält GPT‑3.5 deshalb für leicht überlegen, betont aber, dass weitere Tests nötig seien. Beide erklären ein Python-Skript gut. Bei der Bitte um Code zum E-Mail-Versand verweigert Bard zunächst teils die Ausgabe und liefert nach geänderten Prompts laut Andrade nicht alle gewünschten Details. GPT‑3.5 erfüllt die Bitte; in diesem Bereich sieht er es vorn.
Insgesamt bewertet Andrade die Modelle als ähnlich leistungsfähig und würde je nach Bedarf GPT‑3.5 zum Programmieren oder Bard für Google-App-Verbindungen wählen. Seine Schlüsse beruhen auf wenigen Beispielen und persönlicher Einschätzung, nicht auf einem umfassenden Test.
Ausführlich lesen
Der Autor Frank Andrade vergleicht Gemini Pro, damals über Googles Bard verfügbar, mit GPT‑3.5. Er prüft beide bei allgemeinen Schreib- und Assistenzaufgaben, bei Denkaufgaben und beim Erklären beziehungsweise Erzeugen von Python-Code. Gemini Ultra ist laut Artikel zu diesem Zeitpunkt noch nicht verfügbar und gehört nicht zum Vergleich.
Bei allgemeinen Anfragen lässt Andrade beide Systeme eine Reise planen, eine Rolle übernehmen und einen humorvollen Blogbeitrag verfassen. Er berichtet von insgesamt ähnlichen Leistungen. Bard könne durch Verbindungen zu Google-Diensten wie Flights und Hotels aktuelle Reiseinformationen abrufen und über Gmail oder Drive Antworten persönlicher gestalten; GPT‑3.5 habe in seinem Vergleich weder Internetzugriff noch solche App-Verbindungen. Die humorvollen Texte beider Systeme hätten ihm gefallen, der von Gemini Pro etwas besser. Für diese erste Runde würde er deshalb Gemini Pro wählen.
Die Denkfähigkeiten prüft der Autor anhand von drei Aufgaben. Eine einfache Aufgabe zu Preisverhältnissen lösen beide. Bei einer Zahlenfolge scheitert Gemini Pro, während GPT‑3.5 nach seiner Darstellung die richtige Fortsetzung findet. Eine weitere, schwierigere Buchstabenfolge lösen beide nicht; laut Andrade geben sie dieselbe falsche Antwort. Er merkt an, dass GPT‑4 die richtige Lösung gefunden habe. Aus diesen wenigen Beispielen schließt er vorsichtig, GPT‑3.5 sei beim Schlussfolgern etwas besser, betont aber, dass mehr Tests nötig wären. Zusätzlich verweist er auf eine Google-Studie, der zufolge Gemini Pro bei Grundschulmathematik besser als GPT‑3.5 und bei einem breiteren Mathematikvergleich ungefähr auf dessen Niveau liege.
Beim Programmieren erklären beide ein vorgegebenes Python-Skript zur Webseitenauswertung verständlich. Bei einer Bitte, Code zum Versenden einer E-Mail zu schreiben, verweigere Bard die Ausgabe zunächst gelegentlich. Andrade habe die Eingabeaufforderung anpassen müssen; der schließlich erzeugte Code habe die gewünschten Angaben zu Betreff und Nachricht nicht vollständig übernommen. GPT‑3.5 habe die ursprüngliche Bitte dagegen umgesetzt. In diesem Teil sieht der Autor GPT‑3.5 klar vorn.
Sein Gesamturteil lautet, die Modelle lägen insgesamt auf ähnlichem Niveau, ihre Unterschiede ergäben sich auch aus den Funktionen und Einschränkungen von Bard und ChatGPT. Als Programmierer würde er GPT‑3.5 bevorzugen, weil ChatGPT nach seiner Erfahrung kaum die Codeausgabe verweigere; für den Zugang zu Google-Apps würde er Bard nutzen. Er sagt außerdem, beide seien GPT‑4 deutlich unterlegen, räumt aber dessen höheren Preis als wesentlichen Nachteil ein. Die Bewertung beruht auf den im Artikel beschriebenen Einzelaufgaben und persönlichen Eindrücken; sie ist kein umfassender oder systematischer Leistungstest.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Luna gibt die Inhalte des Berichts im Wesentlichen treu wieder; es fehlen vor allem Andrades Verweis auf eigene GPT-4-Nutzung und der Kontext des Google-Papers. Die Einordnung der Sammelfragen erfolgt unabhängig von Lunas Stufen und stützt sich nur auf den Bericht.
Im Bericht, aber nicht in der Zusammenfassung
- Andrade nutzt selbst GPT-4 und hält es für deutlich überlegen; er würde Gemini Pro und GPT-3.5 deshalb nicht verwenden.
- Gemini Ultra war noch nicht verfügbar; Andrade kündigt einen späteren Vergleich an.
- Der Bericht bezieht sich auf Googles eigene Paper-Angaben, wonach Gemini Pro bei Grundschulmathematik überlegen sein soll; Andrades Tests bestätigen das nicht.
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Vorfälle melden
- SF-M4 Wie kommen Meldungen von Laboren, Betreibern und Nutzern schnell und geschützt zu den Stellen, die handeln müssen, auch über Grenzen hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 49 %gleiches Oberthema, hilft nicht
- drex 64 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 57 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 52 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 46 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 53 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 57 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 51 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 54 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 52 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 70 %gleiches Oberthema, hilft nicht
- d3-ultra 50 %gleiches Oberthema, hilft nicht
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 57 %gleiches Oberthema, hilft nicht
- d3-ultra 53 %gleiches Oberthema, hilft nicht
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 36 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 66 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 52 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 47 %gleiches Oberthema, hilft nicht
- JEV
- amos 28 %nur am Rande erwähnt
- SubQ 100 %kein Bezug
- drex 63 %gleiches Oberthema, hilft nicht
- d3-ultra 61 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung nur am Rande erwähnt
Agenten und vernetzte Systeme
- SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 34 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 45 %gleiches Oberthema, hilft nicht
- d3-ultra 56 %gleiches Oberthema, hilft nicht
- SF-A2 Lassen sich KI-Systeme sicher anhalten, zurücksetzen, abschotten oder drosseln, und wer darf das anordnen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 48 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-A3 Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Modelle teilen und schützen
- SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 52 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 47 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 51 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 54 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E2 In welchem Rahmen sollen Staaten KI regeln, und wo liegt eine gemeinsame Untergrenze?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 36 %Hintergrund, keine Belege
- JEV
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 50 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung gleiches Oberthema, hilft nicht
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 58 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 59 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Wirtschaft und Haftung
- SF-W2 Wie wirken sich Wettbewerbsrecht und öffentliche Beschaffung auf die KI-Sicherheit aus?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Information und Öffentlichkeit
- SF-I1 Wie erkennt man KI-erzeugte Inhalte und KI-erzeugte Einflussnahme, ohne die Meinungsfreiheit zu beschneiden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 56 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug