Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
openai5. Januar 2021 · Q007789

CLIP: Connecting text and images

openai.com · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Der Bericht stellt CLIP als Bild-Text-Modell vor, das laut OpenAI viele Klassifikationsaufgaben durch sprachliche Kategorien ohne zusätzliche aufgabenspezifische Trainingsbeispiele lösen kann. Die berichteten Tests zeigen Vorteile auf mehreren Datensätzen außerhalb von ImageNet, aber Schwächen bei Zählen, feinen Unterscheidungen und handgeschriebenen Ziffern sowie eine Abhängigkeit von der Formulierung und Risiken durch Verzerrungen und mögliche Überwachung.

Mittel

Der Bericht beschreibt CLIP, ein von OpenAI vorgestelltes Modell, das Bild-Text-Paare aus dem Internet nutzt, um visuelle Konzepte mit Sprache zu verknüpfen. Beim Training lernt es, zu einem Bild den passenden Text aus vielen möglichen Beschreibungen auszuwählen. Für neue Klassifikationsaufgaben werden Kategorien als kurze Texte formuliert; laut Bericht kann CLIP sie dann ohne aufgabenspezifische Trainingsbeispiele vergleichen.

OpenAI berichtet von 76,2 Prozent Genauigkeit auf ImageNet im Zero-Shot-Verfahren, gleichauf mit dem verglichenen ResNet-101. Auf mehreren abweichenden Datensätzen, darunter ObjectNet und ImageNet Adversarial, seien die Werte deutlich höher als beim Vergleichsmodell. Die Autoren sehen darin Hinweise auf bessere Übertragbarkeit. Sie nennen außerdem Tests auf über 30 Datensätzen und Effizienzgewinne durch kontrastives Lernen und Vision Transformer; das größte Modell benötigte dennoch 256 GPUs für zwei Wochen.

Als Grenzen führt der Beitrag schwache Leistungen bei Zählen, Entfernungsschätzungen und sehr feinen Kategorien an. Auf handgeschriebenen Ziffern erreiche CLIP 88 Prozent, zudem hänge das Ergebnis teils von der Formulierung der Textlabels ab. Der Bericht weist auch auf Verzerrungen durch die Klassenauswahl sowie mögliche Datenschutz- und Überwachungsrisiken hin. CLIP wird daher als vielseitig, aber nicht allgemein zuverlässig dargestellt.

Ausführlich lesen

Der Bericht stellt CLIP („Contrastive Language–Image Pre-training“) als ein Modell vor, das Bilder und natürliche Sprache gemeinsam verarbeitet. OpenAI zufolge soll es visuelle Kategorien aus im Internet verfügbaren Bild-Text-Paaren lernen und dadurch viele Klassifikationsaufgaben ohne eigens für jede Aufgabe trainierte Beispiele bewältigen. Das soll drei Probleme herkömmlicher Computer-Vision-Verfahren angehen: den Aufwand für manuell beschriftete Datensätze, die enge Bindung vieler Modelle an eine einzelne Aufgabe und die laut Bericht oft schwache Leistung auf Daten, die von den üblichen Benchmarks abweichen.

Beim Training werden ein Bildencoder und ein Textencoder darauf ausgerichtet, zusammengehörige Bild-Text-Paare wiederzuerkennen. Als Lernaufgabe soll CLIP für ein Bild aus 32.768 zufällig ausgewählten Textausschnitten den tatsächlich dazugehörigen auswählen. Für eine neue Klassifikationsaufgabe werden die Kategorien in Textbeschreibungen umgewandelt, etwa „ein Foto eines Hundes“ oder „ein Foto einer Katze“; das Modell ordnet dem Bild die passendste Beschreibung zu. Der Bericht bezeichnet diese Nutzung als Zero-Shot-Klassifikation, weil für die konkrete Aufgabe kein zusätzliches Training mit Beispielen erforderlich ist.

Als Ergebnis berichtet OpenAI, CLIP erreiche auf ImageNet im Zero-Shot-Verfahren 76,2 Prozent Genauigkeit und damit denselben Wert wie das verglichene ResNet-101. Auf mehreren abweichenden Datensätzen liege CLIP jedoch höher: etwa bei 70,1 statt 64,3 Prozent auf ImageNet V2, 72,3 statt 32,6 Prozent auf ObjectNet und 77,1 statt 2,7 Prozent auf ImageNet Adversarial. Die Autoren deuten dies als Hinweis darauf, dass Zero-Shot-Ergebnisse die Leistung außerhalb des Trainingsbenchmarks besser abbilden könnten. Sie berichten außerdem von Tests auf mehr als 30 Datensätzen und davon, dass das beste CLIP-Modell bei linearen Probes auf 20 von 26 Transferdatensätzen ein öffentlich verfügbares ImageNet-Modell übertraf. Die im Beitrag gezeigten Einzelbeispiele umfassen unter anderem Lebensmittel, Szenen, Satellitenbilder und Texterkennung; die Vorhersagen können dabei auch unsicher oder falsch sein.

Zur Effizienz nennt der Bericht zwei Entscheidungen: ein kontrastives Lernziel, das in kleinen bis mittleren Experimenten beim Zero-Shot-ImageNet-Test vier- bis zehnmal effizienter als ein untersuchter Bild-zu-Text-Ansatz gewesen sei, sowie Vision Transformer, die gegenüber einem ResNet weitere dreifache Recheneffizienz gebracht hätten. Das größte Modell sei auf 256 GPUs über zwei Wochen trainiert worden. Das ist weiterhin ein erheblicher Rechenaufwand.

Der Bericht benennt klare Grenzen: CLIP sei bei abstrakten oder systematischen Aufgaben wie Zählen und beim Schätzen von Entfernungen kaum besser als Zufall. Bei sehr feinen Unterscheidungen, etwa zwischen Automodellen oder Blumenarten, falle es aufgabenspezifischen Modellen nach. Auf handgeschriebenen MNIST-Ziffern erreiche es laut Beitrag 88 Prozent, gegenüber 99,75 Prozent für Menschen; zudem könne die Leistung stark von der Formulierung der Textlabels abhängen und wiederholtes Prompt-Ausprobieren erfordern. Auch Verzerrungen und Risiken seien möglich: Die Auswahl der Klassen beeinflusse Ergebnisse und Bias. In einem beschriebenen Beispiel sank die problematische Zuordnung von Personen im Alter von 0 bis 20 Jahren zu abwertenden Kategorien, als „Kind“ als eigene Klasse ergänzt wurde. Für die Identifikation prominenter Personen nennt der Bericht 59,2 Prozent Top-1-Genauigkeit bei 100 und 43,3 Prozent bei 1.000 Kandidaten; er hält diese Leistung für nicht konkurrenzfähig mit verfügbaren Produktionsmodellen, sieht aber mögliche Datenschutz- und Überwachungsrisiken. Insgesamt präsentiert der Beitrag CLIP als flexibel und robustheitsfördernd, betont zugleich seine begrenzte Generalisierung, Prompt-Abhängigkeit und mögliche gesellschaftliche Folgen.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Bewertet wurden die Zusammenfassungen gemeinsam; die mittlere ist die inhaltlich vollständigere und bis auf die fehlenden Kernzahlen treu. Die Einordnungen beziehen sich auf den Bericht zu CLIP, der die Sicherheitsfragen nur am Rande berührt.

Im Bericht, aber nicht in der Zusammenfassung

  • Die Robustheitslücke soll laut Bericht um bis zu 75 Prozent geschlossen werden.
  • Zero-Shot-Genauigkeit auf ImageNet ohne die 1,28 Mio. gelabelten Originalbeispiele.
  • Ein linearer Klassifikator auf CLIP-Merkmalen verbessert die ImageNet-Genauigkeit um fast 10 Prozent, bringt aber auf sieben robusten Vergleichsdatensätzen im Mittel keinen Gewinn (Hinweis auf „Auswendiglernen“ statt Robustheit).

In der Zusammenfassung, laut Prüfung nicht im Bericht belegt

  • „das größte Modell“: Der Bericht nennt das leistungsstärkste CLIP-Modell mit 256 GPUs für zwei Wochen, nicht ausdrücklich das größte.

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Fähigkeiten messen
  1. SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 38 %einzelne zitierbare Belege
    • amos 41 %gleiches Oberthema, hilft nicht
    • SubQ 57 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Unabhängig prüfen
  1. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 100 %kein Bezug
    • Luna 40 %Hintergrund, keine Belege
    • JEV 41 %umfangreiche Belege
    • amos 28 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 46 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug

  2. SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
    • clef 100 %kein Bezug
    • Luna 56 %Hintergrund, keine Belege
    • JEV 26 %nur am Rande erwähnt
    • amos 23 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 41 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Tempo und Grenzen
  1. SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
    • clef 100 %kein Bezug
    • Luna 46 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 45 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
  2. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 100 %kein Bezug
    • Luna 40 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 50 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 72 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Vertrauen in Modelle
  1. SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
    • clef 100 %kein Bezug
    • Luna 37 %Hintergrund, keine Belege
    • JEV 37 %einzelne zitierbare Belege
    • amos 37 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 53 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug

    • SF-V1-T02 Welche Belege würden Vertrauen in ein KI-System rechtfertigen, über seine flüssigen Erklärungen hinaus? Luna: Stufe 5 · 44 % · umfangreiche Belege · Haiku-Prüfung: Stufe 5 · umfangreiche Belege
  2. SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
    • clef 100 %kein Bezug
    • Luna 51 %einzelne zitierbare Belege
    • JEV 32 %beantwortet teilweise oder widerspricht
    • amos 37 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 62 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung einzelne zitierbare Belege

    • SF-V3-T03 Werden Labore und die übrige Branche gemeinsame Tests veröffentlichen, ob Werte bei unbekannten Aufgaben, widerstreitenden Anreizen, in gegnerischen Lagen und bei fehlender oder anders wahrgenommener Aufsicht halten, unabhängig wiederholt und mit Fehlschlägen und Unsicherheit? Luna: Stufe 3 · 36 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 2 · nur am Rande erwähnt
    • SF-V3-T04 Wer muss Rechenschaft ablegen, wenn ein Modell Werte auf Lagen überträgt, die beim Training niemand vorhergesehen hat: das Modell, das Labor oder der Mensch, der das Ziel gesetzt hat? Luna: Stufe 3 · 31 % · Hintergrund, keine Belege
  3. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 28 %Hintergrund, keine Belege
    • JEV 48 %einzelne zitierbare Belege
    • amos 45 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug

  4. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 46 %einzelne zitierbare Belege
    • JEV 41 %einzelne zitierbare Belege
    • amos 37 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 51 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung Hintergrund, keine Belege

    • SF-V5-T02 Würde man lieber einem großen, überwachten Modell vertrauen oder vielen kleinen, nicht überwachten? Luna: Stufe 3 · 35 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 1 · gleiches Oberthema, hilft nicht
Agenten und vernetzte Systeme
Modelle teilen und schützen
  1. SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
    • clef 100 %kein Bezug
    • Luna 41 %Hintergrund, keine Belege
    • JEV 53 %einzelne zitierbare Belege
    • amos 37 %gleiches Oberthema, hilft nicht
    • SubQ 52 %gleiches Oberthema, hilft nicht
    • drex 52 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
  2. SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
    • clef 100 %kein Bezug
    • Luna 54 %einzelne zitierbare Belege
    • JEV 33 %einzelne zitierbare Belege
    • amos 27 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 43 %gleiches Oberthema, hilft nicht
    • d3-ultra 58 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung Hintergrund, keine Belege

Offenlegung und Rechenschaft
  1. SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 26 %einzelne zitierbare Belege
    • amos 46 %gleiches Oberthema, hilft nicht
    • SubQ 55 %gleiches Oberthema, hilft nicht
    • drex 48 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
  1. SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
    • clef 100 %kein Bezug
    • Luna 42 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 41 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  2. SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
    • clef 100 %kein Bezug
    • Luna 61 %Hintergrund, keine Belege
    • JEV 25 %einzelne zitierbare Belege
    • amos 42 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 45 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug

  3. SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
    • clef 100 %kein Bezug
    • Luna 24 %einzelne zitierbare Belege
    • JEV 29 %einzelne zitierbare Belege
    • amos 50 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 46 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug

Information und Öffentlichkeit
  1. SF-I1 Wie erkennt man KI-erzeugte Inhalte und KI-erzeugte Einflussnahme, ohne die Meinungsfreiheit zu beschneiden?
    • clef 100 %kein Bezug
    • Luna 36 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 41 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 52 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →