Using PARAT to Rank Companies by Top AI Conference Publications
Zusammenfassung
Kurz
CSETs PARAT-Rangliste verändert sich deutlich, wenn Unternehmen nach dem Anteil ihrer KI-Publikationen auf ausgewählten Spitzenkonferenzen statt nach der Gesamtzahl ihrer KI-Veröffentlichungen sortiert werden: LinkedIn, Spotify und Twitter steigen stark auf, Samsung fällt zurück. Die Auswertung betrachtet 2010 bis 2020, nutzt 13 ausgewählte Konferenzen und schließt 18 Unternehmen mit sehr wenigen Publikationen aus; absolute Publikationszahlen und Anteile bilden unterschiedliche Aspekte ab.
Mittel
Der Bericht vergleicht Unternehmensranglisten aus CSETs PARAT: eine nach der Gesamtzahl von KI-Veröffentlichungen und eine nach dem Anteil dieser Veröffentlichungen, der auf ausgewählten führenden KI-Konferenzen erscheint. Für den Anteil wird die Zahl der Konferenzveröffentlichungen durch alle KI-Publikationen eines Unternehmens geteilt. Bei der Gesamtzahl führen Microsoft, Google, IBM, Facebook und Samsung; nach Anteil liegen LinkedIn, Spotify, Verizon, Twitter und SenseTime vorn. Besonders stark verschieben sich LinkedIn (Platz 89 auf 1), Spotify (104 auf 2), Twitter (67 auf 4) und Samsung (5 auf 61).
Die Zahlen für 2020 veranschaulichen den Unterschied zwischen Umfang und Anteil: Google veröffentlichte 656 Beiträge auf Spitzenkonferenzen, SenseTime 110 und LinkedIn acht. Diese acht entsprachen laut Bericht 80 Prozent von LinkedIns KI-Publikationen des Jahres, während Samsungs 75 Beiträge 19 Prozent ausmachten. Die Ranglistentabelle nennt für LinkedIn einen Anteil von 92 Prozent; der Bericht stellt diesen Wert nicht als 2020-Anteil dar.
Untersucht werden Trends von 2010 bis 2020 anhand von 13 nach CSRankings ausgewählten Konferenzen. 18 Unternehmen mit höchstens fünf KI-Publikationen insgesamt wurden trotz eines Anteils von 100 Prozent ausgeschlossen, weil ihr Output sehr gering war. Die Rangfolge hängt daher von der gewählten Kennzahl und den Auswahlregeln ab.
Ausführlich lesen
Der Bericht untersucht, wie sich die Rangfolge von Unternehmen verändert, wenn ihre KI-Forschung nicht nach der Gesamtzahl der Veröffentlichungen, sondern nach dem Anteil in führenden KI-Konferenzen bewertet wird. Grundlage ist CSETs Private-sector AI-Related Activity Tracker (PARAT), der aggregierte Angaben zu KI-Forschung und -Entwicklung von Unternehmen zusammenstellt. Der Bericht versteht Veröffentlichungen auf ausgewählten Spitzenkonferenzen als Hinweis auf eine bestimmte Art von Forschungsoutput, da diese Konferenzen als selektive, angesehene und begutachtete Publikationsorte gelten.
Für die zweite Rangfolge teilt CSET die Zahl der Veröffentlichungen eines Unternehmens auf führenden KI-Konferenzen durch dessen Gesamtzahl an KI-Veröffentlichungen. So wird der Anteil der KI-Publikationen bestimmt, die auf diesen Konferenzen erscheinen. Nach der Gesamtzahl liegen Microsoft, Google, IBM, Facebook und Samsung vorn. Werden Unternehmen dagegen nach dem berechneten Anteil sortiert, führen LinkedIn, Spotify, Verizon, Twitter und SenseTime. Die Rangwechsel sind teils groß: Samsung fällt von Platz 5 auf Platz 61, während LinkedIn von Platz 89 auf Platz 1, Spotify von Platz 104 auf Platz 2 und Twitter von Platz 67 auf Platz 4 rücken.
Auch die absoluten Zahlen zeigen, dass Anteil und Umfang der Forschung unterschiedliche Dinge abbilden. Unter den fünf Unternehmen mit der höchsten Gesamtzahl lag Microsoft bis 2018 bei Veröffentlichungen auf Spitzenkonferenzen vorn; danach übernahm Google die Führung. Für 2020 nennt der Bericht 656 solcher Veröffentlichungen bei Google, 535 bei Microsoft, 258 bei Facebook, 256 bei IBM und 75 bei Samsung. Bei den nach Anteilen ausgewählten Unternehmen führte Verizon bis 2018, dann SenseTime. Für 2020 werden 110 Veröffentlichungen bei SenseTime, 21 bei Verizon, 14 bei Spotify, neun bei Twitter und acht bei LinkedIn angegeben. Die acht Veröffentlichungen LinkedIns machten laut Bericht in diesem Jahr 80 Prozent seiner KI-Publikationen aus; Samsungs 75 entsprachen 19 Prozent. Die Ranglistentabelle weist für LinkedIn insgesamt einen Anteil von 92 Prozent aus – sie bezieht sich auf die dort dargestellte PARAT-Rangliste, während die 80 Prozent ausdrücklich für 2020 genannt werden.
Die Auswertung betrachtet Trends von 2010 bis 2020 und vergleicht sowohl Rangplätze als auch Publikationszahlen. Als führende Konferenzen gelten 13 von CSRankings ausgewählte Veranstaltungen. 18 Unternehmen, die höchstens fünf KI-Forschungspublikationen insgesamt hatten und diese sämtlich auf Spitzenkonferenzen veröffentlichten, wurden aus der Anteilsrangliste ausgeschlossen, weil ihr Forschungsoutput laut Bericht sehr gering war. Die Ergebnisse hängen somit von der verwendeten Kennzahl, der Konferenzauswahl, diesem Ausschluss und dem betrachteten Zeitraum ab. Der Beitrag kündigt an, in einer späteren Auswertung genauer zu untersuchen, auf welchen Konferenzen Unternehmen veröffentlichen.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Geprüft wurde vor allem die mittlere Zusammenfassung; die kurze Fassung ist ebenfalls treu und ohne erfundene Angaben, lässt aber dieselben Punkte aus. Lunas Stufe 3 bei SF-T3 ist zu hoch, da der Bericht zu dieser Frage keinerlei Bezug hat.
Im Bericht, aber nicht in der Zusammenfassung
- Begründung, warum Top-Konferenzen als Maßstab dienen (selektive, begutachtete, angesehene Veröffentlichungsorte)
- Führungswechsel 2018: Google überholt Microsoft bei Spitzenkonferenz-Publikationen, SenseTime überholt Verizon beim Anteil
- Ankündigung, dass der nächste Datenausschnitt untersucht, wo Unternehmen ihre Spitzenkonferenz-Beiträge veröffentlichen
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 33 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 51 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung kein Bezug
Vertrauen in Modelle
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 49 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 44 %Hintergrund, keine Belege
- JEV 31 %gleiches Oberthema, hilft nicht
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung nur am Rande erwähnt
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 57 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug