Defining Computer Vision, Natural Language Processing, and Robotics Research Clusters
Zusammenfassung
Kurz
CSET ordnet Forschungscluster anhand von SciBERT-Klassifikationen und Schwellenwerten KI/ML, Computer Vision, Sprachverarbeitung oder Robotik zu; Veröffentlichungen können dabei mehreren Themen angehören. Für den Stand Februar 2021 berichtet CSET über 7.397 eingeordnete Cluster und thematische Unterschiede zwischen Forschungsbereichen. Die Cluster-IDs sind wegen einer Aktualisierung der Karte im August 2021 nicht mit den aktuellen IDs vergleichbar.
Mittel
Der Bericht erklärt, wie CSET Forschungscluster in seiner „Map of Science“ anhand des Anteils KI-bezogener Veröffentlichungen als interdisziplinäre KI/ML, sonstige KI/ML, Computer Vision (CV), Natural Language Processing (NLP) oder Robotik einordnet. Dafür nutzt CSET getrennte SciBERT-Klassifikatoren. Weil diese unabhängig voneinander arbeiten, kann eine Veröffentlichung mehreren Themen zugeordnet werden.
Cluster mit 10 bis 24 Prozent KI-Arbeiten gelten als interdisziplinär. CV, NLP oder Robotik werden nur bei mindestens 25 Prozent KI-Anteil berücksichtigt. Erreicht keines dieser Teilgebiete selbst 25 Prozent, lautet die Kategorie „sonstige KI/ML“; andernfalls entscheidet der höchste Anteil unter den drei Teilgebieten. Bis Februar 2021 wurden 7.397 Cluster eingeordnet. Der Bericht beziffert sonstige KI/ML mit 28 Prozent, CV mit 15, Robotik mit 7 und NLP mit 5 Prozent; interdisziplinäre KI/ML stelle fast die Hälfte. Interdisziplinäre KI/ML führe laut Bericht in allen breiten Forschungsbereichen. In Geistes- und Sozialwissenschaften liege NLP vor CV und Robotik; Chemie enthalte ausschließlich interdisziplinäre Cluster. Ein Beispiel aus der Informatik zeigt erhebliche Überschneidungen zwischen Robotik und CV. Die Ergebnisse beruhen auf dem damaligen Stand: Eine Aktualisierung der Karte im August 2021 änderte die Cluster-IDs und das Clustering-Verfahren.
Ausführlich lesen
Der Bericht beschreibt, wie das Center for Security and Emerging Technology (CSET) Forschungscluster in seiner „Map of Science“ nach ihrem Bezug zu künstlicher Intelligenz einordnet und dabei allgemeine KI-/ML-Forschung von Computer Vision (CV), Natural Language Processing (NLP) und Robotik (RO) unterscheidet. Er baut auf einer früheren Beschreibung der KI-Relevanz auf und erläutert die Kriterien für diese drei Teilgebiete.
Für die Zuordnung einzelner Veröffentlichungen verwendet CSET denselben SciBERT-Klassifikator wie bei der Erkennung KI-relevanter Arbeiten. Da für KI, CV, NLP und Robotik jeweils eigene Klassifikatoren trainiert wurden, schließen sich die Themenkennzeichnungen nicht gegenseitig aus: Eine Veröffentlichung kann mehreren Kategorien angehören. Die Einzelkennzeichnungen werden je Forschungscluster zusammengefasst und als Anteile der dortigen Veröffentlichungen ausgewertet.
Für Cluster mit 10 bis 24 Prozent KI-Veröffentlichungen vergibt CSET die Kategorie „interdisziplinäre KI/ML“. CV-, NLP- oder Robotik-Kategorien kommen erst für Cluster infrage, in denen mindestens 25 Prozent der Veröffentlichungen KI-bezogen sind. Liegt in einem solchen Cluster der Anteil für keines der drei Teilgebiete bei mindestens 25 Prozent, wird es als „sonstige KI/ML“ eingeordnet. Erreicht mindestens ein Teilgebiet diese Schwelle, erhält das Cluster die Kategorie mit dem höchsten Anteil unter CV, NLP und Robotik. Die Regel für die interdisziplinäre Kategorie und die Schwellenwerte sollen die Einordnung auf KI-relevante Cluster begrenzen.
Nach dem Stand von Februar 2021 wurden so 7.397 Cluster einem KI-bezogenen Thema zugeordnet. Laut Bericht entfiel beinahe die Hälfte auf interdisziplinäre KI/ML. „Sonstige KI/ML“ stellte mit 28 Prozent den größten ausdrücklich bezifferten Einzelanteil; CV folgte mit 15 Prozent, Robotik mit 7 Prozent und NLP mit 5 Prozent. Die Anteile werden im Bericht als Aufschlüsselung der KI-bezogenen Cluster dargestellt.
Beim Vergleich über größere Forschungsbereiche hinweg sei interdisziplinäre KI/ML jeweils die führende Kategorie. In der Informatik sei der Anteil sonstiger KI/ML-Cluster ähnlich groß. In den Geistes- und Sozialwissenschaften liege NLP vor CV und Robotik. Chemie sei laut Bericht der einzige breite Forschungsbereich, der ausschließlich interdisziplinäre KI/ML-Cluster enthalte.
Als Beispiel nennt CSET Cluster 9079 aus der Informatik, das sich mit Mensch-Computer-Interaktion für visuelle Navigation befasst. Es wurde als Robotik-Cluster eingestuft und weist laut Bericht 53 Prozent robotikbezogene, 52 Prozent CV-bezogene und 23 Prozent NLP-bezogene Veröffentlichungen auf. Das Beispiel veranschaulicht, dass sich die Themenanteile überschneiden können und die Klassifikation interdisziplinäre Forschung sichtbar lässt.
Der Bericht kündigt für spätere Ausgaben weitere Einzelheiten zur Verteilung von CV-, NLP- und Robotik-Clustern an. Eine wesentliche Einschränkung betrifft die Vergleichbarkeit der Cluster-IDs: CSET aktualisierte die „Map of Science“ im August 2021, verknüpfte dabei weitere Daten und änderte das Clustering-Verfahren. Die damals verwendeten Cluster erhielten neue IDs; die im Bericht genannten Nummern entsprechen daher nicht den IDs in der aktuellen Oberfläche. Die beschriebenen Ergebnisse beziehen sich auf den damaligen Daten- und Methodenstand.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Lunas Einordnung enthält nur Sammelfragen, keine Teilfragen; daher wurden nur SF-E4 und SF-T3 bewertet. Die Stufen wurden unabhängig vom Bericht und ohne Rücksicht auf Lunas Werte (3 bzw. 1) vergeben.
Im Bericht, aber nicht in der Zusammenfassung
- Verteilung der Kategorien: sonstige KI/ML 28 %, CV 15 %, Robotik 7 %, NLP 5 %
- Schwelle von 25 % für die Zuordnung zu CV, NLP oder Robotik
- Vergleich nach breiten Forschungsbereichen, etwa dass in der Informatik sonstige KI/ML ähnlich stark vertreten ist wie interdisziplinäre KI/ML
- Beispiel RC 9079 mit 53 % Robotik- und 52 % CV-Anteil
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 47 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 41 %gleiches Oberthema, hilft nicht
- JEV
- amos 50 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 60 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung gleiches Oberthema, hilft nicht
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 45 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 57 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 58 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 37 %Hintergrund, keine Belege
- JEV
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung gleiches Oberthema, hilft nicht
Information und Öffentlichkeit
- SF-I1 Wie erkennt man KI-erzeugte Inhalte und KI-erzeugte Einflussnahme, ohne die Meinungsfreiheit zu beschneiden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 44 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug