Creating a Map of Science and Measuring the Role of AI in it
Zusammenfassung
Kurz
Der Bericht beschreibt eine Wissenschaftskarte aus Publikationsclustern und ein Verfahren, mit dem CSET die Anteile von KI-, Computer-Vision-, Sprachverarbeitungs- und Robotik-Arbeiten je Cluster schätzt. Für Analysen empfiehlt der Bericht, Cluster mit mindestens 50 Prozent erfolgreich klassifizierten Arbeiten und einem Alter von höchstens 20 Jahren zu berücksichtigen; die weitere Nutzung der Anteile wird als zukünftige Arbeit benannt.
Mittel
Der Bericht erläutert, wie CSET mit einem zusammengeführten wissenschaftlichen Publikationsdatensatz, der laut Text rund 90 Prozent der weltweiten Literatur enthält, Forschungscluster bildet und deren Beziehungen auf einer Wissenschaftskarte darstellt. Cluster umfassen Veröffentlichungen, die einander häufiger direkt zitieren; stärker verbundene Cluster werden näher zueinander angeordnet. Sie werden elf breiten Forschungsgebieten zugeordnet.
Einzelne Arbeiten werden als KI-bezogen oder nicht KI-bezogen klassifiziert. Der Bericht nennt dafür ein auf arXiv trainiertes SciBERT-Modell und ein weiteres Verfahren für englischsprachige Arbeiten ab 2010 sowie reguläre Ausdrücke für chinesischsprachige Arbeiten. Zusätzlich werden Labels für Computer Vision, Sprachverarbeitung und Robotik vergeben; mehrere Labels pro Arbeit sind möglich. Daraus berechnet das Team Clusteranteile. Die Karte markiert unter anderem Cluster mit mindestens zehn Prozent KI-Arbeiten. Wie diese Anteile sinnvoll für weitere Analysen genutzt werden, bleibt laut Bericht zukünftiger Arbeit vorbehalten. Für verlässlichere KI-Analysen empfiehlt CSET, nur Cluster einzubeziehen, bei denen mindestens die Hälfte der Arbeiten klassifiziert wurde und die höchstens 20 Jahre alt sind.
Ausführlich lesen
Der Bericht beschreibt, wie CSET mithilfe eines zusammengeführten Datensatzes wissenschaftlicher Veröffentlichungen untersucht, in welchen Forschungsbereichen künstliche Intelligenz (KI) und maschinelles Lernen vorkommen. Der Datensatz umfasst laut Bericht ungefähr 90 Prozent der weltweiten wissenschaftlichen Literatur. Ein automatisiertes Verfahren gruppiert Veröffentlichungen zu Forschungsclustern (RCs). Ein Cluster besteht aus Arbeiten, die sich untereinander häufiger direkt zitieren als Arbeiten außerhalb des Clusters. Die Karte der Wissenschaft ordnet Cluster anhand ihrer Zitationsbeziehungen räumlich an: stärker miteinander verbundene Cluster liegen näher beieinander. Die Cluster lassen sich elf breiten Forschungsgebieten zuordnen, darunter Biologie, Informatik, Medizin, Physik und Sozialwissenschaften.
Für die Analyse klassifiziert der Bericht einzelne Arbeiten als KI-bezogen oder nicht KI-bezogen. Bei englischsprachigen Veröffentlichungen ab 2010 kommt dafür ein auf arXiv-Arbeiten trainiertes SciBERT-Modell zum Einsatz; Arbeiten mit mindestens einem der Labels cs.AI, cs.LG, cs.MA oder stat.ML gelten als KI-Arbeiten. Zusätzlich werden nach dem Verfahren von Dunham und Mitautoren englischsprachige Arbeiten ab 2010 klassifiziert. Chinesischsprachige Arbeiten werden laut Bericht mithilfe von regulären Ausdrücken eingeordnet. Das Klassifikationsverfahren vergibt außerdem Labels für Computer Vision (CV), natürliche Sprachverarbeitung (NLP) und Robotik (RO). Mehrere Labels pro Arbeit sind möglich.
Aus den Einzelklassifikationen berechnet das Team für jedes Cluster den Anteil der KI-, CV-, NLP- und Robotik-Arbeiten. Eine der dargestellten Karten hebt Cluster hervor, in denen mindestens zehn Prozent der Arbeiten als KI-bezogen klassifiziert sind. Der Bericht stellt diese Anteile als Möglichkeit dar, Cluster mit unterschiedlichen KI-Anwendungen zu erkennen. Wie die Prozentwerte künftig sinnvoll für die Untersuchung der Cluster eingesetzt werden können, wird jedoch als Gegenstand weiterer Arbeit beschrieben; eine solche Auswertung legt der Text noch nicht vor.
Für Analysen zu KI-Clustern empfiehlt der Bericht zwei Filter: Mindestens die Hälfte der Arbeiten eines Clusters muss erfolgreich als KI-bezogen oder nicht KI-bezogen klassifiziert worden sein, und das Cluster soll höchstens 20 Jahre alt sein. Damit soll die Stichprobe Cluster mit einer verlässlicheren Messung der KI-Relevanz umfassen, die im betrachteten Zeitraum von 20 Jahren bestanden haben. Die Einschränkungen liegen damit unter anderem in der erfolgreichen Abdeckung der Klassifikation sowie in der Altersgrenze. Die Zusammenfassung der weltweiten Literatur, die Karten und die Ergebnisse beruhen zudem auf dem beschriebenen Datensatz, den Clustern und den jeweiligen Klassifikationsverfahren.
Gegengeprüft von Claude Haiku 5.5: ok
Beide Zusammenfassungen Lunas (kurz und mittel) geben den Bericht sachlich korrekt wieder; die Anteilswerte in Lunas Einordnung wurden nicht bewertet, da nur Stufen zu prüfen sind. Der Bericht selbst ist eine Methodenbeschreibung zur Kartierung von KI in der Wissenschaft und beantwortet die Sammelfragen zu Selbstverbesserung, Gemeingut und Pausenschwellen nicht.
Im Bericht, aber nicht in der Zusammenfassung
- Die Herkunft des zusammengeführten Datensatzes (Web of Science, Digital Science, Microsoft Academic Graph, CNKI) wird in keiner der beiden Zusammenfassungen genannt
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 46 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 53 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 34 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 52 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung nur am Rande erwähnt
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 79 %Hintergrund, keine Belege
- JEV 43 %gleiches Oberthema, hilft nicht
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 53 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung gleiches Oberthema, hilft nicht
Vertrauen in Modelle
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 55 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Modelle teilen und schützen
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 30 %beantwortet teilweise oder widerspricht
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 57 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung gleiches Oberthema, hilft nicht
Information und Öffentlichkeit
- SF-I1 Wie erkennt man KI-erzeugte Inhalte und KI-erzeugte Einflussnahme, ohne die Meinungsfreiheit zu beschneiden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 42 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- Alle Berichte im Archiv