Measuring AI Development
Zusammenfassung
Für diesen Bericht lag nur ein Auszug oder keine vollständige Fassung vor. Die Zusammenfassung sagt das selbst.
Kurz
Der vorliegende Text ist ein Einleitungsauszug; Ergebnisse zu den drei genannten Bereichen sind darin nicht enthalten. Die Autoren schlagen vor, bibliometrische Analysen, Fachwissen und Benchmark-Leistungen zu verbinden, um KI-Forschungsmuster und technische Fortschritte kontinuierlich zu beobachten. Der Ansatz soll Politik unterstützen, ist laut Bericht aber weder eine Prognose noch eine umfassende Bewertung einzelner KI-Gebiete.
Mittel
Der vorliegende Text ist ein Auszug aus Einleitung und Anmerkungen; konkrete Ergebnisse der Fallbeispiele fehlen. Die Autoren schlagen vor, KI-Entwicklungen fortlaufend zu messen, indem bibliometrische Analysen – gestützt auf CSETs „Map of Science“ – mit fachlicher Analyse technischer Entwicklungen und von Leistungsbenchmarks kombiniert werden. So sollen Publikationsmuster und mögliche tatsächliche Leistungsverbesserungen gemeinsam beobachtet werden. Der Ansatz wird laut Einleitung auf Re-Identifizierung, Sprechererkennung und Bildsynthese angewendet.
Die Autoren argumentieren, dass Messinstrumente wie Datensätze und Wettbewerbe sowohl die Einschätzung als auch die Entwicklung technischer Fähigkeiten prägen können. Ihr Vorschlag zielt auf eine kontinuierliche, breitere Beobachtung von KI-Forschungsmustern und Fähigkeiten, statt auf gelegentliche Einzelbewertungen. Der Anspruch bleibt begrenzt: Der Bericht soll weder Prognosen liefern noch ein Gebiet umfassend untersuchen oder bestehende Messansätze vollständig bewerten. Er skizziert einen Prozess und demonstriert dessen mögliches Potenzial. Der Auszug enthält keine Resultate zu den drei Themen und keine ausführliche Darstellung der angekündigten Einschränkungen und Empfehlungen.
Ausführlich lesen
Der vorliegende Text ist ein Auszug aus der Einleitung und den Anmerkungen des Berichts „Measuring AI Development“; detaillierte Ergebnisse der drei Fallbeispiele sind darin nicht enthalten. Die Autoren schlagen vor, KI-Entwicklungen fortlaufend zu beobachten, indem bibliometrische Auswertungen mit einer fachlichen Analyse technischer Entwicklungen und von Leistungsbenchmarks verbunden werden. Als bibliometrische Grundlage nennen sie CSETs „Map of Science“, die Forschungscluster und einen zusammengeführten Bestand wissenschaftlicher Veröffentlichungen nutzt. Die Methode soll Veränderungen in bestimmten KI-Forschungsgebieten sichtbar machen und politische Entscheidungsträger dabei unterstützen, den Forschungsstand einzuschätzen.
Der Bericht wendet den Ansatz laut Einleitung auf Re-Identifizierung, Sprechererkennung und Bildsynthese an. Die Autoren vertreten die Auffassung, dass Publikationsmuster Hinweise auf wichtige Entwicklungen geben können. Benchmark-Leistungen könnten diese Auswertung ergänzen und helfen zu beurteilen, ob ein Zuwachs an Forschung mit tatsächlichen Leistungsverbesserungen einhergeht. Der Text verweist auf frühere Datensätze und Wettbewerbe, etwa MNIST, XVIEW sowie DARPA-Wettbewerbe, als Beispiele dafür, dass Messinstrumente sowohl die Einschätzung als auch die Entwicklung technischer Fähigkeiten beeinflussen können.
Als Ziel beschreiben die Autoren ein System, das nicht nur einzelne, für bestimmte politische Zwecke ausgewählte Fähigkeiten testet, sondern KI-Forschungsmuster und Fähigkeiten breiter und kontinuierlich beobachtet. Sie grenzen den Anspruch ausdrücklich ein: Der Bericht soll weder zukünftige Entwicklungen vorhersagen noch ein KI-Teilgebiet umfassend analysieren oder andere Messansätze vollständig bewerten. Vielmehr stellt er einen systematischen Prozess vor und will dessen mögliches Erkenntnispotenzial anhand einer Prototypmethodik zeigen. Die einzelnen Bestandteile seien für sich genommen nicht neu; der Beitrag liege in ihrer Verbindung.
Der Auszug liefert keine konkreten Befunde zu den drei untersuchten Themen und keine ausgearbeitete Darstellung der Grenzen oder Empfehlungen, die im weiteren Bericht angekündigt werden. Er nennt außerdem FUSE als verwandtes Vorhaben, unterscheidet den hier beschriebenen, begrenzten Prototyp aber unter anderem durch die Einbeziehung von Leistungskennzahlen und eines KI-kuratierten Literaturkorpus.
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Vorfälle melden
- SF-M3 Wie stellt man fest, ob ein Vorfall gewollt oder versehentlich war, und ob KI oder herkömmliche Mittel dahinterstecken?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-M4 Wie kommen Meldungen von Laboren, Betreibern und Nutzern schnell und geschützt zu den Stellen, die handeln müssen, auch über Grenzen hinweg?
- clef 100 %kein Bezug
- Luna 29 %Hintergrund, keine Belege
- JEV 34 %gleiches Oberthema, hilft nicht
- amos 50 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 62 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 50 %Hintergrund, keine Belege
- JEV 43 %Hintergrund, keine Belege
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 39 %gleiches Oberthema, hilft nicht
- drex 29 %gleiches Oberthema, hilft nicht
- d3-ultra 41 %Hintergrund, keine Belege
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 62 %Hintergrund, keine Belege
- JEV 42 %Hintergrund, keine Belege
- amos 30 %Hintergrund, keine Belege
- SubQ 47 %gleiches Oberthema, hilft nicht
- drex 44 %gleiches Oberthema, hilft nicht
- d3-ultra 43 %gleiches Oberthema, hilft nicht
- SF-F3 Welche Regeln gelten für gefährliche Fähigkeiten jenseits von Cyber, etwa in Biologie, Chemie, bei radioaktiven Stoffen oder in der Nukleartechnik?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 50 %gleiches Oberthema, hilft nicht
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 43 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 28 %gleiches Oberthema, hilft nicht
- SubQ 55 %gleiches Oberthema, hilft nicht
- drex 54 %gleiches Oberthema, hilft nicht
- d3-ultra 63 %gleiches Oberthema, hilft nicht
- SF-F5 Wie gehen Staaten gemeinsam gegen KI-gestützte Cyberangriffe vor und verhindern Eskalation zwischen autonomen Systemen, ohne die Verteidigung zu behindern?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 65 %gleiches Oberthema, hilft nicht
- drex 53 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 45 %gleiches Oberthema, hilft nicht
- d3-ultra 68 %gleiches Oberthema, hilft nicht
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 66 %gleiches Oberthema, hilft nicht
- d3-ultra 52 %gleiches Oberthema, hilft nicht
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 46 %Hintergrund, keine Belege
- JEV 35 %gleiches Oberthema, hilft nicht
- amos 37 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 40 %gleiches Oberthema, hilft nicht
- d3-ultra 61 %gleiches Oberthema, hilft nicht
- SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 50 %gleiches Oberthema, hilft nicht
- d3-ultra 74 %gleiches Oberthema, hilft nicht
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 60 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 46 %gleiches Oberthema, hilft nicht
- d3-ultra 52 %gleiches Oberthema, hilft nicht
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 61 %Hintergrund, keine Belege
- JEV 40 %Hintergrund, keine Belege
- amos 30 %Hintergrund, keine Belege
- SubQ 49 %gleiches Oberthema, hilft nicht
- drex 39 %gleiches Oberthema, hilft nicht
- d3-ultra 65 %gleiches Oberthema, hilft nicht
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 53 %Hintergrund, keine Belege
- JEV 31 %Hintergrund, keine Belege
- amos 33 %gleiches Oberthema, hilft nicht
- SubQ 50 %gleiches Oberthema, hilft nicht
- drex 42 %gleiches Oberthema, hilft nicht
- d3-ultra 56 %gleiches Oberthema, hilft nicht
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 52 %Hintergrund, keine Belege
- JEV 43 %gleiches Oberthema, hilft nicht
- amos 36 %gleiches Oberthema, hilft nicht
- SubQ 46 %gleiches Oberthema, hilft nicht
- drex 58 %gleiches Oberthema, hilft nicht
- d3-ultra 72 %gleiches Oberthema, hilft nicht
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 59 %gleiches Oberthema, hilft nicht
- d3-ultra 63 %gleiches Oberthema, hilft nicht
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 75 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 44 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 48 %gleiches Oberthema, hilft nicht
- drex 61 %gleiches Oberthema, hilft nicht
- d3-ultra 76 %gleiches Oberthema, hilft nicht
Agenten und vernetzte Systeme
- SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 53 %gleiches Oberthema, hilft nicht
- d3-ultra 51 %gleiches Oberthema, hilft nicht
- SF-A2 Lassen sich KI-Systeme sicher anhalten, zurücksetzen, abschotten oder drosseln, und wer darf das anordnen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 66 %gleiches Oberthema, hilft nicht
- d3-ultra 58 %gleiches Oberthema, hilft nicht
Modelle teilen und schützen
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 73 %gleiches Oberthema, hilft nicht
- drex 59 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 57 %gleiches Oberthema, hilft nicht
- d3-ultra 63 %gleiches Oberthema, hilft nicht
- SF-H4 Was geschieht mit Modellen und Sicherheitspflichten, wenn ein Labor verkauft, aufgelöst oder ein Modell stillgelegt wird?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 51 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-H5 Wann sind Chip- und Exportkontrollen eine Sicherheitsmaßnahme, und wann ein dauerhafter Vorteil?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 46 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Frieden und Sicherheit
- SF-K1 Wie stellt man sicher und weist nach, dass Entscheidungen über den Einsatz von Gewalt, vor allem über Atomwaffen, beim Menschen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 44 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-K2 Wie weit gelten KI-Abkommen für Verbündete und Geheimdienste, und wie verhalten sie sich zu bestehenden Rüstungskontrollverträgen und -regimen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 50 %gleiches Oberthema, hilft nicht
- SubQ 52 %gleiches Oberthema, hilft nicht
- drex 64 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 30 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 52 %gleiches Oberthema, hilft nicht
- SubQ 67 %gleiches Oberthema, hilft nicht
- drex 56 %gleiches Oberthema, hilft nicht
- d3-ultra 65 %gleiches Oberthema, hilft nicht
- SF-O3 Welcher Text gilt, und wie beweist man, dass ein Dokument nicht verändert wurde?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
- clef 100 %kein Bezug
- Luna 29 %gleiches Oberthema, hilft nicht
- JEV 100 %kein Bezug
- amos 50 %gleiches Oberthema, hilft nicht
- SubQ 54 %gleiches Oberthema, hilft nicht
- drex 57 %gleiches Oberthema, hilft nicht
- d3-ultra 68 %gleiches Oberthema, hilft nicht
- SF-E2 In welchem Rahmen sollen Staaten KI regeln, und wo liegt eine gemeinsame Untergrenze?
- clef 100 %kein Bezug
- Luna 61 %Hintergrund, keine Belege
- JEV 43 %gleiches Oberthema, hilft nicht
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 60 %gleiches Oberthema, hilft nicht
- drex 59 %gleiches Oberthema, hilft nicht
- d3-ultra 72 %gleiches Oberthema, hilft nicht
- SF-E3 Welche Stellen sind in einem Staat für KI-Sicherheit und Prüfungen zuständig, und was davon gibt es schon?
- clef 100 %kein Bezug
- Luna 41 %einzelne zitierbare Belege
- JEV 37 %einzelne zitierbare Belege
- amos 25 %nur am Rande erwähnt
- SubQ 43 %gleiches Oberthema, hilft nicht
- drex 28 %gleiches Oberthema, hilft nicht
- d3-ultra 48 %gleiches Oberthema, hilft nicht
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 66 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 57 %gleiches Oberthema, hilft nicht
- drex 65 %gleiches Oberthema, hilft nicht
- d3-ultra 62 %gleiches Oberthema, hilft nicht
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 40 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 62 %gleiches Oberthema, hilft nicht
- drex 62 %gleiches Oberthema, hilft nicht
- d3-ultra 71 %gleiches Oberthema, hilft nicht
Wirtschaft und Haftung
- SF-W2 Wie wirken sich Wettbewerbsrecht und öffentliche Beschaffung auf die KI-Sicherheit aus?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 68 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-W3 Wie schützt man Finanzmärkte vor Folgen von KI, von vertraulichen Entscheidungen über Pausen bis zu Kursstürzen in Sekunden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 44 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Information und Öffentlichkeit
- SF-I1 Wie erkennt man KI-erzeugte Inhalte und KI-erzeugte Einflussnahme, ohne die Meinungsfreiheit zu beschneiden?
- clef 100 %kein Bezug
- Luna 67 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 34 %gleiches Oberthema, hilft nicht
- SubQ 43 %gleiches Oberthema, hilft nicht
- drex 45 %gleiches Oberthema, hilft nicht
- d3-ultra 67 %gleiches Oberthema, hilft nicht
Weitere Berichte zu diesen Fragen
- Wie kommen Meldungen von Laboren, Betreibern und Nutzern schnell und geschützt zu den Stellen, die handeln müssen, auch über Grenzen hinweg?
- Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- Woran erkennen andere, dass ein Labor wirklich bremst?
- Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- In welchem Rahmen sollen Staaten KI regeln, und wo liegt eine gemeinsame Untergrenze?
- Welche Stellen sind in einem Staat für KI-Sicherheit und Prüfungen zuständig, und was davon gibt es schon?
- Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- Wie erkennt man KI-erzeugte Inhalte und KI-erzeugte Einflussnahme, ohne die Meinungsfreiheit zu beschneiden?
- Alle Berichte im Archiv