The Use of Open Models in Research
Zusammenfassung
Für diesen Bericht lag nur ein Auszug oder keine vollständige Fassung vor. Die Zusammenfassung sagt das selbst.
Kurz
Der bereitgestellte Text ist ein Auszug aus der Executive Summary. Die Verfassenden folgern aus mehr als 250 Arbeiten zu offenen und über 130 zu geschlossenen Modellen, dass offene Modellgewichte vielfältigere Forschung ermöglichen, während geschlossene Modelle in der untersuchten Stichprobe fast nur zum Prompting genutzt wurden. Die Angaben zu Institutionen und Ländern beziehen sich auf diese Stichprobe; unter anderem könnten Publikationsgewohnheiten und die Dominanz englischsprachiger Forschung die Verteilung beeinflussen.
Mittel
Der bereitgestellte Text ist ein Auszug mit der Executive Summary, kein vollständiger Bericht. Die Verfassenden untersuchen mehr als 250 Veröffentlichungen, die Zugriff auf offene Modellgewichte nutzen, und vergleichen sie mit mehr als 130 Arbeiten zu geschlossenen Modellen. Ihrer Analyse zufolge ermöglichen offene Modelle vielfältigere Forschung: Fünf von acht Anwendungsfällen seien nur mit Gewichten möglich, zwei erforderten diese überwiegend. Dazu gehören etwa das fortlaufende Vortrainieren, das Komprimieren und Kombinieren von Modellen sowie die Untersuchung ihrer internen Abläufe und die Feinabstimmung. Geschlossene Modell-APIs böten dafür meist nur eingeschränkte Möglichkeiten. Prompting, also das Prüfen von Ein- und Ausgaben, sei dagegen auch mit geschlossenen Modellen möglich; in der untersuchten Stichprobe seien diese fast ausschließlich so verwendet worden.
Knapp 90 Prozent der untersuchten Arbeiten stammten von Forschenden an Hochschulen, etwa 50 Prozent von Unternehmensforschenden und rund 35 Prozent aus Kooperationen beider Gruppen. Die Anteile überschneiden sich. 64 Prozent der Arbeiten hatten Beteiligte von US-Organisationen, 38 Prozent von chinesischen. Die Verfassenden weisen darauf hin, dass Veröffentlichungsgewohnheiten und der hohe Anteil englischsprachiger Forschung diese Verteilung beeinflussen können. Geschlossene Modelle könnten insbesondere beim Prompting durch leistungsfähige Modelle, einfache Schnittstellen und geringere Infrastrukturhürden attraktiv sein. Die Befunde beschreiben die ausgewerteten Publikationen; der Auszug liefert keine Grundlage für eine Verallgemeinerung auf sämtliche Forschung.
Ausführlich lesen
Der bereitgestellte Text ist ein Auszug: Er enthält die Executive Summary eines Berichts über den Einsatz offen verfügbarer KI-Modelle in der Forschung sowie einen unvollständigen Abbildungshinweis, nicht den vollständigen Bericht. Die Autorinnen und der Autor untersuchen, welche Forschungsarbeiten offene große Sprachmodelle verwenden, welche Organisationen und Länder daran beteiligt sind und wie sich die Nutzung von offenen und geschlossenen Modellen unterscheidet.
Dazu analysieren sie nach eigenen Angaben mehr als 250 Veröffentlichungen, in denen der Zugriff auf Modellgewichte erforderlich ist, und entwickeln daraus eine Taxonomie von Anwendungsfällen. Zusätzlich ziehen sie mehr als 130 Arbeiten zu geschlossenen Modellen zum Vergleich heran. Als zentrales Ergebnis berichten sie, dass offene Modelle eine größere Vielfalt von Forschungsansätzen ermöglichen. Von acht übergeordneten Anwendungsfällen seien fünf ausschließlich durch den Zugriff auf Gewichte möglich, zwei erforderten diesen überwiegend und einer komme ohne Gewichte aus.
Zu den überwiegend gewichtabhängigen Fällen zählen die Anpassung von Modellen an bestimmte Aufgaben oder Fachgebiete und die Untersuchung ihrer internen Abläufe. Zwar böten manche geschlossenen Modelle entsprechende API-Funktionen, diese seien laut Bericht jedoch meist stark eingeschränkt und ermöglichten beispielsweise keine maßgeschneiderte Feinabstimmung oder detaillierte Analyse interner Strukturen. Der Zugriff auf Gewichte sei deshalb für die meisten untersuchten Arbeiten dieser Art nötig gewesen. Als Beispiel für Forschung, die damit möglich wird, nennen die Verfassenden Untersuchungen dazu, wie neue Datensätze und Verfahren Leistung oder Verhalten verändern, sowie Analysen, die Interpretierbarkeit und Prüfung von KI unterstützen.
Der verbleibende Anwendungsfall ist das „Prompting“, verstanden als Untersuchung von Ein- und Ausgaben. Es kann unter anderem zur Bewertung von Leistung, Fähigkeiten, Ausrichtung und Sicherheit dienen und benötigt nur Zugang über eine Web- oder Programmierschnittstelle. In der untersuchten Stichprobe zu geschlossenen Modellen hätten Forschende fast ausschließlich gepromptet.
Bei den Urheberschaften verorten die Verfassenden knapp 90 Prozent der untersuchten Arbeiten bei Forschenden an Hochschulen und etwa 50 Prozent bei Unternehmensforschenden; ungefähr 35 Prozent seien Kooperationen zwischen diesen Organisationstypen. Die Anteile können sich also überschneiden. Der hohe akademische Anteil könne auch damit zusammenhängen, dass Hochschulen ihre Forschung eher veröffentlichen. 64 Prozent der Arbeiten hätten Beteiligte von US-Organisationen und 38 Prozent Beteiligte von chinesischen Organisationen; laut Bericht spiegele dies auch allgemeine Forschungstrends und die Dominanz englischsprachiger Veröffentlichungen in der Stichprobe wider. Die Aussagen beziehen sich auf die ausgewerteten Publikationen und belegen nicht, dass offene Modelle in allen Forschungsbereichen überlegen sind. Der Auszug räumt zudem ein, dass geschlossene Modelle beim Prompting wegen ihrer Leistungsfähigkeit, bequemer Schnittstellen und fehlender Anforderungen an eigene Recheninfrastruktur attraktiv sein können.
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 57 %Hintergrund, keine Belege
- JEV 44 %nur am Rande erwähnt
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 51 %gleiches Oberthema, hilft nicht
- drex 50 %gleiches Oberthema, hilft nicht
- d3-ultra 59 %gleiches Oberthema, hilft nicht
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 60 %Hintergrund, keine Belege
- JEV 42 %gleiches Oberthema, hilft nicht
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 50 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 50 %gleiches Oberthema, hilft nicht
- d3-ultra 48 %gleiches Oberthema, hilft nicht
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 27 %Hintergrund, keine Belege
- amos 36 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 49 %gleiches Oberthema, hilft nicht
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 61 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 53 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 49 %gleiches Oberthema, hilft nicht
- d3-ultra 58 %gleiches Oberthema, hilft nicht
- SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- clef 100 %kein Bezug
- Luna 42 %gleiches Oberthema, hilft nicht
- JEV 53 %gleiches Oberthema, hilft nicht
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 59 %gleiches Oberthema, hilft nicht
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 52 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 50 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 56 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 48 %Hintergrund, keine Belege
- JEV 36 %gleiches Oberthema, hilft nicht
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 68 %gleiches Oberthema, hilft nicht
- d3-ultra 64 %gleiches Oberthema, hilft nicht
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 38 %Hintergrund, keine Belege
- JEV 26 %nur am Rande erwähnt
- amos 34 %Hintergrund, keine Belege
- SubQ 42 %gleiches Oberthema, hilft nicht
- drex 29 %gleiches Oberthema, hilft nicht
- d3-ultra 44 %gleiches Oberthema, hilft nicht
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 47 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 32 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 65 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 33 %gleiches Oberthema, hilft nicht
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 44 %Hintergrund, keine Belege
- JEV 33 %einzelne zitierbare Belege
- amos 30 %gleiches Oberthema, hilft nicht
- SubQ 48 %gleiches Oberthema, hilft nicht
- drex 51 %gleiches Oberthema, hilft nicht
- d3-ultra 64 %gleiches Oberthema, hilft nicht
Agenten und vernetzte Systeme
- SF-A2 Lassen sich KI-Systeme sicher anhalten, zurücksetzen, abschotten oder drosseln, und wer darf das anordnen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 56 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Modelle teilen und schützen
- SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- clef 100 %kein Bezug
- Luna 49 %Hintergrund, keine Belege
- JEV 43 %gleiches Oberthema, hilft nicht
- amos 34 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 57 %gleiches Oberthema, hilft nicht
- d3-ultra 64 %gleiches Oberthema, hilft nicht
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 27 %Hintergrund, keine Belege
- Luna 68 %Hintergrund, keine Belege
- JEV 37 %gleiches Oberthema, hilft nicht
- amos 28 %Hintergrund, keine Belege
- SubQ 47 %gleiches Oberthema, hilft nicht
- drex 36 %gleiches Oberthema, hilft nicht
- d3-ultra 56 %gleiches Oberthema, hilft nicht
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 50 %einzelne zitierbare Belege
- JEV 29 %Hintergrund, keine Belege
- amos 31 %Hintergrund, keine Belege
- SubQ 37 %gleiches Oberthema, hilft nicht
- drex 27 %Hintergrund, keine Belege
- d3-ultra 58 %gleiches Oberthema, hilft nicht
- SF-H5 Wann sind Chip- und Exportkontrollen eine Sicherheitsmaßnahme, und wann ein dauerhafter Vorteil?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 47 %gleiches Oberthema, hilft nicht
- drex 46 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-O3 Welcher Text gilt, und wie beweist man, dass ein Dokument nicht verändert wurde?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
- clef 100 %kein Bezug
- Luna 45 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 37 %gleiches Oberthema, hilft nicht
- SubQ 52 %gleiches Oberthema, hilft nicht
- drex 52 %gleiches Oberthema, hilft nicht
- d3-ultra 58 %gleiches Oberthema, hilft nicht
- SF-E2 In welchem Rahmen sollen Staaten KI regeln, und wo liegt eine gemeinsame Untergrenze?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 37 %gleiches Oberthema, hilft nicht
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 49 %gleiches Oberthema, hilft nicht
- drex 50 %gleiches Oberthema, hilft nicht
- d3-ultra 54 %gleiches Oberthema, hilft nicht
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 51 %einzelne zitierbare Belege
- JEV 40 %beantwortet teilweise oder widerspricht
- amos 29 %Hintergrund, keine Belege
- SubQ 42 %gleiches Oberthema, hilft nicht
- drex 31 %gleiches Oberthema, hilft nicht
- d3-ultra 38 %gleiches Oberthema, hilft nicht
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 36 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 54 %gleiches Oberthema, hilft nicht
- drex 58 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Wirtschaft und Haftung
- SF-W2 Wie wirken sich Wettbewerbsrecht und öffentliche Beschaffung auf die KI-Sicherheit aus?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Information und Öffentlichkeit
- SF-I1 Wie erkennt man KI-erzeugte Inhalte und KI-erzeugte Einflussnahme, ohne die Meinungsfreiheit zu beschneiden?
- clef 100 %kein Bezug
- Luna 41 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
- Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- Wie erkennt man KI-erzeugte Inhalte und KI-erzeugte Einflussnahme, ohne die Meinungsfreiheit zu beschneiden?
- Alle Berichte im Archiv