Interviewing AI researchers on automation of AI R&D
Zusammenfassung
Kurz
Acht befragte KI-Forschende waren sich einig, dass Programmierung und Fehlersuche die wichtigsten kurzfristigen Ansatzpunkte für die Automatisierung von KI-Forschung sind, unterschieden sich aber stark darin, wie schnell und umfassend sie diese erwarten. Sechs hielten das Bestehen vorhandener Tests für Experimentumsetzung und Debugging für ein mögliches Zeichen erheblicher Automatisierung; offene Aufgaben, Zuverlässigkeit und stark schwankende Auswirkungen je nach Einzelfall begrenzen diese Einschätzung.
Mittel
Der Beitrag untersucht, welche Aufgaben der KI-Forschung sich automatisieren lassen könnten und warum Fachleute den zeitlichen Verlauf unterschiedlich einschätzen. Grundlage sind offene qualitative Interviews mit acht erfahrenen Forschenden aus Industrie, gemeinnützigen Einrichtungen und Hochschulen.
Die Befragten beschrieben Forschung als Kreislauf aus Hypothesen, Experimenten und Ergebnissen. Ideenfindung und Planung seien wichtig, nähmen ihren Beschreibungen zufolge aber oft weniger Zeit ein als die Umsetzung. Alle acht nannten Programmierung und Fehlersuche als zentrale, zeitaufwendige Tätigkeiten – auch bei erfahrenen Forschenden. Entsprechend sahen sie technische Aufgaben als Haupttreiber möglicher Automatisierung in den kommenden fünf Jahren. Zwei erwarteten weitgehende Automatisierung, zwei nur begrenzte Auswirkungen; die übrigen lagen dazwischen. Die meisten bezeichneten ihre Prognosen als unsicher.
Als Hindernisse nannten die Forschenden mangelnde Zuverlässigkeit, offene Planung, den Umgang mit langen Kontexten, tiefes Schlussfolgern und neuartige Forschungsansätze. Sechs von acht meinten, KI-Systeme, die bestehende Tests zur Experimentumsetzung und Fehlersuche selbstständig bestehen, könnten einen erheblichen Teil der Forschungsarbeit automatisieren. Die Wirkung könne je nach Aufgabe stark variieren; zwei Befragte kritisierten die Tests als zu eng. Fünf bevorzugten außerdem Prüfungen teilweiser Automatisierung, und zwei forderten eine eingehendere Bewertung der Zuverlässigkeit.
Ausführlich lesen
Der Beitrag untersucht, wie und wann KI-Systeme Aufgaben in der KI-Forschung und -Entwicklung (AI R&D) automatisieren könnten. Die Frage ist für Prognosen zum KI-Fortschritt relevant, weil eine Automatisierung von Forschungsarbeit diesen möglicherweise beschleunigen würde. Die Einschätzungen dazu gehen stark auseinander. Um Gründe für die Unterschiede und die betroffenen Aufgaben besser zu verstehen, führte Epoch AI offene qualitative Interviews mit acht Forschenden aus Industrie, gemeinnützigen Organisationen und Hochschulen. Die Befragten hatten einschlägige Forschungserfahrung, etwa durch Veröffentlichungen auf führenden Konferenzen. Die Ergebnisse fassen wiederkehrende Themen zusammen und verwenden beispielhafte Aussagen der Teilnehmenden.
Die beschriebenen Forschungsabläufe umfassen das Entwickeln von Hypothesen und Forschungsplänen, das Umsetzen von Experimenten sowie die Auswertung ihrer Ergebnisse. Sechs Befragte betonten die Bedeutung von Planung und Hypothesenbildung. Wie viel Zeit diese Tätigkeiten beanspruchen, lasse sich laut Beitrag schwer abgrenzen, da sie mit Versuchsplanung und dem Studium anderer Arbeiten überlappen. Die Beschreibungen legen jedoch nahe, dass Ideenfindung im Vergleich zur Umsetzung oft schneller geht. Alle acht Befragten hoben Programmierung und Fehlersuche als wichtig und zeitaufwendig hervor. Diese technischen Arbeiten blieben auch bei erfahrenen Forschenden ein wesentlicher Teil der Tätigkeit, selbst wenn deren Verantwortung für Planung und Leitung zunahm.
Bei der Geschwindigkeit und dem Umfang künftiger Automatisierung unterschieden sich die Prognosen deutlich. Zwei besonders optimistische Befragte erwarteten, dass KI-Agenten innerhalb von fünf Jahren Code und Experimente anhand natürlichsprachlicher Vorgaben weitgehend selbstständig umsetzen könnten. Ihren Beschreibungen zufolge könnte das mindestens die Hälfte ihrer derzeitigen Arbeit betreffen. Zwei andere erwarteten zwar bessere Programmierhilfen, aber nur geringe Auswirkungen auf die Forschung; eine Person nannte einen Produktivitätszuwachs von 20 bis 50 Prozent als äußerst optimistische Obergrenze. Die übrigen vier lagen zwischen diesen Positionen und rechneten mit nützlicher Unterstützung, aber wenig vollständiger Automatisierung. Die meisten kennzeichneten ihre Prognosen als unsicher. Trotz der Unterschiede sahen alle die Automatisierung technischer Aufgaben als wichtigsten kurzfristigen Treiber. Andere mögliche Ziele, etwa die Erstellung oder Auswahl von Daten, wurden seltener diskutiert.
Als Hürden für eine Automatisierung nannten die Forschenden Zuverlässigkeit, offene Planung, den sinnvollen Umgang mit langen Kontexten, tiefes Schlussfolgern und die Entwicklung neuartiger Methoden. Auch die nötige Vertrautheit mit Implementierungsdetails und der Rechenaufwand für Agenten könnten die praktische Nutzung begrenzen.
Der Beitrag bewertete bestehende Tests für KI-Forschungsaufgaben als möglichen Ausgangspunkt. Beispiele waren das Einbauen sparsamer Aufmerksamkeit in einen Modellcode und das Beheben eines CUDA-Fehlers. Sechs von acht Befragten meinten, Systeme, die solche Aufgaben selbstständig lösen, könnten einen erheblichen Anteil der Forschungsarbeit automatisieren. Einzelne Schätzungen reichten bei passenden Aufgaben bis zu 60 Prozent der eigenen Arbeitszeit oder 70 Prozent der Programmierzeit. Die mögliche Wirkung könne jedoch je nach konkreter Aufgabe stark schwanken. Zwei Befragte hielten die Tests für zu eng gefasst und erwarteten wenig Nutzen, wenn schwierigere, offene Probleme ungelöst blieben. Fünf bevorzugten Tests für teilweise Automatisierung; zwei betonten, dass Zuverlässigkeit genauer geprüft werden müsse. Weiterführende Vorschläge, so der Beitrag, werden im vollständigen Bericht behandelt.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Die drei Zusammenfassungen geben den Bericht sachlich korrekt wieder; Lücken betreffen Kontext und Nebenbefunde, Erfindungen liegen nicht vor. Die Einordnung stützt sich auf den Bericht, der die Fragen zu Öffentlichkeitsbeteiligung, Laborprüfung und staatlicher Freigabe kaum beantwortet.
Im Bericht, aber nicht in der Zusammenfassung
- Herausgeber und Autor des Berichts (Epoch AI, David Owen) werden nicht genannt
- Die Vorhersagen zum Tempo der Automatisierung unterscheiden sich stark, ähnlich wie in früheren Umfragen
- Planung und Hypothesenbildung lassen sich zeitlich schwer abgrenzen, weil sie mit Versuchsplanung und Literaturstudium verschmelzen
- Weitere Hemmnisse sind die nötige Vertrautheit mit Implementierungsdetails und der hohe Rechenbedarf für Agenten
- Die Hindernisse wurden aus den Beschreibungen der Forschenden abgeleitet und nicht vorab festgelegt
- Der Bericht verweist auf bestehende Forschung zur Automatisierbarkeit von Arbeitsaufgaben als Vergleich
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Vorfälle melden
- SF-M2 Wie muss ein Meldekanal zwischen Staaten gebaut sein, damit er verlässlich arbeitet, auch in einer Krise?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 38 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-M4 Wie kommen Meldungen von Laboren, Betreibern und Nutzern schnell und geschützt zu den Stellen, die handeln müssen, auch über Grenzen hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-M5 Was muss vor und nach einem Vorfall geschehen, damit Verantwortliche einstehen, man daraus lernt, Beweise bleiben und Betroffene auch über Grenzen hinweg zu ihrem Recht kommen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 100 %kein Bezug
- SubQ 55 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 30 %Hintergrund, keine Belege
- Luna 42 %Hintergrund, keine Belege
- JEV
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 38 %gleiches Oberthema, hilft nicht
- d3-ultra 44 %gleiches Oberthema, hilft nicht
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 27 %gleiches Oberthema, hilft nicht
- SubQ 55 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 32 %gleiches Oberthema, hilft nicht
- SubQ 48 %gleiches Oberthema, hilft nicht
- drex 43 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-F5 Wie gehen Staaten gemeinsam gegen KI-gestützte Cyberangriffe vor und verhindern Eskalation zwischen autonomen Systemen, ohne die Verteidigung zu behindern?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 56 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 53 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 31 %gleiches Oberthema, hilft nicht
- Luna 63 %Hintergrund, keine Belege
- JEV
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 55 %gleiches Oberthema, hilft nicht
- drex 52 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 24 %Hintergrund, keine Belege
- Luna 79 %Hintergrund, keine Belege
- JEV
- amos 27 %Hintergrund, keine Belege
- SubQ 42 %gleiches Oberthema, hilft nicht
- drex 33 %gleiches Oberthema, hilft nicht
- d3-ultra 52 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung nur am Rande erwähnt
- SF-P3-T02 Welche unabhängig überprüfbaren Zusagen könnten Regierungen von ihren KI-Laboren zur Veröffentlichung verlangen, und wie sieht unabhängige Prüfung aus, wenn der Beleg, dass ein Modell seinen vorgesehenen Zielen und Werten folgt, nur vom trainierenden Labor kommt und Prüfer weder die Modellgewichte (die gelernten Parameter) noch die Trainingsdaten sehen?
- SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 37 %gleiches Oberthema, hilft nicht
- SubQ 52 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 58 %gleiches Oberthema, hilft nicht
- SubQ 66 %gleiches Oberthema, hilft nicht
- drex 46 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 36 %Hintergrund, keine Belege
- JEV
- amos 29 %Hintergrund, keine Belege
- SubQ 47 %gleiches Oberthema, hilft nicht
- drex 33 %gleiches Oberthema, hilft nicht
- d3-ultra 49 %gleiches Oberthema, hilft nicht
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 37 %gleiches Oberthema, hilft nicht
- SubQ 63 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 22 %Hintergrund, keine Belege
- Luna 69 %einzelne zitierbare Belege
- JEV
- amos 33 %einzelne zitierbare Belege
- SubQ 24 %gleiches Oberthema, hilft nicht
- drex 30 %einzelne zitierbare Belege
- d3-ultra 37 %einzelne zitierbare Belege
- Haiku-Prüfung beantwortet teilweise oder widerspricht
- SF-T3-T01 Welches messbare Zeichen, also welche beobachtbare Änderung in der Fähigkeit eines Modells, die Abläufe zu verbessern, mit denen seine eigenen Fähigkeiten entwickelt werden, würden Labore und Staaten gemeinsam als Beginn der Selbstverbesserung anerkennen, und wer darf im Labor danach suchen? Welche beobachtbare Änderung markiert den Schritt von beaufsichtigter automatisierter Forschung zu voll selbstständiger Selbstverbesserung, und welche öffentliche Stelle darf diesen Schritt nach Prüfung der Belege für menschliche Kontrolle erlauben oder ablehnen?
- SF-T3-T02 Werden Labore, die ein Maß für die Überwachbarkeit ihrer Modelle und ein Maß für selbstständige KI-Forschung veröffentlichen, diese beiden Maße gemeinsam nach demselben Zeitplan veröffentlichen? Und wird eine Normungsstelle nicht jedes Maß für sich, sondern ihre sich kreuzenden Verläufe (sinkende Überwachbarkeit bei steigender selbstständiger Forschung) zum Auslöser einer Überprüfung machen, als Frühwarnung für den Verlust menschlicher Aufsicht, noch bevor sich der Beginn der Selbstverbesserung benennen lässt?
- SF-T3-T05 Wenn Selbstverbesserung schneller voranschreitet als der Beobachtungstakt fortlaufender Prüfer: Wie kurz muss dieser Takt sein, und wer darf zwischen zwei Beobachtungen eine Pause durchsetzen: der Prüfer, das Labor oder eine Stelle von außen?
- SF-T3-T08 Welche kontrollierten Versuche können Labore heute machen, um Selbstverbesserung nachzubilden, ohne eine unbeabsichtigte Beschleunigung zu riskieren?
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 28 %gleiches Oberthema, hilft nicht
- Luna 100 %kein Bezug
- JEV
- amos 32 %gleiches Oberthema, hilft nicht
- SubQ 55 %gleiches Oberthema, hilft nicht
- drex 53 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 34 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 66 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 30 %Hintergrund, keine Belege
- Luna 74 %Hintergrund, keine Belege
- JEV
- amos 36 %gleiches Oberthema, hilft nicht
- SubQ 48 %gleiches Oberthema, hilft nicht
- drex 48 %gleiches Oberthema, hilft nicht
- d3-ultra 60 %gleiches Oberthema, hilft nicht
- SF-V5-T01 Was sollte ein Modell schon heute tun, nicht erst bei rekursiver Selbstverbesserung (wenn KI ihre eigene Weiterentwicklung selbst vorantreibt), um äußerste Vorsicht angesichts rasch wachsender maschineller Intelligenz ernst zu nehmen?
- SF-V5-T03 Ist es wirtschaftlich klug, Modelle mit geringem Denkaufwand zu betreiben, oder wird das Ausrichtungsproblem (Modelle dazu zu bringen, den vorgesehenen Zielen und Werten zu folgen) dadurch nur schwerer sichtbar?
Agenten und vernetzte Systeme
- SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- clef 100 %kein Bezug
- Luna 52 %Hintergrund, keine Belege
- JEV
- amos 28 %nur am Rande erwähnt
- SubQ 47 %gleiches Oberthema, hilft nicht
- drex 48 %gleiches Oberthema, hilft nicht
- d3-ultra 59 %gleiches Oberthema, hilft nicht
- SF-A1-T03 Werden Freigabetests messen, ob ein Agent folgenreiche Handlungen außerhalb seines Auftrags unterlässt, auch wenn kein einzeln aufgeführtes Verbot sie blockiert, und werden die Kriterien veröffentlicht?
- SF-A2 Lassen sich KI-Systeme sicher anhalten, zurücksetzen, abschotten oder drosseln, und wer darf das anordnen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 35 %gleiches Oberthema, hilft nicht
- SubQ 52 %gleiches Oberthema, hilft nicht
- drex 49 %gleiches Oberthema, hilft nicht
- d3-ultra 50 %gleiches Oberthema, hilft nicht
- SF-A3 Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 57 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Modelle teilen und schützen
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 100 %kein Bezug
- SubQ 57 %gleiches Oberthema, hilft nicht
- drex 41 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Frieden und Sicherheit
- SF-K2 Wie weit gelten KI-Abkommen für Verbündete und Geheimdienste, und wie verhalten sie sich zu bestehenden Rüstungskontrollverträgen und -regimen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 100 %kein Bezug
- SubQ 64 %gleiches Oberthema, hilft nicht
- drex 77 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 70 %Hintergrund, keine Belege
- JEV
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 71 %gleiches Oberthema, hilft nicht
- drex 53 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 100 %kein Bezug
- SubQ 54 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E2 In welchem Rahmen sollen Staaten KI regeln, und wo liegt eine gemeinsame Untergrenze?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 61 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E3 Welche Stellen sind in einem Staat für KI-Sicherheit und Prüfungen zuständig, und was davon gibt es schon?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 100 %kein Bezug
- SubQ 64 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 100 %kein Bezug
- SubQ 57 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 77 %Hintergrund, keine Belege
- JEV
- amos 50 %gleiches Oberthema, hilft nicht
- SubQ 62 %gleiches Oberthema, hilft nicht
- drex 50 %gleiches Oberthema, hilft nicht
- d3-ultra 49 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung gleiches Oberthema, hilft nicht
- SF-E5-T01 Wer soll das Tempo der KI-Entwicklung bestimmen: die Labore, die Regierungen oder die Menschen, die diese Systeme jeden Tag nutzen?
- SF-E5-T02 Welche Entscheidungen müssen menschlich bleiben, auch wenn eine KI sie besser treffen könnte, und wie würden Staaten in Entscheidungsschleifen mit hohem Risiko prüfbar machen, dass ein Mensch die Ausgabe der KI wirklich beurteilt und nicht nur routinemäßig abgenickt hat?
Weitere Berichte zu diesen Fragen
- Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- Alle Berichte im Archiv