Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
aisi27. August 2024 · Q002315

Interviewing AI researchers on automation of AI R&D

aisi.gov.uk · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Acht befragte KI-Forschende sahen Programmierung und Fehlersuche als zeitintensive und zentrale Aufgaben, deren Automatisierung KI-Forschung deutlich beschleunigen könnte. Wie schnell und umfassend das geschieht, schätzten sie sehr unterschiedlich ein; als Grenzen nannten sie unter anderem Zuverlässigkeit, offene Planung und anspruchsvolles Schlussfolgern. Die Ergebnisse beruhen auf qualitativen Interviews und lassen sich nicht als Messung künftiger Automatisierung verstehen.

Mittel

Der Beitrag fasst offene Interviews mit acht KI-Forschenden aus Industrie, gemeinnützigen und akademischen Einrichtungen zusammen. Untersucht wurden ihre Arbeitsabläufe, Einschätzungen zur Automatisierung von KI-Forschung und Ansichten zu entsprechenden Leistungstests.

Die Befragten beschrieben Forschung als Wechselspiel aus Hypothesen, Planung, Experimenten und Auswertung. Planung gilt als wichtig, beansprucht den Schilderungen nach aber oft weniger Zeit als Umsetzung und Fehlersuche. Alle betonten die Bedeutung und den Zeitaufwand technischer Aufgaben wie Programmierung und Debugging, auch bei erfahrenen Forschenden.

Über Tempo und Ausmaß der Automatisierung waren die Prognosen sehr verschieden. Einigkeit bestand darin, dass technische Aufgaben in naher Zukunft der wichtigste Ansatzpunkt sein dürften. Als Hindernisse nannten die Forschenden unter anderem mangelnde Zuverlässigkeit, offene Planung, langes Kontextverständnis, tiefes Schlussfolgern und neuartige Probleme. Sechs von acht hielten es für möglich, dass Systeme, die Beispieltests zu Implementierung und Debugging lösen, einen erheblichen Teil der Forschungsarbeit automatisieren könnten. Andere verwiesen auf zu einfache Tests und schwierige Fehlerfälle. Der Beitrag stützt sich auf acht Interviews; die Einschätzungen sind keine Messung künftiger Automatisierung, und der Effekt könne je nach Aufgabe stark variieren.

Ausführlich lesen

Der Beitrag von David Owen untersucht, welche Arbeiten in der KI-Forschung automatisierbar sein könnten, wie Forschende den zeitlichen Verlauf einschätzen und ob sich Fortschritte mit bestehenden Tests messen lassen. Grundlage sind qualitative, offene Interviews mit acht KI-Forschenden aus Industrie, gemeinnützigen und akademischen Einrichtungen. Die Befragten hatten entweder auf führenden Konferenzen publiziert oder vergleichbare Erfahrung. Ihre Antworten wurden nach wiederkehrenden Themen geordnet; die Ergebnisse werden mit ausgewählten Zitaten veranschaulicht.

Die Forschenden beschreiben KI-Forschung als Kreislauf aus Fragestellung und Hypothesen, Versuchsplanung und Auswertung. Sechs von acht betonten die Bedeutung von Planung und Hypothesenbildung. Wie viel Zeit diese Tätigkeiten beanspruchen, lasse sich wegen ihrer Überschneidung mit anderen Arbeitsschritten schwer bestimmen. Den Interviews zufolge sind sie gegenüber der praktischen Umsetzung jedoch oft vergleichsweise kurz. Programmierung und Fehlersuche seien ebenfalls zentral, nähmen aber viel Zeit in Anspruch. Das gelte auch für erfahrene Forschende, die zusätzlich planen und koordinieren.

Die Einschätzungen zur Geschwindigkeit und zum Ausmaß möglicher Automatisierung gehen weit auseinander. Gemeinsam ist ihnen der Schwerpunkt auf technischen Aufgaben wie Implementierung und Debugging. Zwei Befragte erwarteten, dass KI-Agenten innerhalb von fünf Jahren in erheblichem Umfang Code und Experimente nach natürlichsprachigen Vorgaben ausführen könnten. Vier hielten verbesserte Assistenz für hilfreich, aber eine vollständige Automatisierung vieler Aufgaben für unwahrscheinlich. Zwei rechneten nur mit begrenzten Auswirkungen. Die meisten bezeichneten ihre Prognosen als unsicher. Andere mögliche Ansatzpunkte, etwa das Erzeugen oder Kuratieren von Daten, wurden von zwei Personen erwähnt, standen aber weniger im Mittelpunkt.

Als Hürden nannten die Forschenden Zuverlässigkeit, offene Planung, den Umgang mit langen Kontexten, tiefes Schlussfolgern und neuartige Aufgaben. Auch der nötige Einblick der Forschenden in Implementierungsdetails und der Rechenaufwand für selbstständig laufende Agenten könnten die praktische Automatisierung begrenzen.

Bei Beispieltests zu Experimentimplementierung und Fehlersuche meinten sechs von acht Befragten, dass KI-Systeme, die solche Aufgaben autonom lösen, einen erheblichen Teil der Forschungsarbeit automatisieren könnten. Einige schätzten den möglichen Anteil ihrer Arbeitszeit hoch ein; andere hielten die Beispiele für zu einfach oder verwiesen auf schwierigere Fälle, etwa Fehler ohne sichtbare Fehlermeldung. Der Beitrag betont, dass sich die Wirkung je nach Einzelfall unterscheiden könne und Arbeitsstunden allein den Gesamteffekt nicht sicher abbildeten. Zwei Teilnehmende bezweifelten den Aussagewert der Tests, falls diese keine anspruchsvolleren, offenen Aufgaben umfassen. Fünf bevorzugten Prüfungen teilweiser Automatisierung gegenüber ausschließlich vollständig autonomer Ausführung; zwei hoben hervor, dass Zuverlässigkeit genauer bewertet werden müsse. Die Aussagen beruhen auf acht Interviews und geben Einschätzungen der Befragten wieder, keine Messung künftiger Automatisierung.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Die Bewertung der Zusammenfassung bezieht sich vor allem auf die mittlere Fassung, die kurze Fassung lässt die Vorschläge zu Evaluationen und die Teilnehmenden-Präferenz für partielle Automatisierung aus. Die Einordnungen stützen sich allein auf den Berichtstext; Lunas Stufen und Anteilswerte wurden nicht übernommen.

Im Bericht, aber nicht in der Zusammenfassung

  • Teilnehmende bevorzugten teils partielle Automatisierung statt vollständig autonomer Aufgabenerledigung
  • Vorschläge zur Verbesserung der Evaluationen: offenere, schwierigere Aufgaben und eine gründliche Prüfung der Zuverlässigkeit
  • Planung und Hypothesenbildung beanspruchen nach den Schilderungen wenig Zeit im Projekt, was in der Kurzfassung nicht erscheint

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Vorfälle melden
Fähigkeiten messen
  1. SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
    • clef 28 %Hintergrund, keine Belege
    • Luna 72 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 36 %gleiches Oberthema, hilft nicht
    • SubQ 40 %gleiches Oberthema, hilft nicht
    • drex 36 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
    • Haiku-Prüfung gleiches Oberthema, hilft nicht

Unabhängig prüfen
  1. SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
    • clef 33 %Hintergrund, keine Belege
    • Luna 48 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 44 %gleiches Oberthema, hilft nicht
    • SubQ 57 %gleiches Oberthema, hilft nicht
    • drex 45 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
  2. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 25 %Hintergrund, keine Belege
    • Luna 50 %Hintergrund, keine Belege
    • JEV 32 %einzelne zitierbare Belege
    • amos 27 %Hintergrund, keine Belege
    • SubQ 41 %gleiches Oberthema, hilft nicht
    • drex 41 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

Tempo und Grenzen
  1. SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
    • clef 100 %kein Bezug
    • Luna 52 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 29 %Hintergrund, keine Belege
    • SubQ 46 %gleiches Oberthema, hilft nicht
    • drex 32 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

  2. SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
    • clef 100 %kein Bezug
    • Luna 51 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 37 %gleiches Oberthema, hilft nicht
    • SubQ 67 %gleiches Oberthema, hilft nicht
    • drex 35 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
  3. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 25 %Hintergrund, keine Belege
    • Luna 61 %einzelne zitierbare Belege
    • JEV 43 %einzelne zitierbare Belege
    • amos 33 %einzelne zitierbare Belege
    • SubQ 26 %Hintergrund, keine Belege
    • drex 26 %einzelne zitierbare Belege
    • d3-ultra offen
    • Haiku-Prüfung Hintergrund, keine Belege

    • SF-T3-T01 Welches messbare Zeichen, also welche beobachtbare Änderung in der Fähigkeit eines Modells, die Abläufe zu verbessern, mit denen seine eigenen Fähigkeiten entwickelt werden, würden Labore und Staaten gemeinsam als Beginn der Selbstverbesserung anerkennen, und wer darf im Labor danach suchen? Welche beobachtbare Änderung markiert den Schritt von beaufsichtigter automatisierter Forschung zu voll selbstständiger Selbstverbesserung, und welche öffentliche Stelle darf diesen Schritt nach Prüfung der Belege für menschliche Kontrolle erlauben oder ablehnen? Luna: Stufe 3 · 30 % · Hintergrund, keine Belege
    • SF-T3-T03 Welche Teile von Training, Prüfung und Einsatz laufen schon heute weitgehend durch KI, und welche Rollen sagt jedes Labor zu, bei Menschen zu lassen, in einer veröffentlichten Liste statt als bloßer Grundsatz? Wenn KI nachfolgende Modelle selbst entwirft, trainiert und prüft: Welcher Mindestanteil der Forschung muss unter direkter menschlicher Prüfung bleiben, und wie belegt man, dass ein Durchbruch mit menschlicher Beteiligung und nicht vollautomatisch entstanden ist? Luna: Stufe 3 · 26 % · Hintergrund, keine Belege
    • SF-T3-T08 Welche kontrollierten Versuche können Labore heute machen, um Selbstverbesserung nachzubilden, ohne eine unbeabsichtigte Beschleunigung zu riskieren? Luna: Stufe 3 · 42 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 2 · nur am Rande erwähnt
Vertrauen in Modelle
  1. SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
    • clef 31 %Hintergrund, keine Belege
    • Luna 100 %kein Bezug
    • JEV 100 %kein Bezug
    • amos 32 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 43 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
  2. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 33 %einzelne zitierbare Belege
    • amos 47 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen
  3. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 29 %Hintergrund, keine Belege
    • Luna 65 %Hintergrund, keine Belege
    • JEV 32 %Hintergrund, keine Belege
    • amos 37 %gleiches Oberthema, hilft nicht
    • SubQ 50 %gleiches Oberthema, hilft nicht
    • drex 48 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
    • Haiku-Prüfung gleiches Oberthema, hilft nicht

    • SF-V5-T01 Was sollte ein Modell schon heute tun, nicht erst bei rekursiver Selbstverbesserung (wenn KI ihre eigene Weiterentwicklung selbst vorantreibt), um äußerste Vorsicht angesichts rasch wachsender maschineller Intelligenz ernst zu nehmen? Luna: Stufe 3 · 40 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 1 · gleiches Oberthema, hilft nicht
Agenten und vernetzte Systeme
  1. SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
    • clef 100 %kein Bezug
    • Luna 47 %Hintergrund, keine Belege
    • JEV 33 %Hintergrund, keine Belege
    • amos 28 %nur am Rande erwähnt
    • SubQ 43 %gleiches Oberthema, hilft nicht
    • drex 45 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Modelle teilen und schützen
Frieden und Sicherheit
Offenlegung und Rechenschaft
  1. SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
    • clef 32 %gleiches Oberthema, hilft nicht
    • Luna 49 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 49 %gleiches Oberthema, hilft nicht
    • SubQ 70 %gleiches Oberthema, hilft nicht
    • drex 53 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Beteiligung und Gemeinwohl
  1. SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
    • clef 100 %kein Bezug
    • Luna 50 %Hintergrund, keine Belege
    • JEV 30 %Hintergrund, keine Belege
    • amos 52 %gleiches Oberthema, hilft nicht
    • SubQ 62 %gleiches Oberthema, hilft nicht
    • drex 40 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

    • SF-E5-T02 Welche Entscheidungen müssen menschlich bleiben, auch wenn eine KI sie besser treffen könnte, und wie würden Staaten in Entscheidungsschleifen mit hohem Risiko prüfbar machen, dass ein Mensch die Ausgabe der KI wirklich beurteilt und nicht nur routinemäßig abgenickt hat? Luna: Stufe 3 · 43 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 2 · nur am Rande erwähnt
Wirtschaft und Haftung

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →