Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
epoch27. August 2024 · Q004775

Interviewing AI researchers on automation of AI R&D

epoch.ai · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Acht befragte KI-Forschende waren sich einig, dass Programmierung und Fehlersuche die wichtigsten kurzfristigen Ansatzpunkte für die Automatisierung von KI-Forschung sind, unterschieden sich aber stark darin, wie schnell und umfassend sie diese erwarten. Sechs hielten das Bestehen vorhandener Tests für Experimentumsetzung und Debugging für ein mögliches Zeichen erheblicher Automatisierung; offene Aufgaben, Zuverlässigkeit und stark schwankende Auswirkungen je nach Einzelfall begrenzen diese Einschätzung.

Mittel

Der Beitrag untersucht, welche Aufgaben der KI-Forschung sich automatisieren lassen könnten und warum Fachleute den zeitlichen Verlauf unterschiedlich einschätzen. Grundlage sind offene qualitative Interviews mit acht erfahrenen Forschenden aus Industrie, gemeinnützigen Einrichtungen und Hochschulen.

Die Befragten beschrieben Forschung als Kreislauf aus Hypothesen, Experimenten und Ergebnissen. Ideenfindung und Planung seien wichtig, nähmen ihren Beschreibungen zufolge aber oft weniger Zeit ein als die Umsetzung. Alle acht nannten Programmierung und Fehlersuche als zentrale, zeitaufwendige Tätigkeiten – auch bei erfahrenen Forschenden. Entsprechend sahen sie technische Aufgaben als Haupttreiber möglicher Automatisierung in den kommenden fünf Jahren. Zwei erwarteten weitgehende Automatisierung, zwei nur begrenzte Auswirkungen; die übrigen lagen dazwischen. Die meisten bezeichneten ihre Prognosen als unsicher.

Als Hindernisse nannten die Forschenden mangelnde Zuverlässigkeit, offene Planung, den Umgang mit langen Kontexten, tiefes Schlussfolgern und neuartige Forschungsansätze. Sechs von acht meinten, KI-Systeme, die bestehende Tests zur Experimentumsetzung und Fehlersuche selbstständig bestehen, könnten einen erheblichen Teil der Forschungsarbeit automatisieren. Die Wirkung könne je nach Aufgabe stark variieren; zwei Befragte kritisierten die Tests als zu eng. Fünf bevorzugten außerdem Prüfungen teilweiser Automatisierung, und zwei forderten eine eingehendere Bewertung der Zuverlässigkeit.

Ausführlich lesen

Der Beitrag untersucht, wie und wann KI-Systeme Aufgaben in der KI-Forschung und -Entwicklung (AI R&D) automatisieren könnten. Die Frage ist für Prognosen zum KI-Fortschritt relevant, weil eine Automatisierung von Forschungsarbeit diesen möglicherweise beschleunigen würde. Die Einschätzungen dazu gehen stark auseinander. Um Gründe für die Unterschiede und die betroffenen Aufgaben besser zu verstehen, führte Epoch AI offene qualitative Interviews mit acht Forschenden aus Industrie, gemeinnützigen Organisationen und Hochschulen. Die Befragten hatten einschlägige Forschungserfahrung, etwa durch Veröffentlichungen auf führenden Konferenzen. Die Ergebnisse fassen wiederkehrende Themen zusammen und verwenden beispielhafte Aussagen der Teilnehmenden.

Die beschriebenen Forschungsabläufe umfassen das Entwickeln von Hypothesen und Forschungsplänen, das Umsetzen von Experimenten sowie die Auswertung ihrer Ergebnisse. Sechs Befragte betonten die Bedeutung von Planung und Hypothesenbildung. Wie viel Zeit diese Tätigkeiten beanspruchen, lasse sich laut Beitrag schwer abgrenzen, da sie mit Versuchsplanung und dem Studium anderer Arbeiten überlappen. Die Beschreibungen legen jedoch nahe, dass Ideenfindung im Vergleich zur Umsetzung oft schneller geht. Alle acht Befragten hoben Programmierung und Fehlersuche als wichtig und zeitaufwendig hervor. Diese technischen Arbeiten blieben auch bei erfahrenen Forschenden ein wesentlicher Teil der Tätigkeit, selbst wenn deren Verantwortung für Planung und Leitung zunahm.

Bei der Geschwindigkeit und dem Umfang künftiger Automatisierung unterschieden sich die Prognosen deutlich. Zwei besonders optimistische Befragte erwarteten, dass KI-Agenten innerhalb von fünf Jahren Code und Experimente anhand natürlichsprachlicher Vorgaben weitgehend selbstständig umsetzen könnten. Ihren Beschreibungen zufolge könnte das mindestens die Hälfte ihrer derzeitigen Arbeit betreffen. Zwei andere erwarteten zwar bessere Programmierhilfen, aber nur geringe Auswirkungen auf die Forschung; eine Person nannte einen Produktivitätszuwachs von 20 bis 50 Prozent als äußerst optimistische Obergrenze. Die übrigen vier lagen zwischen diesen Positionen und rechneten mit nützlicher Unterstützung, aber wenig vollständiger Automatisierung. Die meisten kennzeichneten ihre Prognosen als unsicher. Trotz der Unterschiede sahen alle die Automatisierung technischer Aufgaben als wichtigsten kurzfristigen Treiber. Andere mögliche Ziele, etwa die Erstellung oder Auswahl von Daten, wurden seltener diskutiert.

Als Hürden für eine Automatisierung nannten die Forschenden Zuverlässigkeit, offene Planung, den sinnvollen Umgang mit langen Kontexten, tiefes Schlussfolgern und die Entwicklung neuartiger Methoden. Auch die nötige Vertrautheit mit Implementierungsdetails und der Rechenaufwand für Agenten könnten die praktische Nutzung begrenzen.

Der Beitrag bewertete bestehende Tests für KI-Forschungsaufgaben als möglichen Ausgangspunkt. Beispiele waren das Einbauen sparsamer Aufmerksamkeit in einen Modellcode und das Beheben eines CUDA-Fehlers. Sechs von acht Befragten meinten, Systeme, die solche Aufgaben selbstständig lösen, könnten einen erheblichen Anteil der Forschungsarbeit automatisieren. Einzelne Schätzungen reichten bei passenden Aufgaben bis zu 60 Prozent der eigenen Arbeitszeit oder 70 Prozent der Programmierzeit. Die mögliche Wirkung könne jedoch je nach konkreter Aufgabe stark schwanken. Zwei Befragte hielten die Tests für zu eng gefasst und erwarteten wenig Nutzen, wenn schwierigere, offene Probleme ungelöst blieben. Fünf bevorzugten Tests für teilweise Automatisierung; zwei betonten, dass Zuverlässigkeit genauer geprüft werden müsse. Weiterführende Vorschläge, so der Beitrag, werden im vollständigen Bericht behandelt.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Die drei Zusammenfassungen geben den Bericht sachlich korrekt wieder; Lücken betreffen Kontext und Nebenbefunde, Erfindungen liegen nicht vor. Die Einordnung stützt sich auf den Bericht, der die Fragen zu Öffentlichkeitsbeteiligung, Laborprüfung und staatlicher Freigabe kaum beantwortet.

Im Bericht, aber nicht in der Zusammenfassung

  • Herausgeber und Autor des Berichts (Epoch AI, David Owen) werden nicht genannt
  • Die Vorhersagen zum Tempo der Automatisierung unterscheiden sich stark, ähnlich wie in früheren Umfragen
  • Planung und Hypothesenbildung lassen sich zeitlich schwer abgrenzen, weil sie mit Versuchsplanung und Literaturstudium verschmelzen
  • Weitere Hemmnisse sind die nötige Vertrautheit mit Implementierungsdetails und der hohe Rechenbedarf für Agenten
  • Die Hindernisse wurden aus den Beschreibungen der Forschenden abgeleitet und nicht vorab festgelegt
  • Der Bericht verweist auf bestehende Forschung zur Automatisierbarkeit von Arbeitsaufgaben als Vergleich

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Vorfälle melden
Fähigkeiten messen
  1. SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
    • clef 30 %Hintergrund, keine Belege
    • Luna 42 %Hintergrund, keine Belege
    • JEV offen
    • amos 39 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 38 %gleiches Oberthema, hilft nicht
    • d3-ultra 44 %gleiches Oberthema, hilft nicht
Unabhängig prüfen
  1. SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
    • clef 31 %gleiches Oberthema, hilft nicht
    • Luna 63 %Hintergrund, keine Belege
    • JEV offen
    • amos 44 %gleiches Oberthema, hilft nicht
    • SubQ 55 %gleiches Oberthema, hilft nicht
    • drex 52 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
  2. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 24 %Hintergrund, keine Belege
    • Luna 79 %Hintergrund, keine Belege
    • JEV offen
    • amos 27 %Hintergrund, keine Belege
    • SubQ 42 %gleiches Oberthema, hilft nicht
    • drex 33 %gleiches Oberthema, hilft nicht
    • d3-ultra 52 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung nur am Rande erwähnt

Tempo und Grenzen
  1. SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
    • clef 100 %kein Bezug
    • Luna 36 %Hintergrund, keine Belege
    • JEV offen
    • amos 29 %Hintergrund, keine Belege
    • SubQ 47 %gleiches Oberthema, hilft nicht
    • drex 33 %gleiches Oberthema, hilft nicht
    • d3-ultra 49 %gleiches Oberthema, hilft nicht
  2. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 22 %Hintergrund, keine Belege
    • Luna 69 %einzelne zitierbare Belege
    • JEV offen
    • amos 33 %einzelne zitierbare Belege
    • SubQ 24 %gleiches Oberthema, hilft nicht
    • drex 30 %einzelne zitierbare Belege
    • d3-ultra 37 %einzelne zitierbare Belege
    • Haiku-Prüfung beantwortet teilweise oder widerspricht

    • SF-T3-T01 Welches messbare Zeichen, also welche beobachtbare Änderung in der Fähigkeit eines Modells, die Abläufe zu verbessern, mit denen seine eigenen Fähigkeiten entwickelt werden, würden Labore und Staaten gemeinsam als Beginn der Selbstverbesserung anerkennen, und wer darf im Labor danach suchen? Welche beobachtbare Änderung markiert den Schritt von beaufsichtigter automatisierter Forschung zu voll selbstständiger Selbstverbesserung, und welche öffentliche Stelle darf diesen Schritt nach Prüfung der Belege für menschliche Kontrolle erlauben oder ablehnen? Luna: Stufe 3 · 35 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 3 · Hintergrund, keine Belege
    • SF-T3-T08 Welche kontrollierten Versuche können Labore heute machen, um Selbstverbesserung nachzubilden, ohne eine unbeabsichtigte Beschleunigung zu riskieren? Luna: Stufe 3 · 48 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 4 · einzelne zitierbare Belege
Vertrauen in Modelle
  1. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 30 %Hintergrund, keine Belege
    • Luna 74 %Hintergrund, keine Belege
    • JEV offen
    • amos 36 %gleiches Oberthema, hilft nicht
    • SubQ 48 %gleiches Oberthema, hilft nicht
    • drex 48 %gleiches Oberthema, hilft nicht
    • d3-ultra 60 %gleiches Oberthema, hilft nicht

Agenten und vernetzte Systeme
  1. SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
    • clef 100 %kein Bezug
    • Luna 52 %Hintergrund, keine Belege
    • JEV offen
    • amos 28 %nur am Rande erwähnt
    • SubQ 47 %gleiches Oberthema, hilft nicht
    • drex 48 %gleiches Oberthema, hilft nicht
    • d3-ultra 59 %gleiches Oberthema, hilft nicht

Modelle teilen und schützen
Frieden und Sicherheit
Offenlegung und Rechenschaft
  1. SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
    • clef 100 %kein Bezug
    • Luna 70 %Hintergrund, keine Belege
    • JEV offen
    • amos 48 %gleiches Oberthema, hilft nicht
    • SubQ 71 %gleiches Oberthema, hilft nicht
    • drex 53 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
  1. SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
    • clef 100 %kein Bezug
    • Luna 77 %Hintergrund, keine Belege
    • JEV offen
    • amos 50 %gleiches Oberthema, hilft nicht
    • SubQ 62 %gleiches Oberthema, hilft nicht
    • drex 50 %gleiches Oberthema, hilft nicht
    • d3-ultra 49 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung gleiches Oberthema, hilft nicht

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →