Imitation Learning is Probably Existentially Safe
Zusammenfassung
Für diesen Bericht lag nur ein Auszug oder keine vollständige Fassung vor. Die Zusammenfassung sagt das selbst.
Kurz
Der bereitgestellte Text ist nur das Abstract eines Beitrags von Cohen und Hutter über behauptete existenzielle Risiken durch menschenimitierendes überwachtes Lernen. Die Autoren halten die genannten Argumente für fehlerhaft, doch der Auszug enthält weder ihre Begründungen noch eine ausführliche Analyse.
Mittel
Der bereitgestellte Text ist nur ein Auszug: Er umfasst Metadaten und das Abstract eines Beitrags von Michael K. Cohen und Marcus Hutter in *AI Magazine*. Darin geht es um die Frage, ob ein fortgeschrittener Algorithmus für überwachtes Lernen, der Menschen imitiert, ein existenzielles Risiko darstellen könnte. Die Autoren behaupten, dass mehrere dafür angeführte Argumente fehlerhaft seien. Sie führen sechs Ansätze an: das Attention-Director-, Cartesian-Demon-, Simplicity-of-Optimality-, Character-Destiny-, Rational-Subroutine- und Deceptive-Alignment-Argument, jeweils mit den im Abstract genannten Urhebern und Jahreszahlen. Das Abstract kündigt an, die Argumente zu prüfen und die Gründe für ihre Zurückweisung darzulegen. Diese Begründungen, eine Beschreibung des Vorgehens und detaillierte Ergebnisse sind im Auszug nicht enthalten; die Argumente lassen sich anhand des vorliegenden Materials daher nicht näher bewerten.
Ausführlich lesen
Der bereitgestellte Text ist nur ein Auszug: Er enthält die Metadaten und das Abstract eines Beitrags von Michael K. Cohen und Marcus Hutter, erschienen in der Zeitschrift *AI Magazine*. Der Beitrag behandelt die Frage, ob ein hinreichend fortgeschrittener Algorithmus für überwachtes Lernen, der Menschen nachahmt, ein existenzielles Risiko für die Menschheit darstellen könnte.
Laut Abstract untersuchen die Autoren mehrere Argumente, die ein solches Risiko begründen sollen, und vertreten die Auffassung, dass diese Argumente fehlerhaft sind. Genannt werden das „Attention Director Argument“ von Yudkowsky (2008), das „Cartesian Demon Argument“ von Christiano (2016), das „Simplicity of Optimality Argument“ von Krueger (2019), das „Character Destiny Argument“ von Branwen (2022), das „Rational Subroutine Argument“ von Yudkowsky (2023) sowie das „Deceptive Alignment Argument“ von Hubinger und Mitautoren (2019).
Der Auszug benennt damit Gegenstand und Ziel des Beitrags: Er soll Einwände gegen die behauptete existenzielle Gefahr durch menschenimitierendes überwachtes Lernen erläutern. Die konkreten Begründungen der Autoren, ihre Analyse der einzelnen Argumente und etwaige Ergebnisse oder Schlussfolgerungen über das Abstract hinaus sind im bereitgestellten Text jedoch nicht enthalten. Auch beschreibt der Auszug keine Methode oder empirische Untersuchung. Daher lässt sich aus diesem Material nicht beurteilen, wie die Autoren die einzelnen Argumente widerlegen oder wie weit ihre Schlussfolgerung reicht.
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 46 %gleiches Oberthema, hilft nicht
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 48 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 66 %gleiches Oberthema, hilft nicht
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 55 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 54 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 27 %Hintergrund, keine Belege
- Luna 100 %kein Bezug
- JEV 48 %gleiches Oberthema, hilft nicht
- amos 52 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 64 %gleiches Oberthema, hilft nicht
- d3-ultra 58 %gleiches Oberthema, hilft nicht
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 48 %gleiches Oberthema, hilft nicht
- JEV 40 %gleiches Oberthema, hilft nicht
- amos 25 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 41 %gleiches Oberthema, hilft nicht
- d3-ultra 63 %gleiches Oberthema, hilft nicht
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 45 %Hintergrund, keine Belege
- JEV 28 %Hintergrund, keine Belege
- amos 26 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 40 %gleiches Oberthema, hilft nicht
- d3-ultra 61 %gleiches Oberthema, hilft nicht
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 23 %Hintergrund, keine Belege
- JEV 29 %einzelne zitierbare Belege
- amos 32 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 34 %gleiches Oberthema, hilft nicht
- d3-ultra 60 %gleiches Oberthema, hilft nicht
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 46 %Hintergrund, keine Belege
- JEV 39 %Hintergrund, keine Belege
- amos 35 %gleiches Oberthema, hilft nicht
- SubQ 47 %gleiches Oberthema, hilft nicht
- drex 53 %gleiches Oberthema, hilft nicht
- d3-ultra 63 %gleiches Oberthema, hilft nicht
Agenten und vernetzte Systeme
- SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 43 %gleiches Oberthema, hilft nicht
- amos 36 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 58 %gleiches Oberthema, hilft nicht
- SF-A2 Lassen sich KI-Systeme sicher anhalten, zurücksetzen, abschotten oder drosseln, und wer darf das anordnen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 60 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-A3 Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 50 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E2 In welchem Rahmen sollen Staaten KI regeln, und wo liegt eine gemeinsame Untergrenze?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 52 %gleiches Oberthema, hilft nicht
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 52 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Alle Berichte im Archiv