Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
openai6. Oktober 2026 · Q007685

Advancing computer use with Ironclad

openai.com · Originalbericht öffnen ↗

Zusammenfassung

Kurz

OpenAI und Ironclad entwickelten 11 Forschungsaufgaben, um KI-Agenten bei komplexen Vertragsabläufen zu trainieren und zu bewerten. Laut OpenAI erzielte GPT‑6 Astra dabei höhere Durchschnittswerte und kürzere simulierte Bearbeitungszeiten als GPT‑5.6 Sol; die Resultate sind jedoch auf diese Aufgaben begrenzt und die Zeitangaben sind keine gemessenen Kundeneinsparungen.

Mittel

Der Bericht schildert eine Forschungszusammenarbeit zwischen OpenAI und Ironclad, bei der KI-Agenten für mehrstufige Aufgaben in Vertragssoftware trainiert und bewertet werden. Gemeinsam entwickelten die Teams 11 Aufgaben aus Recht, Handel und Beschaffung, etwa das Einrichten von Genehmigungsabläufen. Jede Aufgabe wurde anhand von 8 bis 50 Kriterien bewertet; Ironclad stellte Testumgebungen bereit, und OpenAI nutzte synthetische Trainingsaufgaben mit bestärkendem Lernen.

Laut OpenAI erreichte GPT‑6 Astra bei den Aufgaben im Durchschnitt 55,0 Prozent, gegenüber 41,6 Prozent für GPT‑5.6 Sol. Die geschätzte Bearbeitungszeit je Versuch lag bei 19,2 statt 37,0 Minuten. Diese Ergebnisse gelten laut Bericht nur für die 11 Forschungsaufgaben. Die Zeitwerte sind Simulationen und keine gemessenen Kundeneinsparungen. OpenAI gibt an, öffentliche, gefilterte SEC-Verträge als Grundlage synthetischer Aufgaben verwendet und keine Kunden- oder nicht öffentlichen Ironclad-Vertragsdaten für Training oder Bewertung genutzt zu haben. Der Bericht betont, dass menschliche Aufsicht wichtig bleibt, und beschreibt die Kooperation als Modell für weitere Partnerschaften zu komplexer beruflicher Softwarearbeit.

Ausführlich lesen

Der Bericht beschreibt eine Zusammenarbeit von OpenAI und Ironclad, einem Anbieter von Software für Vertragsprozesse. OpenAI zufolge soll sie helfen, KI-Agenten für komplexe berufliche Aufgaben zu trainieren und zu bewerten. Dabei geht es nicht nur darum, einzelne Aktionen in einer spezialisierten Anwendung auszuführen: Ein Agent soll Geschäftsregeln über mehrere Schritte hinweg berücksichtigen und prüfen, ob das fertige Ergebnis die ursprünglichen Anforderungen erfüllt.

Für die Untersuchung entwickelten Mitarbeitende von Ironclad und OpenAI 11 Aufgaben aus den Bereichen Recht, Handel und Beschaffung. Beispiele waren das Einrichten von Geheimhaltungsvereinbarungen und Genehmigungsabläufen sowie das Anpassen einer wiederverwendbaren Vertragsklausel anhand der gewählten Rechtsordnung. OpenAI schätzt, dass eine erfahrene Person für eine solche Aufgabe im Durchschnitt 30 bis 40 Minuten benötigen würde. Je nach Schwierigkeit wurde jede Aufgabe anhand von 8 bis 50 Kriterien bewertet. Ironclad stellte gehostete Umgebungen seiner Software zum Üben bereit. OpenAI entwickelte außerdem synthetische Trainingsaufgaben und setzte bestärkendes Lernen mit Übung und Feedback ein.

Laut den berichteten Ergebnissen erzielte GPT‑6 Astra bei diesen 11 Aufgaben mit der Einstellung „Max reasoning“ im Mittel 55,0 Prozent der Bewertungspunkte. GPT‑5.6 Sol kam mit „High reasoning“ auf 41,6 Prozent. Die geschätzte Zeit je Versuch betrug für Astra 19,2 Minuten und für Sol 37,0 Minuten. OpenAI fasst den Unterschied als 32 Prozent höheren Durchschnittswert und 48 Prozent weniger geschätzte Zeit zusammen. In einem einzelnen gezeigten Aufgabenbeispiel erfüllte Astra laut Bericht etwa 94 Prozent der Kriterien in geschätzt 20 Minuten; Sol erfüllte etwa 85 Prozent in geschätzt 32 Minuten. Ein internes Modell, das während der Entwicklung von Astra verwendet wurde, erreichte laut OpenAI 63,7 Prozent.

Der Bericht betont zugleich, dass diese Werte begrenzt auszulegen sind: Sie beziehen sich auf die 11 Forschungsaufgaben und belegen keine Leistung über sämtliche Ironclad-Abläufe hinweg. Die Zeitangaben sind simulierte Schätzungen anhand angenommener Verarbeitungs- und Generierungsgeschwindigkeiten, keine gemessenen Einsparungen bei Kundinnen und Kunden. OpenAI erklärt, die für Training und Bewertung verwendeten simulierten Aufgaben aus öffentlich verfügbaren Verträgen der SEC-Datenbank EDGAR erstellt und so gefiltert zu haben, dass personenbezogene Informationen entfernt werden. Kundendaten von OpenAI, interne OpenAI-Verträge sowie nicht öffentliche Ironclad-Kundendaten oder -Verträge seien dafür nicht verwendet worden.

Ironclad und OpenAI stellen die Zusammenarbeit als Möglichkeit dar, reale Anforderungen und Fehler komplexer Vertragsarbeit in die Modellforschung einzubringen. Ironclads CTO hebt hervor, dass Agenten den gesamten Vertragsprozess und die Verbindungen zwischen Arbeitsabläufen verstehen und zugleich die Kontrollen der Teams wahren müssten. Der Bericht hält menschliche Aufsicht weiterhin für wichtig und bezeichnet eine vollständige Vertragsplattform als wesentlich. OpenAI lädt zudem eine kleine Zahl von Softwareunternehmen ein, konkrete Aufgaben, Nachweise über Fehlverhalten, Erfolgskriterien, Fachleute, sichere Testumgebungen und sicher nutzbare Forschungsdaten für mögliche Kooperationen einzubringen.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Lunas mittlere Zusammenfassung ist im Kern treu; die Formulierung zum Modellcharakter der Kooperation geht über den Bericht hinaus, und mehrere zentrale Befunde wie die 63,7 %-Version und das CTO-Zitat fehlen. Die Einordnungen wurden unabhängig vom Anteil bewertet, da Luna dafür keine Begründung angegeben hat.

Im Bericht, aber nicht in der Zusammenfassung

  • Die interne Modellversion, die in der Entwicklung von Astra genutzt wurde, erreichte 63,7 % auf den Aufgaben.
  • Die relativen Verbesserungen (Durchschnittswert 32 % höher, Zeit je Versuch 48 % niedriger) fehlen.
  • Das Zitat der Ironclad-CTO Sunita Verma zum Nutzen der Zusammenarbeit fehlt.
  • Die beiden Beispielläufe (Astra etwa 94 %, Sol etwa 85 %) werden nicht erwähnt.

In der Zusammenfassung, laut Prüfung nicht im Bericht belegt

  • Die Kooperation wird als Modell für weitere Partnerschaften beschrieben; der Bericht nennt jedoch nur, dass OpenAI eine kleine Zahl weiterer Softwarefirmen einlädt.

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Vorfälle melden
Fähigkeiten messen
  1. SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 28 %einzelne zitierbare Belege
    • amos 39 %gleiches Oberthema, hilft nicht
    • SubQ 54 %gleiches Oberthema, hilft nicht
    • drex 42 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
  2. SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 26 %einzelne zitierbare Belege
    • amos 29 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 51 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Unabhängig prüfen
  1. SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
    • clef 100 %kein Bezug
    • Luna 32 %Hintergrund, keine Belege
    • JEV 39 %einzelne zitierbare Belege
    • amos 40 %gleiches Oberthema, hilft nicht
    • SubQ 61 %gleiches Oberthema, hilft nicht
    • drex 63 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
  2. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 23 %gleiches Oberthema, hilft nicht
    • Luna 47 %einzelne zitierbare Belege
    • JEV 47 %umfangreiche Belege
    • amos 30 %Hintergrund, keine Belege
    • SubQ 32 %gleiches Oberthema, hilft nicht
    • drex 24 %gleiches Oberthema, hilft nicht
    • d3-ultra 49 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung Hintergrund, keine Belege

    • SF-P3-T07 Wird jede öffentliche Aussage, ein führendes KI-Modell sei „besser ausgerichtet“ als ein anderes (folge also seinen vorgesehenen Zielen und Werten besser), reproduzierbare Kriterien, externe Prüfungen und widersprechende Ergebnisse enthalten? Luna: Stufe 4 · 34 % · einzelne zitierbare Belege · Haiku-Prüfung: Stufe 2 · nur am Rande erwähnt
Tempo und Grenzen
  1. SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
    • clef 100 %kein Bezug
    • Luna 43 %Hintergrund, keine Belege
    • JEV 30 %nur am Rande erwähnt
    • amos 33 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 63 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug

  2. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 39 %gleiches Oberthema, hilft nicht
    • Luna 36 %umfangreiche Belege
    • JEV 31 %einzelne zitierbare Belege
    • amos 30 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 71 %gleiches Oberthema, hilft nicht
    • d3-ultra 57 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung gleiches Oberthema, hilft nicht

Vertrauen in Modelle
  1. SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
    • clef 100 %kein Bezug
    • Luna 31 %gleiches Oberthema, hilft nicht
    • JEV 100 %kein Bezug
    • amos 26 %Hintergrund, keine Belege
    • SubQ 44 %gleiches Oberthema, hilft nicht
    • drex 45 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
  2. SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
    • clef 100 %kein Bezug
    • Luna 47 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 25 %Hintergrund, keine Belege
    • SubQ 46 %gleiches Oberthema, hilft nicht
    • drex 56 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug

    • SF-V3-T04 Wer muss Rechenschaft ablegen, wenn ein Modell Werte auf Lagen überträgt, die beim Training niemand vorhergesehen hat: das Modell, das Labor oder der Mensch, der das Ziel gesetzt hat? Luna: Stufe 3 · 36 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 1 · gleiches Oberthema, hilft nicht
  3. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 45 %Hintergrund, keine Belege
    • JEV 47 %einzelne zitierbare Belege
    • amos 46 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 48 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug

  4. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 53 %Hintergrund, keine Belege
    • JEV 43 %einzelne zitierbare Belege
    • amos 29 %Hintergrund, keine Belege
    • SubQ 41 %gleiches Oberthema, hilft nicht
    • drex 29 %gleiches Oberthema, hilft nicht
    • d3-ultra 51 %gleiches Oberthema, hilft nicht

Agenten und vernetzte Systeme
  1. SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
    • clef 27 %gleiches Oberthema, hilft nicht
    • Luna 45 %Hintergrund, keine Belege
    • JEV 48 %einzelne zitierbare Belege
    • amos 26 %Hintergrund, keine Belege
    • SubQ 29 %gleiches Oberthema, hilft nicht
    • drex 24 %nur am Rande erwähnt
    • d3-ultra 36 %Hintergrund, keine Belege

  2. SF-A2 Lassen sich KI-Systeme sicher anhalten, zurücksetzen, abschotten oder drosseln, und wer darf das anordnen?
    • clef 37 %gleiches Oberthema, hilft nicht
    • Luna 53 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 31 %gleiches Oberthema, hilft nicht
    • SubQ 47 %gleiches Oberthema, hilft nicht
    • drex 42 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Modelle teilen und schützen
  1. SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
    • clef 100 %kein Bezug
    • Luna 30 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 44 %gleiches Oberthema, hilft nicht
    • SubQ 42 %gleiches Oberthema, hilft nicht
    • drex 53 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
  2. SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
    • clef 100 %kein Bezug
    • Luna 37 %einzelne zitierbare Belege
    • JEV 39 %beantwortet teilweise oder widerspricht
    • amos 35 %einzelne zitierbare Belege
    • SubQ 25 %einzelne zitierbare Belege
    • drex 30 %einzelne zitierbare Belege
    • d3-ultra 30 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung einzelne zitierbare Belege
Frieden und Sicherheit
Offenlegung und Rechenschaft
  1. SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
    • clef 100 %kein Bezug
    • Luna 31 %Hintergrund, keine Belege
    • JEV 38 %umfangreiche Belege
    • amos 31 %gleiches Oberthema, hilft nicht
    • SubQ 64 %gleiches Oberthema, hilft nicht
    • drex 38 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
  2. SF-O3 Welcher Text gilt, und wie beweist man, dass ein Dokument nicht verändert wurde?
    • clef 100 %kein Bezug
    • Luna 32 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 27 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
  1. SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
    • clef 100 %kein Bezug
    • Luna 56 %Hintergrund, keine Belege
    • JEV 35 %einzelne zitierbare Belege
    • amos 42 %gleiches Oberthema, hilft nicht
    • SubQ 59 %gleiches Oberthema, hilft nicht
    • drex 42 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug

  2. SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
    • clef 100 %kein Bezug
    • Luna 51 %Hintergrund, keine Belege
    • JEV 58 %einzelne zitierbare Belege
    • amos 36 %gleiches Oberthema, hilft nicht
    • SubQ 51 %gleiches Oberthema, hilft nicht
    • drex 42 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug

    • SF-E5-T02 Welche Entscheidungen müssen menschlich bleiben, auch wenn eine KI sie besser treffen könnte, und wie würden Staaten in Entscheidungsschleifen mit hohem Risiko prüfbar machen, dass ein Mensch die Ausgabe der KI wirklich beurteilt und nicht nur routinemäßig abgenickt hat? Luna: Stufe 3 · 43 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 2 · nur am Rande erwähnt
Wirtschaft und Haftung
Information und Öffentlichkeit

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →