Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
medium.com23. Oktober 2026 · Q011169

Google’s Harness²: The Open-Source Framework That Helps AI Agents Improve Themselves

medium.com · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Harness² soll laut Bericht KI-Agenten verbessern, indem es verschiedene Kombinationen aus Anweisungen, Werkzeugen und Arbeitsabläufen ausprobiert und aus den Ergebnissen eine passendere Konfiguration ableitet, ohne das Modell neu zu trainieren. Der Artikel berichtet von besseren Benchmarkwerten in Googles Tests, schränkt aber ein, dass dies keine allgemeine Korrektheit oder Überlegenheit im praktischen Einsatz belegt; Kosten, irreführende Vergleiche und die begrenzte Übertragbarkeit von Erkenntnissen bleiben wichtige Grenzen.

Mittel

Der Bericht beschreibt Harness² als Open-Source-Framework von Google Research, das KI-Agenten verbessern soll, indem es ihre Konfiguration aus Anweisungen, Werkzeugen, Speicher und Abläufen verändert, ohne die Modellgewichte neu zu trainieren. Es schlägt unterschiedliche Arbeitsweisen vor, erprobt sie an derselben Aufgabe und nutzt die beobachteten Unterschiede, um eine verfeinerte Konfiguration zu erstellen. Erkenntnisse aus früheren Aufgaben können später erneut berücksichtigt werden; ob sie übertragbar sind, bleibt jedoch zu prüfen. Die im Artikel gezeigten Codebeispiele sind ausdrücklich veranschaulichend und keine Implementierung des Frameworks.

Laut Bericht testete Google das Verfahren mit Gemini 3.5 Flash und GLM-5 auf Benchmarks für juristische, Büro- und berufliche Aufgaben. Eine Verfeinerungsrunde habe dort die ursprünglichen Konfigurationen übertroffen; weitere Runden hätten die Benchmarkwerte zusätzlich verbessert. Der Artikel betont, dass Benchmarkgewinne weder Korrektheit noch bessere Leistung in allen realen Aufgaben garantieren. Ergebnisse hängen unter anderem von Modell, Ausgangskonfiguration, Werkzeugen und Versuchsumfang ab. Vergleiche können irreführen, und Versuche kosten Zeit und gegebenenfalls API-Gebühren. Für den Einsatz empfiehlt der Bericht reproduzierbare Tests, klare Grenzen für Werkzeuge und menschliche Aufsicht, besonders bei folgenreichen Aufgaben.

Ausführlich lesen

Der Bericht stellt Harness² als Open-Source-Framework von Google Research vor, das KI-Agenten durch Veränderungen an ihrem Arbeitsumfeld verbessern soll, ohne die Modellgewichte neu zu trainieren. Zu diesem Umfeld, dem sogenannten Harness, zählen unter anderem Systemanweisungen, Werkzeuge, gespeicherte Informationen, wiederverwendbare Fähigkeiten, Teilagenten und die Ablaufsteuerung. Die zentrale These des Artikels lautet, dass Schwächen eines Agenten manchmal an seiner Konfiguration liegen und nicht allein am zugrunde liegenden Modell.

Harness² soll alternative Konfigurationen entwickeln, sie bei derselben Aufgabe ausführen und die beobachteten Unterschiede nutzen, um eine überarbeitete Konfiguration zusammenzustellen. Der Bericht beschreibt dies in drei Schritten: Vorschläge machen, Varianten erproben und daraus eine verbesserte Konfiguration zusammensetzen. Die gezeigten Codebeispiele veranschaulichen das Prinzip; der Text stellt ausdrücklich klar, dass sie nicht die tatsächliche Implementierung des Frameworks wiedergeben. Eine weitere Ebene soll nützliche, aus früheren Versuchen abgeleitete Erkenntnisse für spätere Aufgaben speichern und heranziehen. Ob eine frühere Erkenntnis auf eine neue Aufgabe passt, muss jedoch weiterhin beurteilt werden.

Laut Bericht kann das Verfahren Konfigurationen auch ohne bekannte Musterlösung oder festgelegtes Belohnungssignal vergleichen. Eine Variante, die im Versuch vollständiger wirkt als eine andere, kann Hinweise auf eine nützliche Strategie geben. Das belegt aber keine sachliche Richtigkeit: Beide Varianten könnten denselben wichtigen Fehler übersehen. Der Artikel hält deshalb externe Bewertung besonders bei Aufgaben mit hohen Folgen weiterhin für wertvoll.

Für die Erkundung nennt der Text parallele Versuche mit mehreren Varianten sowie schrittweise, aufeinander aufbauende Verfeinerung. Der Parameter `--k` steuert demnach das Budget für die Verfeinerung auf Aufgabenebene. Mehr Runden können zusätzliche Verbesserungen ermöglichen, zugleich aber Laufzeit und API-Kosten erhöhen.

Dem Bericht zufolge testete Google Harness² mit Gemini 3.5 Flash und GLM-5 auf Benchmarks für juristische, Büro- und berufliche Aufgaben. Als Ergebnisse werden angeführt, dass eine Runde von Änderungen in den getesteten Umgebungen die ursprünglichen Harnesses übertraf, weitere Runden die Benchmarkwerte steigerten und beide Verfeinerungsarten unterstützt wurden. Diese Angaben beziehen sich auf die beschriebenen Tests; sie garantieren keine besseren Resultate bei beliebigen realen Aufgaben. Der Text nennt Abhängigkeiten von Modell, Ausgangskonfiguration, Werkzeugen, Benchmark und Verfeinerungsbudget.

Der Artikel enthält außerdem Installations- und Ausführungsanleitungen: Für eine lokale Demo nennt er Linux, Python 3.12 und uv; modellgestützte Benchmarks benötigen zusätzliche Abhängigkeiten und Konten beziehungsweise Zugangsdaten. Solche Durchläufe können API-Kosten verursachen. Als praktische Grenzen nennt der Bericht außerdem den Zeit- und Ressourcenbedarf, mögliche irreführende Verhaltensvergleiche und die unsichere Übertragbarkeit früherer Erkenntnisse. Für den Produktiveinsatz empfiehlt er nachvollziehbare Tests, klare Grenzen für Werkzeuge und Ausführung sowie nötige menschliche Aufsicht. Die weitergehende Möglichkeit, dass Agenten ihre Arbeitsweise zunehmend selbst verbessern, wird als Perspektive des Artikels formuliert, nicht als bereits allgemein nachgewiesene Wirkung.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Luna hat drei Zusammenfassungen geliefert, die ich gemeinsam bewertet habe; sie geben den Bericht sachlich zutreffend wieder und lassen nur die Verfahrensvarianten und den fehlenden Bedarf an einer Richtig-Antwort aus. Bei der Einordnung ist zu beachten, dass der Bericht ein Produkt-Artikel über ein Optimierungsverfahren ist und die Sicherheitsfragen nur am Rande berührt, weshalb die Fragen zu Befugnissen, Prüfschwellen und staatlicher Freigabe kaum Belege enthalten.

Im Bericht, aber nicht in der Zusammenfassung

  • Parallele und sequenzielle Verfeinerung als zwei Betriebsarten des Frameworks
  • Das Verfahren braucht kein vorgegebenes Richtig-Antwort-Signal oder Belohnungssignal, sondern vergleicht Ausführungen untereinander

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Vorfälle melden
Fähigkeiten messen
  1. SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 24 %Hintergrund, keine Belege
    • amos 38 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 54 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Unabhängig prüfen
  1. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 28 %Hintergrund, keine Belege
    • Luna 46 %Hintergrund, keine Belege
    • JEV 21 %einzelne zitierbare Belege
    • amos 28 %nur am Rande erwähnt
    • SubQ 100 %kein Bezug
    • drex 38 %gleiches Oberthema, hilft nicht
    • d3-ultra 49 %gleiches Oberthema, hilft nicht

Tempo und Grenzen
  1. SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
    • clef 100 %kein Bezug
    • Luna 55 %Hintergrund, keine Belege
    • JEV 38 %nur am Rande erwähnt
    • amos 33 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 46 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung nur am Rande erwähnt

  2. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 27 %Hintergrund, keine Belege
    • Luna 56 %einzelne zitierbare Belege
    • JEV 53 %beantwortet teilweise oder widerspricht
    • amos 26 %einzelne zitierbare Belege
    • SubQ 24 %Hintergrund, keine Belege
    • drex 23 %einzelne zitierbare Belege
    • d3-ultra 32 %Hintergrund, keine Belege
    • Haiku-Prüfung Hintergrund, keine Belege

    • SF-T3-T01 Welches messbare Zeichen, also welche beobachtbare Änderung in der Fähigkeit eines Modells, die Abläufe zu verbessern, mit denen seine eigenen Fähigkeiten entwickelt werden, würden Labore und Staaten gemeinsam als Beginn der Selbstverbesserung anerkennen, und wer darf im Labor danach suchen? Welche beobachtbare Änderung markiert den Schritt von beaufsichtigter automatisierter Forschung zu voll selbstständiger Selbstverbesserung, und welche öffentliche Stelle darf diesen Schritt nach Prüfung der Belege für menschliche Kontrolle erlauben oder ablehnen? Luna: Stufe 3 · 33 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 1 · gleiches Oberthema, hilft nicht
    • SF-T3-T04 Welche konkrete menschliche Aufsicht oder Eingriffsmöglichkeit muss während der Selbstverbesserung bleiben und darf nur mit gegenseitiger Zustimmung ersetzt werden, und wer bescheinigt, dass der sich verbessernde Agent keine menschliche Rolle still an einen selbst entworfenen Unteragenten abgegeben hat? Luna: Stufe 3 · 28 % · Hintergrund, keine Belege
    • SF-T3-T08 Welche kontrollierten Versuche können Labore heute machen, um Selbstverbesserung nachzubilden, ohne eine unbeabsichtigte Beschleunigung zu riskieren? Luna: Stufe 4 · 37 % · einzelne zitierbare Belege · Haiku-Prüfung: Stufe 4 · einzelne zitierbare Belege
Vertrauen in Modelle
  1. SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
    • clef 31 %Hintergrund, keine Belege
    • Luna 100 %kein Bezug
    • JEV 100 %kein Bezug
    • amos 27 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 40 %gleiches Oberthema, hilft nicht
    • d3-ultra 47 %gleiches Oberthema, hilft nicht
  2. SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
    • clef 100 %kein Bezug
    • Luna 49 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 29 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 54 %gleiches Oberthema, hilft nicht
    • d3-ultra 55 %gleiches Oberthema, hilft nicht

  3. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 40 %einzelne zitierbare Belege
    • amos 45 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  4. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 25 %Hintergrund, keine Belege
    • Luna 44 %Hintergrund, keine Belege
    • JEV 39 %einzelne zitierbare Belege
    • amos 30 %Hintergrund, keine Belege
    • SubQ 33 %gleiches Oberthema, hilft nicht
    • drex 29 %Hintergrund, keine Belege
    • d3-ultra 49 %gleiches Oberthema, hilft nicht

    • SF-V5-T01 Was sollte ein Modell schon heute tun, nicht erst bei rekursiver Selbstverbesserung (wenn KI ihre eigene Weiterentwicklung selbst vorantreibt), um äußerste Vorsicht angesichts rasch wachsender maschineller Intelligenz ernst zu nehmen? Luna: Stufe 3 · 32 % · Hintergrund, keine Belege
Agenten und vernetzte Systeme
  1. SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
    • clef 31 %Hintergrund, keine Belege
    • Luna 58 %einzelne zitierbare Belege
    • JEV 49 %einzelne zitierbare Belege
    • amos 29 %Hintergrund, keine Belege
    • SubQ 33 %gleiches Oberthema, hilft nicht
    • drex 29 %Hintergrund, keine Belege
    • d3-ultra 37 %Hintergrund, keine Belege
    • Haiku-Prüfung Hintergrund, keine Belege

  2. SF-A2 Lassen sich KI-Systeme sicher anhalten, zurücksetzen, abschotten oder drosseln, und wer darf das anordnen?
    • clef 32 %gleiches Oberthema, hilft nicht
    • Luna 43 %Hintergrund, keine Belege
    • JEV 51 %nur am Rande erwähnt
    • amos 34 %nur am Rande erwähnt
    • SubQ 36 %gleiches Oberthema, hilft nicht
    • drex 35 %gleiches Oberthema, hilft nicht
    • d3-ultra 68 %gleiches Oberthema, hilft nicht

Modelle teilen und schützen
  1. SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
    • clef 29 %Hintergrund, keine Belege
    • Luna 100 %kein Bezug
    • JEV 26 %nur am Rande erwähnt
    • amos 31 %gleiches Oberthema, hilft nicht
    • SubQ 57 %gleiches Oberthema, hilft nicht
    • drex 43 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
  2. SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
    • clef 100 %kein Bezug
    • Luna 45 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 45 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Frieden und Sicherheit
Offenlegung und Rechenschaft
Beteiligung und Gemeinwohl
  1. SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
    • clef 29 %Hintergrund, keine Belege
    • Luna 38 %Hintergrund, keine Belege
    • JEV 28 %einzelne zitierbare Belege
    • amos 41 %gleiches Oberthema, hilft nicht
    • SubQ 52 %gleiches Oberthema, hilft nicht
    • drex 46 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
  2. SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
    • clef 100 %kein Bezug
    • Luna 30 %Hintergrund, keine Belege
    • JEV 57 %einzelne zitierbare Belege
    • amos 42 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 48 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug

    • SF-E5-T02 Welche Entscheidungen müssen menschlich bleiben, auch wenn eine KI sie besser treffen könnte, und wie würden Staaten in Entscheidungsschleifen mit hohem Risiko prüfbar machen, dass ein Mensch die Ausgabe der KI wirklich beurteilt und nicht nur routinemäßig abgenickt hat? Luna: Stufe 3 · 44 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 2 · nur am Rande erwähnt
Wirtschaft und Haftung

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →