Swift: Making a Harness For Foundation Models
Zusammenfassung
Kurz
Der Autor stellt ein unfertiges Swift-Paket vor, das Agenten auf Apples Foundation Models mit veränderbaren Hooks, Plugins, Tool-Delegation und gemeinsam nutzbaren Zuständen ausstatten soll. Als nächste Schritte plant er unter anderem Schleifen, Zielverfolgung und Gesprächsverwaltung; der Bericht beschreibt seine eigene Arbeit und Pläne, ohne unabhängige Tests oder Leistungsdaten vorzulegen.
Mittel
Der Autor beschreibt sein noch unfertiges Swift-Paket „FoundationModelsHarness“, das Agenten auf Apples Foundation Models mehr Steuerungsmöglichkeiten geben soll. Apples Framework biete bereits Sitzungen, Tool-Ausführung, strukturierte Ausgaben und Hooks; diese ließen nach seiner Einschätzung jedoch kaum Eingriffe in die Ausführung zu, etwa das Ändern eines Tool-Aufrufs.
Das Paket stellt einen `Agent` bereit, der Modellaufrufe, Tools und den Ablauf einer Sitzung verwaltet. Hinzu kommen Hooks, Plugins, die Weitergabe eines Tool-Ergebnisses als endgültige Antwort sowie zwei Zustände: einer bleibt über Anfragen hinweg bestehen, der andere gilt nur für einen Aufruf. Die Hooks sollen unter anderem Eingaben und Ausgaben ändern, Aufrufe abbrechen oder wiederholen können. Als Beispiel zeigt der Autor eine einmalige Wiederholung nach einer Modellablehnung, bei der der Gesprächsverlauf zurückgesetzt wird.
Als nächste Schritte nennt er Schleifen und Ziele, Gesprächsverwaltung sowie später Schwärme, Graphen, Arbeitsabläufe und Modell-Fallbacks. Der Artikel berichtet über den eigenen Entwicklungsstand und die Absichten des Autors. Er liefert keine unabhängigen Tests oder Leistungsdaten; die angekündigten Funktionen sind nicht als fertig ausgewiesen.
Ausführlich lesen
Der Autor stellt ein noch in Arbeit befindliches Swift-Paket namens „FoundationModelsHarness“ vor. Es soll den Bau und Betrieb von KI-Agenten auf Apples Foundation Models ermöglichen und mehr Kontrolle bieten als das Foundation-Models-Framework allein. Als Inspiration nennt der Autor Strands Agents. Er erklärt, dass Apples Framework bereits Sitzungen, Tool-Ausführung, strukturierte Ausgaben und Lebenszyklus-Hooks bereitstelle. Seine Kritik: Die angebotenen Hooks erlaubten zwar etwa Protokollierung und begrenzte Validierung, aber keine Änderung von Tool-Aufrufen oder Ausführungslogik. Diese Einschätzung begründet er mit den verfügbaren Callback-Möglichkeiten des Frameworks.
Das zentrale Element seines Pakets ist ein `Agent`, der eine `LanguageModelSession` umschließt und den Ablauf aus Modellaufrufen, Tool-Ausführung und Lebenszyklus verwaltet. Für einfache Anfragen soll die Nutzung einer Sitzung ähneln. Darüber hinaus beschreibt der Autor vier Funktionen: Hooks zur Beobachtung und Veränderung des Ablaufs, Plugins zum Bündeln von Hooks und Tools, die Möglichkeit, Tool-Ausgaben direkt als endgültige Antwort zurückzugeben, sowie zwei Zustände. Der `agentState` bleibt über Anfragen hinweg erhalten; der `invocationState` gilt nur für einen einzelnen Aufruf. Beide können laut Artikel von Agent, Hooks und Tools gemeinsam gelesen und verändert werden, ohne sie an das Modell zu senden.
Den größten Teil widmet der Autor den Hooks. Im Unterschied zu den von Apple dokumentierten Ereignissen wie `onPrompt`, `onReasoning`, `onResponse`, `onToolCall` und `onToolOutput` sollen seine Ereignisse laut Darstellung Eingaben und Ausgaben verändern, Modell- oder Tool-Aufrufe abbrechen und Wiederholungen auslösen können. Als Beispiel zeigt er einen Hook, der bei einer Ablehnung einen Modellaufruf höchstens einmal wiederholt. Dabei werde der Gesprächsverlauf zurückgesetzt und das Modell erneut aufgerufen; der Harness kümmere sich intern um den Versuch und liefere anschließend das Ergebnis. Der Artikel verweist außerdem auf Beispiele im Projektarchiv, anhand derer sich die Hooks ausprobieren ließen.
Für die weitere Entwicklung nennt der Autor zunächst Schleifen und Ziele. Danach plant er Gesprächsverwaltung, etwa für Kontextfenster, Gesprächsrunden und Zusammenfassungen. Später erwägt er Schwärme, Graphen, Arbeitsabläufe, automatische Modell-Fallbacks und Entscheidungslogik. Er räumt ein, dass das lokale Systemmodell für solche Aufgaben möglicherweise nicht ausreiche, hält serverseitige Modelle aber für eine interessante Möglichkeit.
Der Bericht beschreibt den Stand und die Pläne des Autors, nicht eine unabhängige Prüfung. Er bezeichnet das Projekt ausdrücklich als unfertig; viele Funktionen sind angekündigt, nicht als abgeschlossen belegt. Leistungsdaten, Vergleichstests und eine Bewertung der Zuverlässigkeit nennt der Text nicht.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Luna hat zwei Zusammenfassungen geliefert (kurz und mittel). Beide wurden geprüft: Die mittlere ist inhaltlich treu, die kurze ebenfalls, aber knapper. Die Bewertung bezieht sich auf beide. Die Einordnung jeder Frage erfolgt unabhängig von Lunas Stufen.
Im Bericht, aber nicht in der Zusammenfassung
- Strands Agents als erklärtes Vorbild des Autors
- Konkrete Auflistung der Apple-Hooks (onPrompt, onReasoning, onResponse, onToolCall, onToolOutput) und ihrer fehlenden Eingriffsmöglichkeiten
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Vorfälle melden
- SF-M4 Wie kommen Meldungen von Laboren, Betreibern und Nutzern schnell und geschützt zu den Stellen, die handeln müssen, auch über Grenzen hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 54 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 31 %gleiches Oberthema, hilft nicht
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 58 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 34 %gleiches Oberthema, hilft nicht
- Luna 42 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 65 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 47 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 73 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 27 %gleiches Oberthema, hilft nicht
- Luna 50 %Hintergrund, keine Belege
- JEV 40 %einzelne zitierbare Belege
- amos 25 %nur am Rande erwähnt
- SubQ 100 %kein Bezug
- drex 34 %gleiches Oberthema, hilft nicht
- d3-ultra 45 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung gleiches Oberthema, hilft nicht
- SF-V5-T03 Ist es wirtschaftlich klug, Modelle mit geringem Denkaufwand zu betreiben, oder wird das Ausrichtungsproblem (Modelle dazu zu bringen, den vorgesehenen Zielen und Werten zu folgen) dadurch nur schwerer sichtbar?
Agenten und vernetzte Systeme
- SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- clef 24 %gleiches Oberthema, hilft nicht
- Luna 57 %einzelne zitierbare Belege
- JEV 43 %einzelne zitierbare Belege
- amos 24 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 29 %gleiches Oberthema, hilft nicht
- d3-ultra 43 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung nur am Rande erwähnt
- SF-A1-T03 Werden Freigabetests messen, ob ein Agent folgenreiche Handlungen außerhalb seines Auftrags unterlässt, auch wenn kein einzeln aufgeführtes Verbot sie blockiert, und werden die Kriterien veröffentlicht?
- SF-A2 Lassen sich KI-Systeme sicher anhalten, zurücksetzen, abschotten oder drosseln, und wer darf das anordnen?
- clef 23 %gleiches Oberthema, hilft nicht
- Luna 33 %einzelne zitierbare Belege
- JEV 48 %einzelne zitierbare Belege
- amos 23 %Hintergrund, keine Belege
- SubQ 24 %gleiches Oberthema, hilft nicht
- drex 23 %Hintergrund, keine Belege
- d3-ultra 47 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung nur am Rande erwähnt
- SF-A2-T01 Welche Tests zeigen, dass ein Agent sicher angehalten, zurückgesetzt oder abgeschottet werden kann, wenn er sich unerwartet verhält, auch wenn er das Abschalten vorhersieht oder sich wehrt?
- SF-A3 Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Frieden und Sicherheit
- SF-K2 Wie weit gelten KI-Abkommen für Verbündete und Geheimdienste, und wie verhalten sie sich zu bestehenden Rüstungskontrollverträgen und -regimen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 53 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E2 In welchem Rahmen sollen Staaten KI regeln, und wo liegt eine gemeinsame Untergrenze?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 28 %gleiches Oberthema, hilft nicht
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- Lassen sich KI-Systeme sicher anhalten, zurücksetzen, abschotten oder drosseln, und wer darf das anordnen?
- Alle Berichte im Archiv