Swift: Apps SDK for Foundation Models just like Apps for ChatGPT
Zusammenfassung
Kurz
Der Artikel beschreibt eine SwiftUI-Umsetzung, die HTML-Apps aus MCP-Tool-Aufrufen in einer Webansicht zeigt und über ein injiziertes `window.openai`-Objekt mit Chat und Tools verbindet. Der Autor sieht darin ein plattformübergreifend nutzbares Muster und kritisiert OpenAIs eigene Schnittstellen; wegen behaupteter Lücken im offiziellen Swift-MCP-SDK verwendet er eine Fork.
Mittel
Der Beitrag zeigt, wie eine SwiftUI-Chat-App mit Foundation Models interaktive HTML-Oberflächen aus MCP-Tool-Aufrufen anzeigen kann. Der Autor beschreibt das ChatGPT Apps SDK als Kombination aus HTML-Ressource, eingebetteter Webansicht und JavaScript-Schnittstelle zum Host. Er meint, dass sich dieses Muster auch für andere Modelle und Chat-Dienste umsetzen lässt, und kritisiert OpenAIs eigene Metadatenfelder und Schnittstelle.
Die Anleitung setzt eine bestehende MCP-Anbindung voraus. Nach einem Tool-Aufruf prüft die App, ob das Tool eine HTML-Ressource referenziert, lädt sie in einer Webansicht und injiziert `window.openai` mit Tool-Eingaben, Ausgabe und Metadaten. Über Nachrichtenhandler kann das Widget weitere freigegebene Tools aufrufen oder eine Folgeeingabe an den Chat senden. Die Webansicht wird laut Beispiel bereits nach dem Tool-Ergebnis eingefügt, bevor das Modell seine Antwort abschließt.
Als Einschränkung nennt der Autor fehlende Metadaten und Ergebnisfelder im offiziellen Swift-MCP-SDK und nutzt deshalb eine eigene SDK-Fork. Ein Pokémon-Demo soll mit vorhandener Server- und HTML-App funktionieren, ohne deren Code zu ändern. Die Aussagen sind ein technisches Beispiel und die Einschätzung des Autors; eine unabhängige Überprüfung wird nicht berichtet.
Ausführlich lesen
Der Artikel beschreibt, wie sich eine ChatGPT-ähnliche Einbettung interaktiver HTML-„Apps“ in eine SwiftUI-Chat-App mit Apples Foundation Models und MCP-Servern nachbauen lässt. Der Autor vertritt die Auffassung, dass das Apps SDK im Kern HTML aus einer MCP-Ressource in einer eingebetteten Webansicht anzeigt und über ein injiziertes JavaScript-Objekt die Kommunikation zwischen App und Host ermöglicht. Er hält diesen Ansatz für unabhängig von einem bestimmten Modell oder Chat-Dienst und kritisiert, dass OpenAI eigene Metadaten-Schlüssel und eine eigene Schnittstelle definiert hat, statt sie seiner Ansicht nach in der MCP-Spezifikation zu standardisieren.
Als Grundlage setzt der Beitrag eine bereits bestehende Verbindung zu MCP-Servern voraus: Die verfügbaren Tools sind entdeckt und als Foundation-Models-Tools in eine `LanguageModelSession` eingebunden. Wenn das Modell ein Tool aufruft, prüft die App laut Anleitung dessen Metadaten auf eine eingebettete HTML-Ressource. Wird eine gefunden, ruft sie deren Inhalt ab, lädt ihn in einer Swift-Webansicht und injiziert ein `window.openai`-Objekt. Dieses stellt dem HTML die Eingaben des Tool-Aufrufs, dessen strukturierte Ausgabe und Antwortmetadaten bereit. Außerdem kann die Weboberfläche über Nachrichtenhandler weitere Tools aufrufen oder eine Folgeeingabe an den Chat senden.
Der Beitrag zeigt dafür Swift-Code für einen `WKScriptMessageHandlerWithReply`, der JavaScript-Nachrichten entgegennimmt, Tool-Aufrufe an den MCP-Client weiterleitet und Folgeeingaben an den Chat-Manager übergibt. Ein MCP-Manager liest die Ressource anhand des Metadatenfelds `openai/outputTemplate` aus und sucht HTML-Inhalte mit den MIME-Typen `text/html+skybridge` oder `text/html`. Das Widget darf ein Tool laut Beispiel nur aufrufen, wenn es als `openai/widgetAccessible` freigegeben ist. Der Chat-Manager fügt die Webansicht bereits nach dem Tool-Ergebnis in die Nachrichtenliste ein, also noch bevor das Foundation Model seine abschließende Antwort erzeugt. Die Oberfläche zeigt das Widget in einem SwiftUI-Container an.
Als Beispiel dient ein lokaler MCP-Server mit einem Pokémon-Tool. Der Autor beschreibt, wie dessen React-Oberfläche gebaut und der Server gestartet wird, und verweist auf Beispielprojekte auf GitHub. Seinem Bericht zufolge kann die Swift-App die bestehende Server- und HTML-App-Implementierung verwenden, ohne dafür deren Code zu ändern.
Eine ausdrücklich genannte technische Einschränkung betrifft das offizielle Swift-MCP-SDK: Der Autor behauptet, es liefere bei Tools die `_meta`-Felder sowie bei Tool-Ergebnissen `structuredContent` und `_meta` nicht mit. Deshalb verwendet er eine eigene Fork des SDK. Die Anleitung reduziert das injizierte Objekt auf ausgewählte Tool-Daten und zwei Funktionen; andere Felder und Funktionen der umfassenderen `window.openai`-Schnittstelle werden hier nicht umgesetzt. Der Artikel ist ein Implementierungsbeispiel und eine Meinungsäußerung des Autors; ein unabhängiger Vergleich oder eine Prüfung seiner Bewertung der SDKs und Standards ist im Bericht nicht enthalten.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Lunas Zusammenfassung umfasst zwei benannte Fassungen (kurz und mittel) sowie einen unbenannten Absatz; alle drei wurden gemeinsam geprüft. Die Angaben sind im Bericht belegt, die Fehlstellen betreffen Kernaussagen des Autors.
Im Bericht, aber nicht in der Zusammenfassung
- Die Kernaussage des Autors, das Apps-SDK bestehe im Wesentlichen nur aus dem Anzeigen von HTML und dem Injizieren eines globalen Objekts, und OpenAI übertreibe dessen Bedeutung
- Die Anleitung übernimmt die OpenAI-Metadatenschlüssel (openai/outputTemplate, openai/widgetAccessible), damit der bestehende MCP-Server unverändert bleibt
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Tempo und Grenzen
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 61 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Vertrauen in Modelle
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 73 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 24 %einzelne zitierbare Belege
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Agenten und vernetzte Systeme
- SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- clef 100 %kein Bezug
- Luna 73 %einzelne zitierbare Belege
- JEV 35 %einzelne zitierbare Belege
- amos 28 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung nur am Rande erwähnt
- SF-A3 Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 29 %gleiches Oberthema, hilft nicht
- amos 37 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 33 %Hintergrund, keine Belege
- JEV 52 %einzelne zitierbare Belege
- amos 35 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung Hintergrund, keine Belege
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 49 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- Alle Berichte im Archiv