SwiftUI: Image Generation With Foundation Model
Zusammenfassung
Kurz
Der vollständige Bericht schlägt vor, mit `ImageCreator` erzeugte Bilder als PNG-Dateien zu speichern und ihre Pfade als Strings in einer strukturierten Modellantwort zurückzugeben. Die App kann die Bilder dann separat anzeigen; bei direkter Bereitstellung über eine asynchrone Sequenz muss sie sie laut Autor selbst dem Gespräch zuordnen und außerhalb des Sitzungsprotokolls speichern.
Mittel
Der vollständige Bericht zeigt einen Ansatz, um mit Apples Foundation Models und Image Playground Bilder in einer SwiftUI-Chat-App zu erzeugen. Der Autor berichtet, dass direkte Rückgaben von Bildtypen oder `Data` nicht funktionieren und Base64 als String im Beispiel eine `guardrailViolation` auslöst.
Sein Vorschlag: Ein Tool erzeugt Bilder mit `ImageCreator`, speichert sie als PNG-Dateien im temporären Verzeichnis und gibt Dateipfade als Strings zurück. Da die Pfade in einer normalen Modellantwort als Markdown laut Beitrag nicht zuverlässig als Bilder erscheinen und keine `file://`-URLs sind, empfiehlt der Autor eine strukturierte Antwort mit Pfadliste und Begleittext. Die App kann die Dateien dann separat aufführen und etwa mit Quick Look anzeigen. Für iOS wird `UIImage.pngData()` als Konvertierungsalternative erwähnt.
Fortschritt lässt sich laut Artikel über ein beobachtbares Tool darstellen. Werden Bilder stattdessen direkt über eine asynchrone Sequenz bereitgestellt, sind sie nicht im Sitzungsprotokoll enthalten. Die App muss sie dann selbst Gesprächen zuordnen und separat speichern. Die Beispiele zeigen den Ansatz, belegen aber keine allgemeine Kompatibilität.
Ausführlich lesen
Der Bericht beschreibt einen Ansatz, mit dem eine SwiftUI-Chat-App Bilder über Apples Foundation Models und das Image Playground Framework erzeugen kann. Ausgangspunkt ist die Einschätzung des Autors, dass das Foundation-Models-Framework zwar Aufgaben mit einem lokalen Sprachmodell ermöglicht, aber keine Bilddaten als multimodale Eingabe oder Ausgabe unterstützt. Der Beitrag untersucht deshalb, wie ein Tool Bilder erzeugen und die Ergebnisse in einen Chat integrieren kann.
Laut Artikel funktionieren drei naheliegende Rückgabewege nicht: Das Tool kann kein `CGImage` oder andere Bildtypen beziehungsweise `Data` direkt zurückgeben; solche Typen lassen sich auch nicht in eine `Generable`-Struktur einbetten. Eine Base64-kodierte Bildzeichenkette lässt sich zwar kompilieren, führt im gezeigten Beispiel beim Aufruf aber zu einer `guardrailViolation`.
Der vorgeschlagene Weg: Ein Tool ruft `ImageCreator` auf, verarbeitet die erzeugten Bilder, speichert sie als PNG-Dateien im temporären Verzeichnis und gibt deren Dateipfade als Strings zurück. Der Autor weist darauf hin, dass `URL` selbst für die vorgesehenen Modelltypen nicht geeignet sei. Als Tool-Eingaben dienen Bildinhalt, Stil und Anzahl; nicht erkannte Stile fallen im Beispiel auf Illustration zurück. Für iOS nennt der Beitrag `UIImage.pngData()` als Alternative zur gezeigten macOS-Konvertierung über `NSImage`.
Ein erster Versuch zeigt jedoch Darstellungsprobleme: Die Pfade erscheinen in der natürlichsprachlichen Antwort in Markdown. Laut Autor rendert SwiftUIs `Text` Block-Markdown nicht als Bild, und die erzeugten Pfade sind keine `file://`-URLs. Als Verbesserung wird eine strukturierte Antwort mit zwei Feldern vorgestellt: einer Liste von Dateipfaden und einem erläuternden Text. So könne die App Bildverweise direkt aus der Modellantwort auslesen und separat anzeigen. Das Beispiel nutzt SwiftUI und Quick Look für die Vorschau.
Der Beitrag skizziert außerdem Fortschrittsanzeigen über ein beobachtbares Tool mit veröffentlichten Statuswerten. Als Alternative könnten Bilder über eine beobachtbare asynchrone Sequenz direkt in App oder Ansicht bereitgestellt werden. Der Autor betont aber, dass solche Bilder dann nicht Teil des Sitzungsprotokolls wären: Die App müsste sie selbst den Gesprächsstellen zuordnen und getrennt speichern, ebenso bei weiteren Tools für Binärdateien. Die Beispiele dokumentieren einen Ansatz; der Bericht belegt keine allgemeine Kompatibilität oder Tests über die gezeigte Konfiguration hinaus.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Bewertet wurde die mittlere Zusammenfassung von Luna, die den Bericht im Wesentlichen korrekt wiedergibt. Die kurze Zusammenfassung ist ebenfalls sachlich treu, lässt aber die fehlgeschlagenen Ansätze und die Markdown-Problematik aus. Die Einordnung zeigt, dass der Bericht zu den drei Sammelfragen kaum Belege liefert.
Im Bericht, aber nicht in der Zusammenfassung
- Der Bericht stellt Foundation Models als derzeit nicht multimodal dar, weil weder Bild- noch Binärausgaben in Tool-Rückgaben oder Guided Generation erlaubt sind.
- Die fehlgeschlagenen Ansätze (Rückgabe von CGImage, Verpackung in Generable, Base64-String) werden im Bericht ausführlich beschrieben; Luna nennt sie nur kurz.
- Die Zusammenfassung erwähnt nicht, dass Generable-Typen mit CGImage am Compiler scheitern.
- Die Zusammenfassung lässt aus, dass Blockmarkdown in Text nicht gerendert wird und die Pfade daher nur als Klartext erscheinen.
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Tempo und Grenzen
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 58 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 57 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 33 %nur am Rande erwähnt
- JEV 27 %einzelne zitierbare Belege
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 46 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung nur am Rande erwähnt
Agenten und vernetzte Systeme
- SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- clef 100 %kein Bezug
- Luna 53 %einzelne zitierbare Belege
- JEV 43 %einzelne zitierbare Belege
- amos 30 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung nur am Rande erwähnt
Beteiligung und Gemeinwohl
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 48 %gleiches Oberthema, hilft nicht
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung kein Bezug
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 49 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Information und Öffentlichkeit
- SF-I1 Wie erkennt man KI-erzeugte Inhalte und KI-erzeugte Einflussnahme, ohne die Meinungsfreiheit zu beschneiden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug