Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
medium.com11. Juni 2026 · Q009752

Swift/WWDC26: Images Finally Made To FoundationModels

medium.com · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Der vollständige Bericht erklärt, wie FoundationModels Bilder als Anhänge verarbeitet und eigene Werkzeuge ein neues Bild zurückgeben können. Der Autor berichtet von einer Endlosschleife bei strukturierten Werkzeugaufrufen, empfiehlt beschriftete Bildanhänge und zeigt ein Beispiel zum Skalieren von Bildern; seine Fehlerbeobachtungen beruhen auf eigenen Tests.

Mittel

Der vollständige Bericht zeigt, wie FoundationModels laut Autor Bilder als `Attachment` zusammen mit Text entgegennehmen und über eigene Werkzeuge auch neue Bilder zurückgeben kann. Genannt werden mehrere unterstützte Bildtypen; Skalierung und Farbkonvertierung übernehme das Framework. Strukturierte Antworten mit `Generable` seien möglich, doch bei strukturierten Ausgaben in Verbindung mit bildverarbeitenden Werkzeugen habe der Autor eine Endlosschleife mit wiederholten identischen Aufrufen beobachtet.

Für eigene Werkzeuge soll ein Bildanhang ein Label erhalten. Das Werkzeug nimmt eine `ImageReference` entgegen und löst sie anhand des Sitzungsverlaufs auf. Nach den Tests des Autors könne eine fehlende Kennzeichnung dazu führen, dass die Referenz nicht auflösbar ist. Ein Nachtrag empfiehlt `LanguageModelSession.SessionProperty` für den Zugriff auf den Verlauf. Als Beispiel wird ein Werkzeug vorgestellt, das ein Bild skaliert und als Attachment zurückgibt, eingebettet in eine SwiftUI-Demo. Die eingebauten Werkzeuge für Texterkennung und Barcode-Erkennung seien im Simulator nicht verfügbar. Die Fehlerberichte und Einschätzungen beruhen auf den Beobachtungen des Autors und sind keine systematische Prüfung der APIs.

Ausführlich lesen

Der vollständige Bericht beschreibt, wie sich laut Autor Itsuki Bilder mit Apples FoundationModels verarbeiten und über Werkzeuge auch wieder ausgeben lassen. Der Autor stellt die Neuerungen als deutliche Vereinfachung gegenüber einem früheren, umständlichen Ansatz dar, weist aber zugleich auf Fehler und aus seiner Sicht schlecht gestaltete APIs hin.

Bilder werden als `Attachment` zusammen mit Text an eine Sitzung übergeben. Der Bericht nennt dafür unter anderem `CGImage`, `CIImage`, `CVPixelBuffer` und Bild-URLs; Skalierung und Farbkonvertierung übernehme das Framework. Die Prompt-Erstellung als Result Builder erleichtere es dem Autor zufolge, Anhänge etwa aus einer Sammlung dynamisch hinzuzufügen. Eine Orientierung kann beim Erzeugen des Attachments angegeben werden. Strukturierte Antworten mit `Generable` seien ebenfalls möglich; der Artikel empfiehlt für eine möglichst wahrscheinliche Auswahl den Greedy-Sampling-Modus.

Eine zentrale Einschränkung betrifft strukturierte Ausgaben in Verbindung mit Werkzeugaufrufen, die Bilder entgegennehmen: Nach den Beobachtungen des Autors ruft das Modell das Werkzeug dann wiederholt mit denselben Parametern auf und beendet die Schleife nicht. Er kennzeichnet dies als vermuteten Fehler. Für Bildverarbeitung stehen laut Bericht außerdem die integrierten Werkzeuge `OCRTool` und `BarcodeReaderTool` bereit; sie seien im Simulator nicht verfügbar.

Für eigene Werkzeuge beschreibt der Artikel drei Schritte: Anhänge mit Labels versehen, im Argumenttyp eine `ImageReference` entgegennehmen und diese anhand des Sitzungsverlaufs zum tatsächlichen Bild auflösen. Der Autor berichtet, dass ein fehlendes Label bei seinen Tests zu einer Referenz geführt habe, die sich nicht im Verlauf auflösen ließ. Zunächst zeigt er dafür einen Rückruf, der den Sitzungsverlauf an das Werkzeug weitergibt. Ein späterer Nachtrag empfiehlt stattdessen `LanguageModelSession.SessionProperty` mit Zugriff auf den Verlauf.

Als Beispiel implementiert der Bericht ein Werkzeug zum Verkleinern eines Bildes. Es löst die Bildreferenz auf, skaliert das Bild und gibt ein neues `Attachment` zurück. Damit soll der Ablauf von der Bildaufnahme über die Werkzeugverarbeitung bis zur Rückgabe eines Bildes an die Sitzung demonstriert werden. Eine SwiftUI-Beispielansicht erlaubt Texteingaben, das Auswählen von Bildern und die Anzeige des Sitzungsverlaufs einschließlich Bildanhängen und Werkzeugausgaben.

Die Aussagen beruhen auf dem beschriebenen Beispiel und den Tests des Autors; der Bericht liefert keine systematische Fehleranalyse oder allgemeine Kompatibilitätsübersicht. Er unterscheidet außerdem zwischen eigenen Beobachtungen und dokumentierten Eigenschaften und äußert bei einigen API-Problemen ausdrücklich nur eine persönliche Einschätzung.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Beide Zusammenfassungen (kurz und mittel) wurden geprüft; das Urteil gilt für beide, die mittlere ist vollständiger. Die sechs angehängten Abbildungen zu Android, Rust, Apple Wallet und Sound Effects gehören thematisch nicht zum Artikel und wurden zu Recht nicht erwähnt. Luna gab für SF-A1 eine Stufe und einen Anteil an; beides wurde unabhängig neu bewertet. Teilfragen gab es keine.

Im Bericht, aber nicht in der Zusammenfassung

  • Die Kritik des Autors an der API-Gestaltung von Apple (als schlecht entworfen bezeichnet)
  • Die eingebauten Vision-Werkzeuge OCRTool und BarcodeReaderTool, die in der kurzen Zusammenfassung gar nicht vorkommen

In der Zusammenfassung, laut Prüfung nicht im Bericht belegt

  • Die Aussage, die Fehlerbeobachtungen seien keine systematische Prüfung der APIs, steht so nicht im Bericht. Der Autor beruft sich nur auf eigene Tests.

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Tempo und Grenzen
Vertrauen in Modelle
  1. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 27 %einzelne zitierbare Belege
    • amos 46 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Agenten und vernetzte Systeme
  1. SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
    • clef 100 %kein Bezug
    • Luna 34 %Hintergrund, keine Belege
    • JEV 43 %einzelne zitierbare Belege
    • amos 29 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
Information und Öffentlichkeit

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →