OpenAI Function Calling, iOS Implementation
Zusammenfassung
Kurz
Der Artikel beschreibt, wie eine Swift-App Tool-Aufrufe des Modells verarbeitet: Sie liest die strukturierten Argumente, führt damit etwa eine Bilderzeugung über eine externe API aus und sendet das Ergebnis als Tool-Nachricht für eine weitere Modellantwort zurück. Der Autor weist darauf hin, dass Modellargumente fehlerhaft sein können; die Beispiele sind eine Demo und die vermutete Nutzung von Function Calling in der damaligen ChatGPT-Bildfunktion wird nicht unabhängig belegt.
Mittel
Der Beitrag erläutert Function Calling in der Chat Completions API anhand einer Swift-iOS-App, die Bildanfragen an eine externe Bilderzeugungsfunktion weiterleitet. Das Modell führt die Funktion laut Artikel nicht selbst aus: Es liefert einen strukturierten Tool-Aufruf mit JSON-Argumenten. Die App muss diese Daten parsen, die passende Funktion ausführen und das Ergebnis anschließend zusammen mit der ursprünglichen Nutzer- und Assistentennachricht als Tool-Nachricht an das Modell zurückgeben. So kann dieses eine abschließende Antwort formulieren.
Die Swift-Beispiele nutzen SwiftOpenAI. Ein Werkzeug wird mit Name, Beschreibung und Parameterschema festgelegt; im Beispiel enthält es einen Prompt und die gewünschte Bildanzahl. Die App ruft damit die DALL·E-API auf und setzt den Chat danach fort. Der Autor warnt, dass Modellargumente fehlerhaft oder halluziniert sein können, und erwähnt zudem parallele Aufrufe sowie eine Streaming-Demo. Als Basis dient auch ein Python-Wetterbeispiel aus der OpenAI-Dokumentation.
Der Beitrag konzentriert sich auf den Ablauf, nicht auf eine vollständige Analyse des Beispielprojekts. Für die Demo ist ein gültiger API-Schlüssel nötig. Die Vermutung, dass die damalige Bildfunktion der ChatGPT-App Function Calling nutze, wird als Vermutung des Autors präsentiert, nicht unabhängig belegt.
Ausführlich lesen
Der Beitrag von James Rochabrun erklärt, wie sich Function Calling mit der aktualisierten Chat Completions API in eine iOS-App auf Basis von Swift einbauen lässt. Als Beispiel dient eine Chat-App, die auf eine Bildanfrage ein Werkzeug zur Bilderzeugung aufruft und anschließend die Antwort des Modells fortsetzt. Der Autor stellt Function Calling als Möglichkeit dar, ein Sprachmodell mit externen Funktionen und APIs zu verbinden. Laut Beitrag führt die API diese Funktionen nicht selbst aus: Das Modell gibt stattdessen einen strukturierten Aufruf mit Argumenten zurück, den die App verarbeiten muss.
Der Ablauf beginnt damit, Werkzeuge mit Namen, Beschreibung und Parameterschema zu definieren und sie zusammen mit der Nutzernachricht an das Modell zu senden. Erkennt das Modell eine passende Anfrage, kann es einen oder mehrere Tool-Aufrufe mit JSON-Argumenten zurückgeben. Der Beitrag weist darauf hin, dass diese Argumente fehlerhaft oder halluziniert sein können; der Anwendungscode muss sie daher parsen und mit Fehlern umgehen. Anschließend führt die App die zugehörige Funktion aus, etwa einen externen API-Aufruf, und speichert die Nachrichten des Nutzers, des Assistenten und der Werkzeuge. Diese Nachrichten werden in einer weiteren Modellanfrage übergeben, damit das Modell die Ergebnisse in eine Antwort einbeziehen kann.
Die Swift-Beispiele verwenden die Bibliothek SwiftOpenAI. Eine Enum beschreibt das Werkzeug `create_image` samt Parametern für Bildprompt und Anzahl. Der Beispielcode prüft die vom Modell zurückgegebenen Tool-Aufrufe, ordnet sie einer verfügbaren Swift-Funktion zu und ruft für die Bilderzeugung die DALL·E-API auf. Die Antwort der externen Funktion wird als Tool-Nachricht mit der Aufruf-ID in den Nachrichtenverlauf aufgenommen. Danach startet `continueChat` eine weitere Anfrage mit einer Systemnachricht, die das Modell zu einer lesbaren Antwort über das Bild anleiten soll. Der Beitrag zeigt außerdem eine Streaming-Demo und verweist auf Beispielprojekt und Bibliothek, die laut Autor parallele Tool-Aufrufe unterstützen.
Als Grundlage führt der Artikel ein Python-Wetterbeispiel aus der OpenAI-Dokumentation an und überträgt dessen Ablauf anschließend auf Swift. Die Beispiele setzen einen gültigen OpenAI-API-Schlüssel voraus. Der Autor grenzt den Beitrag ausdrücklich ein: Er wolle nicht das gesamte Beispielprojekt im Detail behandeln, sondern vor allem die Funktionsweise der Tool-Aufrufe erläutern. Die Aussage, dass die damalige ChatGPT-App Bilder direkt aus dem Chat erzeugen könne, und die Vermutung, dies beruhe auf Function Calling, sind Teil der Darstellung des Autors. Der Beitrag belegt diese Vermutung nicht unabhängig. Ebenso ist der gezeigte Code eine Demo und liefert im Text keine systematische Prüfung von Fehlerfällen, Sicherheit oder Produktionsbetrieb.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Beide Zusammenfassungen wurden geprüft und zu einer Bewertung zusammengeführt; Lunas Prozentangaben und Stufen wurden nicht übernommen, die Einordnung erfolgte unabhängig. Teilfragen waren nicht angegeben.
Im Bericht, aber nicht in der Zusammenfassung
- Der tools-Parameter ersetzt den veralteten function-Parameter der Chat Completions API
- Bei einem Tool-Aufruf bleibt der Assistenten-Inhalt leer, sodass der Nutzer dafür keine Antwort sieht
- Der Ablauf umfasst mehrere feste Schritte, bei denen die Tool-Nachricht zusammen mit Nutzer- und Assistentennachricht gesendet werden muss
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Vorfälle melden
- SF-M4 Wie kommen Meldungen von Laboren, Betreibern und Nutzern schnell und geschützt zu den Stellen, die handeln müssen, auch über Grenzen hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 70 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 53 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 67 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 68 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 80 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 29 %einzelne zitierbare Belege
- amos 56 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 43 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 60 %Hintergrund, keine Belege
- JEV 34 %einzelne zitierbare Belege
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 51 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung gleiches Oberthema, hilft nicht
Agenten und vernetzte Systeme
- SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- clef 25 %gleiches Oberthema, hilft nicht
- Luna 61 %Hintergrund, keine Belege
- JEV 43 %einzelne zitierbare Belege
- amos 28 %nur am Rande erwähnt
- SubQ 100 %kein Bezug
- drex 38 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung nur am Rande erwähnt
- SF-A2 Lassen sich KI-Systeme sicher anhalten, zurücksetzen, abschotten oder drosseln, und wer darf das anordnen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 42 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-A3 Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 49 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 50 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Information und Öffentlichkeit
- SF-I1 Wie erkennt man KI-erzeugte Inhalte und KI-erzeugte Einflussnahme, ohne die Meinungsfreiheit zu beschneiden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 44 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- Alle Berichte im Archiv