Swift/SiriAI: Evaluate the New SiriAI Integration with Siri Evaluation and Metadata Analyzer
Zusammenfassung
Kurz
Der Autor zeigt, wie ein Xcode-Metadaten-Analyzer und das Siri-Evaluations-Framework zur Prüfung einer SiriAI-Integration eingesetzt werden können. Der Analyzer erkennt fehlende oder kurze Beschreibungen, bewertet laut Artikel aber nicht deren Bedeutung; Evaluationstests prüfen tatsächliche Siri-Aktionen und setzen unter anderem UI-Automatisierung sowie ein echtes Gerät voraus.
Mittel
Der Artikel stellt zwei Wege vor, eine SiriAI-Integration zu prüfen. Zuerst demonstriert der Autor `sirimetadataanalyzer`, ein mit Xcode verfügbares Werkzeug, das Metadaten wie Beschreibungen von Intents, Parametern und Entitäten untersucht. Im Beispiel meldet es fehlende Texte. Ergänzt der Autor jedoch nichtssagende Platzhalter, verschwinden die Befunde teilweise. Er folgert daraus, dass der Analyzer Vorhandensein und teils Länge prüfen kann, nicht aber, ob Beschreibungen sinnvoll oder präzise sind.
Für das tatsächliche Verhalten von Siri erläutert der Bericht das Siri-Evaluations-Framework: Testszenarien bilden Nutzeranfragen ab und legen erwartete Intents, Parameter, Entitäten, App Skills und Antworten fest. Die Beispiele zeigen Einzel- und Mehrfachrunden sowie Regeln für Aufrufreihenfolge und unerwünschte Aufrufe. Der Autor empfiehlt ein UI-Testziel, weist auf die erforderliche UI-Automatisierung und ein echtes Gerät hin und verwendet `.serialized`, da Siri auf einem Gerät nur ein Gespräch zugleich führen könne. Der eingebaute Evaluator liefert Kennzahlen zu erfüllten Erwartungen; eigene Evaluatoren können weitere Metriken berechnen. Die vorgestellten Beispiele erläutern das Vorgehen, liefern aber keine systematische Leistungsbewertung.
Ausführlich lesen
Der Bericht beschreibt, wie sich eine SiriAI-Integration in einer App mit zwei Verfahren prüfen lässt: einem Metadaten-Analyzer und dem Siri-Evaluations-Framework. Der Autor knüpft an einen früheren Artikel an, in dem App Intents als Tools und App Skills für komplexere Anfragen eingerichtet wurden. Sein Anliegen ist, Änderungen an Beschreibungen anhand gemeinsamer Kriterien zu messen, statt ihre Qualität nur subjektiv einzuschätzen.
Zunächst stellt der Autor das mit Xcode verfügbare Kommandozeilenwerkzeug `sirimetadataanalyzer` vor. Es untersucht laut Bericht die Metadaten einer gebauten App, darunter Titel, Beschreibungen und Angaben zu Parametern und Entitäten. Beim gezeigten Beispiel meldet es fehlende Beschreibungen als Warnungen und fehlende Eigenschaftsbeschreibungen als Vorschläge. Nachdem der Autor Platzhalter wie „blah!“ ergänzt, meldet das Werkzeug keine Befunde mehr. Ein einzelner kurzer Platzhalter kann allerdings weiterhin einen Hinweis auslösen. Daraus leitet der Autor eine wesentliche Grenze ab: Der Analyzer kann Vorhandensein und teils Länge von Texten prüfen, aber nicht beurteilen, ob eine Beschreibung aussagekräftig oder passend ist. Er enthalte nach Einschätzung des Autors keine LLM-gestützte Bedeutungsprüfung.
Für eine Prüfung des tatsächlichen Siri-Verhaltens erklärt der Artikel anschließend das Siri-Evaluations-Framework. Der dargestellte Ablauf besteht darin, ein Nutzungsszenario samt Erwartungen zu definieren, eine Evaluation anzulegen, sie in einem Test auszuführen und die erzeugten Kennzahlen auszuwerten. Dafür empfiehlt der Autor ein UI-Testziel, weil die UI-Automatisierung die App starten und zu einem Bildschirm navigieren kann, bevor Siri aufgerufen wird. Zudem müsse die UI-Automatisierung auf dem Gerät eingeschaltet sein. Die Test-Suite soll laut Artikel mit `.serialized` laufen, weil auf einem Gerät nur ein Siri-Gespräch gleichzeitig ausgeführt werden könne.
An Beispielen zeigt der Autor Erwartungen an gefundene Entitäten, aufgerufene Intents, Parameterwerte und Ergebnisse sowie an das Laden eines App Skills. Szenarien können laut Darstellung aus mehreren Gesprächsrunden bestehen. Erwartungsregeln lassen sich für Aufrufreihenfolge, unerwünschte Intent-Aufrufe, auf dem Bildschirm erkannte Entitäten und Siris Antwort formulieren. Der eingebaute `SiriExpectationEvaluator` bewertet solche Erwartungen und liefert Kennzahlen, etwa dazu, ob Intents oder Entitäten die Erwartungen erfüllen. Der Bericht sagt, dass für die Ausführung ein echtes Gerät nötig sei; Xcode könne anschließend einen Bericht mit Siris tatsächlichen Aktionen und nicht erfüllten Erwartungen anzeigen.
Abschließend beschreibt der Autor eigene Evaluatoren für zusätzliche Kennzahlen. Als Beispiel berechnet er den Anteil der Gesprächsrunden, in denen genau ein Intent ausgeführt wurde. Szenarien seien außerdem `Codable` und könnten daher auch aus JSON geladen werden. Die Beispiele sind eine Anleitung anhand eines Demo-Projekts; der Artikel berichtet keine systematische Vergleichsstudie oder allgemeingültigen Leistungswerte. Auch die vorgeschlagenen Metriken müssen zu den jeweiligen Anforderungen passen.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Die Einordnung bezieht sich auf die drei Sammelfragen, da Luna keine Teilfragen angegeben hat. Alle drei Fragen liegen thematisch weit vom Bericht entfernt, der ausschließlich Xcode-Werkzeuge und das Siri-Evaluations-Framework behandelt.
Im Bericht, aber nicht in der Zusammenfassung
- Der Kernpunkt des Artikels, dass Evaluation messbare Ergebnisse statt subjektiver Eindrücke bei jeder Änderung von Tool-Beschreibungen liefert
- Die Angabe, dass im Beispiel nach dem Ersetzen der Platzhalter alle Befunde verschwinden ("No findings") und nicht nur teilweise
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 43 %gleiches Oberthema, hilft nicht
- drex 42 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 47 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 31 %Hintergrund, keine Belege
- amos 34 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 45 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 58 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 30 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 24 %nur am Rande erwähnt
- SubQ 34 %gleiches Oberthema, hilft nicht
- drex 31 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung gleiches Oberthema, hilft nicht
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 48 %Hintergrund, keine Belege
- JEV 36 %Hintergrund, keine Belege
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 65 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 34 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 44 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 36 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 59 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 24 %einzelne zitierbare Belege
- amos 35 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 43 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Agenten und vernetzte Systeme
- SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- clef 100 %kein Bezug
- Luna 32 %einzelne zitierbare Belege
- JEV 35 %einzelne zitierbare Belege
- amos 26 %nur am Rande erwähnt
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung gleiches Oberthema, hilft nicht
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- Alle Berichte im Archiv