Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
medium.com6. November 2026 · Q009596

Swift/SiriAI: Evaluate the New SiriAI Integration with Siri Evaluation and Metadata Analyzer

medium.com · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Der Autor zeigt, wie ein Xcode-Metadaten-Analyzer und das Siri-Evaluations-Framework zur Prüfung einer SiriAI-Integration eingesetzt werden können. Der Analyzer erkennt fehlende oder kurze Beschreibungen, bewertet laut Artikel aber nicht deren Bedeutung; Evaluationstests prüfen tatsächliche Siri-Aktionen und setzen unter anderem UI-Automatisierung sowie ein echtes Gerät voraus.

Mittel

Der Artikel stellt zwei Wege vor, eine SiriAI-Integration zu prüfen. Zuerst demonstriert der Autor `sirimetadataanalyzer`, ein mit Xcode verfügbares Werkzeug, das Metadaten wie Beschreibungen von Intents, Parametern und Entitäten untersucht. Im Beispiel meldet es fehlende Texte. Ergänzt der Autor jedoch nichtssagende Platzhalter, verschwinden die Befunde teilweise. Er folgert daraus, dass der Analyzer Vorhandensein und teils Länge prüfen kann, nicht aber, ob Beschreibungen sinnvoll oder präzise sind.

Für das tatsächliche Verhalten von Siri erläutert der Bericht das Siri-Evaluations-Framework: Testszenarien bilden Nutzeranfragen ab und legen erwartete Intents, Parameter, Entitäten, App Skills und Antworten fest. Die Beispiele zeigen Einzel- und Mehrfachrunden sowie Regeln für Aufrufreihenfolge und unerwünschte Aufrufe. Der Autor empfiehlt ein UI-Testziel, weist auf die erforderliche UI-Automatisierung und ein echtes Gerät hin und verwendet `.serialized`, da Siri auf einem Gerät nur ein Gespräch zugleich führen könne. Der eingebaute Evaluator liefert Kennzahlen zu erfüllten Erwartungen; eigene Evaluatoren können weitere Metriken berechnen. Die vorgestellten Beispiele erläutern das Vorgehen, liefern aber keine systematische Leistungsbewertung.

Ausführlich lesen

Der Bericht beschreibt, wie sich eine SiriAI-Integration in einer App mit zwei Verfahren prüfen lässt: einem Metadaten-Analyzer und dem Siri-Evaluations-Framework. Der Autor knüpft an einen früheren Artikel an, in dem App Intents als Tools und App Skills für komplexere Anfragen eingerichtet wurden. Sein Anliegen ist, Änderungen an Beschreibungen anhand gemeinsamer Kriterien zu messen, statt ihre Qualität nur subjektiv einzuschätzen.

Zunächst stellt der Autor das mit Xcode verfügbare Kommandozeilenwerkzeug `sirimetadataanalyzer` vor. Es untersucht laut Bericht die Metadaten einer gebauten App, darunter Titel, Beschreibungen und Angaben zu Parametern und Entitäten. Beim gezeigten Beispiel meldet es fehlende Beschreibungen als Warnungen und fehlende Eigenschaftsbeschreibungen als Vorschläge. Nachdem der Autor Platzhalter wie „blah!“ ergänzt, meldet das Werkzeug keine Befunde mehr. Ein einzelner kurzer Platzhalter kann allerdings weiterhin einen Hinweis auslösen. Daraus leitet der Autor eine wesentliche Grenze ab: Der Analyzer kann Vorhandensein und teils Länge von Texten prüfen, aber nicht beurteilen, ob eine Beschreibung aussagekräftig oder passend ist. Er enthalte nach Einschätzung des Autors keine LLM-gestützte Bedeutungsprüfung.

Für eine Prüfung des tatsächlichen Siri-Verhaltens erklärt der Artikel anschließend das Siri-Evaluations-Framework. Der dargestellte Ablauf besteht darin, ein Nutzungsszenario samt Erwartungen zu definieren, eine Evaluation anzulegen, sie in einem Test auszuführen und die erzeugten Kennzahlen auszuwerten. Dafür empfiehlt der Autor ein UI-Testziel, weil die UI-Automatisierung die App starten und zu einem Bildschirm navigieren kann, bevor Siri aufgerufen wird. Zudem müsse die UI-Automatisierung auf dem Gerät eingeschaltet sein. Die Test-Suite soll laut Artikel mit `.serialized` laufen, weil auf einem Gerät nur ein Siri-Gespräch gleichzeitig ausgeführt werden könne.

An Beispielen zeigt der Autor Erwartungen an gefundene Entitäten, aufgerufene Intents, Parameterwerte und Ergebnisse sowie an das Laden eines App Skills. Szenarien können laut Darstellung aus mehreren Gesprächsrunden bestehen. Erwartungsregeln lassen sich für Aufrufreihenfolge, unerwünschte Intent-Aufrufe, auf dem Bildschirm erkannte Entitäten und Siris Antwort formulieren. Der eingebaute `SiriExpectationEvaluator` bewertet solche Erwartungen und liefert Kennzahlen, etwa dazu, ob Intents oder Entitäten die Erwartungen erfüllen. Der Bericht sagt, dass für die Ausführung ein echtes Gerät nötig sei; Xcode könne anschließend einen Bericht mit Siris tatsächlichen Aktionen und nicht erfüllten Erwartungen anzeigen.

Abschließend beschreibt der Autor eigene Evaluatoren für zusätzliche Kennzahlen. Als Beispiel berechnet er den Anteil der Gesprächsrunden, in denen genau ein Intent ausgeführt wurde. Szenarien seien außerdem `Codable` und könnten daher auch aus JSON geladen werden. Die Beispiele sind eine Anleitung anhand eines Demo-Projekts; der Artikel berichtet keine systematische Vergleichsstudie oder allgemeingültigen Leistungswerte. Auch die vorgeschlagenen Metriken müssen zu den jeweiligen Anforderungen passen.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Die Einordnung bezieht sich auf die drei Sammelfragen, da Luna keine Teilfragen angegeben hat. Alle drei Fragen liegen thematisch weit vom Bericht entfernt, der ausschließlich Xcode-Werkzeuge und das Siri-Evaluations-Framework behandelt.

Im Bericht, aber nicht in der Zusammenfassung

  • Der Kernpunkt des Artikels, dass Evaluation messbare Ergebnisse statt subjektiver Eindrücke bei jeder Änderung von Tool-Beschreibungen liefert
  • Die Angabe, dass im Beispiel nach dem Ersetzen der Platzhalter alle Befunde verschwinden ("No findings") und nicht nur teilweise

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Fähigkeiten messen
  1. SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 31 %Hintergrund, keine Belege
    • amos 34 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 45 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Unabhängig prüfen
  1. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 100 %kein Bezug
    • Luna 30 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 24 %nur am Rande erwähnt
    • SubQ 34 %gleiches Oberthema, hilft nicht
    • drex 31 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
Tempo und Grenzen
  1. SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
    • clef 100 %kein Bezug
    • Luna 48 %Hintergrund, keine Belege
    • JEV 36 %Hintergrund, keine Belege
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung kein Bezug
Vertrauen in Modelle
  1. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 24 %einzelne zitierbare Belege
    • amos 35 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 43 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Agenten und vernetzte Systeme
  1. SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
    • clef 100 %kein Bezug
    • Luna 32 %einzelne zitierbare Belege
    • JEV 35 %einzelne zitierbare Belege
    • amos 26 %nur am Rande erwähnt
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
Offenlegung und Rechenschaft
Beteiligung und Gemeinwohl

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →