Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
medium.com11. November 2026 · Q009591

Swift: FoundationModels Needs Evaluations!

medium.com · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Der vollständige Artikel zeigt, wie Apples Evaluations-Framework FoundationModels-Ausgaben mit Beispieldaten, codebasierten Prüfungen, Werkzeugaufruf-Evaluatoren und Modellrichtern systematisch bewerten kann. Die Swift-Beispiele behandeln Sentiment, Tool-Aufrufe und subjektive Antwortqualität; der Beitrag merkt eine aus Sicht des Autors veraltete Dokumentation an und liefert keine systematische Validierung der Bewertungsgenauigkeit.

Mittel

Der vollständige Artikel erläutert anhand von Swift-Beispielen, wie Apples Evaluations-Framework für FoundationModels wiederholbare Qualitätsprüfungen ermöglichen soll. Dazu werden Beispieldaten definiert, ein Modellmerkmal als „Subject“ ausgeführt, Antworten bewertet und Kennzahlen für Berichte zusammengefasst. Der Autor zeigt handgeschriebene sowie synthetisch erzeugte Datensätze und weist darauf hin, dass Dokumentationsbeispiele für `SampleGenerator` seiner Erfahrung nach nicht verfügbare APIs enthalten.

Codebasierte Evaluatoren prüfen etwa Sentiment-Klassifikationen oder strukturierte Ausgaben. Mit `ToolCallEvaluator` lassen sich erwartete Werkzeugaufrufe samt Argumenten kontrollieren; dafür muss das Gesprächsprotokoll verfügbar sein. Für subjektive Textmerkmale wie Sicherheit, Ton und Hilfreichkeit stellt der Beitrag `ModelJudgeEvaluator` vor. Kriterien sollen einzeln formuliert und mit passenden binären oder numerischen Skalen bewertet werden. Einzelantworten können unabhängig oder im Vergleich zu einer Baseline beurteilt werden; mehrere verwandte Dimensionen lassen sich in einem Modellrichter-Aufruf bündeln. Tests können aggregierte Werte prüfen, während Berichte und Detaildaten weitere Einblicke bieten.

Der Beitrag erwähnt auch multimodale Evaluationen, erklärt sie aber nicht. Er liefert Beispiele und Implementierungshinweise, jedoch keine systematische Validierung der Genauigkeit der Modellurteile oder der gezeigten Schwellenwerte.

Ausführlich lesen

Der vollständige Artikel von Itsuki zeigt, wie Apples Evaluations-Framework für FoundationModels manuelle Stichproben durch wiederholbare Tests zur Ausgabequalität ersetzen soll. Die Grundidee: Beispieldaten mit Eingaben und gegebenenfalls erwarteten Ergebnissen bereitstellen, das zu prüfende Modellmerkmal als „Subject“ ausführen, Antworten mit passenden Evaluatoren bewerten und Messwerte über mehrere Beispiele zusammenfassen. Laut Artikel lassen sich so Änderungen an Prompts oder Werkzeugbeschreibungen systematisch vergleichen und mögliche Rückschritte erkennen.

Anhand einer Sentiment-Klassifikation führt der Autor codebasierte Auswertungen vor. Beispiele sind einfache Bestehensprüfungen und der Vergleich strukturierter Ausgaben mit erwarteten Werten. Die Bewertung kann ein Ergebnis insgesamt prüfen oder einzelne Felder getrennt betrachten. Als Datenquellen zeigt der Artikel sowohl handgeschriebene Beispiele als auch synthetische Datensätze mit Apples `SampleGenerator`. Der Autor merkt an, die Dokumentation beschreibe dafür Funktionen wie `makeSamples`, die seiner Erfahrung nach tatsächlich nicht verfügbar seien. Diese Einschränkung wird als eigene Beobachtung des Autors dargestellt.

Die Evaluatoren liefern etwa Bestehen/Nichtbestehen oder numerische Werte. Ein Aggregator kann Kennzahlen wie Mittelwert, Median, Minimum, Maximum, Standardabweichung oder Varianz für den Bericht berechnen. Die Evaluation lässt sich in einen Test einbinden; dort können Ergebnisse abgefragt und Erwartungen formuliert werden. Artikel und Beispielcode unterscheiden dabei zwischen aggregierten Berichtswerten und den Kennzahlen, die der Test selbst prüft. Einzelresultate, Eingaben, erwartete Werte, Antworten, Ausnahmen und Metriken können laut Darstellung ebenfalls ausgewertet werden.

Ein zweites Beispiel prüft Werkzeugaufrufe. Dafür wird eine Sentiment-Funktion als Tool eingebunden und die erwartete Aufrufsequenz samt Argumenten in den Beispieldaten festgelegt. Apples `ToolCallEvaluator` bewertet, ob und wie das Werkzeug aufgerufen wurde. Dafür muss das Modell-Subject auch das Gesprächsprotokoll zurückgeben, weil der Evaluator daraus Aufrufe und Ergebnisse entnimmt.

Für subjektive Eigenschaften von Antworttexten stellt der Artikel `ModelJudgeEvaluator` vor. Ein weiteres Beispiel erzeugt Antworten auf Produktbewertungen und bewertet getrennte Kriterien wie Sicherheit, Befolgung einer Filterregel, unerlaubte Rabatt- oder Rückerstattungsangebote, Ton und Hilfreichkeit. Der Autor empfiehlt, solche Kriterien nicht zu einem Sammelkriterium zu bündeln. Skalen können binär oder numerisch sein; Einzelantworten lassen sich unabhängig beurteilen oder im Paarvergleich einer Baseline gegenüberstellen. Verwandte Dimensionen können laut Artikel gemeinsam von einem Modellrichter bewertet werden, um zusätzliche Aufrufe und Wartezeit zu vermeiden. Über `ModelJudgePrompt` lassen sich Anweisungen, die Darstellung der zu bewertenden Antwort und optionale Referenzinformationen anpassen.

Der Beitrag ist eine praktische Einführung mit Swift-Beispielen und verweist auch auf multimodale Prompts, führt diese aber nicht aus. Er berichtet keine systematische Messung der Genauigkeit des Modellrichters oder der vorgestellten Evaluierungen. Die Beispiele und Schwellenwerte illustrieren die Einrichtung; sie belegen für sich genommen keine allgemeine Qualität der Modelle oder der Ergebnisse.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Lunas Einordnung je Teilfrage war leer, daher gibt es dazu keine Bewertungen. Die drei Zusammenfassungen wurden gemeinsam geprüft; die unbeschriftete Passage zählt als Teil davon.

Im Bericht, aber nicht in der Zusammenfassung

  • Die Kernaussage des Artikels, dass das Framework manuelle Stichproben durch strukturierte, wiederholbare Messungen ersetzen soll
  • Der Bezug zu Apples Siri-Evaluation, auf der der Beitrag laut Autor aufbaut

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Fähigkeiten messen
  1. SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
    • clef 100 %kein Bezug
    • Luna 39 %Hintergrund, keine Belege
    • JEV 30 %einzelne zitierbare Belege
    • amos 39 %gleiches Oberthema, hilft nicht
    • SubQ 36 %gleiches Oberthema, hilft nicht
    • drex 39 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
  2. SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 38 %einzelne zitierbare Belege
    • amos 24 %Hintergrund, keine Belege
    • SubQ 43 %gleiches Oberthema, hilft nicht
    • drex 38 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Unabhängig prüfen
  1. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 20 %gleiches Oberthema, hilft nicht
    • Luna 100 %kein Bezug
    • JEV 100 %kein Bezug
    • amos 27 %Hintergrund, keine Belege
    • SubQ 31 %gleiches Oberthema, hilft nicht
    • drex 25 %Hintergrund, keine Belege
    • d3-ultra 100 %kein Bezug
Tempo und Grenzen
  1. SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
    • clef 100 %kein Bezug
    • Luna 35 %Hintergrund, keine Belege
    • JEV 27 %gleiches Oberthema, hilft nicht
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung nur am Rande erwähnt
Vertrauen in Modelle
  1. SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
    • clef 100 %kein Bezug
    • Luna 24 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 28 %Hintergrund, keine Belege
    • SubQ 36 %gleiches Oberthema, hilft nicht
    • drex 25 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
  2. SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
    • clef 100 %kein Bezug
    • Luna 29 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 29 %Hintergrund, keine Belege
    • SubQ 38 %gleiches Oberthema, hilft nicht
    • drex 50 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
  3. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 41 %einzelne zitierbare Belege
    • JEV 28 %einzelne zitierbare Belege
    • amos 25 %Hintergrund, keine Belege
    • SubQ 45 %gleiches Oberthema, hilft nicht
    • drex 35 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
Agenten und vernetzte Systeme
  1. SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 36 %einzelne zitierbare Belege
    • amos 27 %nur am Rande erwähnt
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Modelle teilen und schützen
Frieden und Sicherheit
Offenlegung und Rechenschaft
Beteiligung und Gemeinwohl
  1. SF-E3 Welche Stellen sind in einem Staat für KI-Sicherheit und Prüfungen zuständig, und was davon gibt es schon?
    • clef 100 %kein Bezug
    • Luna 31 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →