Swift: FoundationModels Needs Evaluations!
Zusammenfassung
Kurz
Der vollständige Artikel zeigt, wie Apples Evaluations-Framework FoundationModels-Ausgaben mit Beispieldaten, codebasierten Prüfungen, Werkzeugaufruf-Evaluatoren und Modellrichtern systematisch bewerten kann. Die Swift-Beispiele behandeln Sentiment, Tool-Aufrufe und subjektive Antwortqualität; der Beitrag merkt eine aus Sicht des Autors veraltete Dokumentation an und liefert keine systematische Validierung der Bewertungsgenauigkeit.
Mittel
Der vollständige Artikel erläutert anhand von Swift-Beispielen, wie Apples Evaluations-Framework für FoundationModels wiederholbare Qualitätsprüfungen ermöglichen soll. Dazu werden Beispieldaten definiert, ein Modellmerkmal als „Subject“ ausgeführt, Antworten bewertet und Kennzahlen für Berichte zusammengefasst. Der Autor zeigt handgeschriebene sowie synthetisch erzeugte Datensätze und weist darauf hin, dass Dokumentationsbeispiele für `SampleGenerator` seiner Erfahrung nach nicht verfügbare APIs enthalten.
Codebasierte Evaluatoren prüfen etwa Sentiment-Klassifikationen oder strukturierte Ausgaben. Mit `ToolCallEvaluator` lassen sich erwartete Werkzeugaufrufe samt Argumenten kontrollieren; dafür muss das Gesprächsprotokoll verfügbar sein. Für subjektive Textmerkmale wie Sicherheit, Ton und Hilfreichkeit stellt der Beitrag `ModelJudgeEvaluator` vor. Kriterien sollen einzeln formuliert und mit passenden binären oder numerischen Skalen bewertet werden. Einzelantworten können unabhängig oder im Vergleich zu einer Baseline beurteilt werden; mehrere verwandte Dimensionen lassen sich in einem Modellrichter-Aufruf bündeln. Tests können aggregierte Werte prüfen, während Berichte und Detaildaten weitere Einblicke bieten.
Der Beitrag erwähnt auch multimodale Evaluationen, erklärt sie aber nicht. Er liefert Beispiele und Implementierungshinweise, jedoch keine systematische Validierung der Genauigkeit der Modellurteile oder der gezeigten Schwellenwerte.
Ausführlich lesen
Der vollständige Artikel von Itsuki zeigt, wie Apples Evaluations-Framework für FoundationModels manuelle Stichproben durch wiederholbare Tests zur Ausgabequalität ersetzen soll. Die Grundidee: Beispieldaten mit Eingaben und gegebenenfalls erwarteten Ergebnissen bereitstellen, das zu prüfende Modellmerkmal als „Subject“ ausführen, Antworten mit passenden Evaluatoren bewerten und Messwerte über mehrere Beispiele zusammenfassen. Laut Artikel lassen sich so Änderungen an Prompts oder Werkzeugbeschreibungen systematisch vergleichen und mögliche Rückschritte erkennen.
Anhand einer Sentiment-Klassifikation führt der Autor codebasierte Auswertungen vor. Beispiele sind einfache Bestehensprüfungen und der Vergleich strukturierter Ausgaben mit erwarteten Werten. Die Bewertung kann ein Ergebnis insgesamt prüfen oder einzelne Felder getrennt betrachten. Als Datenquellen zeigt der Artikel sowohl handgeschriebene Beispiele als auch synthetische Datensätze mit Apples `SampleGenerator`. Der Autor merkt an, die Dokumentation beschreibe dafür Funktionen wie `makeSamples`, die seiner Erfahrung nach tatsächlich nicht verfügbar seien. Diese Einschränkung wird als eigene Beobachtung des Autors dargestellt.
Die Evaluatoren liefern etwa Bestehen/Nichtbestehen oder numerische Werte. Ein Aggregator kann Kennzahlen wie Mittelwert, Median, Minimum, Maximum, Standardabweichung oder Varianz für den Bericht berechnen. Die Evaluation lässt sich in einen Test einbinden; dort können Ergebnisse abgefragt und Erwartungen formuliert werden. Artikel und Beispielcode unterscheiden dabei zwischen aggregierten Berichtswerten und den Kennzahlen, die der Test selbst prüft. Einzelresultate, Eingaben, erwartete Werte, Antworten, Ausnahmen und Metriken können laut Darstellung ebenfalls ausgewertet werden.
Ein zweites Beispiel prüft Werkzeugaufrufe. Dafür wird eine Sentiment-Funktion als Tool eingebunden und die erwartete Aufrufsequenz samt Argumenten in den Beispieldaten festgelegt. Apples `ToolCallEvaluator` bewertet, ob und wie das Werkzeug aufgerufen wurde. Dafür muss das Modell-Subject auch das Gesprächsprotokoll zurückgeben, weil der Evaluator daraus Aufrufe und Ergebnisse entnimmt.
Für subjektive Eigenschaften von Antworttexten stellt der Artikel `ModelJudgeEvaluator` vor. Ein weiteres Beispiel erzeugt Antworten auf Produktbewertungen und bewertet getrennte Kriterien wie Sicherheit, Befolgung einer Filterregel, unerlaubte Rabatt- oder Rückerstattungsangebote, Ton und Hilfreichkeit. Der Autor empfiehlt, solche Kriterien nicht zu einem Sammelkriterium zu bündeln. Skalen können binär oder numerisch sein; Einzelantworten lassen sich unabhängig beurteilen oder im Paarvergleich einer Baseline gegenüberstellen. Verwandte Dimensionen können laut Artikel gemeinsam von einem Modellrichter bewertet werden, um zusätzliche Aufrufe und Wartezeit zu vermeiden. Über `ModelJudgePrompt` lassen sich Anweisungen, die Darstellung der zu bewertenden Antwort und optionale Referenzinformationen anpassen.
Der Beitrag ist eine praktische Einführung mit Swift-Beispielen und verweist auch auf multimodale Prompts, führt diese aber nicht aus. Er berichtet keine systematische Messung der Genauigkeit des Modellrichters oder der vorgestellten Evaluierungen. Die Beispiele und Schwellenwerte illustrieren die Einrichtung; sie belegen für sich genommen keine allgemeine Qualität der Modelle oder der Ergebnisse.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Lunas Einordnung je Teilfrage war leer, daher gibt es dazu keine Bewertungen. Die drei Zusammenfassungen wurden gemeinsam geprüft; die unbeschriftete Passage zählt als Teil davon.
Im Bericht, aber nicht in der Zusammenfassung
- Die Kernaussage des Artikels, dass das Framework manuelle Stichproben durch strukturierte, wiederholbare Messungen ersetzen soll
- Der Bezug zu Apples Siri-Evaluation, auf der der Beitrag laut Autor aufbaut
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 39 %Hintergrund, keine Belege
- JEV 30 %einzelne zitierbare Belege
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 36 %gleiches Oberthema, hilft nicht
- drex 39 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung gleiches Oberthema, hilft nicht
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 47 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 38 %einzelne zitierbare Belege
- amos 24 %Hintergrund, keine Belege
- SubQ 43 %gleiches Oberthema, hilft nicht
- drex 38 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 45 %gleiches Oberthema, hilft nicht
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 53 %gleiches Oberthema, hilft nicht
- drex 45 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 20 %gleiches Oberthema, hilft nicht
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 27 %Hintergrund, keine Belege
- SubQ 31 %gleiches Oberthema, hilft nicht
- drex 25 %Hintergrund, keine Belege
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 35 %Hintergrund, keine Belege
- JEV 27 %gleiches Oberthema, hilft nicht
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung nur am Rande erwähnt
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 50 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 69 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 24 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 28 %Hintergrund, keine Belege
- SubQ 36 %gleiches Oberthema, hilft nicht
- drex 25 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 29 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 29 %Hintergrund, keine Belege
- SubQ 38 %gleiches Oberthema, hilft nicht
- drex 50 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 41 %einzelne zitierbare Belege
- JEV 28 %einzelne zitierbare Belege
- amos 25 %Hintergrund, keine Belege
- SubQ 45 %gleiches Oberthema, hilft nicht
- drex 35 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung gleiches Oberthema, hilft nicht
Agenten und vernetzte Systeme
- SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 36 %einzelne zitierbare Belege
- amos 27 %nur am Rande erwähnt
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Modelle teilen und schützen
- SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 59 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 38 %gleiches Oberthema, hilft nicht
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Frieden und Sicherheit
- SF-K2 Wie weit gelten KI-Abkommen für Verbündete und Geheimdienste, und wie verhalten sie sich zu bestehenden Rüstungskontrollverträgen und -regimen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 46 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 61 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E3 Welche Stellen sind in einem Staat für KI-Sicherheit und Prüfungen zuständig, und was davon gibt es schon?
- clef 100 %kein Bezug
- Luna 31 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- Welche Stellen sind in einem Staat für KI-Sicherheit und Prüfungen zuständig, und was davon gibt es schon?
- Alle Berichte im Archiv