Score
Zusammenfassung
Kurz
Der Bericht erklärt TypeSafes „Score“ für Bewertungen auf geordneten Skalen: Das Modell gibt Wahrscheinlichkeiten je Stufe, einen gewichteten Mittelwert und einen Konfidenzwert zurück. Die Dokumentation empfiehlt konkrete, eindimensionale Stufen und passende Beispiele, betont aber, dass hohe Konfidenz keine Korrektheit garantiert und die Beschreibungen mit eigenen Daten geprüft werden sollten.
Mittel
Der Bericht beschreibt „Score“ als TypeSafe-Fragetyp für geordnete Bewertungen. Eine Frage enthält eine Anweisung und zwei bis zehn von niedrig nach hoch angeordnete Stufen. Das Modell liefert Wahrscheinlichkeiten je Stufe, einen daraus berechneten gewichteten Mittelwert, die Stufenbeschreibungen und einen Konfidenzwert. Der Mittelwert kann zwischen Stufen liegen; für seine Deutung sollte man laut Dokument auch Wahrscheinlichkeiten und Konfidenz betrachten, da verschiedene Verteilungen denselben Score ergeben können.
Empfohlen werden konkrete, voneinander unterscheidbare Stufen und jeweils nur eine Bewertungsdimension pro Frage. Komplexe Urteile lassen sich in mehrere Scores aufteilen, normalisieren und mit Gewichten im eigenen Code verbinden. Bei unklaren Ergebnissen können passende Beispiele in strukturierten Stufenbeschreibungen helfen. Die Dokumentation warnt jedoch, dass höhere Konfidenz keine Richtigkeit beweist; Beispiele sollten an bekannten und getrennten Fällen geprüft werden. Die angeführten API-, SDK- und Fehlerbeispiele veranschaulichen die Methode, belegen aber keine unabhängige allgemeine Wirksamkeit.
Ausführlich lesen
Der Bericht erläutert den TypeSafe-Fragetyp „Score“. Er eignet sich laut Dokument für Bewertungen auf einer geordneten Skala, etwa zur Schwere eines Fehlers oder zur Kundenzufriedenheit. Für ungeordnete Auswahlmöglichkeiten empfiehlt der Bericht stattdessen „Choice“, für Ja-Nein-Fragen „Noul“.
Eine Score-Frage enthält eine Anweisung und mindestens zwei, höchstens zehn geordnete Beschreibungen von Stufen. Die Stufen werden von niedrig nach hoch nummeriert; ihre Positionen entsprechen den Indizes im Kriterienfeld. Das Modell bewertet jede Stufe einzeln anhand des bereitgestellten Inhalts. Zurückgegeben werden Wahrscheinlichkeiten für die Stufen, ein Score als wahrscheinlichkeitsgewichteter Mittelwert der Stufennummern, eine Zuordnung der Nummern zu ihren Beschreibungen und ein Konfidenzwert. Ein Score kann zwischen Stufen liegen. Im Beispiel eines Safari-Fehlers ergibt sich 1,43 aus Wahrscheinlichkeiten von 0,57 für eine Störung mit Umgehungsmöglichkeit und 0,43 für eine blockierende Störung. Der Bericht deutet das als Gewichtung zugunsten der ersten Stufe, weist aber darauf hin, dass ein Score allein die Verteilung nicht zeigt: Unterschiedliche Verteilungen können denselben Mittelwert ergeben.
Die Dokumentation empfiehlt konkrete, unterscheidbare Stufenbeschreibungen statt bloßer Zahlen oder vager Abstufungen wie „mäßig schwer“. Sie rät außerdem, pro Score-Frage nur eine Dimension zu erfassen, bei Bedarf mehrere Fragen getrennt zu stellen und ihre normalisierten Ergebnisse anschließend mit frei gewählten Gewichten im eigenen Code zu kombinieren. Für verschieden lange Skalen soll der Score durch die Nummer der höchsten Stufe geteilt werden. Die Fragen können laut Bericht gemeinsam in einer Anfrage übermittelt und parallel ausgewertet werden. Als Integrationswege nennt er die TypeSafe-API und SDKs, darunter ein Python-Beispiel.
An mehreren Fehlerberichten zeigt der Text beispielhafte Modellantworten. Diese reichen von einem kosmetischen Darstellungsfehler mit Score 0 bis zu einem Anmeldeausfall mit Score 2. Ein komplexeres Beispiel bewertet zusätzlich Kundenfrustration und die Nützlichkeit eines Fehlerberichts. Die drei Ergebnisse werden im Beispiel zu einer gewichteten Prioritätszahl kombiniert. Der Bericht betont, dass die Gewichte im eigenen Code liegen und angepasst werden können, wenn die Rangfolge nicht den Entscheidungen des Teams entspricht.
Bei anhaltender Unsicherheit zwischen benachbarten Stufen schlägt die Dokumentation strukturierte Beschreibungen mit gleichartigen Feldern für Erläuterungen und Beispiele vor. In einem Vergleich konzentriert ein passendes Beispiel die Wahrscheinlichkeiten stärker auf eine Stufe; ein sachfremdes Beispiel ändert die Antwort gegenüber einfachen Beschreibungen nicht. Daraus folgt laut Bericht nicht, dass die Antwort richtiger ist: Hohe Konfidenz ist keine Korrektheitsgarantie. Beispiele sollen zu realen Eingaben passen und an bekannten Fällen sowie getrennten Testeingaben geprüft werden. Ebenso bedeutet eine gleichmäßig verteilte Wahrscheinlichkeit laut Text häufig, dass Stufen überlappen, die Frage mehrere Aspekte umfasst oder der bereitgestellte Inhalt für eine Einordnung nicht ausreicht. Die Beispiele und Empfehlungen sind Angaben der TypeSafe-Dokumentation; der Bericht belegt keine unabhängige Prüfung ihrer allgemeinen Wirksamkeit.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Beide Zusammenfassungen geben den Bericht im Kern treu wieder und enthalten keine erkennbar erfundenen Fakten. Die mittlere Fassung nennt „Fehlerbeispiele“, der Bericht spricht aber nur von API-, SDK- und Beispielfällen; das ist eine ungenaue Formulierung. Luna hat keine Sammel- oder Teilfragen angegeben, deshalb bleibt die Einordnung leer.
Im Bericht, aber nicht in der Zusammenfassung
- Score wird gegenüber Choice und Noul abgegrenzt: Score für Positionen auf einer Skala, Choice für ungeordnete Optionen, Noul für Ja/Nein
- Jede Stufe wird einzeln gegen den Eingabetext bewertet, und Zahlen in Stufen oder Anweisung helfen dem Modell nicht
- Beispiele in Stufenbeschreibungen wirken nur, wenn sie den echten Eingaben ähneln; ein unpassendes Beispiel ändert das Ergebnis kaum
- Die Konfidenz ergibt sich aus der Verteilung der Wahrscheinlichkeiten über die Stufen; eine einzelne Spitze ergibt hohe Konfidenz
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 47 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Vertrauen in Modelle
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 49 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 52 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 51 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Frieden und Sicherheit
- SF-K2 Wie weit gelten KI-Abkommen für Verbündete und Geheimdienste, und wie verhalten sie sich zu bestehenden Rüstungskontrollverträgen und -regimen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 49 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug