Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
fragen-fundeohne Datum · Q004755

Score

docs.typesafe.ai · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Der Bericht erklärt TypeSafes „Score“ für Bewertungen auf geordneten Skalen: Das Modell gibt Wahrscheinlichkeiten je Stufe, einen gewichteten Mittelwert und einen Konfidenzwert zurück. Die Dokumentation empfiehlt konkrete, eindimensionale Stufen und passende Beispiele, betont aber, dass hohe Konfidenz keine Korrektheit garantiert und die Beschreibungen mit eigenen Daten geprüft werden sollten.

Mittel

Der Bericht beschreibt „Score“ als TypeSafe-Fragetyp für geordnete Bewertungen. Eine Frage enthält eine Anweisung und zwei bis zehn von niedrig nach hoch angeordnete Stufen. Das Modell liefert Wahrscheinlichkeiten je Stufe, einen daraus berechneten gewichteten Mittelwert, die Stufenbeschreibungen und einen Konfidenzwert. Der Mittelwert kann zwischen Stufen liegen; für seine Deutung sollte man laut Dokument auch Wahrscheinlichkeiten und Konfidenz betrachten, da verschiedene Verteilungen denselben Score ergeben können.

Empfohlen werden konkrete, voneinander unterscheidbare Stufen und jeweils nur eine Bewertungsdimension pro Frage. Komplexe Urteile lassen sich in mehrere Scores aufteilen, normalisieren und mit Gewichten im eigenen Code verbinden. Bei unklaren Ergebnissen können passende Beispiele in strukturierten Stufenbeschreibungen helfen. Die Dokumentation warnt jedoch, dass höhere Konfidenz keine Richtigkeit beweist; Beispiele sollten an bekannten und getrennten Fällen geprüft werden. Die angeführten API-, SDK- und Fehlerbeispiele veranschaulichen die Methode, belegen aber keine unabhängige allgemeine Wirksamkeit.

Ausführlich lesen

Der Bericht erläutert den TypeSafe-Fragetyp „Score“. Er eignet sich laut Dokument für Bewertungen auf einer geordneten Skala, etwa zur Schwere eines Fehlers oder zur Kundenzufriedenheit. Für ungeordnete Auswahlmöglichkeiten empfiehlt der Bericht stattdessen „Choice“, für Ja-Nein-Fragen „Noul“.

Eine Score-Frage enthält eine Anweisung und mindestens zwei, höchstens zehn geordnete Beschreibungen von Stufen. Die Stufen werden von niedrig nach hoch nummeriert; ihre Positionen entsprechen den Indizes im Kriterienfeld. Das Modell bewertet jede Stufe einzeln anhand des bereitgestellten Inhalts. Zurückgegeben werden Wahrscheinlichkeiten für die Stufen, ein Score als wahrscheinlichkeitsgewichteter Mittelwert der Stufennummern, eine Zuordnung der Nummern zu ihren Beschreibungen und ein Konfidenzwert. Ein Score kann zwischen Stufen liegen. Im Beispiel eines Safari-Fehlers ergibt sich 1,43 aus Wahrscheinlichkeiten von 0,57 für eine Störung mit Umgehungsmöglichkeit und 0,43 für eine blockierende Störung. Der Bericht deutet das als Gewichtung zugunsten der ersten Stufe, weist aber darauf hin, dass ein Score allein die Verteilung nicht zeigt: Unterschiedliche Verteilungen können denselben Mittelwert ergeben.

Die Dokumentation empfiehlt konkrete, unterscheidbare Stufenbeschreibungen statt bloßer Zahlen oder vager Abstufungen wie „mäßig schwer“. Sie rät außerdem, pro Score-Frage nur eine Dimension zu erfassen, bei Bedarf mehrere Fragen getrennt zu stellen und ihre normalisierten Ergebnisse anschließend mit frei gewählten Gewichten im eigenen Code zu kombinieren. Für verschieden lange Skalen soll der Score durch die Nummer der höchsten Stufe geteilt werden. Die Fragen können laut Bericht gemeinsam in einer Anfrage übermittelt und parallel ausgewertet werden. Als Integrationswege nennt er die TypeSafe-API und SDKs, darunter ein Python-Beispiel.

An mehreren Fehlerberichten zeigt der Text beispielhafte Modellantworten. Diese reichen von einem kosmetischen Darstellungsfehler mit Score 0 bis zu einem Anmeldeausfall mit Score 2. Ein komplexeres Beispiel bewertet zusätzlich Kundenfrustration und die Nützlichkeit eines Fehlerberichts. Die drei Ergebnisse werden im Beispiel zu einer gewichteten Prioritätszahl kombiniert. Der Bericht betont, dass die Gewichte im eigenen Code liegen und angepasst werden können, wenn die Rangfolge nicht den Entscheidungen des Teams entspricht.

Bei anhaltender Unsicherheit zwischen benachbarten Stufen schlägt die Dokumentation strukturierte Beschreibungen mit gleichartigen Feldern für Erläuterungen und Beispiele vor. In einem Vergleich konzentriert ein passendes Beispiel die Wahrscheinlichkeiten stärker auf eine Stufe; ein sachfremdes Beispiel ändert die Antwort gegenüber einfachen Beschreibungen nicht. Daraus folgt laut Bericht nicht, dass die Antwort richtiger ist: Hohe Konfidenz ist keine Korrektheitsgarantie. Beispiele sollen zu realen Eingaben passen und an bekannten Fällen sowie getrennten Testeingaben geprüft werden. Ebenso bedeutet eine gleichmäßig verteilte Wahrscheinlichkeit laut Text häufig, dass Stufen überlappen, die Frage mehrere Aspekte umfasst oder der bereitgestellte Inhalt für eine Einordnung nicht ausreicht. Die Beispiele und Empfehlungen sind Angaben der TypeSafe-Dokumentation; der Bericht belegt keine unabhängige Prüfung ihrer allgemeinen Wirksamkeit.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Beide Zusammenfassungen geben den Bericht im Kern treu wieder und enthalten keine erkennbar erfundenen Fakten. Die mittlere Fassung nennt „Fehlerbeispiele“, der Bericht spricht aber nur von API-, SDK- und Beispielfällen; das ist eine ungenaue Formulierung. Luna hat keine Sammel- oder Teilfragen angegeben, deshalb bleibt die Einordnung leer.

Im Bericht, aber nicht in der Zusammenfassung

  • Score wird gegenüber Choice und Noul abgegrenzt: Score für Positionen auf einer Skala, Choice für ungeordnete Optionen, Noul für Ja/Nein
  • Jede Stufe wird einzeln gegen den Eingabetext bewertet, und Zahlen in Stufen oder Anweisung helfen dem Modell nicht
  • Beispiele in Stufenbeschreibungen wirken nur, wenn sie den echten Eingaben ähneln; ein unpassendes Beispiel ändert das Ergebnis kaum
  • Die Konfidenz ergibt sich aus der Verteilung der Wahrscheinlichkeiten über die Stufen; eine einzelne Spitze ergibt hohe Konfidenz

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Fähigkeiten messen
Unabhängig prüfen
Tempo und Grenzen
Vertrauen in Modelle
Frieden und Sicherheit

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →