Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
fragen-fundeohne Datum · Q004729

Confidence

docs.typesafe.ai · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Der Bericht beschreibt `confidence` als aus Wahrscheinlichkeitsverteilungen abgeleitete Kennzahl für Choice- und Score-Antworten, die Unsicherheit zusammenfasst, aber nicht direkt die Korrektheitswahrscheinlichkeit angibt. Schwellen sollten nach Risiko und Anwendungsfall gewählt werden; oft sind einzelne Wahrscheinlichkeiten oder die vollständige Verteilung hilfreicher.

Mittel

Der Bericht erklärt `confidence` als Zusammenfassung der Wahrscheinlichkeitsverteilung bei Jev-Antworten vom Typ Choice und Score. Eine Konzentration auf ein Ergebnis ergibt einen hohen Wert, eine gleichmäßige Verteilung einen niedrigen. Noul-Antworten haben laut Dokumentation keinen solchen Wert. Die Kennzahl misst jedoch nicht direkt die Wahrscheinlichkeit, dass die ausgewählte Antwort richtig ist. Bei Choice hängt ihre Zuordnung zur Spitzenwahrscheinlichkeit von der Zahl der Optionen ab; bei Score berücksichtigt die Formel auch, wie weit Wahrscheinlichkeiten vom wahrscheinlichsten Level entfernt liegen.

Die Dokumentation empfiehlt, Schwellen an den Folgen möglicher Fehler auszurichten: wenig riskante Aktionen können eher automatisch erfolgen, folgenschwere sollten bei geringerer Sicherheit Bestätigung oder Prüfung erfordern. Die konkreten Grenzen sollen mit eigenen Daten erprobt werden. Je nach Aufgabe können die Wahrscheinlichkeit der ausgewählten Choice, das Verhältnis der beiden wahrscheinlichsten Optionen oder die Wahrscheinlichkeit eines bestimmten Score-Levels aussagekräftiger sein. Für Noul nennt der Bericht 0,7 und 0,3 als mögliche Startgrenzen, mit einem eigenen Ergebnis für den Zwischenbereich.

Die Formeln normieren die Verteilung jeweils auf eine Skala von 0 bis 1. Für Choice zählt nur die höchste Wahrscheinlichkeit; Score bezieht zusätzlich die Abstände zwischen Levels ein. TypeSafe stellt `confidence` als praktische Standardkennzahl dar, nicht als einzig mögliche Messgröße; die vollständigen Wahrscheinlichkeiten erlauben eigene Berechnungen.

Ausführlich lesen

Der Bericht beschreibt, wie TypeSafe den Wert `confidence` für Jev-Antworten vom Typ Choice und Score aus deren Wahrscheinlichkeitsverteilung ableitet. Jede solche Antwort enthält demnach eine `probabilities`-Eigenschaft. Eine Verteilung, die stark auf ein Ergebnis konzentriert ist, gilt als sicherer; eine gleichmäßige Verteilung als unsicherer. `confidence` fasst diese Form als Zahl zwischen 0 und 1 zusammen: 1 steht für die gesamte Wahrscheinlichkeit auf einem Ergebnis, 0 für eine gleichmäßige Verteilung. Noul-Antworten enthalten laut Bericht keinen eigenen `confidence`-Wert.

Die Dokumentation stellt `confidence` als nützlichen Ausgangswert dar, betont aber, dass er nicht für jede Entscheidung die passende Schwelle liefert. Sie schlägt drei Verhaltensbereiche vor: Bei hoher Sicherheit kann ein System automatisch handeln, bei mittlerer vorsichtig weiterarbeiten oder bestätigen lassen und bei niedriger Sicherheit auf eine Person, Rückfragen oder ein anderes System verweisen. Die Schwellen sollen sich nach den Folgen eines Fehlers richten. Als Beispiel wird für eine unsichere Aktionszuordnung eine Weiterleitung an Menschen gezeigt; eine Kontoabfrage kann bei geringeren Anforderungen direkt erfolgen, während eine Überweisungsfreigabe bei geringerer Sicherheit erst bestätigt oder geprüft werden soll. Die konkreten Grenzwerte seien vom Einsatzgebiet und der Modellleistung abhängig; empfohlen wird, konservativ zu beginnen und anhand eigener Daten anzupassen.

Ein zentraler Vorbehalt lautet: `confidence` misst, wie konzentriert die Wahrscheinlichkeiten sind, nicht unmittelbar, wie wahrscheinlich die ausgewählte Antwort richtig ist. Bei Choice-Fragen hängt die Beziehung zwischen `confidence` und der höchsten Einzelwahrscheinlichkeit auch von der Zahl der Optionen ab. Der Bericht nennt für einen `confidence`-Wert von 0,5 Spitzenwahrscheinlichkeiten von 0,75 bei zwei, 0,67 bei drei und 0,55 bei zehn Optionen. Bei einer festen Optionszahl ist `confidence` nur eine Umrechnung der höchsten Wahrscheinlichkeit; für den Abstand zwischen erster und zweiter Wahl oder die Verteilung auf übrige Optionen können die vollständige Verteilung oder das Verhältnis der beiden höchsten Wahrscheinlichkeiten hilfreicher sein.

Als mögliche Schwellen empfiehlt die Dokumentation bei Noul den Wahrheitswert selbst: über 0,7 als Ja, unter 0,3 als Nein und dazwischen einen eigenen Ausgang. Bei Choice soll die Wahrscheinlichkeit der Option betrachtet werden, auf deren Grundlage gehandelt wird. Bei Score kann die Wahrscheinlichkeit eines bestimmten Levels maßgeblich sein, wenn die Entscheidung von diesem Level abhängt. `confidence` kann zusätzlich anzeigen, ob eine Score-Antwort insgesamt geklärt ist, auch wenn die Position allein eine Aufteilung über entfernte Levels verdecken könnte.

Die Berechnung unterscheidet sich nach Fragetyp. Für Noul schlägt der Text, falls ein vergleichbarer Sicherheitswert benötigt wird, den Abstand der Ja-Wahrscheinlichkeit von 0,5 auf einer normierten Skala vor: `|2p − 1|`. Für Choice wird die höchste Wahrscheinlichkeit relativ zur gleichmäßigen Verteilung über `n` Optionen normiert. Der Wert berücksichtigt nur das Maximum; beispielsweise erhalten die Verteilungen (0,6; 0,3; 0,1) und (0,6; 0,2; 0,2) denselben Wert. Für Score berücksichtigt die Formel zusätzlich die gewichtete Entfernung der Wahrscheinlichkeiten vom wahrscheinlichsten Level und setzt den Wert mindestens auf null. Dadurch senkt Wahrscheinlichkeit auf benachbarten Levels den Wert weniger als dieselbe Wahrscheinlichkeit auf weit entfernten Levels. TypeSafe bezeichnet diese Formeln als eine sinnvolle, aber nicht einzig mögliche Zusammenfassung und verweist darauf, dass die vollständigen Wahrscheinlichkeiten eigene, anwendungsbezogene Kennzahlen ermöglichen.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Die Einordnung stützt sich nur auf den Bericht zu Konfidenzwerten in einer API; die Sammelfragen zu Sicherheitspolitik und Laborpflichten werden dort nicht behandelt.

Im Bericht, aber nicht in der Zusammenfassung

  • Die drei Handlungsbereiche (hohe, mittlere und niedrige Konfidenz mit automatischem Handeln, Vorsicht bzw. Nichthandeln)
  • Die Umrechnung für Noul über |2p-1| als konfidenzähnliche Zahl
  • Der Hinweis, dass Score-Antworten eine geteilte Antwort auf zwei getrennte Levels verdecken können und Konfidenz dies nicht zeigt
  • Das Beispiel, dass gleiche Schwellen für unterschiedliche Aktionen falsch sind und die Konfidenzschwelle je nach Risiko im Code festgelegt wird

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Vorfälle melden
Fähigkeiten messen
  1. SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 23 %Hintergrund, keine Belege
    • amos 39 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Unabhängig prüfen
Tempo und Grenzen
  1. SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
    • clef 100 %kein Bezug
    • Luna 54 %einzelne zitierbare Belege
    • JEV 51 %beantwortet teilweise oder widerspricht
    • amos 29 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung gleiches Oberthema, hilft nicht

Vertrauen in Modelle
  1. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 37 %einzelne zitierbare Belege
    • amos 40 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  2. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 27 %Hintergrund, keine Belege
    • JEV 40 %beantwortet teilweise oder widerspricht
    • amos 30 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 49 %gleiches Oberthema, hilft nicht
    • d3-ultra 49 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung nur am Rande erwähnt
Agenten und vernetzte Systeme
Frieden und Sicherheit
Beteiligung und Gemeinwohl
  1. SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 33 %einzelne zitierbare Belege
    • amos 47 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →