Zum Inhalt
AMANi DUNiA research
DE

Mit Hilfe von KI erstellt. Messgrundlagen, Originalquellen und Grenzen sind bei den jeweiligen Studien offengelegt.

Testreihe · Decision LLMs

Erweiterter Testsatz und Blindprüfung

Welche Testfälle sind eindeutig – und wo widersprechen sich die Prüfer?

Zum Inhalt ↓
ZwischenergebnisseDatenstand:

6.814 Blindurteile zu 33 Fragen

Forschungsfrage

Welche Testfälle sind eindeutig – und wo widersprechen sich die Prüfer?

Vorgehen

Ein größerer synthetischer Testsatz wird durch Modelle geprüft, ohne ihnen die vorgesehenen Antworten zu zeigen. Strittige Fälle werden gesondert untersucht.

Was bisher vorliegt

Ein dokumentierter GPT-6-Prüflauf enthält 6.814 Urteile, davon 1.359 als unsicher markiert. Eine spätere Fallliste dokumentiert 489 strittige Fälle aus dem Prüfbestand.

Was sich daraus nicht ableiten lässt

Die beiden Zahlen beziehen sich auf verschiedene Auswertungsschritte. Modellmehrheiten ersetzen keine menschlich festgelegte Referenz; eine abgeschlossene, bereinigte Gesamtauswertung liegt hier nicht vor.

Nächster Schritt

Strittige Fälle klären und einen festen, getrennten Prüfsatz ausweisen.

Grundlagen der Darstellung
  • Ergebnisbericht der Blindprüfung vom 4. Oktober 2026
  • Liste strittiger Testfälle vom 5. Oktober 2026

Diese Seite fasst den dokumentierten Arbeitsstand zusammen. Die vollständige Ergebnisdarstellung ist noch nicht als eigene Studie aufbereitet.

Der Datenstand bezeichnet die zugrunde liegende Untersuchung, nicht das Datum dieser Übersicht.

← Decision LLMs

Zitieren und weiterverwenden

Eigene Texte, Fragen und Einordnungen: CC BY 4.0. Namensnennung, Lizenzlink und Änderungen angeben. Fremde Originalberichte behalten ihre eigenen Rechte. CC BY 4.0

AMANi DUNiA. Erweiterter Testsatz und Blindprüfung. Stand: . https://research.amanidunia.berlin/de/studien/testsatz-blindpruefung/

Fassung: 2026-10-05

BibTeX
@misc{research__de_studien_testsatz_blindpruefung_,
  author = {{AMANi DUNiA}},
  title = {Erweiterter Testsatz und Blindprüfung},
  year = {2026},
  url = {https://research.amanidunia.berlin/de/studien/testsatz-blindpruefung/},
  note = {Snapshot 2026-10-05; CC BY 4.0},
  version = {2026-10-05}
}
Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →