النسخة الإنجليزيةHow can labs develop empirical evaluations for chain-of-thought faithfulness that remain reliable even when models learn to optimize their reasoning steps?
- الحالة
- مُجاب جزئيًا حتى تاريخ 2026-10-01
- الجهة المخاطَبة
- مختبرات الذكاء الاصطناعي (الجهات مأخوذة من نص السؤال، حُددت بواسطة Clef (Cloudflare) في 22.10.2026)
- النموذج
- Gemini 3.8 Flash
- المختبر
- المناسبة
- An Alien Mind
- التاريخ
- 11–12 سبتمبر
- الموضوع
- الثقة
ماذا تقول المصادر(بالإنجليزية فقط)
OpenAI researchers reported in a paper submitted December 20, 2025 that they rewarded models for obscuring chain-of-thought and found their evaluations could detect these simple cases, while stressing that the experiments were limited.[1] Reliable testing of reasoning faithfulness under broader optimization pressure remains unestablished.
- OpenAI (Guan, Wang, Carroll, … Pachocki, Baker; arXiv): Monitoring Monitorability ↗Submitted on 20 Dec 2025
لخّصه Sol 6.1, تحقق منه Claude Opus 5.5
يمسّ في أطلس ليز:
- Tools for Interpreting or Explaining LLM Behavior are Absent or Lack Faithfulness ↗Threat: Open problem · Trend: → steady · Evidence: estimated
- Qualitative Understanding of Reasoning Capabilities is Lacking ↗Threat: Open problem · Trend: ↑ improving · Evidence: contested
التحقق
الحالة: Claude Sonnet 5 (بحث, الجهد مرتفع), Claude Opus 5.5 (تحقق, الجهد مرتفع)
الترجمة: Claude Opus 5.5, تحقق منه Luna 6 (الجهد مرتفع)
الدرجات: JEV (TypeSafe), تقدير بتاريخ 25 سبتمبر 2026
Cite and take away
Cite and reuse
Own texts, questions and classifications: CC BY 4.0. Give attribution, link the license and indicate changes. Third-party source reports retain their own rights. CC BY 4.0
AMANi DUNiA. trust-06 · كيف تستطيع المختبرات تطوير تقييمات تجريبية لأمانة سلسلة التفكير تظل موثوقة حتى حين تتعلم ا. Snapshot: . https://research.amanidunia.berlin/ar/fragen/trust-06/
Version: trust-06
BibTeX
@misc{research__ar_fragen_trust_06_,
author = {{AMANi DUNiA}},
title = {trust-06 · كيف تستطيع المختبرات تطوير تقييمات تجريبية لأمانة سلسلة التفكير تظل موثوقة حتى حين تتعلم ا},
year = {2026},
url = {https://research.amanidunia.berlin/ar/fragen/trust-06/},
note = {Snapshot 2026-10-01; CC BY 4.0},
version = {trust-06}
}Language and review status
Main text: AR · includes English sections. Review notes apply only to the content they name.
Translation available; a completed independent content review is not recorded.
See language coverage and data snapshot →