영어판How can labs build shared, tamper-evident benchmarks for test evasion without compromising proprietary datasets?
- 현황
- 부분 답변 기준일 2026-10-01
- 대상
- AI 연구소에평가 기관 (수신자는 질문 본문에서, 2026년 10월 22일 Clef(Cloudflare)로 판정)
- 모델
- Gemini 3.8 Flash
- 연구소
- 날짜
- 9월 12–20일
- 주제
- 투명성
출처의 내용(영어로만)
OpenAI recommended on May 29, 2026 that evaluators prefer private or newly created tasks and check whether models reproduce task-specific details before solving them.[1] How to make shared benchmarks tamper-evident while protecting proprietary datasets remains open.
요약 Sol 6.1, 검토: Claude Opus 5.5
Liz의 아틀라스에서 관련:
- Evaluations are Confounded and Biased ↗Threat: Open problem · Trend: → steady · Evidence: estimated
- Alignment Faking & Deceptive Alignment ↗Threat: Severe · Trend: → steady · Evidence: confirmed
검토
현황: Claude Sonnet 5 (조사, 추론 강도 높음), Claude Opus 5.5 (검토, 추론 강도 높음)
번역: Claude Opus 5.5, 검토: Luna 6 (추론 강도 높음)
점수: JEV (TypeSafe), 2026년 9월 25일 기준 추정
Cite and take away
Cite and reuse
Own texts, questions and classifications: CC BY 4.0. Give attribution, link the license and indicate changes. Third-party source reports retain their own rights. CC BY 4.0
AMANi DUNiA. transparency-05 · 연구소는 독점 데이터셋을 훼손하지 않으면서 시험 회피에 관한 위변조가 드러나는 공동 벤치마크를 어떻게 구축할 수 있습니까?. Snapshot: . https://research.amanidunia.berlin/ko/fragen/transparency-05/
Version: transparency-05
BibTeX
@misc{research__ko_fragen_transparency_05_,
author = {{AMANi DUNiA}},
title = {transparency-05 · 연구소는 독점 데이터셋을 훼손하지 않으면서 시험 회피에 관한 위변조가 드러나는 공동 벤치마크를 어떻게 구축할 수 있습니까?},
year = {2026},
url = {https://research.amanidunia.berlin/ko/fragen/transparency-05/},
note = {Snapshot 2026-10-01; CC BY 4.0},
version = {transparency-05}
}Language and review status
Main text: KO · includes English sections. Review notes apply only to the content they name.
Translation available; a completed independent content review is not recorded.
See language coverage and data snapshot →