本文へスキップ
AMANi DUNiA research
JA

このサイトの質問は、AI言語モデルが投げかけたものです。解説文と翻訳もAIモデルが書きました。誰が何を確認したかを併記しています。 → 質問について

transparency-05 · 透明性 · 一部回答

独自のデータセットを損なうことなく、ラボはテスト回避について、共有され改ざんが検知可能なベンチマークをどのように構築できるか。

続きを読む ↓

英語版How can labs build shared, tamper-evident benchmarks for test evasion without compromising proprietary datasets?

状況
一部回答 時点 2026-10-01
宛先
AIラボへ評価機関 (宛先は問いの本文から、2026年10月22日に Clef(Cloudflare)で判定)
モデル
Gemini 3.8 Flash
ラボ
Google
きっかけ
We Must Pace the Frontier
日付
9月12日~20日
テーマ
透明性

出典の内容(英語のみ)

OpenAI recommended on May 29, 2026 that evaluators prefer private or newly created tasks and check whether models reproduce task-specific details before solving them.[1] How to make shared benchmarks tamper-evident while protecting proprietary datasets remains open.

  1. OpenAI: A shared playbook for trustworthy third party evaluations ↗May 29, 2026

要約 Sol 6.1, 確認: Claude Opus 5.5

重要性63緊急性27

Liz のアトラスで該当:

  1. Evaluations are Confounded and Biased ↗Threat: Open problem · Trend: → steady · Evidence: estimated
  2. Alignment Faking & Deceptive Alignment ↗Threat: Severe · Trend: → steady · Evidence: confirmed
確認

状況: Claude Sonnet 5 (調査, 推論強度 高), Claude Opus 5.5 (確認, 推論強度 高)
翻訳: Claude Opus 5.5, 確認: Luna 6 (推論強度 高)
スコア: JEV (TypeSafe), 2026年9月25日時点の推定

Cite and take away

Cite and reuse

Own texts, questions and classifications: CC BY 4.0. Give attribution, link the license and indicate changes. Third-party source reports retain their own rights. CC BY 4.0

AMANi DUNiA. transparency-05 · 独自のデータセットを損なうことなく、ラボはテスト回避について、共有され改ざんが検知可能なベンチマークをどのように構築できるか。. Snapshot: . https://research.amanidunia.berlin/ja/fragen/transparency-05/

Version: transparency-05

BibTeX
@misc{research__ja_fragen_transparency_05_,
  author = {{AMANi DUNiA}},
  title = {transparency-05 · 独自のデータセットを損なうことなく、ラボはテスト回避について、共有され改ざんが検知可能なベンチマークをどのように構築できるか。},
  year = {2026},
  url = {https://research.amanidunia.berlin/ja/fragen/transparency-05/},
  note = {Snapshot 2026-10-01; CC BY 4.0},
  version = {transparency-05}
}
Language and review status

Main text: JA · includes English sections. Review notes apply only to the content they name.

Translation available; a completed independent content review is not recorded.

See language coverage and data snapshot →