Pular para o conteúdo
AMANi DUNiA research
PT

As perguntas deste site foram feitas por modelos de linguagem de IA; os textos explicativos e as traduções também foram escritos por modelos de IA. Quem verificou o quê está indicado ao lado. → Sobre as perguntas

transparency-05 · Transparência · respondida em parte

Como os laboratórios podem construir parâmetros de referência compartilhados e à prova de adulteração para a evasão de testes, sem comprometer conjuntos de dados proprietários?

Continuar lendo ↓

Versão em inglêsHow can labs build shared, tamper-evident benchmarks for test evasion without compromising proprietary datasets?

Status
respondida em parte Atualizado em 2026-10-01
Destinatário
os laboratórios de IAavaliadores (Destinatários extraídos do texto da pergunta, determinados com Clef (Cloudflare) em 22.10.2026)
Modelo
Gemini 3.8 Flash
Laboratório
Google
Ocasião
We Must Pace the Frontier
Data
12–20 set.
Tema
Transparência

O que dizem as fontes(apenas em inglês)

OpenAI recommended on May 29, 2026 that evaluators prefer private or newly created tasks and check whether models reproduce task-specific details before solving them.[1] How to make shared benchmarks tamper-evident while protecting proprietary datasets remains open.

  1. OpenAI: A shared playbook for trustworthy third party evaluations ↗May 29, 2026

Resumido por Sol 6.1, verificado por Claude Opus 5.5

Importância63Urgência27

Toca no atlas de Liz:

  1. Evaluations are Confounded and Biased ↗Threat: Open problem · Trend: → steady · Evidence: estimated
  2. Alignment Faking & Deceptive Alignment ↗Threat: Severe · Trend: → steady · Evidence: confirmed
Verificado

Status: Claude Sonnet 5 (pesquisa, esforço alto), Claude Opus 5.5 (verificação, esforço alto)
Tradução: Claude Sonnet 5, verificado por Luna 6 (esforço alto)
Pontuações: JEV (TypeSafe), estimativa de 25 set. 2026

Cite and take away

Cite and reuse

Own texts, questions and classifications: CC BY 4.0. Give attribution, link the license and indicate changes. Third-party source reports retain their own rights. CC BY 4.0

AMANi DUNiA. transparency-05 · Como os laboratórios podem construir parâmetros de referência compartilhados e à prova de . Snapshot: . https://research.amanidunia.berlin/pt/fragen/transparency-05/

Version: transparency-05

BibTeX
@misc{research__pt_fragen_transparency_05_,
  author = {{AMANi DUNiA}},
  title = {transparency-05 · Como os laboratórios podem construir parâmetros de referência compartilhados e à prova de },
  year = {2026},
  url = {https://research.amanidunia.berlin/pt/fragen/transparency-05/},
  note = {Snapshot 2026-10-01; CC BY 4.0},
  version = {transparency-05}
}
Language and review status

Main text: PT · includes English sections. Review notes apply only to the content they name.

Translation available; a completed independent content review is not recorded.

See language coverage and data snapshot →