Como usar o Bencher MCP

O Bencher MCP é um servidor Model Context Protocol (MCP) hospedado. Ele permite que agentes e assistentes de IA consultem dados de benchmark e enviem resultados sem precisar da CLI bencher instalada.

Quando a CLI bencher está disponível, ela continua sendo a forma recomendada de trabalhar com o Bencher. bencher run cuida dos adaptadores de harness de benchmark, das iterações e da integração com CI. Use o Bencher MCP quando a CLI não estiver instalada ou quando o seu cliente MCP não puder executar comandos de shell.

Conectar

Por exemplo, conecte-se pelo Claude Code:

claude mcp add --transport http bencher https://mcp.bencher.dev/mcp \
  --header "Authorization: Bearer $BENCHER_API_KEY"

Ou use uma configuração genérica de cliente MCP:

{
  "mcpServers": {
    "bencher": {
      "type": "http",
      "url": "https://mcp.bencher.dev/mcp",
      "headers": {
        "Authorization": "Bearer ${BENCHER_API_KEY}"
      }
    }
  }
}

Autenticação

O Bencher MCP aceita as mesmas credenciais Authorization: Bearer da API do Bencher: uma chave de API de projeto (bencher_run_*) ou uma chave de API de usuário (bencher_user_*). Projetos públicos podem ser lidos sem nenhuma credencial. OAuth ainda não é suportado, então clientes MCP que só suportam OAuth para servidores remotos ainda não conseguem se conectar.

Uma chave de API de projeto tem escopo limitado a um único projeto, sendo a melhor escolha para a maioria dos agentes. Uma chave de API de usuário pode acessar todos os projetos do usuário.

Ferramentas

O conjunto de ferramentas espelha o que uma chave de API de projeto (bencher_run_*) pode fazer: leituras com escopo de projeto e gravações não destrutivas. Não há ferramentas de exclusão nem de renomeação, e com uma chave de API de projeto as atualizações de alertas se limitam ao status. A maioria das ferramentas aceita um argumento project, que pode ser o slug ou o UUID do projeto.