Bencher MCP 사용 방법

Bencher MCP는 호스팅된 Model Context Protocol(MCP) 서버입니다. bencher CLI를 설치하지 않고도 AI 에이전트와 어시스턴트가 벤치마크 데이터를 조회하고 벤치마크 결과를 제출할 수 있습니다.

bencher CLI를 사용할 수 있다면 여전히 CLI가 Bencher를 사용하는 권장 방법입니다. bencher run은 벤치마크 하네스 어댑터, 반복 실행, CI 통합을 처리합니다. CLI가 설치되어 있지 않거나 MCP 클라이언트가 셸 명령을 실행할 수 없을 때 Bencher MCP를 사용하세요.

연결

예를 들어 Claude Code에서 연결하려면:

claude mcp add --transport http bencher https://mcp.bencher.dev/mcp \
  --header "Authorization: Bearer $BENCHER_API_KEY"

또는 일반적인 MCP 클라이언트 구성을 사용하세요:

{
  "mcpServers": {
    "bencher": {
      "type": "http",
      "url": "https://mcp.bencher.dev/mcp",
      "headers": {
        "Authorization": "Bearer ${BENCHER_API_KEY}"
      }
    }
  }
}

인증

Bencher MCP는 Bencher API와 동일한 Authorization: Bearer 자격 증명을 허용합니다: 프로젝트 API 키(bencher_run_*) 또는 사용자 API 키(bencher_user_*)입니다. 공개 프로젝트는 자격 증명 없이 읽을 수 있습니다. OAuth는 아직 지원되지 않으므로, 원격 서버에 대해 OAuth만 지원하는 MCP 클라이언트는 아직 연결할 수 없습니다.

프로젝트 API 키는 단일 프로젝트로 범위가 제한되므로 대부분의 에이전트에 가장 적합한 선택입니다. 사용자 API 키는 사용자의 모든 프로젝트에 접근할 수 있습니다.

도구

도구 범위는 프로젝트 API 키(bencher_run_*)로 수행할 수 있는 작업을 반영합니다: 프로젝트 범위의 읽기와 비파괴적 쓰기입니다. 삭제나 이름 변경 도구는 없으며, 프로젝트 API 키로는 알림 업데이트가 상태 변경으로 제한됩니다. 대부분의 도구는 프로젝트 슬러그 또는 UUID를 받는 project 인수를 사용합니다.