So verwenden Sie Bencher MCP

Bencher MCP ist ein gehosteter Model Context Protocol (MCP) Server. Damit können KI-Agenten und Assistenten Benchmark-Daten abfragen und Benchmark-Ergebnisse übermitteln, ohne dass die bencher CLI installiert sein muss.

Wenn die bencher CLI verfügbar ist, bleibt sie der empfohlene Weg, mit Bencher zu arbeiten. bencher run übernimmt Benchmark-Harness-Adapter, Iterationen und die CI-Integration. Verwenden Sie Bencher MCP, wenn die CLI nicht installiert ist oder Ihr MCP-Client keine Shell-Befehle ausführen kann.

Verbinden

Verbinden Sie sich zum Beispiel über Claude Code:

claude mcp add --transport http bencher https://mcp.bencher.dev/mcp \
  --header "Authorization: Bearer $BENCHER_API_KEY"

Oder verwenden Sie eine generische MCP-Client-Konfiguration:

{
  "mcpServers": {
    "bencher": {
      "type": "http",
      "url": "https://mcp.bencher.dev/mcp",
      "headers": {
        "Authorization": "Bearer ${BENCHER_API_KEY}"
      }
    }
  }
}

Authentifizierung

Bencher MCP akzeptiert dieselben Authorization: Bearer Anmeldedaten wie die Bencher API: einen Projekt-API-Schlüssel (bencher_run_*) oder einen Benutzer-API-Schlüssel (bencher_user_*). Öffentliche Projekte können ohne Anmeldedaten gelesen werden. OAuth wird noch nicht unterstützt, daher können MCP-Clients, die für Remote-Server ausschließlich OAuth unterstützen, sich noch nicht verbinden.

Ein Projekt-API-Schlüssel ist auf ein einzelnes Projekt beschränkt und damit die beste Wahl für die meisten Agenten. Ein Benutzer-API-Schlüssel kann auf alle Projekte des Benutzers zugreifen.

Tools

Die verfügbaren Tools spiegeln wider, was ein Projekt-API-Schlüssel (bencher_run_*) darf: projektbezogene Lesezugriffe und nicht-destruktive Schreibzugriffe. Es gibt keine Tools zum Löschen oder Umbenennen, und mit einem Projekt-API-Schlüssel sind Alert-Aktualisierungen auf den Status beschränkt. Die meisten Tools nehmen ein project Argument entgegen, das entweder einen Projekt-Slug oder eine UUID akzeptiert.