Início Rápido

O que é o Bencher?

Bencher é um conjunto de ferramentas de benchmarking contínuas. Já teve algum impacto de regressão de desempenho nos seus usuários? Bencher poderia ter prevenido isso. Bencher permite que você detecte e previna regressões de desempenho antes que cheguem à produção.

  • Execute: Execute seus benchmarks localmente ou no CI usando suas ferramentas de benchmarking favoritas. O CLI bencher simplesmente envolve seu harness de benchmark existente e armazena seus resultados.
  • Rastreie: Acompanhe os resultados de seus benchmarks ao longo do tempo. Monitore, consulte e faça gráficos dos resultados usando o console web do Bencher baseado na branch de origem, testbed e medida.
  • Capture: Capture regressões de desempenho no CI. Bencher usa análises personalizáveis e de última geração para detectar regressões de desempenho antes que elas cheguem à produção.

Pelos mesmos motivos que os testes de unidade são executados no CI para prevenir regressões de funcionalidades, benchmarks deveriam ser executados no CI com o Bencher para prevenir regressões de desempenho. Bugs de desempenho são bugs!


Instale o CLI bencher

Linux, Mac, & Unix

Para Linux, Mac e outros sistemas semelhantes a Unix, execute o seguinte no seu terminal:

Terminal window
curl --proto '=https' --tlsv1.2 -sSfL https://bencher.dev/download/install-cli.sh | sh

Windows

Para sistemas Windows, execute o seguinte em um terminal PowerShell:

Terminal window
irm https://bencher.dev/download/install-cli.ps1 | iex

🐰 Se você recebe um erro que diz a execução de scripts está desativada neste sistema:

  • Abrir Powershell com Executar como Administrador
  • Execute: Set-ExecutionPolicy -ExecutionPolicy RemoteSigned
  • Entre: Y
  • Rode o script novamente

Para opções adicionais de instalação, veja como instalar o CLI bencher.

Agora, vamos testar se temos o CLI bencher instalado.

Execute: bencher --version

Você deve ver:

$ bencher --version
bencher 0.3.26

Crie uma conta no Bencher Cloud

O Bencher é open source e pode ser hospedado por você mesmo. Se você estiver interessado em auto-hospedagem, confira o tutorial do Bencher Docker. Para este tutorial, no entanto, vamos usar o Bencher Cloud.

Inscreva-se para o Bencher Cloud


Depois de criar uma conta, você precisará confirmar seu endereço de e-mail. Verifique seu e-mail para encontrar um link de confirmação. Depois disso, você deve estar logado no Bencher Cloud.


Crie um Token de API

Para usar a API do Bencher, você precisará criar um token de API. Navegue para o Console do Bencher. Passe o cursor sobre o seu nome no canto superior direito. Um menu suspenso deve aparecer. Selecione Tokens. Uma vez na página Tokens de API, clique no botão ➕ Add.

Adicionar um Token de API


Depois de criar o seu novo token de API, você precisará copiá-lo para sua área de transferência. No terminal que você planeja trabalhar, exporte o token de API como uma variável de ambiente.

Em sistemas Linux, Mac e outros sistemas semelhantes a Unix, execute: export BENCHER_API_TOKEN=SEU_TOKEN

No Windows, execute: $env:BENCHER_API_TOKEN = "SEU_TOKEN"

Depois execute echo $BENCHER_API_TOKEN ou Write-Output $env:BENCHER_API_TOKEN respectivamente.

Você deverá ver:

$ echo $BENCHER_API_TOKEN
SEU_TOKEN

🐰 Nota: Se você mudar para um terminal diferente, precisará exportar o token de API novamente.


Crie um Projeto

Agora que temos uma conta de usuário e um token da API, podemos criar um Projeto. Primeiro, precisamos saber a qual organização nosso novo projeto pertencerá.

Execute: bencher org list

You should see something like:

$ bencher org list
[
  {
    "name": "Saul Goodman",
    "slug": "saul-goodman",
    "uuid": "4581feb0-6cac-40a9-bd8a-d7865183b01e"
    "created": "2022-07-06T11:24:36Z",
    "modified": "2022-07-06T11:24:36Z"
  }
]

Sua saída deve ser ligeiramente diferente da acima:

  • O uuid é pseudoaleatório
  • O name e slug serão baseados em seu nome de usuário
  • Os timestamps created e modified serão de quando você acabou de se inscrever

Agora podemos criar um novo Projeto dentro de sua Organização. Substitua seu slug da Organização pelo argumento organization (ou seja, YOUR_ORG_SLUG) no comando abaixo.

Execute: bencher project create YOUR_ORG_SLUG --name "Save Walter White" --url http://www.savewalterwhite.com

Você deve ver algo como:

$ bencher project create saul-goodman --name "Save Walter White" --url http://www.savewalterwhite.com
{
  "organization": "4581feb0-6cac-40a9-bd8a-d7865183b01e",
  "name": "Save Walter White",
  "slug": "save-walter-white-1234abcd",
  "uuid": "c6c2a8e8-685e-4413-9a19-5b79053a71b1"
  "url": "http://www.savewalterwhite.com",
  "public": true,
  "created": "2022-07-06T11:36:24Z",
  "modified": "2022-07-06T11:36:24Z"
}

Novamente, sua saída deve ser ligeiramente diferente da acima. É apenas importante que esse comando funcione. Anote o campo slug do Projeto (ou seja, save-walter-white-1234abcd).


Execute um Relatório

Finalmente estamos prontos para coletar algumas métricas de benchmark! Para simplificar, vamos usar dados fictícios neste tutorial.

Execute: bencher mock

Você deverá ver algo como:

$ bencher mock
{
  "bencher::mock_0": {
    "latency": {
      "value": 3.7865423396154463,
      "lower_value": 3.4078881056539014,
      "upper_value": 4.165196573576991
    }
  },
  "bencher::mock_1": {
    "latency": {
      "value": 16.398332128878437,
      "lower_value": 14.758498915990593,
      "upper_value": 18.03816534176628
    }
  },
  "bencher::mock_2": {
    "latency": {
      "value": 20.88091359871672,
      "lower_value": 18.792822238845048,
      "upper_value": 22.969004958588393
    }
  },
  "bencher::mock_3": {
    "latency": {
      "value": 33.88103801203782,
      "lower_value": 30.492934210834036,
      "upper_value": 37.2691418132416
    }
  },
  "bencher::mock_4": {
    "latency": {
      "value": 40.90515638867921,
      "lower_value": 36.81464074981129,
      "upper_value": 44.99567202754713
    }
  }
}

Sua saída deve ser ligeiramente diferente da acima, pois os dados são pseudoaleatórios. É apenas importante que esse comando funcione.


Agora vamos executar um relatório usando dados fictícios de métricas de benchmark. Substitua seu slug do Projeto pelo argumento --project (ou seja, YOUR_PROJECT_SLUG) no comando abaixo.

Execute: bencher run --project YOUR_PROJECT_SLUG "bencher mock"

Você deverá ver algo como:

$ bencher run save-walter-white-1234abcd "bencher mock"
{
  "bencher::mock_0": {
    "latency": {
      "value": 0.15496641529475275,
      "lower_value": 0.13946977376527747,
      "upper_value": 0.17046305682422802
    }
  },
  "bencher::mock_1": {
    "latency": {
      "value": 18.648298578180437,
      "lower_value": 16.783468720362393,
      "upper_value": 20.513128435998482
    }
  },
  "bencher::mock_2": {
    "latency": {
      "value": 28.20328182167366,
      "lower_value": 25.382953639506294,
      "upper_value": 31.023610003841025
    }
  },
  "bencher::mock_3": {
    "latency": {
      "value": 34.45732560787596,
      "lower_value": 31.01159304708836,
      "upper_value": 37.903058168663556
    }
  },
  "bencher::mock_4": {
    "latency": {
      "value": 44.9237520767597,
      "lower_value": 40.43137686908373,
      "upper_value": 49.41612728443567
    }
  }
}


{
  "branch": "master",
  "end_time": "2023-07-18T14:21:27.796871Z",
  "results": [
    "{\n  \"bencher::mock_0\": {\n    \"latency\": {\n      \"value\": 0.15496641529475275,\n      \"lower_value\": 0.13946977376527747,\n      \"upper_value\": 0.17046305682422802\n    }\n  },\n  \"bencher::mock_1\": {\n    \"latency\": {\n      \"value\": 18.648298578180437,\n      \"lower_value\": 16.783468720362393,\n      \"upper_value\": 20.513128435998482\n    }\n  },\n  \"bencher::mock_2\": {\n    \"latency\": {\n      \"value\": 28.20328182167366,\n      \"lower_value\": 25.382953639506294,\n      \"upper_value\": 31.023610003841025\n    }\n  },\n  \"bencher::mock_3\": {\n    \"latency\": {\n      \"value\": 34.45732560787596,\n      \"lower_value\": 31.01159304708836,\n      \"upper_value\": 37.903058168663556\n    }\n  },\n  \"bencher::mock_4\": {\n    \"latency\": {\n      \"value\": 44.9237520767597,\n      \"lower_value\": 40.43137686908373,\n      \"upper_value\": 49.41612728443567\n    }\n  }\n}\n"
  ],
  "settings": {},
  "start_time": "2023-07-18T14:21:27.773930Z",
  "testbed": "base"
}
{
  "uuid": "5554a92c-6f5c-481d-bd47-990f0a9bac6d",
  "user": { ... },
  "project": { ... },
  "branch": { ... },
  "testbed": { ...},
  "start_time": "2023-07-18T14:21:27Z",
  "end_time": "2023-07-18T14:21:27Z",
  "adapter": "magic",
  "results": [
    [
      {
        "measure": { ... },
        "threshold": null,
        "benchmarks": [ ... ]
      }
    ]
  ],
  "alerts": [],
  "created": "2023-07-18T14:21:27Z"
}


View results:
- bencher::mock_0: https://bencher.dev/console/projects/save-walter-white-1234abcd/perf?measures=4358146b-b647-4869-9d24-bd22bb0c49b5&branches=95521eff-09fa-4c02-abe1-dd824108869d&testbeds=5b4a6f3e-a27d-4cc3-a2ce-851dc6421e6e&benchmarks=88375e7c-f1e0-4cbb-bde1-bdb7773022ae
- bencher::mock_1: https://bencher.dev/console/projects/save-walter-white-1234abcd/perf?measures=4358146b-b647-4869-9d24-bd22bb0c49b5&branches=95521eff-09fa-4c02-abe1-dd824108869d&testbeds=5b4a6f3e-a27d-4cc3-a2ce-851dc6421e6e&benchmarks=e81c7863-cc4b-4e22-b507-c1e238871137
- bencher::mock_2: https://bencher.dev/console/projects/save-walter-white-1234abcd/perf?measures=4358146b-b647-4869-9d24-bd22bb0c49b5&branches=95521eff-09fa-4c02-abe1-dd824108869d&testbeds=5b4a6f3e-a27d-4cc3-a2ce-851dc6421e6e&benchmarks=31dede44-d23a-4baf-b639-63f2ac742e42
- bencher::mock_3: https://bencher.dev/console/projects/save-walter-white-1234abcd/perf?measures=4358146b-b647-4869-9d24-bd22bb0c49b5&branches=95521eff-09fa-4c02-abe1-dd824108869d&testbeds=5b4a6f3e-a27d-4cc3-a2ce-851dc6421e6e&benchmarks=c7e32369-f3dd-473d-99a3-6289ae32b38e
- bencher::mock_4: https://bencher.dev/console/projects/save-walter-white-1234abcd/perf?measures=4358146b-b647-4869-9d24-bd22bb0c49b5&branches=95521eff-09fa-4c02-abe1-dd824108869d&testbeds=5b4a6f3e-a27d-4cc3-a2ce-851dc6421e6e&benchmarks=779bc477-4964-4bae-aa8c-4da3e388822c

Agora você pode ver os resultados de cada um dos benchmarks no navegador. Clique ou copie e cole os links de View results. Deve haver apenas um único ponto de dados para cada benchmark, então vamos adicionar mais dados!


Primeiro, vamos definir nosso slug do Projeto como uma variável de ambiente, para que não precisemos fornecê-lo com o --project em cada execução.

Execute: export BENCHER_PROJECT=save-walter-white-1234abcd

Se você executar: echo $BENCHER_PROJECT

Você deve ver:

$ echo $BENCHER_PROJECT
save-walter-white-1234abcd

Vamos executar o mesmo comando novamente sem --project para gerar mais dados.

Execute: bencher run "bencher mock"


Agora, vamos gerar mais dados, mas desta vez vamos canalizar nossos resultados para bencher run.

Execute: bencher mock | bencher run


Às vezes, você pode querer salvar seus resultados em um arquivo e ter o bencher run buscá-los.

Execute: bencher run --file results.json "bencher mock > results.json"


Da mesma forma, você pode ter um processo separado para executar seus benchmarks e salvar seus resultados em um arquivo. Então bencher run apenas os pegará.

Execute: bencher mock > results.json && bencher run --file results.json


Finalmente, vamos preencher muitos dados usando o argumento --iter de bencher run.

Execute: bencher run --iter 16 "bencher mock"


🐰 Dica: Confira a documentação do subcomando bencher run CLI para uma visão completa de tudo que bencher run pode fazer!


Gerar um Alerta

Agora que temos alguns dados históricos para nossos benchmarks, vamos gerar um Alerta! Os alertas são gerados quando o resultado de um benchmark é considerado uma regressão de desempenho. Então, vamos simular uma regressão de desempenho!

Execute: bencher run "bencher mock --pow 8"


Deve haver uma nova seção no final da saída chamada View alerts:

View alerts:
- bencher::mock_0: https://bencher.dev/console/projects/save-walter-white-1234abcd/alerts/b2329d5a-4471-48ab-bfbd-959d46ba1aa6
- bencher::mock_1: https://bencher.dev/console/projects/save-walter-white-1234abcd/alerts/181b1cf5-d984-402a-b0f1-68f6f119fa66
- bencher::mock_2: https://bencher.dev/console/projects/save-walter-white-1234abcd/alerts/b9b6c904-c657-4908-97db-dbeca40f8782
- bencher::mock_3: https://bencher.dev/console/projects/save-walter-white-1234abcd/alerts/5567ff32-2829-4b6a-969a-af33ce3828db
- bencher::mock_4: https://bencher.dev/console/projects/save-walter-white-1234abcd/alerts/49f2768f-ccda-4933-8e1d-08948f57a74d

Agora você pode ver os alertas para cada benchmark no navegador. Clique ou copie e cole os links de View alerts.


🐰 Dica: Confira a documentação sobre Limiares & Alertas para uma visão completa de como regressões de desempenho são detectadas!



🐰 Parabéns! Você capturou sua primeira regressão de desempenho! 🎉


Continue: Visão Geral do Benchmarking ➡

🤖 Este documento foi gerado automaticamente pelo OpenAI GPT-4. Pode não ser preciso e pode conter erros. Se você encontrar algum erro, abra um problema no GitHub.

Published: Fri, October 27, 2023 at 8:40:00 AM UTC | Last Updated: Wed, March 27, 2024 at 7:50:00 AM UTC