Como usar o Bencher no GitLab CI/CD

Dependendo do seu caso de uso, você pode configurar Benchmarking Contínuo no GitLab CI/CD para o seu:

• Branch de Destino
• Merge Requests

Certifique-se de ter criado um token de API e defini-lo como uma variável mascarada nomeada BENCHER_API_TOKEN antes de continuar! Navegue para Seu Repositório -> Configurações -> CI/CD -> Variáveis -> Expandir -> Adicionar variável. A chave da variável deve ser BENCHER_API_TOKEN e o valor da variável deve ser o seu token de API. Marque as caixas de Proteger variável e Mascarar variável.

Ramificação Alvo

Um pilar do Benchmarking Contínuo e Estatístico é ter uma linha de base histórica para sua ramificação alvo. Essa linha de base histórica pode então ser usada para detectar regressões de desempenho em Merge Requests.

benchmark_target_branch:
  rules:
    - if: $CI_COMMIT_BRANCH == "main" && $CI_PIPELINE_SOURCE == "push"
      when: always
  image: debian:bullseye
  before_script:
    - curl --proto '=https' --tlsv1.2 -sSfL https://bencher.dev/download/install-cli.sh | sh
  script:
    - |
      bencher run \
      --project project-abc4567-wxyz123456789 \
      --token "$BENCHER_API_TOKEN" \
      --branch main \
      --testbed debian:bullseye \
      --threshold-measure latency \
      --threshold-test t_test \
      --threshold-max-sample-size 64 \
      --threshold-upper-boundary 0.99 \
      --thresholds-reset \
      --err \
      --adapter json \
      bencher mock

1. Crie um arquivo GitLab CI/CD. (ex: .gitlab-ci.yml)
2. Crie um trabalho GitLab CI/CD. (ex: benchmark_target_branch)
3. Execute if o pipeline foi acionado por um push para a ramificação main. Veja a documentação de rules do GitLab CI/CD e a documentação de variáveis predefinidas do GitLab CI/CD para uma visão geral completa. (ex: rules: if: ...)
4. Defina a image na qual o trabalho será executado. Veja a documentação de image do GitLab CI/CD para uma visão geral completa. (ex: image: debian:bullseye)
5. Instale o Bencher CLI usando o script de conveniência. (ex: before_script: ...)
6. Use o subcomando CLI bencher run para executar seus benchmarks da ramificação main. Veja o subcomando CLI bencher run para uma visão geral completa. (ex: bencher run)
7. Defina a opção --project para o slug do Projeto. Veja a documentação de --project para mais detalhes. (ex: --project project-abc4567-wxyz123456789)
8. Defina a opção --token para a variável de ambiente mascarada BENCHER_API_TOKEN. Veja a documentação de --token para mais detalhes. (ex: --token "$BENCHER_API_TOKEN")
9. Defina a opção --branch para o nome da Ramificação. Veja a documentação de --branch para uma visão geral completa. (ex: --branch main)
10. Defina a opção --testbed para o nome do Testbed. Isso provavelmente deve coincidir com a máquina selecionada em image. Veja a documentação de --testbed para mais detalhes. (ex: --testbed debian:bullseye)
11. Defina o Limite para a Ramificação main, Testbed debian:bullseye e Medida latency:
    1. Defina a opção --threshold-measure para a Medida latency incorporada que é gerada por bencher mock. Veja a documentação de --threshold-measure para mais detalhes. (ex: --threshold-measure latency)
    2. Defina a opção --threshold-test para um teste t de Student (t_test). Veja a documentação de --threshold-test para uma visão geral completa. (ex: --threshold-test t_test)
    3. Defina a opção --threshold-max-sample-size para o tamanho máximo da amostra de 64. Veja a documentação de --threshold-max-sample-size para mais detalhes. (ex: --threshold-max-sample-size 64)
    4. Defina a opção --threshold-upper-boundary para o Limite Superior de 0.99. Veja a documentação de --threshold-upper-boundary para mais detalhes. (ex: --threshold-upper-boundary 0.99)
    5. Defina a flag --thresholds-reset para que apenas o Limite especificado esteja ativo. Veja a documentação de --thresholds-reset para uma visão geral completa. (ex: --thresholds-reset)
12. Defina a flag --err para falhar o comando se um Alerta for gerado. Veja a documentação de --err para uma visão geral completa. (ex: --err)
13. Defina a opção --adapter para Bencher Metric Format JSON (json) que é gerado por bencher mock. Veja adapters de benchmark harness para uma visão geral completa. (ex: --adapter json)
14. Especifique os argumentos do comando de benchmark. Veja comando de benchmark para uma visão geral completa. (ex: bencher mock)

Solicitações de Mesclagem

Para capturar regressões de desempenho em Solicitações de Mesclagem, você precisará executar seus benchmarks nos SMs. O exemplo abaixo deve ser usado apenas para branches dentro do mesmo repositório.

benchmark_mr_branch:
  rules:
    - if: $CI_PIPELINE_SOURCE == "merge_request_event"
      when: always
  image: debian:bullseye
  before_script:
    - curl --proto '=https' --tlsv1.2 -sSfL https://bencher.dev/download/install-cli.sh | sh
  script:
    - |
      bencher run \
      --project project-abc4567-wxyz123456789 \
      --token "$BENCHER_API_TOKEN" \
      --branch "$CI_COMMIT_REF_NAME" \
      --start-point "$CI_MERGE_REQUEST_TARGET_BRANCH_NAME" \
      --start-point-hash "$CI_MERGE_REQUEST_TARGET_BRANCH_SHA" \
      --start-point-clone-thresholds \
      --start-point-reset \
      --testbed debian:bullseye \
      --err \
      --adapter json \
      bencher mock

1. Atualize o arquivo GitLab CI/CD. (ex: .gitlab-ci.yml)
2. Crie um trabalho no GitLab CI/CD. (ex: benchmark_mr_branch)
3. Execute if o pipeline foi acionado por um merge_request_event. Veja a documentação de rules do GitLab CI/CD e a documentação de variáveis pré-definidas do GitLab CI/CD para uma visão completa. (ex: rules: if: ...)
4. Defina a image na qual o trabalho será executado. Veja a documentação de image do GitLab CI/CD para uma visão completa. (ex: image: debian:bullseye)
5. Instale o Bencher CLI usando o script de conveniência. (ex: before_script: ...)
6. Utilize o subcomando CLI bencher run para executar seus benchmarks do branch da solicitação de mesclagem. Veja o subcomando CLI bencher run para uma visão completa. (ex: bencher run)
7. Defina a opção --project para o slug do Projeto. Veja a documentação de --project para mais detalhes. (ex: --project project-abc4567-wxyz123456789)
8. Defina a opção --token para a variável de ambiente mascarada BENCHER_API_TOKEN. Veja a documentação de --token para mais detalhes. (ex: --token "$BENCHER_API_TOKEN")
9. Defina a opção --branch para o nome do branch SM usando uma variável pré-definida do GitLab CI/CD. Veja a documentação de --branch para uma visão completa. (ex: --branch "$CI_COMMIT_REF_NAME")
10. Defina o Ponto de Início para o Branch SM:
    1. Defina a opção --start-point para o ponto de início do Branch SM usando uma variável pré-definida do GitLab CI/CD. Veja a documentação de --start-point para uma visão completa. (ex: --start-point "$CI_MERGE_REQUEST_TARGET_BRANCH_NAME")
    2. Defina a opção --start-point-hash para o hash git do ponto de início do Branch SM usando uma variável pré-definida do GitLab CI/CD. Veja a documentação de --start-point-hash para uma visão completa. (ex: --start-point-hash "$CI_MERGE_REQUEST_TARGET_BRANCH_SHA")
    3. Defina o flag --start-point-clone-thresholds para clonar os Limiares do ponto de início. Veja a documentação de --start-point-clone-thresholds para uma visão completa. (ex: --start-point-clone-thresholds)
    4. Defina o flag --start-point-reset para sempre redefinir o Branch SM para o ponto de início. Isso evitará a deriva de dados de benchmark. Veja a documentação de --start-point-reset para uma visão completa. (ex: --start-point-reset)
11. Defina a opção --testbed para o nome do Testbed. Isso provavelmente deverá corresponder à máquina selecionada em image. Veja a documentação de --testbed para mais detalhes. (ex: --testbed debian:bullseye)
12. Defina o flag --err para falhar o comando se um Alerta for gerado. Veja a documentação de --err para uma visão completa. (ex: --err)
13. Defina a opção --adapter para Bencher Metric Format JSON (json) que é gerado por bencher mock. Veja os adaptadores de harness de benchmark para uma visão completa. (ex: --adapter json)
14. Especifique os argumentos do comando de benchmark. Veja comando de benchmark para uma visão completa. (ex: bencher mock)

Para limpar a ramificação do MR após o MR ser fechado, você pode criar um trabalho separado que consulta o estado do MR usando a API do GitLab. Se o estado for closed, este trabalho irá arquivar a ramificação do MR usando o comando bencher archive.

archive_mr_branch:
  rules:
    - if: $CI_PIPELINE_SOURCE == "merge_request_event"
      when: always
  image: debian:bullseye
  before_script:
    - curl --proto '=https' --tlsv1.2 -sSfL https://bencher.dev/download/install-cli.sh | sh
    - |
      MR_STATE=$(curl --header "PRIVATE-TOKEN: $CI_JOB_TOKEN" "https://gitlab.com/api/v4/projects/$CI_PROJECT_ID/merge_requests/$CI_MERGE_REQUEST_IID" | jq -r .state)
      echo "Merge request state: $MR_STATE"
  script:
    - |
      if [ "$MR_STATE" = "closed" ]; then
        bencher archive \
        --project project-abc4567-wxyz123456789 \
        --token "$BENCHER_API_TOKEN" \
        --branch "$CI_COMMIT_REF_NAME"
      else
        echo 'Merge request is not `closed`. Skipping archival.'
      fi

1. Atualize o arquivo GitLab CI/CD. (ex: .gitlab-ci.yml)
2. Crie um trabalho GitLab CI/CD. (ex: archive_mr_branch)
3. Execute if o pipeline foi acionado por um merge_request_event. Consulte a documentação de rules do GitLab CI/CD e a documentação de variáveis predefinidas do GitLab CI/CD para uma visão geral completa. (ex: rules: if: ...)
4. Defina a image na qual o trabalho será executado. Consulte a documentação de image do GitLab CI/CD para uma visão geral completa. (ex: image: debian:bullseye)
5. Instale o Bencher CLI usando o script de conveniência. (ex: before_script: curl ...)
6. Verifique o estado do MR usando a API do GitLab. (ex: before_script: MR_STATE=$(...))
7. Use o subcomando bencher archive do CLI para arquivar a ramificação do MR se o estado do MR for closed. (ex: bencher archive)
8. Defina a opção --project para o slug do Projeto. Consulte a documentação de --project para mais detalhes. (ex: --project project-abc4567-wxyz123456789)
9. Defina a opção --token para a variável de ambiente mascarada BENCHER_API_TOKEN. Consulte a documentação de --token para mais detalhes. (ex: --token "$BENCHER_API_TOKEN")
10. Defina a opção --branch para o nome da ramificação do MR usando uma variável predefinida do GitLab CI/CD. (ex: --branch "$CI_COMMIT_REF_NAME")

🐰 Parabéns! Você aprendeu como usar o Bencher no GitLab CI/CD! 🎉

Continue: Visão Geral do Benchmarking ➡