Como usar o Bencher no GitLab CI/CD


Dependendo do seu caso de uso, vocĆŖ pode configurar Benchmarking ContĆ­nuo no GitLab CI/CD para o seu:

Certifique-se de ter criado um token de API e defini-lo como uma variÔvel mascarada nomeada BENCHER_API_TOKEN antes de continuar! Navegue para Seu Repositório -> Configurações -> CI/CD -> VariÔveis -> Expandir -> Adicionar variÔvel. A chave da variÔvel deve ser BENCHER_API_TOKEN e o valor da variÔvel deve ser o seu token de API. Marque as caixas de Proteger variÔvel e Mascarar variÔvel.

Ramificação Alvo

Um pilar do Benchmarking Contínuo e Estatístico é ter uma linha de base histórica para sua ramificação alvo. Essa linha de base histórica pode então ser usada para detectar regressões de desempenho em Merge Requests.

.gitlab-ci.yml
benchmark_target_branch:
rules:
- if: $CI_COMMIT_BRANCH == "main" && $CI_PIPELINE_SOURCE == "push"
when: always
image: debian:bullseye
before_script:
- curl --proto '=https' --tlsv1.2 -sSfL https://bencher.dev/download/install-cli.sh | sh
script:
- |
bencher run \
--project project-abc4567-wxyz123456789 \
--token "$BENCHER_API_TOKEN" \
--branch main \
--testbed debian:bullseye \
--threshold-measure latency \
--threshold-test t_test \
--threshold-max-sample-size 64 \
--threshold-upper-boundary 0.99 \
--thresholds-reset \
--err \
--adapter json \
bencher mock
  1. Crie um arquivo GitLab CI/CD. (ex: .gitlab-ci.yml)
  2. Crie um trabalho GitLab CI/CD. (ex: benchmark_target_branch)
  3. Execute if o pipeline foi acionado por um push para a ramificação main. Veja a documentação de rules do GitLab CI/CD e a documentação de variÔveis predefinidas do GitLab CI/CD para uma visão geral completa. (ex: rules: if: ...)
  4. Defina a image na qual o trabalho serÔ executado. Veja a documentação de image do GitLab CI/CD para uma visão geral completa. (ex: image: debian:bullseye)
  5. Instale o Bencher CLI usando o script de conveniĆŖncia. (ex: before_script: ...)
  6. Use o subcomando CLI bencher run para executar seus benchmarks da ramificação main. Veja o subcomando CLI bencher run para uma visão geral completa. (ex: bencher run)
  7. Defina a opção --project para o slug do Projeto. Veja a documentação de --project para mais detalhes. (ex: --project project-abc4567-wxyz123456789)
  8. Defina a opção --token para a variÔvel de ambiente mascarada BENCHER_API_TOKEN. Veja a documentação de --token para mais detalhes. (ex: --token "$BENCHER_API_TOKEN")
  9. Defina a opção --branch para o nome da Ramificação. Veja a documentação de --branch para uma visão geral completa. (ex: --branch main)
  10. Defina a opção --testbed para o nome do Testbed. Isso provavelmente deve coincidir com a mÔquina selecionada em image. Veja a documentação de --testbed para mais detalhes. (ex: --testbed debian:bullseye)
  11. Defina o Limite para a Ramificação main, Testbed debian:bullseye e Medida latency:
    1. Defina a opção --threshold-measure para a Medida latency incorporada que é gerada por bencher mock. Veja a documentação de --threshold-measure para mais detalhes. (ex: --threshold-measure latency)
    2. Defina a opção --threshold-test para um teste t de Student (t_test). Veja a documentação de --threshold-test para uma visão geral completa. (ex: --threshold-test t_test)
    3. Defina a opção --threshold-max-sample-size para o tamanho mÔximo da amostra de 64. Veja a documentação de --threshold-max-sample-size para mais detalhes. (ex: --threshold-max-sample-size 64)
    4. Defina a opção --threshold-upper-boundary para o Limite Superior de 0.99. Veja a documentação de --threshold-upper-boundary para mais detalhes. (ex: --threshold-upper-boundary 0.99)
    5. Defina a flag --thresholds-reset para que apenas o Limite especificado esteja ativo. Veja a documentação de --thresholds-reset para uma visão geral completa. (ex: --thresholds-reset)
  12. Defina a flag --err para falhar o comando se um Alerta for gerado. Veja a documentação de --err para uma visão geral completa. (ex: --err)
  13. Defina a opção --adapter para Bencher Metric Format JSON (json) que é gerado por bencher mock. Veja adapters de benchmark harness para uma visão geral completa. (ex: --adapter json)
  14. Especifique os argumentos do comando de benchmark. Veja comando de benchmark para uma visão geral completa. (ex: bencher mock)

SolicitaƧƵes de Mesclagem

Para capturar regressões de desempenho em Solicitações de Mesclagem, você precisarÔ executar seus benchmarks nos SMs. O exemplo abaixo deve ser usado apenas para branches dentro do mesmo repositório.

.gitlab-ci.yml
benchmark_mr_branch:
rules:
- if: $CI_PIPELINE_SOURCE == "merge_request_event"
when: always
image: debian:bullseye
before_script:
- curl --proto '=https' --tlsv1.2 -sSfL https://bencher.dev/download/install-cli.sh | sh
script:
- |
bencher run \
--project project-abc4567-wxyz123456789 \
--token "$BENCHER_API_TOKEN" \
--branch "$CI_COMMIT_REF_NAME" \
--start-point "$CI_MERGE_REQUEST_TARGET_BRANCH_NAME" \
--start-point-hash "$CI_MERGE_REQUEST_TARGET_BRANCH_SHA" \
--start-point-clone-thresholds \
--start-point-reset \
--testbed debian:bullseye \
--err \
--adapter json \
bencher mock
  1. Atualize o arquivo GitLab CI/CD. (ex: .gitlab-ci.yml)
  2. Crie um trabalho no GitLab CI/CD. (ex: benchmark_mr_branch)
  3. Execute if o pipeline foi acionado por um merge_request_event. Veja a documentação de rules do GitLab CI/CD e a documentação de variÔveis pré-definidas do GitLab CI/CD para uma visão completa. (ex: rules: if: ...)
  4. Defina a image na qual o trabalho serÔ executado. Veja a documentação de image do GitLab CI/CD para uma visão completa. (ex: image: debian:bullseye)
  5. Instale o Bencher CLI usando o script de conveniĆŖncia. (ex: before_script: ...)
  6. Utilize o subcomando CLI bencher run para executar seus benchmarks do branch da solicitação de mesclagem. Veja o subcomando CLI bencher run para uma visão completa. (ex: bencher run)
  7. Defina a opção --project para o slug do Projeto. Veja a documentação de --project para mais detalhes. (ex: --project project-abc4567-wxyz123456789)
  8. Defina a opção --token para a variÔvel de ambiente mascarada BENCHER_API_TOKEN. Veja a documentação de --token para mais detalhes. (ex: --token "$BENCHER_API_TOKEN")
  9. Defina a opção --branch para o nome do branch SM usando uma variÔvel pré-definida do GitLab CI/CD. Veja a documentação de --branch para uma visão completa. (ex: --branch "$CI_COMMIT_REF_NAME")
  10. Defina o Ponto de InĆ­cio para o Branch SM:
    1. Defina a opção --start-point para o ponto de início do Branch SM usando uma variÔvel pré-definida do GitLab CI/CD. Veja a documentação de --start-point para uma visão completa. (ex: --start-point "$CI_MERGE_REQUEST_TARGET_BRANCH_NAME")
    2. Defina a opção --start-point-hash para o hash git do ponto de início do Branch SM usando uma variÔvel pré-definida do GitLab CI/CD. Veja a documentação de --start-point-hash para uma visão completa. (ex: --start-point-hash "$CI_MERGE_REQUEST_TARGET_BRANCH_SHA")
    3. Defina o flag --start-point-clone-thresholds para clonar os Limiares do ponto de início. Veja a documentação de --start-point-clone-thresholds para uma visão completa. (ex: --start-point-clone-thresholds)
    4. Defina o flag --start-point-reset para sempre redefinir o Branch SM para o ponto de início. Isso evitarÔ a deriva de dados de benchmark. Veja a documentação de --start-point-reset para uma visão completa. (ex: --start-point-reset)
  11. Defina a opção --testbed para o nome do Testbed. Isso provavelmente deverÔ corresponder à mÔquina selecionada em image. Veja a documentação de --testbed para mais detalhes. (ex: --testbed debian:bullseye)
  12. Defina o flag --err para falhar o comando se um Alerta for gerado. Veja a documentação de --err para uma visão completa. (ex: --err)
  13. Defina a opção --adapter para Bencher Metric Format JSON (json) que é gerado por bencher mock. Veja os adaptadores de harness de benchmark para uma visão completa. (ex: --adapter json)
  14. Especifique os argumentos do comando de benchmark. Veja comando de benchmark para uma visão completa. (ex: bencher mock)

Para limpar a ramificação do MR após o MR ser fechado, você pode criar um trabalho separado que consulta o estado do MR usando a API do GitLab. Se o estado for closed, este trabalho irÔ arquivar a ramificação do MR usando o comando bencher archive.

.gitlab-ci.yml
archive_mr_branch:
rules:
- if: $CI_PIPELINE_SOURCE == "merge_request_event"
when: always
image: debian:bullseye
before_script:
- curl --proto '=https' --tlsv1.2 -sSfL https://bencher.dev/download/install-cli.sh | sh
- |
MR_STATE=$(curl --header "PRIVATE-TOKEN: $CI_JOB_TOKEN" "https://gitlab.com/api/v4/projects/$CI_PROJECT_ID/merge_requests/$CI_MERGE_REQUEST_IID" | jq -r .state)
echo "Merge request state: $MR_STATE"
script:
- |
if [ "$MR_STATE" = "closed" ]; then
bencher archive \
--project project-abc4567-wxyz123456789 \
--token "$BENCHER_API_TOKEN" \
--branch "$CI_COMMIT_REF_NAME"
else
echo 'Merge request is not `closed`. Skipping archival.'
fi
  1. Atualize o arquivo GitLab CI/CD. (ex: .gitlab-ci.yml)
  2. Crie um trabalho GitLab CI/CD. (ex: archive_mr_branch)
  3. Execute if o pipeline foi acionado por um merge_request_event. Consulte a documentação de rules do GitLab CI/CD e a documentação de variÔveis predefinidas do GitLab CI/CD para uma visão geral completa. (ex: rules: if: ...)
  4. Defina a image na qual o trabalho serÔ executado. Consulte a documentação de image do GitLab CI/CD para uma visão geral completa. (ex: image: debian:bullseye)
  5. Instale o Bencher CLI usando o script de conveniĆŖncia. (ex: before_script: curl ...)
  6. Verifique o estado do MR usando a API do GitLab. (ex: before_script: MR_STATE=$(...))
  7. Use o subcomando bencher archive do CLI para arquivar a ramificação do MR se o estado do MR for closed. (ex: bencher archive)
  8. Defina a opção --project para o slug do Projeto. Consulte a documentação de --project para mais detalhes. (ex: --project project-abc4567-wxyz123456789)
  9. Defina a opção --token para a variÔvel de ambiente mascarada BENCHER_API_TOKEN. Consulte a documentação de --token para mais detalhes. (ex: --token "$BENCHER_API_TOKEN")
  10. Defina a opção --branch para o nome da ramificação do MR usando uma variÔvel predefinida do GitLab CI/CD. (ex: --branch "$CI_COMMIT_REF_NAME")


🐰 ParabĆ©ns! VocĆŖ aprendeu como usar o Bencher no GitLab CI/CD! šŸŽ‰


Continue: VisĆ£o Geral do Benchmarking āž”

šŸ¤– Este documento foi gerado automaticamente pelo OpenAI GPT-4. Pode nĆ£o ser preciso e pode conter erros. Se vocĆŖ encontrar algum erro, abra um problema no GitHub.


Published: Fri, October 27, 2023 at 8:40:00 AM UTC | Last Updated: Sat, October 12, 2024 at 8:22:00 PM UTC