Comment utiliser Bencher dans GitLab CI/CD

Selon votre cas d’utilisation, vous pouvez configurer le Benchmarking Continu dans GitLab CI/CD pour votre :

• Branche Cible
• Demandes de Fusion

🐰 Assurez-vous d’avoir créé un jeton d’API et de l’avoir défini comme une variable masquée nommée BENCHER_API_TOKEN avant de continuer ! Naviguez vers Votre Dépôt -> Paramètres -> CI/CD -> Variables -> Déplier -> Ajouter une variable. La clé de la variable doit être BENCHER_API_TOKEN et la valeur de la variable doit être votre jeton d’API. Cochez les cases Protéger la variable et Masquer la variable.

Branche Cible

La pierre angulaire du Benchmarking Continu Statistique est d’avoir une base historique pour votre branche cible. Cette base historique peut ensuite être utilisée pour détecter les régressions de performance dans les Demandes de Fusion.

benchmark_target_branch:
  rules:
    - if: $CI_COMMIT_BRANCH == "main" && $CI_PIPELINE_SOURCE == "push"
      when: always
  image: debian:bullseye
  before_script:
    - curl --proto '=https' --tlsv1.2 -sSfL https://bencher.dev/download/install-cli.sh | sh
  script:
    - |
      bencher run \
      --project save-walter-white-1234abcd \
      --token "$BENCHER_API_TOKEN" \
      --branch main \
      --testbed debian:bullseye \
      --adapter json \
      --err \
      bencher mock

1. Créez un fichier CI/CD GitLab. (ex: .gitlab-ci.yml)
2. Créez un travail CI/CD GitLab. (ex: benchmark_target_branch)
3. Exécutez if le pipeline a été déclenché par un push sur la branche main. Consultez la documentation des rules CI/CD GitLab et la documentation des variables prédéfinies CI/CD GitLab pour un aperçu complet. (ex: rules: - if: ...)
4. Définissez l’image dans laquelle le travail sera exécuté. Consultez la documentation de l’image CI/CD GitLab pour un aperçu complet. (ex: image: debian:bullseye)
5. Installez le CLI Bencher en utilisant le script pratique. (ex: before_script: ...)
6. Utilisez la sous-commande CLI bencher run pour exécuter vos benchmarks de la branche main. Consultez la sous-commande CLI bencher run pour un aperçu complet. (ex: bencher run)
7. Définissez l’option --project comme slug du Projet. Consultez la documentation de --project pour plus de détails. (ex: --project save-walter-white-1234abcd)
8. Définissez l’option --token comme variable d’environnement masquée BENCHER_API_TOKEN. Consultez la documentation de --token pour plus de détails. (ex: --token "$BENCHER_API_TOKEN")
9. Définissez l’option --branch comme nom de la Branche. Consultez la sélection de branche pour un aperçu complet. (ex: --branch main)
10. Définissez l’option --testbed comme nom du Banc d’essai. Cela devrait probablement correspondre à la machine sélectionnée dans image. Consultez la documentation de --testbed pour plus de détails. (ex: --testbed debian:bullseye)
11. Définissez l’option --adapter comme l’adaptateur de harnais de benchmark désiré. Consultez les adaptateurs de harnais de benchmark pour un aperçu complet. (ex: --adapter json)
12. Définissez le drapeau --err pour faire échouer la commande si une Alerte est générée. Consultez Seuils & Alertes pour un aperçu complet. (ex: --err)
13. Spécifiez les arguments de commande de benchmark. Consultez la commande de benchmark pour un aperçu complet. (ex: bencher mock)

Demandes de Fusion

Pour détecter une régression de performance dans les Demandes de Fusion, vous devrez exécuter vos benchmarks sur les MRs. L’exemple ci-dessous ne doit être utilisé que pour les branches au sein du même dépôt.

benchmark_mr_branch:
  rules:
    - if: $CI_PIPELINE_SOURCE == "merge_request_event"
      when: always
  image: debian:bullseye
  before_script:
    - curl --proto '=https' --tlsv1.2 -sSfL https://bencher.dev/download/install-cli.sh | sh
  script:
    - |
      bencher run \
      --project save-walter-white-1234abcd \
      --token "$BENCHER_API_TOKEN" \
      --branch "$CI_COMMIT_REF_NAME" \
      --branch-start-point "$CI_MERGE_REQUEST_TARGET_BRANCH_NAME" \
      --branch-start-point-hash "$CI_MERGE_REQUEST_TARGET_BRANCH_SHA" \
      --testbed debian:bullseye \
      --adapter json \
      --err \
      bencher mock

1. Créer ou mettre à jour un fichier GitLab CI/CD. (ex : .gitlab-ci.yml)
2. Créer un travail GitLab CI/CD. (ex : benchmark_mr_branch)
3. Exécuter if le pipeline a été déclenché par un merge_request_event. Voir la documentation des règles GitLab CI/CD et la documentation des variables prédéfinies GitLab CI/CD pour un aperçu complet. (ex : rules: - if: ...)
4. Définir l’image dans laquelle le travail sera exécuté. Voir la documentation de l’image GitLab CI/CD pour un aperçu complet. (ex : image: debian:bullseye)
5. Installer le CLI Bencher en utilisant le script pratique. (ex : before_script: ...)
6. Utiliser la sous-commande CLI bencher run pour exécuter vos benchmarks de la branche de demande de fusion. Voir la sous-commande CLI bencher run pour un aperçu complet. (ex : bencher run)
7. Définir l’option --project au slug du projet. Voir la documentation de l’option --project pour plus de détails. (ex : --project save-walter-white-1234abcd)
8. Définir l’option --token à la variable d’environnement BENCHER_API_TOKEN masquée. Voir la documentation de l’option --token pour plus de détails. (ex : --token "$BENCHER_API_TOKEN")
9. Définir l’option --branch au nom de la branche MR en utilisant une variable prédéfinie GitLab CI/CD. Voir sélection de branche pour un aperçu complet. (ex : --branch "$CI_COMMIT_REF_NAME")
10. Définir l’option --branch-start-point au point de départ de la branche cible MR en utilisant une variable prédéfinie GitLab CI/CD. Voir sélection de branche pour un aperçu complet. (ex : --branch-start-point "$CI_MERGE_REQUEST_TARGET_BRANCH_NAME")
11. Définir l’option --branch-start-point-hash au hash du point de départ de la branche cible MR en utilisant une variable prédéfinie GitLab CI/CD. Voir sélection de branche pour un aperçu complet. (ex : --branch-start-point-hash "$CI_MERGE_REQUEST_TARGET_BRANCH_SHA")
12. Définir l’option --testbed au nom du banc d’essai. Cela devrait probablement correspondre à la machine sélectionnée dans image. Voir la documentation de l’option --testbed pour plus de détails. (ex : --testbed debian:bullseye)
13. Définir l’option --adapter à l’adaptateur de harnais de benchmark souhaité. Voir adaptateurs de harnais de benchmark pour un aperçu complet. (ex : --adapter json)
14. Définir le drapeau --err pour échouer la commande si une Alert est générée. Voir Seuils & Alertes pour un aperçu complet. (ex : --err)
15. Spécifier les arguments de la commande de benchmark. Voir commande de benchmark pour un aperçu complet. (ex : bencher mock)

🐰 Félicitations ! Vous avez appris à utiliser Bencher dans GitLab CI/CD ! 🎉

Continuez : Vue d’ensemble sur le Benchmarking ➡