Comment utiliser Bencher dans GitLab CI/CD

Selon votre cas d’utilisation, vous pouvez configurer le Benchmarking Continu dans GitLab CI/CD pour votre :

• Branche Cible
• Demandes de Fusion

🐰 Assurez-vous d’avoir créé un jeton d’API et de l’avoir défini comme une variable masquée nommée BENCHER_API_TOKEN avant de continuer ! Naviguez vers Votre Dépôt -> Paramètres -> CI/CD -> Variables -> Déplier -> Ajouter une variable. La clé de la variable doit être BENCHER_API_TOKEN et la valeur de la variable doit être votre jeton d’API. Cochez les cases Protéger la variable et Masquer la variable.

Branche Cible

La pierre angulaire du Benchmarking Continu Statistique est d’avoir une base historique pour votre branche cible. Cette base historique peut ensuite être utilisée pour détecter les régressions de performance dans les Demandes de Fusion.

benchmark_target_branch:
  rules:
    - if: $CI_COMMIT_BRANCH == "main" && $CI_PIPELINE_SOURCE == "push"
      when: always
  image: debian:bullseye
  before_script:
    - curl --proto '=https' --tlsv1.2 -sSfL https://bencher.dev/download/install-cli.sh | sh
  script:
    - |
      bencher run \
      --project save-walter-white-1234abcd \
      --token "$BENCHER_API_TOKEN" \
      --branch main \
      --testbed debian:bullseye \
      --adapter json \
      --err \
      bencher mock

1. Créez un fichier CI/CD GitLab. (ex: .gitlab-ci.yml)
2. Créez un travail CI/CD GitLab. (ex: benchmark_target_branch)
3. Exécutez if le pipeline a été déclenché par un push sur la branche main. Consultez la documentation des rules CI/CD GitLab et la documentation des variables prédéfinies CI/CD GitLab pour un aperçu complet. (ex: rules: - if: ...)
4. Définissez l’image dans laquelle le travail sera exécuté. Consultez la documentation de l’image CI/CD GitLab pour un aperçu complet. (ex: image: debian:bullseye)
5. Installez le CLI Bencher en utilisant le script pratique. (ex: before_script: ...)
6. Utilisez la sous-commande CLI bencher run pour exécuter vos benchmarks de la branche main. Consultez la sous-commande CLI bencher run pour un aperçu complet. (ex: bencher run)
7. Définissez l’option --project comme slug du Projet. Consultez la documentation de --project pour plus de détails. (ex: --project save-walter-white-1234abcd)
8. Définissez l’option --token comme variable d’environnement masquée BENCHER_API_TOKEN. Consultez la documentation de --token pour plus de détails. (ex: --token "$BENCHER_API_TOKEN")
9. Définissez l’option --branch comme nom de la Branche. Consultez la sélection de branche pour un aperçu complet. (ex: --branch main)
10. Définissez l’option --testbed comme nom du Banc d’essai. Cela devrait probablement correspondre à la machine sélectionnée dans image. Consultez la documentation de --testbed pour plus de détails. (ex: --testbed debian:bullseye)
11. Définissez l’option --adapter comme l’adaptateur de harnais de benchmark désiré. Consultez les adaptateurs de harnais de benchmark pour un aperçu complet. (ex: --adapter json)
12. Définissez le drapeau --err pour faire échouer la commande si une Alerte est générée. Consultez Seuils & Alertes pour un aperçu complet. (ex: --err)
13. Spécifiez les arguments de commande de benchmark. Consultez la commande de benchmark pour un aperçu complet. (ex: bencher mock)

Demandes de Fusion

Afin de détecter les régressions de performance dans les Demandes de Fusion, vous devrez exécuter vos benchmarks sur les MRs. L’exemple ci-dessous ne doit être utilisé que pour les branches au sein du même dépôt.

benchmark_mr_branch:
  rules:
    - if: $CI_PIPELINE_SOURCE == "merge_request_event"
      when: always
  image: debian:bullseye
  before_script:
    - curl --proto '=https' --tlsv1.2 -sSfL https://bencher.dev/download/install-cli.sh | sh
  script:
    - |
      bencher run \
      --project save-walter-white-1234abcd \
      --token "$BENCHER_API_TOKEN" \
      --branch "$CI_COMMIT_REF_NAME" \
      --branch-start-point "$CI_MERGE_REQUEST_TARGET_BRANCH_NAME" \
      --branch-start-point-hash "$CI_MERGE_REQUEST_TARGET_BRANCH_SHA" \
      --branch-reset \
      --testbed debian:bullseye \
      --adapter json \
      --err \
      bencher mock

1. Créez ou mettez à jour un fichier GitLab CI/CD. (ex: .gitlab-ci.yml)
2. Créez un job GitLab CI/CD. (ex: benchmark_mr_branch)
3. Exécutez if si le pipeline a été déclenché par un merge_request_event. Consultez la documentation des rules GitLab CI/CD et la documentation des variables prédéfinies GitLab CI/CD pour un aperçu complet. (ex: rules: - if: ...)
4. Définissez l’image dans laquelle le job s’exécutera. Consultez la documentation des image GitLab CI/CD pour un aperçu complet. (ex: image: debian:bullseye)
5. Installez le CLI de Bencher en utilisant le script pratique. (ex: before_script: ...)
6. Utilisez la sous-commande bencher run du CLI pour exécuter vos benchmarks de branche de demande de fusion. Consultez la sous-commande bencher run du CLI pour un aperçu complet. (ex: bencher run)
7. Définissez l’option --project au slug du projet. Consultez la documentation --project pour plus de détails. (ex: --project save-walter-white-1234abcd)
8. Définissez l’option --token à la variable d’environnement masquée BENCHER_API_TOKEN. Consultez la documentation --token pour plus de détails. (ex: --token "$BENCHER_API_TOKEN")
9. Définissez l’option --branch au nom de la branche MR en utilisant une variable prédéfinie GitLab CI/CD. Consultez la sélection de branche pour un aperçu complet. (ex: --branch "$CI_COMMIT_REF_NAME")
10. Définissez l’option --branch-start-point au point de départ de la branche cible de la MR en utilisant une variable prédéfinie GitLab CI/CD. Consultez la sélection de branche pour un aperçu complet. (ex: --branch-start-point "$CI_MERGE_REQUEST_TARGET_BRANCH_NAME")
11. Définissez l’option --branch-start-point-hash au hash du point de départ de la branche cible de la MR en utilisant une variable prédéfinie GitLab CI/CD. Consultez la sélection de branche pour un aperçu complet. (ex: --branch-start-point-hash "$CI_MERGE_REQUEST_TARGET_BRANCH_SHA")
12. Définissez l’option --branch-reset pour réinitialiser toujours la branche au point de départ. Cela empêchera la dérive des données de benchmark. Consultez la sélection de branche pour un aperçu complet. (ex: --branch-reset)
13. Définissez l’option --testbed au nom du Testbed. Cela devrait probablement correspondre à la machine sélectionnée dans l’image. Consultez la documentation --testbed pour plus de détails. (ex: --testbed debian:bullseye)
14. Définissez l’option --adapter à l’adaptateur de harnais de benchmark souhaité. Consultez les adaptateurs de harnais de benchmark pour un aperçu complet. (ex: --adapter json)
15. Définissez l’option --err pour échouer à la commande si une alerte est générée. Consultez Seuils & Alertes pour un aperçu complet. (ex: --err)
16. Spécifiez les arguments de commande de benchmark. Consultez la commande de benchmark pour un aperçu complet. (ex: bencher mock)

🐰 Félicitations ! Vous avez appris à utiliser Bencher dans GitLab CI/CD ! 🎉

Continuez : Vue d’ensemble sur le Benchmarking ➡