Comment utiliser Bencher dans GitLab CI/CD

benchmark_with_bencher:
    image: rust:bullseye
    variables:
      BENCHER_PROJECT: save-walter-white
      BENCHER_API_TOKEN: ${{ secrets.BENCHER_API_TOKEN }}
      BENCHER_ADAPTER: json
      BENCHER_TESTBED: bullseye
      BENCHER_VERSION: 0.3.18
    before_script:
      - wget https://github.com/bencherdev/bencher/releases/download/v${BENCHER_VERSION}/bencher_${BENCHER_VERSION}_amd64.deb
      - dpkg -i bencher_${BENCHER_VERSION}_amd64.deb
    script:
      - |
        bencher run \
        --if-branch "$CI_COMMIT_REF_NAME" \
        --else-if-branch "$CI_MERGE_REQUEST_TARGET_BRANCH_NAME" \
        --else-if-branch main \
        --err \
        "bencher mock"

1. Créez un fichier GitLab CI/CD (ex: .gitlab-ci.yml)
2. Créez une job de GitLab CI/CD (ex: benchmark_with_bencher)
3. Sélectionnez une image Docker pour exécuter votre job (ex: image: rust:bullseye)
4. Le projet doit déjà exister. Définissez le flag --project ou la variable d’environnement BENCHER_PROJECT à l’identifiant ou au slug du projet. (ex: BENCHER_PROJECT: save-walter-white)
5. Ajoutez BENCHER_API_TOKEN aux secrets de CI/CD de votre projet, sous Paramètres -> CI / CD -> Variables -> Ajouter une variable
6. Le token API doit déjà exister. Définissez le flag --token ou la variable d’environnement BENCHER_API_TOKEN au token API. (ex: BENCHER_API_TOKEN: ${{ secrets.BENCHER_API_TOKEN }})
7. Optionnel : Définissez le flag --adapter ou la variable d’environnement BENCHER_ADAPTER au nom de l’adaptateur souhaité. Si cela n’est pas défini, alors l’Adaptateur magic sera utilisé. Consultez les adaptateurs de benchmark pour un aperçu complet. (ex: BENCHER_ADAPTER: json)
8. Optionnel : Définissez le flag --testbed ou la variable d’environnement BENCHER_TESTBED à l’identifiant ou au slug du Testbed. Le Testbed doit déjà exister. Si cela n’est pas défini, alors le Testbed localhost sera utilisé. (ex: BENCHER_TESTBED: bullseye)
9. Optionnel : Créez une variable d’environnement pour faciliter le suivi de la version de la CLI utilisée. (ex: BENCHER_VERSION: 0.3.18)
10. Téléchargez et installez la CLI Bencher à partir d’un .deb.
11. Suivez vos benchmarks avec la sous-commande CLI bencher run :
    1. Il existe plusieurs options pour définir la branche du projet. Consultez la sélection de branches pour un aperçu complet. La commande fournie utilise les variables prédéfinies de GitLab CI/CD et elle essaie de :
       1. Utiliser la branche actuelle si elle existe déjà. (ex: --if-branch "$CI_COMMIT_REF_NAME")
       2. Créer un clône des données et des seuils de la branche cible de MR si elle existe déjà. (ex: --else-if-branch "$CI_MERGE_REQUEST_TARGET_BRANCH_NAME")
       3. Sinon, créer un clône des données et des seuils de la branche main. (ex: --else-if-branch main)
    2. Définir la commande pour échouer si une alerte est générée. Pour qu’une alerte soit générée, un Seuil doit déjà exister. (ex: --err)
    3. Exécutez vos benchmarks et générez un rapport à partir des résultats. (ex: "bencher mock")

🐰 Félicitations! Vous avez appris à utiliser Bencher dans GitLab CI/CD! 🎉

Continuez : Aperçu du Benchmarking ➡