Comment suivre les benchmarks Rust Criterion dans CI

Everett Pompeii

Maintenant que vous avez appris comment mesurer les performances du code Rust avec Criterion, voyons comment suivre ces benchmarks dans l’intégration continue (CI). Le Benchmarking Continu est la pratique consistant à exécuter des benchmarks sur chaque ensemble de modifications pour s’assurer que les changements n’introduisent pas de régressions de performance. La façon la plus simple d’implémenter le Benchmarking Continu avec les benchmarks Criterion est d’utiliser Bencher.

Qu’est-ce que Bencher ?

Bencher est une suite d’outils de benchmarking continu. Avez-vous déjà eu une régression de performance qui a impacté vos utilisateurs ? Bencher aurait pu empêcher cela de se produire. Bencher vous permet de détecter et de prévenir les régressions de performance avant qu’elles n’arrivent en production.

• Exécuter: Exécutez vos benchmarks localement ou en CI en utilisant vos outils de benchmarking préférés. La CLI bencher enveloppe simplement votre harnais de benchmarking existant et stocke ses résultats.
• Suivre: Suivez les résultats de vos benchmarks au fil du temps. Surveillez, interrogez et graphiquez les résultats à l’aide de la console web Bencher en fonction de la branche source, du banc d’essai et de la mesure.
• Détecter: Détectez les régressions de performances en CI. Bencher utilise des analyses de pointe et personnalisables pour détecter les régressions de performances avant qu’elles n’arrivent en production.

Pour les mêmes raisons que les tests unitaires sont exécutés en CI pour prévenir les régressions de fonctionnalités, les benchmarks devraient être exécutés en CI avec Bencher pour prévenir les régressions de performance. Les bugs de performance sont des bugs !

Étapes pour Bencher Cloud

1. Créez un compte Bencher Cloud.
2. Créez un jeton API et ajoutez-le à votre CI en tant que secret.
3. Créez un workflow pour votre CI, comme GitHub Actions ou GitLab CI/CD.
4. Installez le Bencher CLI dans votre workflow CI.
5. Exécutez vos benchmarks avec la sous-commande bencher run dans votre workflow CI en utilisant l'adaptateur rust_criterion.

Étapes pour Bencher Auto-hébergé

1. Créez une instance Bencher Auto-hébergée.
2. Créez un compte sur votre instance Bencher Auto-hébergée.
3. Créez un jeton API et ajoutez-le à votre CI en tant que secret.
4. Créez un workflow pour votre CI, comme GitHub Actions ou GitLab CI/CD.
5. Installez le Bencher CLI dans votre workflow CI. Assurez-vous que la version du CLI correspond à la version de votre instance Bencher Auto-hébergée.
6. Exécutez vos benchmarks avec la bencher run sous-commande dans votre workflow CI en utilisant l'adaptateur rust_criterion et en réglant l'option --host sur l'URL de votre instance Bencher Auto-hébergée.

🦀 Critère Rust

L’adaptateur Critère Rust (rust_criterion) attend une sortie Criterion. La mesure de latence (c’est-à-dire nanosecondes (ns)) est recueillie. Les lower_value et upper_value sont les limites inférieure et supérieure de la pente (si disponible) ou de la moyenne (sinon) (c’est-à-dire valeur) respectivement.

bencher run --adapter rust_criterion "cargo bench"