Comment suivre les benchmarks Rust libtest bench dans CI

Everett Pompeii

Maintenant que vous avez appris comment faire le benchmark du code Rust avec libtest bench, voyons comment suivre ces benchmarks dans l’intégration continue (CI). Le Benchmarking Continu est la pratique consistant à exécuter des benchmarks sur chaque ensemble de modifications pour s’assurer que les changements n’introduisent pas de régressions de performance. La façon la plus simple d’implémenter le Benchmarking Continu avec les benchmarks libtest bench est d’utiliser Bencher.

Qu’est-ce que Bencher ?

Bencher est une suite d’outils de benchmarking continu. Avez-vous déjà eu une régression de performance qui a impacté vos utilisateurs ? Bencher aurait pu empêcher cela de se produire. Bencher vous permet de détecter et de prévenir les régressions de performance avant qu’elles n’arrivent en production.

• Exécuter: Exécutez vos benchmarks localement ou en CI en utilisant vos outils de benchmarking préférés. La CLI bencher enveloppe simplement votre harnais de benchmarking existant et stocke ses résultats.
• Suivre: Suivez les résultats de vos benchmarks au fil du temps. Surveillez, interrogez et graphiquez les résultats à l’aide de la console web Bencher en fonction de la branche source, du banc d’essai et de la mesure.
• Détecter: Détectez les régressions de performances en CI. Bencher utilise des analyses de pointe et personnalisables pour détecter les régressions de performances avant qu’elles n’arrivent en production.

Pour les mêmes raisons que les tests unitaires sont exécutés en CI pour prévenir les régressions de fonctionnalités, les benchmarks devraient être exécutés en CI avec Bencher pour prévenir les régressions de performance. Les bugs de performance sont des bugs !

Étapes pour Bencher Cloud

1. Créez un compte Bencher Cloud.
2. Créez un jeton API et ajoutez-le à votre CI en tant que secret.
3. Créez un workflow pour votre CI, comme GitHub Actions ou GitLab CI/CD.
4. Installez le Bencher CLI dans votre workflow CI.
5. Exécutez vos benchmarks avec la sous-commande bencher run dans votre workflow CI en utilisant l'adaptateur rust_bench.

Étapes pour Bencher Auto-hébergé

1. Créez une instance Bencher Auto-hébergée.
2. Créez un compte sur votre instance Bencher Auto-hébergée.
3. Créez un jeton API et ajoutez-le à votre CI en tant que secret.
4. Créez un workflow pour votre CI, comme GitHub Actions ou GitLab CI/CD.
5. Installez le Bencher CLI dans votre workflow CI. Assurez-vous que la version du CLI correspond à la version de votre instance Bencher Auto-hébergée.
6. Exécutez vos benchmarks avec la bencher run sous-commande dans votre workflow CI en utilisant l'adaptateur rust_bench et en réglant l'option --host sur l'URL de votre instance Bencher Auto-hébergée.

🦀 Banc de test Rust

L’adaptateur de banc de test Rust (rust_bench) attend la sortie du banc de test libtest. La mesure de latence (c’est-à-dire nanosecondes (ns)) est recueillie. Les valeurs lower_value et upper_value sont l’écart en dessous et au-dessus de la médiane (c’est-à-dire valeur) respectivement.

bencher run --adapter rust_bench "cargo +nightly bench"