Comment suivre des benchmarks Rust personnalisés dans CI

Everett Pompeii

Maintenant que vous avez appris comment construire un harnais de benchmarking personnalisé en Rust, voyons comment suivre ces benchmarks dans l’intégration continue (CI). Le Benchmarking Continu est la pratique consistant à exécuter des benchmarks sur chaque ensemble de modifications pour s’assurer que les changements n’introduisent pas de régressions de performance. La façon la plus simple d’implémenter le Benchmarking Continu avec les benchmarks personnalisé est d’utiliser Bencher.

Qu’est-ce que Bencher ?

Bencher est une suite d’outils de benchmarking continu. Avez-vous déjà eu une régression de performance qui a impacté vos utilisateurs ? Bencher aurait pu empêcher cela de se produire. Bencher vous permet de détecter et de prévenir les régressions de performance avant qu’elles n’arrivent en production.

• Exécuter: Exécutez vos benchmarks localement ou en CI en utilisant vos outils de benchmarking préférés. La CLI bencher enveloppe simplement votre harnais de benchmarking existant et stocke ses résultats.
• Suivre: Suivez les résultats de vos benchmarks au fil du temps. Surveillez, interrogez et graphiquez les résultats à l’aide de la console web Bencher en fonction de la branche source, du banc d’essai et de la mesure.
• Détecter: Détectez les régressions de performances en CI. Bencher utilise des analyses de pointe et personnalisables pour détecter les régressions de performances avant qu’elles n’arrivent en production.

Pour les mêmes raisons que les tests unitaires sont exécutés en CI pour prévenir les régressions de fonctionnalités, les benchmarks devraient être exécutés en CI avec Bencher pour prévenir les régressions de performance. Les bugs de performance sont des bugs !

Étapes pour Bencher Cloud

1. Créez un compte Bencher Cloud.
2. Créez un jeton API et ajoutez-le à votre CI en tant que secret.
3. Créez un workflow pour votre CI, comme GitHub Actions ou GitLab CI/CD.
4. Installez le Bencher CLI dans votre workflow CI.
5. Exécutez vos benchmarks avec la sous-commande bencher run dans votre workflow CI en utilisant l'adaptateur json.

Étapes pour Bencher Auto-hébergé

1. Créez une instance Bencher Auto-hébergée.
2. Créez un compte sur votre instance Bencher Auto-hébergée.
3. Créez un jeton API et ajoutez-le à votre CI en tant que secret.
4. Créez un workflow pour votre CI, comme GitHub Actions ou GitLab CI/CD.
5. Installez le Bencher CLI dans votre workflow CI. Assurez-vous que la version du CLI correspond à la version de votre instance Bencher Auto-hébergée.
6. Exécutez vos benchmarks avec la bencher run sous-commande dans votre workflow CI en utilisant l'adaptateur json et en réglant l'option --host sur l'URL de votre instance Bencher Auto-hébergée.

{…} JSON

L’adaptateur JSON (json) attend du JSON au format Bencher Metric Format (BMF). Il est parfait pour intégrer des harnais de benchmark personnalisés avec Bencher. Pour plus de détails, consultez comment suivre des benchmarks personnalisés et la référence JSON BMF.

bencher run --adapter json "cargo bench"