Comment suivre les benchmarks Rust Iai dans CI

Everett Pompeii

Maintenant que vous avez appris comment effectuer des benchmarks du code Rust avec Iai, voyons comment suivre ces benchmarks dans l’intégration continue (CI). Le Benchmarking Continu est la pratique consistant à exécuter des benchmarks sur chaque ensemble de modifications pour s’assurer que les changements n’introduisent pas de régressions de performance. La façon la plus simple d’implémenter le Benchmarking Continu avec les benchmarks Criterion est d’utiliser Bencher.

Qu’est-ce que Bencher ?

Bencher est une suite d’outils de benchmarking continu. Avez-vous déjà eu une régression de performance qui a impacté vos utilisateurs ? Bencher aurait pu empêcher cela de se produire. Bencher vous permet de détecter et de prévenir les régressions de performance avant qu’elles n’arrivent en production.

• Exécuter: Exécutez vos benchmarks localement ou en CI en utilisant vos outils de benchmarking préférés. La CLI bencher enveloppe simplement votre harnais de benchmarking existant et stocke ses résultats.
• Suivre: Suivez les résultats de vos benchmarks au fil du temps. Surveillez, interrogez et graphiquez les résultats à l’aide de la console web Bencher en fonction de la branche source, du banc d’essai et de la mesure.
• Détecter: Détectez les régressions de performances en CI. Bencher utilise des analyses de pointe et personnalisables pour détecter les régressions de performances avant qu’elles n’arrivent en production.

Pour les mêmes raisons que les tests unitaires sont exécutés en CI pour prévenir les régressions de fonctionnalités, les benchmarks devraient être exécutés en CI avec Bencher pour prévenir les régressions de performance. Les bugs de performance sont des bugs !

Étapes pour Bencher Cloud

1. Créez un compte Bencher Cloud.
2. Créez un jeton API et ajoutez-le à votre CI en tant que secret.
3. Créez un workflow pour votre CI, comme GitHub Actions ou GitLab CI/CD.
4. Installez le Bencher CLI dans votre workflow CI.
5. Exécutez vos benchmarks avec la sous-commande bencher run dans votre workflow CI en utilisant l’adaptateur rust_iai.

Étapes pour Bencher Auto-hébergé

1. Créez une instance Bencher Auto-hébergée.
2. Créez un compte sur votre instance Bencher Auto-hébergée.
3. Créez un jeton API et ajoutez-le à votre CI en tant que secret.
4. Créez un workflow pour votre CI, comme GitHub Actions ou GitLab CI/CD.
5. Installez le Bencher CLI dans votre workflow CI. Assurez-vous que la version du CLI correspond à la version de votre instance Bencher Auto-hébergée.
6. Exécutez vos benchmarks avec la bencher run sous-commande dans votre workflow CI en utilisant l’adaptateur rust_iai et en réglant l’option --host sur l’URL de votre instance Bencher Auto-hébergée.

🦀 Adaptateur Rust Iai

L’adaptateur Rust Iai (rust_iai) attend la sortie de Iai. Les mesures instructions, l1-accesses, l2-accesses, ram-accesses et estimated-cycles sont recueillies. Seules ces mesures (c’est-à-dire value) sont disponibles. Il n’y a pas de mesures lower_value et upper_value. Les mesures pour cet adaptateur ne sont pas créées par défaut pour tous les projets. Cependant, lorsque vous utilisez cet adaptateur, ces mesures seront automatiquement créées pour votre projet.

bencher run --adapter rust_iai "cargo bench"