Cómo rastrear benchmarks de libtest bench de Rust en CI

Everett Pompeii

Ahora que has aprendido cómo hacer benchmarks de código Rust con libtest bench, veamos cómo rastrear esos benchmarks en CI. Benchmarking Continuo es la práctica de ejecutar benchmarks en cada conjunto de cambios para asegurar que los cambios no introduzcan una regresión en el rendimiento. La forma más fácil de implementar Benchmarking Continuo con benchmarks de Criterion es usar Bencher.

¿Qué es Bencher?

Bencher es un conjunto de herramientas de benchmarking continuo. ¿Alguna vez has tenido un impacto de regresión de rendimiento en tus usuarios? Bencher podría haber evitado que eso sucediera. Bencher te permite detectar y prevenir las regresiones de rendimiento antes de que lleguen a producción.

• Ejecutar: Ejecute sus benchmarks localmente o en CI usando sus herramientas de benchmarking favoritas. La CLI bencher simplemente envuelve su arnés de benchmarks existente y almacena sus resultados.
• Seguir: Sigue los resultados de tus benchmarks con el tiempo. Monitoriza, realiza consultas y representa gráficamente los resultados utilizando la consola web de Bencher basándose en la rama de origen, el banco de pruebas y la medida.
• Capturar: Captura las regresiones de rendimiento en CI. Bencher utiliza analíticas de vanguardia y personalizables para detectar regresiones de rendimiento antes de que lleguen a producción.

Por las mismas razones que las pruebas unitarias se ejecutan en CI para prevenir regresiones funcionales, los benchmarks deberían ejecutarse en CI con Bencher para prevenir regresiones de rendimiento. ¡Los errores de rendimiento son errores!

Pasos para Bencher Cloud

1. Crea una cuenta en Bencher Cloud.
2. Crea un token de API y agrégalo a tu CI como un secreto.
3. Crea un flujo de trabajo para tu CI, como GitHub Actions o GitLab CI/CD.
4. Instala el Bencher CLI en tu flujo de trabajo de CI.
5. Ejecuta tus benchmarks con el bencher run subcomando en tu flujo de trabajo de CI usando el adaptador rust_bench.

Pasos para Bencher Self-Hosted

1. Crear una instancia de Bencher Self-Hosted.
2. Crear una cuenta en tu instancia de Bencher Self-Hosted.
3. Crear un token de API y añadirlo a tu CI como un secreto.
4. Crear un flujo de trabajo para tu CI, como GitHub Actions o GitLab CI/CD.
5. Instalar la Bencher CLI en tu flujo de trabajo de CI. Asegúrate de que la versión de la CLI coincide con la versión de tu instancia de Bencher Self-Hosted.
6. Ejecutar tus benchmarks con el bencher run subcomando en tu flujo de trabajo de CI utilizando el rust_bench adaptador y configurando la opción --host a la URL de tu instancia de Bencher Self-Hosted.

🦀 Banco de Rust

El Adaptador de Banco Rust (rust_bench) espera la salida de libtest bench. La Medida de latencia (es decir, nanosegundos (ns)) se recopila. El lower_value y upper_value son la desviación por debajo y por encima de la mediana (es decir, value) respectivamente.

bencher run --adapter rust_bench "cargo +nightly bench"