Cómo rastrear benchmarks de Rust Iai en CI

Everett Pompeii

Ahora que has aprendido cómo hacer benchmarks de código en Rust con Iai, veamos cómo rastrear esos benchmarks en CI. Benchmarking Continuo es la práctica de ejecutar benchmarks en cada conjunto de cambios para asegurar que los cambios no introduzcan una regresión en el rendimiento. La forma más fácil de implementar Benchmarking Continuo con benchmarks de Criterion es usar Bencher.

¿Qué es Bencher?

Bencher es un conjunto de herramientas de benchmarking continuo. ¿Alguna vez has tenido un impacto de regresión de rendimiento en tus usuarios? Bencher podría haber evitado que eso sucediera. Bencher te permite detectar y prevenir las regresiones de rendimiento antes de que lleguen a producción.

• Ejecutar: Ejecute sus benchmarks localmente o en CI usando sus herramientas de benchmarking favoritas. La CLI bencher simplemente envuelve su arnés de benchmarks existente y almacena sus resultados.
• Seguir: Sigue los resultados de tus benchmarks con el tiempo. Monitoriza, realiza consultas y representa gráficamente los resultados utilizando la consola web de Bencher basándose en la rama de origen, el banco de pruebas y la medida.
• Capturar: Captura las regresiones de rendimiento en CI. Bencher utiliza analíticas de vanguardia y personalizables para detectar regresiones de rendimiento antes de que lleguen a producción.

Por las mismas razones que las pruebas unitarias se ejecutan en CI para prevenir regresiones funcionales, los benchmarks deberían ejecutarse en CI con Bencher para prevenir regresiones de rendimiento. ¡Los errores de rendimiento son errores!

Pasos para Bencher Cloud

1. Crea una cuenta en Bencher Cloud.
2. Crea un token de API y agrégalo a tu CI como un secreto.
3. Crea un flujo de trabajo para tu CI, como GitHub Actions o GitLab CI/CD.
4. Instala el Bencher CLI en tu flujo de trabajo de CI.
5. Ejecuta tus benchmarks con el bencher run subcomando en tu flujo de trabajo de CI usando el adaptador rust_iai.

Pasos para Bencher Self-Hosted

1. Crear una instancia de Bencher Self-Hosted.
2. Crear una cuenta en tu instancia de Bencher Self-Hosted.
3. Crear un token de API y añadirlo a tu CI como un secreto.
4. Crear un flujo de trabajo para tu CI, como GitHub Actions o GitLab CI/CD.
5. Instalar la Bencher CLI en tu flujo de trabajo de CI. Asegúrate de que la versión de la CLI coincide con la versión de tu instancia de Bencher Self-Hosted.
6. Ejecutar tus benchmarks con el bencher run subcomando en tu flujo de trabajo de CI utilizando el rust_iai adaptador y configurando la opción --host a la URL de tu instancia de Bencher Self-Hosted.

🦀 Rust Iai

El adaptador Rust Iai (rust_iai) espera salida de Iai. Las medidas de instructions, l1-accesses, l2-accesses, ram-accesses y estimated-cycles se recopilan. Solo estas medidas (es decir, value) están disponibles. No hay medidas de lower_value y upper_value. Las Medidas para este adaptador no se crean por defecto para todos los proyectos. Sin embargo, cuando usas este adaptador, estas Medidas se crearán automáticamente para tu Proyecto.

bencher run --adapter rust_iai "cargo bench"