Cómo rastrear benchmarks personalizados de Rust en CI

Everett Pompeii

Ahora que has aprendido cómo construir un arnés de benchmarking personalizado en Rust, veamos cómo rastrear esos benchmarks en CI. Benchmarking Continuo es la práctica de ejecutar benchmarks en cada conjunto de cambios para asegurar que los cambios no introduzcan una regresión en el rendimiento. La forma más fácil de implementar Benchmarking Continuo con benchmarks de personalizado es usar Bencher.

¿Qué es Bencher?

Bencher es un conjunto de herramientas de benchmarking continuo. ¿Alguna vez has tenido un impacto de regresión de rendimiento en tus usuarios? Bencher podría haber evitado que eso sucediera. Bencher te permite detectar y prevenir las regresiones de rendimiento antes de que se fusionen.

• Ejecutar: Ejecute sus benchmarks localmente o en CI usando exactamente los mismos runners bare metal y sus herramientas de benchmarking favoritas. La CLI bencher orquesta la ejecución de sus benchmarks en bare metal y almacena sus resultados.
• Seguir: Sigue los resultados de tus benchmarks con el tiempo. Monitoriza, realiza consultas y representa gráficamente los resultados utilizando la consola web de Bencher basándose en la rama de origen, el banco de pruebas y la medida.
• Capturar: Captura las regresiones de rendimiento localmente o en CI usando exactamente el mismo hardware bare metal. Bencher utiliza analíticas de vanguardia y personalizables para detectar regresiones de rendimiento antes de que se fusionen.

Por las mismas razones que las pruebas unitarias se ejecutan para prevenir regresiones funcionales, los benchmarks deberían ejecutarse con Bencher para prevenir regresiones de rendimiento. ¡Los errores de rendimiento son errores!

Pasos para Bencher Cloud

1. Crea una cuenta en Bencher Cloud.
2. Crea un token de API y agrégalo a tu CI como un secreto.
3. Crea un flujo de trabajo para tu CI, como GitHub Actions o GitLab CI/CD.
4. Instala el Bencher CLI en tu flujo de trabajo de CI.
5. Ejecuta tus benchmarks con el bencher run subcomando en tu flujo de trabajo de CI usando el adaptador json.

Pasos para Bencher Self-Hosted

1. Crear una instancia de Bencher Self-Hosted.
2. Crear una cuenta en tu instancia de Bencher Self-Hosted.
3. Crear un token de API y añadirlo a tu CI como un secreto.
4. Crear un flujo de trabajo para tu CI, como GitHub Actions o GitLab CI/CD.
5. Instalar la Bencher CLI en tu flujo de trabajo de CI. Asegúrate de que la versión de la CLI coincide con la versión de tu instancia de Bencher Self-Hosted.
6. Ejecutar tus benchmarks con el bencher run subcomando en tu flujo de trabajo de CI utilizando el json adaptador y configurando la opción --host a la URL de tu instancia de Bencher Self-Hosted.

{…} JSON

El adaptador JSON (json) espera Bencher Metric Format (BMF) JSON. Es perfecto para integrar arneses de referencia personalizados con Bencher. Para más detalles vea cómo rastrear referencias personalizadas y la referencia BMF JSON.

bencher run --adapter json "cargo bench"