Bancos de Pruebas & Specs con bencher run

Un banco de pruebas es el nombre del entorno de pruebas utilizado al ejecutar un informe. Al usar el subcomando de CLI bencher run, selecciona un banco de pruebas con la opción --testbed o la variable de entorno BENCHER_TESTBED. Si no se especifica ninguno, se utiliza Linux, macOS o Windows como predeterminado según el sistema operativo del host. Si el CLI bencher ha sido compilado para un sistema operativo diferente, entonces se utiliza localhost.

A un banco de pruebas se le asignará una Spec cuando se use para benchmarking en hardware dedicado. Si ni la opción --testbed ni la variable de entorno BENCHER_TESTBED están configuradas durante el benchmarking en hardware dedicado, entonces se usa el nombre de la Spec. Cuando se crea un informe, la Spec actual del banco de pruebas en ese momento se registra con el informe. Solo los resultados del mismo banco de pruebas y Spec se usan para los Umbrales. Esto permite rastrear cómo los resultados de los benchmarks se relacionan con el hardware subyacente, incluso si la Spec del banco de pruebas cambia con el tiempo. Usa la opción --spec para establecer o actualizar la Spec de un banco de pruebas, o el indicador --spec-reset para borrarla.

--testbed <TESTBED>

Se puede establecer la opción --testbed o la variable de entorno BENCHER_TESTBED al nombre, slug o UUID de un Testbed. Si el valor especificado es un nombre o slug y el Testbed no existe ya, se creará para usted. Sin embargo, si el valor especificado es un UUID, entonces el Testbed debe existir ya. Si ambos son especificados, la opción --testbed tiene prioridad sobre la variable de entorno BENCHER_TESTBED. Si ninguno es especificado, entonces se usa Linux, macOS o Windows, basado en el sistema operativo del host. Si el CLI de bencher ha sido compilado para un sistema operativo diferente, entonces se usa localhost como el Testbed predeterminado.

--spec <SPEC>

Especifique el slug o UUID de una Spec. Una Spec es una especificación de hardware que describe los recursos disponibles para un Runner:

1. Sistema Operativo (SO)
   1. Linux
   2. macOS
   3. Windows
2. Arquitectura de CPU
   1. x86_64
   2. ARM64
3. Sandbox
   1. Firecracker microVM
   2. Sin Sandbox
4. Cantidad de CPU
5. Tamaño de memoria (RAM)
6. Tamaño de disco
7. Acceso a la red

Las siguientes Specs están actualmente disponibles en Bencher Cloud:

Las Specs tienen alcance de servidor o alcance de organización, de modo que la misma Spec puede compartirse entre varios bancos de pruebas en el mismo servidor o dentro de la misma organización, respectivamente.

El orden de precedencia para seleccionar la Spec al usar bencher run es el siguiente:

1. La opción --spec
2. La Spec asignada al banco de pruebas
3. La Spec predeterminada con alcance de organización
4. La Spec predeterminada con alcance de servidor

La Spec seleccionada será asignada al banco de pruebas actual. Esta opción requiere que la opción --image esté configurada.

--spec-reset

Restablece la Spec del Testbed, eliminando su especificación de hardware. Esto borra la spec asociada al Testbed cuando se envía la ejecución. Requiere la opción --testbed. Entra en conflicto con la opción --image.

🐰 ¡Felicidades! Has aprendido todo sobre Bancos de Pruebas & Specs. 🎉

Continúa: Umbrales y Alertas ➡