Cómo Seguir Benchmarks Personalizados con Bencher

Bencher soporta los arneses de evaluación comparativa más populares listos para usar, y siempre estamos abiertos a sugerencias para nuevos adaptadores. Sin embargo, puede haber situaciones en las que un arnés de evaluación comparativa listo para usar no se ajuste a sus necesidades, lo que hace necesaria la creación de un arnés de evaluación comparativa personalizado. Por suerte, Bencher también soporta el uso de un arnés de evaluación comparativa personalizado. La forma más fácil de integrar su arnés de evaluación personalizado con Bencher es producir JSON en el Formato de Métrica de Bencher (BMF).

Este es un ejemplo de BMF JSON:

{
  "benchmark_name": {
    "latency": {
      "value": 88.0,
      "lower_value": 87.42,
      "upper_value": 88.88
    }
  }
}

En este ejemplo, la clave benchmark_name sería el nombre de un Benchmark. Los nombres de Benchmark pueden ser cualquier cadena no vacía de hasta 1024 caracteres. El objeto benchmark_name puede contener múltiples nombres, slugs o UUIDs de Medida como claves. Si el valor especificado es un nombre o slug y la Medida no existe previamente, se creará para usted. Sin embargo, si el valor especificado es un UUID entonces la Medida debe existir previamente. En este ejemplo, latency es el slug para la Medida de Latencia integrada. Cada Proyecto por defecto tiene una Medida de Latencia (es decir latency) y Rendimiento (es decir throughput), que se miden en nanosegundo (ns) y operaciones / segundo (ops/s) respectivamente. El objeto Medida contiene una Métrica con hasta tres valores: value, lower_value y upper_value. Los valores lower_value y upper_value son opcionales.

En este ejemplo, el objeto Medida latency contiene los siguientes valores:

• Un value de 88.0
• Un lower_value de 87.42
• Un upper_value de 88.88

Si tuvieras un script ubicado en ./run/my/benchmarks.sh que ejecutara tus referencias de medición y mostrara los resultados en la salida estándar como JSON de BMF, entonces podrías rastrearlos usando bencher run y el adaptador json con el siguiente comando:

bencher run --adapter json ./run/my/benchmarks.sh

Si sus resultados se almacenaran en un archivo llamado results.json, entonces podría usar la opción --file para especificar la ruta del archivo. Esto funciona tanto con un comando de benchmark como sin uno.

Con un comando de benchmark:

bencher run --file results.json --adapter json ./run/my/benchmarks.sh

Sin un comando de benchmark:

./run/my/benchmarks.sh && bencher run --file results.json --adapter json

🐰 ¡Felicidades! Has aprendido cómo seguir benchmarks personalizados. 🎉

Continúa: Cómo Seguir Benchmarks en CI ➡