Resumen de Benchmarking


La mayor铆a de los resultados de benchmark son ef铆meros. Desaparecen tan pronto como tu terminal alcanza su l铆mite de desplazamiento. Algunos arneses de benchmark te permiten almacenar resultados, pero la mayor铆a solo lo hacen localmente. Bencher te permite rastrear tus benchmarks tanto de tus ejecuciones locales como de las de integraci贸n continua (CI) y comparar contra resultados hist贸ricos.

La forma m谩s f谩cil de rastrear tus benchmarks es la suborden de la l铆nea de comandos bencher run. Envuelve la salida de tu arn茅s de benchmark existente y genera un Informe. Este Informe es entonces enviado al servidor de API de Bencher, donde la salida del arn茅s de benchmark se analiza utilizando un adaptador de arn茅s de benchmark. El adaptador de benchmark detecta todos los Benchmarks que est谩n presentes y sus correspondientes M茅tricas. Estos Benchmarks y M茅tricas son entonces guardados junto con el Informe. Si hay un Umbral establecido, entonces las nuevas M茅tricas se comparan contra las M茅tricas hist贸ricas para cada Benchmark presente en el Informe. Si se detecta una regresi贸n, se generar谩 una Alerta.

A partir de ahora nos referiremos a tus 鈥渂enchmarks鈥 como 鈥減ruebas de regresi贸n de rendimiento鈥 para evitar cualquier confusi贸n.

Benchmarks

Un Benchmark es una prueba de regresi贸n de rendimiento con nombre. Si la prueba de regresi贸n de rendimiento es nueva para Bencher, entonces se crea autom谩ticamente un Benchmark. De lo contrario, el nombre de la prueba de regresi贸n de rendimiento se utiliza como el identificador 煤nico para el Benchmark.

Ten cuidado al cambiar el nombre de tus pruebas de regresi贸n de rendimiento. Necesitar谩s renombrar manualmente el Benchmark en Bencher para que coincida con este nuevo nombre. De lo contrario, la prueba de regresi贸n de rendimiento renombrada se considerar谩 un nuevo Benchmark. Esta misma advertencia tambi茅n se aplica a mover algunas pruebas de regresi贸n de rendimiento. Dependiendo del arn茅s de benchmark, la ruta a la prueba de regresi贸n de rendimiento puede ser parte de su nombre.

La 煤nica excepci贸n a la precauci贸n mencionada es ignorar un Benchmark. Consulta suprimiendo alertas para una visi贸n completa.

M茅tricas

Una M茅trica es un 煤nico resultado de pruebas de regresi贸n de rendimiento en un determinado momento. Se pueden recopilar hasta tres Medidas para una sola M茅trica: value, lower_value, and upper_value. El value es requerido para todas las M茅tricas mientras que lower_value y upper_value son opcionalmente independientes. Cu谩les Medidas se recopilan est谩 determinado por el adaptador del arn茅s de benchmark.

Tipo de M茅trica

Un Tipo de M茅trica es la unidad de medida para una M茅trica. Por defecto todos los Proyectos comienzan con un Tipo de M茅trica Latency y Throughput con unidades de nanosegundos (ns) y operaciones / segundo (ops/s) respectivamente. El Tipo de M茅trica es determinado por el adaptador del arn茅s de benchmark.


Informe

Un Informe es una colecci贸n de Benchmarks y sus M茅tricas para una rama (Branch) y ambiente de pruebas (Testbed) particulares. Los Informes son m谩s a menudo generados utilizando la suborden de la l铆nea de comandos bencher run. Consulta c贸mo rastrear pruebas de regresi贸n de rendimiento para una visi贸n completa.

Rama (Branch)

Una Rama es la ref git utilizada al ejecutar un Informe (es decir, el nombre de la rama o la etiqueta). Por defecto todos los Proyectos comienzan con una Rama main. Cuando se utiliza la suborden de la l铆nea de comandos bencher run, main es la Rama por defecto si no se proporciona una. Consulta selecci贸n de rama para una visi贸n completa.

Ambiente de Pruebas (Testbed)

Un Ambiente de Pruebas es el nombre del entorno de pruebas utilizado al ejecutar un Informe. Por defecto todos los Proyectos comienzan con un Ambiente de Pruebas localhost. Cuando se utiliza la suborden de la l铆nea de comandos bencher run, localhost es el Ambiente de Pruebas por defecto si no se proporciona uno.



馃惏 隆Felicidades! 隆Has aprendido todo sobre rastrear benchmarks pruebas de regresi贸n de rendimiento! 馃帀


Sigue Adelante: Suborden CLI bencher run

馃 Este documento fue generado autom谩ticamente por OpenAI GPT-4. Puede que no sea exacto y contenga errores. Si encuentra alg煤n error, abra un problema en GitHub.