Формат метрик Bencher (BMF)


Встроенные адаптеры для тестовых стендов преобразуют вывод результатов тестирования в формат JSON формата метрик Bencher (BMF). Пользовательские тестовые стенды должны выводить свои результаты в формате BMF JSON и использовать адаптер json. Смотрите как отслеживать пользовательские бенчмарки для полного обзора.

JSON схема формата метрик Bencher (BMF)

Это JSON схема для JSON формата метрик Bencher (BMF):

{
"$id": "https://bencher.dev/bmf.json",
"$schema": "http://json-schema.org/draft-07/schema",
"type": "object",
"patternProperties": {
".+": {
"type": "object",
"patternProperties": {
".+": {
"type": "object",
"properties": {
"value": {
"type": "number"
},
"lower_value": {
"type": "number"
},
"upper_value": {
"type": "number"
}
},
"required": ["value"]
}
}
}
}
}

bencher mock

Подкоманда CLI bencher mock используется для генерации тестовых данных в формате Bencher Metric Format (BMF) в формате JSON.

--count <COUNT>

Количество тестовых Бенчмарков для генерации.

--measure <MEASURE>

Измерение, которое будет использоваться для каждого Бенчмарка. Можно указать несколько Измерений, используя параметр --measure несколько раз. По умолчанию используется встроенное Измерение latency.

--pow <POW>

Степень 10, используемая для тестовых Метрик. По умолчанию значение — 1.

--fail

Выполнение с ошибкой.

--flaky

Случайные сбои во время выполнения.

--help

Вывести сообщение помощи.



Published: Sun, May 12, 2024 at 3:12:00 PM UTC