Формат метрик Bencher (BMF)

Встроенные адаптеры для тестовых стендов преобразуют вывод результатов тестирования в формат JSON формата метрик Bencher (BMF). Пользовательские тестовые стенды должны выводить свои результаты в формате BMF JSON и использовать адаптер json. Смотрите как отслеживать пользовательские бенчмарки для полного обзора.

Пример JSON в формате Bencher Metric Format (BMF)

{
  "benchmark_name": {
    "latency": {
      "value": 88.0,
      "lower_value": 87.42,
      "upper_value": 88.88
    },
    "throughput": {
      "value": 5.55,
      "lower_value": 3.14,
      "upper_value": 6.30
    }
  },
  "/bin/sh -c ./my_build_script.sh": {
    "build-time": {
      "value": 87.0
    }
  },
  "my_binary": {
    "file-size": {
      "value": 42.0
    }
  }
}

В этом примере рассматриваются три Бенчмарка:

JSON схема формата метрик Bencher (BMF)

Это JSON схема для JSON формата метрик Bencher (BMF):

{
  "$id": "https://bencher.dev/bmf.json",
  "$schema": "http://json-schema.org/draft-07/schema",
  "type": "object",
  "patternProperties": {
    ".+": {
      "type": "object",
      "patternProperties": {
        ".+": {
          "type": "object",
          "properties": {
            "value": {
              "type": "number"
            },
            "lower_value": {
              "type": "number"
            },
            "upper_value": {
              "type": "number"
            }
          },
          "required": ["value"]
        }
      }
    }
  }
}

bencher mock

Подкоманда CLI bencher mock используется для генерации макетных JSON-данных в формате Bencher Metric Format (BMF).

--seed <SEED>

Начальное значение (seed) для генератора псевдослучайных чис. Если не указано, будет использовано случайное значение.

--count <COUNT>

Количество макетных бенчмарков, которые нужно сгенерировать.

--measure <MEASURE>

Какую меру использовать для каждого бенчмарка. Можно указать несколько мер, используя опцию --measure несколько раз. По умолчанию используется встроенная мера latency.

--pow <POW>

Степень десяти, используемая для макетных метрик. По умолчанию — 1.

--fail

Завершаться с ошибкой во время выполнения.

--flaky

Периодически давать сбой во время выполнения.

--help

Вывести справку.


Published: Sun, May 12, 2024 at 3:12:00 PM UTC | Last Updated: Sat, November 29, 2025 at 3:12:00 PM UTC