Испытательные платформы & Specs с использованием bencher run

Испытательная платформа — это название тестовой среды, используемой при запуске отчета. При использовании подкоманды CLI bencher run выберите испытательную платформу с помощью опции --testbed или переменной окружения BENCHER_TESTBED. Если ни одна из них не указана, по умолчанию используется Linux, macOS или Windows в зависимости от операционной системы хоста. Если CLI bencher был скомпилирован для другой операционной системы, то используется localhost.

Испытательной платформе назначается Spec, когда она используется для бенчмаркинга на выделенном оборудовании. Если при бенчмаркинге на выделенном оборудовании не заданы ни опция --testbed, ни переменная окружения BENCHER_TESTBED, то используется имя Spec. При создании отчета текущая Spec испытательной платформы на этот момент записывается вместе с отчетом. Для пороговых значений используются только результаты с одной и той же испытательной платформы и Spec. Это позволяет отслеживать, как результаты бенчмарков соотносятся с базовым оборудованием, даже если Spec испытательной платформы меняется со временем. Используйте опцию --spec, чтобы задать или обновить Spec испытательной платформы, или флаг --spec-reset, чтобы очистить её.

--testbed <TESTBED>


Либо опция --testbed, либо переменная окружения BENCHER_TESTBED могут быть установлены в имя, слаг или UUID для Тестового стенда. Если указанное значение — имя или слаг, и Тестовый стенд еще не существует, он будет создан для вас. Однако, если указанное значение — UUID, то Тестовый стенд должен уже существовать. Если указаны оба варианта, опция --testbed имеет приоритет над переменной окружения BENCHER_TESTBED. Если ни один из них не указан, то используются Linux, macOS или Windows, в зависимости от операционной системы хоста. Если bencher CLI был скомпилирован для другой операционной системы, тогда по умолчанию используется localhost в качестве Тестового стенда.

--spec <SPEC>


Укажите слаг или UUID для Spec. Spec — это аппаратная спецификация, описывающая ресурсы, доступные Runner:

  1. Операционная система (ОС)
    1. Linux
    2. macOS
    3. Windows
  2. Архитектура процессора
    1. x86_64
    2. ARM64
  3. Sandbox
    1. Firecracker microVM
    2. Без Sandbox
  4. Количество ядер процессора
  5. Объём памяти (RAM)
  6. Размер диска
  7. Доступ к сети

В настоящее время в Bencher Cloud доступны следующие Spec:

ИмяSlugОСАрхитектураSandboxCPUПамятьДискСеть
Intel v1intel-v1Linuxx86_64Firecracker microVM448.0 GiB128.0 GiBНет

Spec бывают либо на уровне сервера, либо на уровне организации, поэтому одну и ту же Spec можно использовать совместно на нескольких испытательных платформах одного сервера или в пределах одной организации соответственно.

Порядок приоритета при выборе Spec во время использования bencher run следующий:

  1. Опция --spec
  2. Spec, назначенная испытательной платформе
  3. Spec по умолчанию на уровне организации
  4. Spec по умолчанию на уровне сервера

Выбранная Spec будет назначена текущей испытательной платформе. Для этой опции требуется, чтобы была установлена опция --image.

--spec-reset


Сбрасывает Spec Testbed, удаляя аппаратную спецификацию. Это очищает spec, связанную с Testbed, при отправке запуска. Требуется опция --testbed. Конфликтует с опцией --image.


🐰 Поздравляем! Вы узнали все о Испытательных платформах & Specs! 🎉


Продолжайте изучение материал: Пороговые значения и уведомления ➡

🤖 Этот документ был автоматически переведён с помощью ИИ. Он может быть неточным и содержать ошибки. Если вы обнаружите какие-либо ошибки, откройте проблему на GitHub.

Published: Fri, April 10, 2026 at 6:00:00 AM UTC