Как Требовать Результаты Бенчмарка с Bencher

Большинство результатов тестов кратковременны. Они исчезают, как только ваш терминал достигает предела прокрутки. Некоторые тестовые системы позволяют кэшировать результаты, но большинство делают это только локально. Bencher позволяет отслеживать ваши тесты как с локальных запусков, так и с CI, и сравнивать результаты, при этом используя вашу любимую тестовую систему. У Bencher есть несколько функций, которые облегчают отслеживание ваших локальных результатов тестов, о которых нужно помнить при переходе на отслеживание тестов в CI.

unclaimed проекты

Bencher позволяет отслеживать результаты тестов производительности без создания учетной записи. Когда вы вызываете подкоманду CLI bencher run без выбора опции --token, Bencher создаст новый unclaimed проект на лету для ваших результатов бенчмарков. Если вы следовали инструкциям из руководств Краткое руководство или Краткое руководство для самостоятельного размещения, то вы уже использовали эту функциональность.

Любой может просматривать и добавлять результаты тестов производительности в unclaimed проект. Чтобы авторизовать unclaimed проект, вам нужно создать учетную запись. Если вы перейдете по ссылке Claim this project в конце вашего вывода bencher run, проект будет автоматически авторизован при создании вашей учетной записи.

Если у вас уже есть учетная запись Bencher, вы можете перейти на публичную страницу производительности проекта и нажать кнопку Claim this project в верхней части страницы. Аналогично, если у вас уже есть API токен, вы можете использовать его с опцией --token при следующем вызове bencher run, чтобы авторизовать проект.

🐰 ВАЖНО: Как только проект будет claimed, в него нельзя будет добавлять информацию анонимно. Вы должны использовать API токен с опцией --token.

Создание API токена

Для использования bencher run подкоманды CLI с опцией --token, вам необходимо создать API токен.

Кликните, чтобы добавить API токен

Шаги:

1. Перейдите в Bencher Console.
2. Наведите курсор на ваше имя в правом верхнем углу.
3. Должно появиться выпадающее меню. Выберите Tokens.
4. На странице API Tokens нажмите кнопку ➕ Add.

Проекты, создаваемые на лету

Bencher позволяет создавать как claimed, так и unclaimed проекты на лету. Когда вы вызываете bencher run подкоманду CLI без указания опции --project или если указанный slug не соответствует существующему проекту, Bencher создаст новый проект на лету для ваших результатов бенчмарков. Если вы следовали Быстрому старту или Быстрому старту (Self-Hosted), вы использовали эту функциональность.

Если опция --project не указана, то slug проекта на лету будет сгенерирован на основе:

1. Названия родительской директории для git-репозитория, если оно доступно.
2. 7-значного шестнадцатеричного короткого хэша (short hash) для первого коммита git-репозитория, если он доступен.
3. 13-символьного буквенно-цифрового отпечатка локальной машины для поддерживаемых операционных систем.

Например, сгенерированный slug проекта на лету может выглядеть так: project-abc4567-wxyz123456789

Если вы полагаетесь на slug проекта на лету и хотите отслеживать результаты бенчмарков на разных машинах, вы обязательно должны использовать опцию --project, чтобы указать проект. В противном случае для каждой машины может быть создан новый проект на лету.

🐰 ВАЖНО: Если переменная окружения CI установлена в true, то вам либо нужно использовать опцию --project, чтобы указать проект, либо установить флаг --ci-on-the-fly.

🐰 Поздравляем! Вы узнали, как требовать результаты бенчмарка! 🎉

Продолжайте: Отслеживание Бенчмарков в CI ➡