Как Требовать Результаты Бенчмарка с Bencher

Большинство результатов тестов кратковременны. Они исчезают, как только ваш терминал достигает предела прокрутки. Некоторые тестовые системы позволяют кэшировать результаты, но большинство делают это только локально. Bencher позволяет отслеживать ваши тесты как с локальных запусков, так и с CI, и сравнивать результаты, при этом используя вашу любимую тестовую систему. У Bencher есть несколько функций, которые облегчают отслеживание ваших локальных результатов тестов, о которых нужно помнить при переходе на отслеживание тестов в CI.

unclaimed проекты

Bencher позволяет отслеживать результаты тестов производительности без создания учетной записи. Когда вы вызываете подкоманду CLI bencher run без выбора опции --token, Bencher создаст новый unclaimed проект на лету для ваших результатов бенчмарков. Если вы следовали инструкциям из руководств Краткое руководство или Краткое руководство для самостоятельного размещения, то вы уже использовали эту функциональность.

Любой может просматривать и добавлять результаты тестов производительности в unclaimed проект. Чтобы авторизовать unclaimed проект, вам нужно создать учетную запись. Если вы перейдете по ссылке Claim this project в конце вашего вывода bencher run, проект будет автоматически авторизован при создании вашей учетной записи.

Если у вас уже есть учетная запись Bencher, вы можете перейти на публичную страницу производительности проекта и нажать кнопку Claim this project в верхней части страницы. Аналогично, если у вас уже есть API токен, вы можете использовать его с опцией --token при следующем вызове bencher run, чтобы авторизовать проект.

🐰 ВАЖНО: Как только проект будет claimed, в него нельзя будет добавлять информацию анонимно. Вы должны использовать API токен с опцией --token.

Создание API токена

Для использования bencher run подкоманды CLI с опцией --token, вам необходимо создать API токен.

Кликните, чтобы добавить API токен

Шаги:

1. Перейдите в Bencher Console.
2. Наведите курсор на ваше имя в правом верхнем углу.
3. Должно появиться выпадающее меню. Выберите Tokens.
4. На странице API Tokens нажмите кнопку ➕ Add.

Проекты на лету

Bencher позволяет создавать проекты как с claimed, так и с unclaimed статусом на лету. Когда вы вызываете подкоманду CLI bencher run без установки опции --project или если указанный идентификатор не соответствует существующему проекту, Bencher создаст новый проект на лету для ваших результатов тестирования производительности. Если вы следовали руководствам Быстрый старт или Самостоятельно размещенный быстрый старт, вы уже использовали эту функциональность.

Если опция --project не указана, для вас будет сгенерирован идентификатор проекта на лету на основе:

1. Названия родительского каталога для репозитория git, если он доступен.
2. 7-значного шестнадцатеричного короткого хэша для начального коммита репозитория git, если он доступен.
3. 13-значного буквенно-цифрового отпечатка локальной машины для поддерживаемых операционных систем.

Например, сгенерированный идентификатор проекта на лету может выглядеть так: project-abc4567-wxyz123456789

🐰 ВАЖНО: Если вы полагаетесь на идентификатор проекта на лету и хотите отслеживать результаты тестов производительности на разных машинах, вы должны использовать опцию --project для указания идентификатора проекта. В противном случае, для каждой новой машины может быть создан новый проект на лету.

🐰 Поздравляем! Вы узнали, как требовать результаты бенчмарка! 🎉

Продолжайте: Отслеживание Бенчмарков в CI ➡