Как отслеживать время компиляции Rust в CI

Everett Pompeii

Время компиляции может составлять значительную часть времени сборки, особенно в Rust. Непрерывное бенчмаркинг — это практика запуска бенчмарков на каждом наборе изменений, чтобы убедиться, что изменения не вызывают ухудшения производительности. Вы можете рассматривать время компиляции как бенчмарк и отслеживать его в CI, чтобы обнаруживать медленное время компиляции. Самый простой способ реализовать непрерывный бенчмаркинг для времени компиляции Rust — использовать Bencher.

Что такое Bencher?

Bencher - это набор инструментов для непрерывного тестирования производительности. Когда-нибудь регрессия производительности влияла на ваших пользователей? Bencher мог бы предотвратить это. Bencher позволяет вам обнаруживать и предотвращать регрессии производительности до того, как они будут слиты.

• Запустить: Запустите свои тесты производительности локально или в CI, используя точно те же самые bare metal раннеры и ваши любимые инструменты для тестирования. CLI bencher оркестрирует запуск ваших тестов производительности на bare metal и сохраняет их результаты.
• Отслеживать: Отслеживайте результаты ваших тестов производительности со временем. Мониторите, запрашивайте и строите графики результатов с помощью веб-консоли Bencher на основе ветки исходного кода, испытательного стенда и меры.
• Поймать: Отлавливайте регрессии производительности локально или в CI, используя точно то же самое bare metal оборудование. Bencher использует инструменты аналитики, работающие по последнему слову техники, чтобы обнаружить регрессии производительности, прежде чем они будут слиты.

По тем же причинам, по которым модульные тесты запускаются, чтобы предотвратить регрессии функций, тесты производительности должны быть запущены с Bencher, чтобы предотвратить регрессии производительности. Ошибки производительности – это тоже ошибки!

Шаги для Bencher Cloud

1. Создайте учетную запись Bencher Cloud.
2. Создайте API-токен и добавьте его в ваш CI как секрет.
3. Создайте рабочий процесс для вашего CI, как GitHub Actions или GitLab CI/CD.
4. Установите Bencher CLI в вашем рабочем процессе CI.
5. Скомпилируйте ваш Rust код с помощью подкоманды bencher run в вашем CI процессе, используя флаг --build-time с адаптером json.

Шаги для Bencher Self-Hosted

1. Создайте экземпляр Bencher Self-Hosted.
2. Зарегистрируйте аккаунт на вашем экземпляре Bencher Self-Hosted.
3. Создайте API токен и добавьте его в CI как секрет.
4. Создайте рабочий процесс для вашего CI, например GitHub Actions или GitLab CI/CD.
5. Установите Bencher CLI в ваш CI рабочий процесс. Убедитесь, что версия CLI соответствует версии вашего экземпляра Bencher Self-Hosted.
6. Скомпилируйте ваш Rust код с помощью подкоманды bencher run в вашем CI процессе, используя флаг --build-time с адаптером json и установкой опции --host на URL вашей локальной инстанции Bencher.

⏱️ Build Time

Команда bencher run CLI может быть использована для отслеживания времени сборки (то есть времени компиляции) ваших сборок с помощью флага --build-time. Под капотом, bencher run выводит результаты в формате Bencher Metric Format (BMF) JSON. Поэтому хорошей практикой будет явное использование адаптера json. Для получения дополнительной информации смотрите как отслеживать время сборки.

Собирается измерение build-time (то есть seconds (s)). Доступно только значение времени сборки (то есть value). Ни lower_value, ни upper_value не собираются. Измерение build-time не создается по умолчанию для всех Проектов. Однако, когда вы используете флаг --build-time, это измерение будет автоматически создано для вашего Проекта.

bencher run --build-time --adapter json "cargo build --release"