Rust libtest bench ベンチマークをCIで追跡する方法
Everett Pompeii
libtest bench で Rust コードをベンチマークする方法を学んだので、次に、それらのベンチマークをCIで追跡する方法を見てみましょう。 継続的ベンチマークは、パフォーマンスの低下を引き起こさないように、各変更セットでベンチマークを実行するプラクティスです。 libtest benchベンチマークを使用して継続的ベンチマークを実装する最も簡単な方法は、Bencherを使用することです。
Bencherとは?
Bencherは、連続ベンチマーキングツールのスイートです。 パフォーマンスの後退があなたのユーザーに影響を与えたことはありますか? Bencherなら、それが起こるのを防げた可能性があります。 Bencherは、パフォーマンスの低下を_productionに到達する_前に検出し、防止することを可能にします。
- 実行: お気に入りのベンチマーキングツールを使用してベンチマークをローカルまたはCIで実行します。
bencher
CLIは単にあなたの既存のベンチマークハーネスをラップし、その結果を保存します。 - 追跡: ベンチマークの結果を時間と共に追跡します。ソースブランチ、テストベッド、測定基準に基づいてBencherのWebコンソールを使用して結果を監視、クエリ、グラフ化します。
- キャッチ: CIでパフォーマンスの後退をキャッチします。Bencherは最先端のカスタマイズ可能な分析を使用して、パフォーマンスの後退がProductionに到達する前にそれを検出します。
機能の後退を防ぐためにユニットテストがCIで実行されるのと同じ理由で、Bencherを使用してCIでベンチマークを実行してパフォーマンスの後退を防ぐべきです。パフォーマンスのバグはバグです!
Bencher Cloud の手順
- Bencher Cloud アカウントを作成する。
- API トークンを作成し、それを秘密として CI に追加する。
- GitHub Actions や GitLab CI/CD のような CI のワークフローを作成する。
- Bencher CLI をインストールして CI ワークフローに組み込む。
-
CI ワークフロー内で
bencher run
サブコマンドを使ってベンチマークを実行し、rust_bench
アダプターを使用する。
Bencher Self-Hosted の手順
- Bencher Self-Hosted インスタンスを作成します。
- Bencher Self-Hosted インスタンスでアカウントを作成します。
- API トークンを作成し、それをシークレットとして CI に追加します。
- GitHub Actions や GitLab CI/CD など、CI のワークフローを作成します。
- CI ワークフローで Bencher CLI をインストール します。CLI のバージョンが Bencher Self-Hosted インスタンスのバージョンと一致していることを確認してください。
-
次のサブコマンドを使用して CI ワークフローでベンチマークを実行します:
bencher run
rust_bench
アダプターを使用して、--host
オプション を Bencher Self-Hosted インスタンスの URL に設定します。
🦀 Rust Bench
Rust Bench アダプタ (rust_bench
) は libtest bench の出力を想定しています。
latency
測定値(つまり nanoseconds (ns)
)が収集されます。
lower_value
と upper_value
はそれぞれ中央値(つまり value
)より下と上の偏差です。
Track your benchmarks in CI
Have you ever had a performance regression impact your users? Bencher could have prevented that from happening with continuous benchmarking.