bencher runでのテストベッド & Specs

テストベッドとは、レポートを実行する際に使用されるテスト環境の名称です。 bencher run CLIサブコマンドを使用する場合、 --testbed オプションまたは BENCHER_TESTBED 環境変数でテストベッドを選択します。 どちらも指定されていない場合、ホストオペレーティングシステムに基づいて Linux、macOS、または Windows がデフォルトとして使用されます。 bencher CLI が異なるオペレーティングシステム用にコンパイルされている場合は、localhost が使用されます。

テストベッドがベアメタルベンチマーキングに使用される際には、Specが割り当てられます。 ベアメタルベンチマーキング中に --testbed オプションも BENCHER_TESTBED 環境変数も設定されていない場合、Specの名前が使用されます。 レポートが作成されると、その時点でのテストベッドの現在のSpecがレポートに記録されます。 閾値には同じテストベッドとSpecの結果のみが使用されます。 これにより、テストベッドのSpecが時間の経過とともに変更されても、 ベンチマーク結果が基盤となるハードウェアとどのように関連しているかを追跡できます。 --spec オプションを使用してテストベッドのSpecを設定または更新し、 --spec-reset フラグを使用してクリアします。

--testbed <TESTBED>

--testbed オプションまたは BENCHER_TESTBED 環境変数のいずれかを、テストベッドの名前、スラグ、またはUUIDに設定できます。 指定された値が名前またはスラグであり、テストベッドがまだ存在しない場合は、自動的に作成されます。 ただし、指定された値がUUIDの場合は、テストベッドが既に存在している必要があります。 両方が指定されている場合は、--testbed オプションが BENCHER_TESTBED 環境変数より優先されます。 どちらも指定されていない場合は、ホストのオペレーティングシステムに基づいて Linux、macOS、または Windows が使用されます。 bencher CLIが異なるオペレーティングシステム用にコンパイルされている場合、デフォルトのテストベッドとして localhost が使用されます。

--spec <SPEC>

Specのスラグまたは UUID を指定します。 Specは、Runnerが利用できるリソースを記述するハードウェア仕様です:

1. オペレーティングシステム (OS)
   1. Linux
   2. macOS
   3. Windows
2. CPUアーキテクチャ
   1. x86_64
   2. ARM64
3. Sandbox
   1. Firecracker microVM
   2. Sandboxなし
4. CPU数
5. メモリサイズ (RAM)
6. ディスクサイズ
7. ネットワークアクセス

現在、Bencher Cloud では以下の Spec が利用可能です:

Specはサーバースコープまたは組織スコープのいずれかであり、 同じSpecを同じサーバー上の複数のテストベッドまたは同じ組織内で共有できます。

bencher runを使用する際のSpec選択の優先順位は次のとおりです:

1. --spec オプション
2. テストベッドに割り当てられたSpec
3. デフォルトの組織スコープのSpec
4. デフォルトのサーバースコープのSpec

選択されたSpecは現在のテストベッドに割り当てられます。 このオプションには --image オプションの設定が必要です。

--spec-reset

TestbedのSpecをリセットし、ハードウェア仕様を削除します。 実行が送信されると、Testbedに関連付けられたspecがクリアされます。 --testbed オプションが必要です。 --image オプションと競合します。

🐰 おめでとうございます！テストベッド & Specsに関するすべてを学びました！🎉

次へ進む: 閾値 & アラート ➡