Testumgebungen & Specs mit bencher run
Eine Testumgebung ist der Name der Testumgebung, die beim Ausführen eines Berichts verwendet wird.
Bei Verwendung des bencher run CLI-Unterbefehls
wählen Sie eine Testumgebung mit der Option --testbed oder der Umgebungsvariablen BENCHER_TESTBED aus.
Wenn keine von beiden angegeben ist, wird Linux, macOS oder Windows basierend auf dem Host-Betriebssystem als Standard verwendet.
Wenn das bencher CLI für ein anderes Betriebssystem kompiliert wurde, wird localhost verwendet.
Einer Testumgebung wird eine Spec zugewiesen, wenn sie für Bare-Metal-Benchmarking verwendet wird.
Wenn beim Bare-Metal-Benchmarking weder die Option --testbed noch die Umgebungsvariable BENCHER_TESTBED gesetzt sind, wird der Name der Spec verwendet.
Wenn ein Bericht erstellt wird, wird die aktuelle Spec der Testumgebung zu diesem Zeitpunkt mit dem Bericht aufgezeichnet.
Für Schwellenwerte werden nur Ergebnisse derselben Testumgebung und Spec verwendet.
So können Sie nachverfolgen, wie Benchmark-Ergebnisse mit der zugrunde liegenden Hardware zusammenhängen,
auch wenn sich die Spec der Testumgebung im Laufe der Zeit ändert.
Verwenden Sie die Option --spec, um die Spec einer Testumgebung festzulegen oder zu aktualisieren,
oder das Flag --spec-reset, um sie zu löschen.
--testbed <TESTBED>
Entweder die Option --testbed oder die Umgebungsvariable BENCHER_TESTBED kann auf den Namen, den Slug oder die UUID für ein Testbed gesetzt werden. Wenn der angegebene Wert ein Name oder Slug ist und das Testbed noch nicht existiert, wird es für Sie erstellt. Wenn der angegebene Wert jedoch eine UUID ist, muss das Testbed bereits existieren. Wenn beide angegeben sind, hat die --testbed Option Vorrang vor der Umgebungsvariable BENCHER_TESTBED. Wenn keiner angegeben ist, wird Linux, macOS oder Windows verwendet, abhängig vom Host-Betriebssystem. Wenn das bencher CLI für ein anderes Betriebssystem kompiliert wurde, wird localhost als Standard-Testbed verwendet.
--spec <SPEC>
Geben Sie den Slug oder die UUID einer Spec an. Eine Spec ist eine Hardware-Spezifikation, die die Ressourcen beschreibt, die einem Runner zur Verfügung stehen:
- Betriebssystem (OS)
- Linux
- macOS
- Windows
- CPU-Architektur
- x86_64
- ARM64
- Sandbox
- Firecracker microVM
- Keine Sandbox
- CPU-Anzahl
- Speichergröße (RAM)
- Festplattengröße
- Netzwerkzugriff
Die folgenden Specs sind derzeit in Bencher Cloud verfügbar:
| Name | Slug | OS | Architektur | Sandbox | CPU | Speicher | Festplatte | Netzwerk |
|---|---|---|---|---|---|---|---|---|
| Intel v1 | intel-v1 | Linux | x86_64 | Firecracker microVM | 4 | 48.0 GiB | 128.0 GiB | Nein |
Specs sind entweder serverweit oder organisationsweit, sodass dieselbe Spec von mehreren Testumgebungen auf demselben Server bzw. innerhalb derselben Organisation gemeinsam genutzt werden kann.
Die Auswahlreihenfolge der Spec bei der Verwendung von bencher run lautet wie folgt:
- Die Option
--spec - Die der Testumgebung zugewiesene Spec
- Die organisationsweite Standard-Spec
- Die serverweite Standard-Spec
Die ausgewählte Spec wird dann der aktuellen Testumgebung zugewiesen.
Diese Option erfordert, dass die Option --image gesetzt ist.
--spec-reset
Setzt die Testbed-Spec zurück und entfernt die Hardwarespezifikation.
Dies löscht die mit dem Testbed verknüpfte spec, wenn der Lauf übermittelt wird.
Erfordert die --testbed-Option.
Steht in Konflikt mit der --image-Option.
🐰 Glückwunsch! Sie haben alles über Testumgebungen & Specs gelernt! 🎉