Bancs d'essai & Specs avec bencher run
Un banc d’essai est le nom de l’environnement de test utilisé lors de l’exécution d’un rapport.
Lors de l’utilisation de la sous-commande CLI bencher run,
sélectionnez un banc d’essai avec l’option --testbed ou la variable d’environnement BENCHER_TESTBED.
Si aucun n’est spécifié, Linux, macOS ou Windows est utilisé par défaut en fonction du système d’exploitation hôte.
Si la CLI bencher a été compilée pour un système d’exploitation différent, alors localhost est utilisé.
Un banc d’essai se voit attribuer une Spec lorsqu’il est utilisé pour du benchmarking sur matériel dédié.
Si ni l’option --testbed ni la variable d’environnement BENCHER_TESTBED ne sont définies pendant le benchmarking sur matériel dédié, alors le nom de la Spec est utilisé.
Lorsqu’un rapport est créé, la Spec actuelle du banc d’essai à ce moment est enregistrée avec le rapport.
Seuls les résultats du même banc d’essai et de la même Spec sont utilisés pour les Seuils.
Cela vous permet de suivre comment les résultats des benchmarks sont liés au matériel sous-jacent,
même si la Spec du banc d’essai change au fil du temps.
Utilisez l’option --spec pour définir ou mettre à jour la Spec d’un banc d’essai,
ou le drapeau --spec-reset pour la réinitialiser.
--testbed <TESTBED>
Soit l’option --testbed, soit la variable d’environnement BENCHER_TESTBED
peut être définie sur le nom, le slug ou l’UUID d’un Testbed.
Si la valeur spécifiée est un nom ou un slug et que le Testbed n’existe pas déjà, il sera créé pour vous.
Cependant, si la valeur spécifiée est un UUID, alors le Testbed doit déjà exister.
Si les deux sont spécifiés, l’option --testbed prévaut sur la variable d’environnement BENCHER_TESTBED.
Si aucun n’est spécifié, alors Linux, macOS, ou Windows est utilisé,
en fonction du système d’exploitation hôte.
Si le CLI bencher a été compilé pour un système d’exploitation différent,
alors localhost est utilisé comme Testbed par défaut.
--spec <SPEC>
Spécifiez le slug ou l’UUID d’une Spec. Une Spec est une spécification matérielle qui décrit les ressources disponibles pour un Runner :
- Système d’exploitation (OS)
- Linux
- macOS
- Windows
- Architecture CPU
- x86_64
- ARM64
- Sandbox
- Firecracker microVM
- Pas de Sandbox
- Nombre de CPU
- Taille de la mémoire (RAM)
- Taille du disque
- Accès réseau
Les Specs suivantes sont actuellement disponibles sur Bencher Cloud :
| Nom | Slug | OS | Architecture | Sandbox | CPU | Mémoire | Disque | Réseau |
|---|---|---|---|---|---|---|---|---|
| Intel v1 | intel-v1 | Linux | x86_64 | Firecracker microVM | 4 | 48.0 GiB | 128.0 GiB | Non |
Les Specs ont soit une portée serveur, soit une portée organisation, de sorte que la même Spec peut être partagée entre plusieurs bancs d’essai sur le même serveur ou au sein de la même organisation, respectivement.
L’ordre de priorité pour la sélection de la Spec lors de l’utilisation de bencher run est le suivant :
- L’option
--spec - La Spec attribuée au banc d’essai
- La Spec par défaut à portée organisation
- La Spec par défaut à portée serveur
La Spec sélectionnée sera ensuite attribuée au banc d’essai actuel.
Cette option nécessite que l’option --image soit définie.
--spec-reset
Réinitialise la Spec du Testbed, supprimant sa spécification matérielle.
Cela efface la spec associée au Testbed lors de la soumission de l’exécution.
Requiert l’option --testbed.
Entre en conflit avec l’option --image.
🐰 Félicitations ! Vous avez appris tout ce qu’il faut savoir sur les Bancs d’essai & Specs ! 🎉