Bare Metal Overview

La plupart des outils de suivi de benchmarks ne vous permettent d’exécuter des benchmarks qu’à partir d’un seul environnement. Soit vous exécutez vos benchmarks localement, soit vous les exécutez en CI. Même s’ils prennent en charge à la fois l’exécution locale et en CI, vous ne pouvez pas comparer les résultats entre les deux.

Bencher Bare Metal vous permet d’avoir le meilleur des deux mondes. Vous pouvez exécuter des benchmarks depuis votre machine locale et les faire exécuter sur du matériel dédié, et vous pouvez également exécuter des benchmarks depuis la CI et les faire exécuter sur le même matériel dédié. Cela vous permet d’avoir un environnement d’exécution de benchmarks cohérent, quel que soit l’endroit où vous exécutez vos benchmarks.

Bencher Bare Metal fonctionne sur du matériel bare metal pour éliminer la variabilité et fournir des résultats de benchmarks plus précis et fiables.

Runner

Un Runner est un exécuteur de benchmarks distant qui fonctionne sur du matériel dédié, bare metal. Le Runner interroge le serveur API de Bencher pour les Jobs en attente en fonction de ses Specs associées. Une fois qu’un Job est réclamé, le Runner récupère l’Image spécifiée pour le Job, décompresse l’Image, exécute la commande de benchmark et renvoie les résultats au serveur API de Bencher. Un seul Job est exécuté à la fois pour garantir que les benchmarks ne sont pas affectés par d’autres charges de travail.

Spec

Une Spec est une spécification matérielle qui décrit les ressources disponibles pour un Runner :

1. Système d’exploitation (OS)
   1. Linux
   2. macOS
   3. Windows
2. Architecture CPU
   1. x86_64
   2. ARM64
3. Sandbox
   1. Firecracker microVM
   2. Pas de Sandbox
4. Nombre de CPU
5. Taille de la mémoire (RAM)
6. Taille du disque
7. Accès réseau

Les Specs ont une portée serveur ou organisation, de sorte que la même Spec peut être partagée entre plusieurs Testbeds sur le même serveur ou au sein de la même organisation respectivement.

L’ordre de priorité pour la sélection de la Spec lors de l’utilisation de bencher run est le suivant :

1. L’option --spec
2. La Spec assignée au Testbed
3. La Spec par défaut au niveau de l’organisation
4. La Spec par défaut au niveau du serveur

La Spec sélectionnée sera alors assignée au Testbed courant.

Sandbox

Un Sandbox est un mécanisme d’isolation qui permet une multi-location sécurisée sur un Runner. Bencher Bare Metal utilise les microVMs Firecracker comme implémentation de Sandbox par défaut. L’exécution sans Sandbox nécessite un Runner Dedicated ou Custom sur Bencher Cloud (contactez le support Bencher Plus pour plus d’informations) ou Bencher Self-Hosted. Lorsqu’un Runner est configuré pour utiliser un Sandbox, chaque Job est exécuté au sein de ce Sandbox. Consultez la documentation du runner pour un aperçu complet.

Job

Un Job suit le cycle de vie d’une demande d’exécution de benchmark à distance. Un délai d’expiration personnalisé peut être demandé par Job avec l’option --job-timeout. Cependant, les délais d’expiration de Job suivants sont toujours appliqués avec les limites de concurrence fournies :

Consultez la documentation du Job pour un aperçu complet.

Image

Une Image est une image de conteneur OCI qui contient votre code de benchmark et ses dépendances. Lorsqu’un Runner exécute un Job, il récupère l’Image, décompresse l’Image et exécute la commande de benchmark spécifiée dans le Job. Consultez la documentation de l’Image pour savoir comment créer une Image pour votre propre projet.

Flux de travail sur matériel dédié

Continuer : Sous-commande CLI bencher run ➡