Démarrage Rapide

Qu’est-ce que Bencher?

Bencher est une suite d’outils de benchmarking continu. Avez-vous déjà eu une régression de performance qui a impacté vos utilisateurs ? Bencher aurait pu empêcher cela de se produire. Bencher vous permet de détecter et de prévenir les régressions de performance avant qu’elles n’arrivent en production.

• Exécuter: Exécutez vos benchmarks localement ou en CI en utilisant vos outils de benchmarking préférés. La CLI bencher enveloppe simplement votre harnais de benchmarking existant et stocke ses résultats.
• Suivre: Suivez les résultats de vos benchmarks au fil du temps. Surveillez, interrogez et graphiquez les résultats à l’aide de la console web Bencher en fonction de la branche source, du banc d’essai et de la mesure.
• Détecter: Détectez les régressions de performances en CI. Bencher utilise des analyses de pointe et personnalisables pour détecter les régressions de performances avant qu’elles n’arrivent en production.

Pour les mêmes raisons que les tests unitaires sont exécutés en CI pour prévenir les régressions de fonctionnalités, les benchmarks devraient être exécutés en CI avec Bencher pour prévenir les régressions de performance. Les bugs de performance sont des bugs !

Installer le CLI bencher

Linux, Mac, & Unix

Pour Linux, Mac, et autres systèmes de type Unix, exécutez ce qui suit dans votre terminal :

curl --proto '=https' --tlsv1.2 -sSfL https://bencher.dev/download/install-cli.sh | sh

Windows

Pour les systèmes Windows, exécutez ce qui suit dans un terminal PowerShell :

irm https://bencher.dev/download/install-cli.ps1 | iex

🐰 Si vous recevez une erreur qui dit running scripts is disabled on this system:

• Ouvrez Powershell en utilisant Exécuter en tant qu'administrateur
• Exécutez: Set-ExecutionPolicy -ExecutionPolicy RemoteSigned
• Tapez: Y
• Réexécutez ce script

Pour des options d’installation supplémentaires, consultez comment installer le CLI bencher.

Maintenant, testons si nous avons installé le CLI bencher.

Exécutez : bencher --version

Vous devriez voir :

$ bencher --version
bencher 0.3.26

Créez un Compte Bencher Cloud

Bencher est open source et auto-hébergé. Si vous êtes intéressé par l’auto-hébergement, consultez le tutoriel Docker Bencher. Pour ce tutoriel cependant, nous allons utiliser Bencher Cloud.

Inscrivez-vous à Bencher Cloud

Une fois que vous avez créé un compte, vous devrez confirmer votre adresse électronique. Vérifiez dans vos emails pour un lien de confirmation. Après cela, vous devriez être connecté à Bencher Cloud.

Créer un jeton API

Pour utiliser l’API Bencher, vous devrez créer un jeton API. Allez à la console Bencher. Passez votre souris sur votre nom dans le coin supérieur droit. Un menu déroulant devrait apparaître. Sélectionnez Tokens. Une fois sur la page des jetons API, cliquez sur le bouton ➕ Ajouter.

Ajouter un jeton API

Une fois que vous avez créé votre nouveau jeton API, vous devrez le copier dans votre presse-papiers. Dans le terminal dans lequel vous prévoyez de travailler, exportez le jeton API comme une variable d’environnement.

Sur Linux, Mac et autres systèmes de type Unix, lancez : export BENCHER_API_TOKEN=YOUR_TOKEN

Sur Windows, lancez : $env:BENCHER_API_TOKEN = "YOUR_TOKEN"

Si vous exécutez ensuite echo $BENCHER_API_TOKEN ou Write-Output $env:BENCHER_API_TOKEN respectivement.

Vous devriez voir :

$ echo $BENCHER_API_TOKEN
YOUR_TOKEN

🐰 Note : Si vous passez à un autre terminal, vous devrez exporter à nouveau le jeton API.

Créez un Projet

Maintenant que nous avons un compte d’utilisateur et un jeton API, nous pouvons créer un Projet. D’abord, nous devons savoir à quelle organisation notre nouveau projet appartiendra.

Exécutez: bencher org list

Vous devriez voir quelque chose comme:

$ bencher org list
[
  {
    "name": "Saul Goodman",
    "slug": "saul-goodman",
    "uuid": "4581feb0-6cac-40a9-bd8a-d7865183b01e"
    "created": "2022-07-06T11:24:36Z",
    "modified": "2022-07-06T11:24:36Z"
  }
]

Votre sortie devrait être légèrement différente de celle-ci:

• Le uuid est pseudorandom
• Le name et slug seront basés sur votre nom d’utilisateur
• Les horodatages created et modified seront ceux de votre inscription récente

Nous pouvons maintenant créer un nouveau Projet à l’intérieur de votre Organisation. Substituez le slug de votre Organisation à l’argument organization (ie YOUR_ORG_SLUG) dans la commande ci-dessous.

Exécuter: bencher project create YOUR_ORG_SLUG --name "Save Walter White" --url http://www.savewalterwhite.com

Vous devriez voir quelque chose comme:

$ bencher project create saul-goodman --name "Save Walter White" --url http://www.savewalterwhite.com
{
  "organization": "4581feb0-6cac-40a9-bd8a-d7865183b01e",
  "name": "Save Walter White",
  "slug": "save-walter-white-1234abcd",
  "uuid": "c6c2a8e8-685e-4413-9a19-5b79053a71b1"
  "url": "http://www.savewalterwhite.com",
  "public": true,
  "created": "2022-07-06T11:36:24Z",
  "modified": "2022-07-06T11:36:24Z"
}

Encore une fois, votre sortie devrait être légèrement différente que celle-ci. Il est juste important que cette commande fonctionne. Prenez note du champ slug du Projet (ie save-walter-white-1234abcd).

Exécutez un Rapport

Nous sommes enfin prêts à collecter quelques mesures de benchmark! Pour des raisons de simplicité, nous utiliserons des données fictives dans ce tutoriel.

Exécutez: bencher mock

Vous devriez voir quelque chose comme:

$ bencher mock
{
  "bencher::mock_0": {
    "latency": {
      "value": 3.7865423396154463,
      "lower_value": 3.4078881056539014,
      "upper_value": 4.165196573576991
    }
  },
  "bencher::mock_1": {
    "latency": {
      "value": 16.398332128878437,
      "lower_value": 14.758498915990593,
      "upper_value": 18.03816534176628
    }
  },
  "bencher::mock_2": {
    "latency": {
      "value": 20.88091359871672,
      "lower_value": 18.792822238845048,
      "upper_value": 22.969004958588393
    }
  },
  "bencher::mock_3": {
    "latency": {
      "value": 33.88103801203782,
      "lower_value": 30.492934210834036,
      "upper_value": 37.2691418132416
    }
  },
  "bencher::mock_4": {
    "latency": {
      "value": 40.90515638867921,
      "lower_value": 36.81464074981129,
      "upper_value": 44.99567202754713
    }
  }
}

Votre sortie devrait être légèrement différente de celle-ci, car les données sont pseudorandom. Il est juste important que cette commande fonctionne.

Maintenant, exécutons un rapport en utilisant des données fictives de mesures de benchmark. Substituez votre slug de Projet à l’argument --project (ie YOUR_PROJECT_SLUG) dans la commande ci-dessous.

Exécutez: bencher run --project YOUR_PROJECT_SLUG "bencher mock"

Vous devriez voir quelque chose comme:

$ bencher run save-walter-white-1234abcd "bencher mock"
{
  "bencher::mock_0": {
    "latency": {
      "value": 0.15496641529475275,
      "lower_value": 0.13946977376527747,
      "upper_value": 0.17046305682422802
    }
  },
  "bencher::mock_1": {
    "latency": {
      "value": 18.648298578180437,
      "lower_value": 16.783468720362393,
      "upper_value": 20.513128435998482
    }
  },
  "bencher::mock_2": {
    "latency": {
      "value": 28.20328182167366,
      "lower_value": 25.382953639506294,
      "upper_value": 31.023610003841025
    }
  },
  "bencher::mock_3": {
    "latency": {
      "value": 34.45732560787596,
      "lower_value": 31.01159304708836,
      "upper_value": 37.903058168663556
    }
  },
  "bencher::mock_4": {
    "latency": {
      "value": 44.9237520767597,
      "lower_value": 40.43137686908373,
      "upper_value": 49.41612728443567
    }
  }
}

{
  "branch": "master",
  "end_time": "2023-07-18T14:21:27.796871Z",
  "results": [
    "{\n  \"bencher::mock_0\": {\n    \"latency\": {\n      \"value\": 0.15496641529475275,\n      \"lower_value\": 0.13946977376527747,\n      \"upper_value\": 0.17046305682422802\n    }\n  },\n  \"bencher::mock_1\": {\n    \"latency\": {\n      \"value\": 18.648298578180437,\n      \"lower_value\": 16.783468720362393,\n      \"upper_value\": 20.513128435998482\n    }\n  },\n  \"bencher::mock_2\": {\n    \"latency\": {\n      \"value\": 28.20328182167366,\n      \"lower_value\": 25.382953639506294,\n      \"upper_value\": 31.023610003841025\n    }\n  },\n  \"bencher::mock_3\": {\n    \"latency\": {\n      \"value\": 34.45732560787596,\n      \"lower_value\": 31.01159304708836,\n      \"upper_value\": 37.903058168663556\n    }\n  },\n  \"bencher::mock_4\": {\n    \"latency\": {\n      \"value\": 44.9237520767597,\n      \"lower_value\": 40.43137686908373,\n      \"upper_value\": 49.41612728443567\n    }\n  }\n}\n"
  ],
  "settings": {},
  "start_time": "2023-07-18T14:21:27.773930Z",
  "testbed": "base"
}
{
  "uuid": "5554a92c-6f5c-481d-bd47-990f0a9bac6d",
  "user": { ... },
  "project": { ... },
  "branch": { ... },
  "testbed": { ...},
  "start_time": "2023-07-18T14:21:27Z",
  "end_time": "2023-07-18T14:21:27Z",
  "adapter": "magic",
  "results": [
    [
      {
        "measure": { ... },
        "threshold": null,
        "benchmarks": [ ... ]
      }
    ]
  ],
  "alerts": [],
  "created": "2023-07-18T14:21:27Z"
}

View results:
- bencher::mock_0: https://bencher.dev/console/projects/save-walter-white-1234abcd/perf?measures=4358146b-b647-4869-9d24-bd22bb0c49b5&branches=95521eff-09fa-4c02-abe1-dd824108869d&testbeds=5b4a6f3e-a27d-4cc3-a2ce-851dc6421e6e&benchmarks=88375e7c-f1e0-4cbb-bde1-bdb7773022ae
- bencher::mock_1: https://bencher.dev/console/projects/save-walter-white-1234abcd/perf?measures=4358146b-b647-4869-9d24-bd22bb0c49b5&branches=95521eff-09fa-4c02-abe1-dd824108869d&testbeds=5b4a6f3e-a27d-4cc3-a2ce-851dc6421e6e&benchmarks=e81c7863-cc4b-4e22-b507-c1e238871137
- bencher::mock_2: https://bencher.dev/console/projects/save-walter-white-1234abcd/perf?measures=4358146b-b647-4869-9d24-bd22bb0c49b5&branches=95521eff-09fa-4c02-abe1-dd824108869d&testbeds=5b4a6f3e-a27d-4cc3-a2ce-851dc6421e6e&benchmarks=31dede44-d23a-4baf-b639-63f2ac742e42
- bencher::mock_3: https://bencher.dev/console/projects/save-walter-white-1234abcd/perf?measures=4358146b-b647-4869-9d24-bd22bb0c49b5&branches=95521eff-09fa-4c02-abe1-dd824108869d&testbeds=5b4a6f3e-a27d-4cc3-a2ce-851dc6421e6e&benchmarks=c7e32369-f3dd-473d-99a3-6289ae32b38e
- bencher::mock_4: https://bencher.dev/console/projects/save-walter-white-1234abcd/perf?measures=4358146b-b647-4869-9d24-bd22bb0c49b5&branches=95521eff-09fa-4c02-abe1-dd824108869d&testbeds=5b4a6f3e-a27d-4cc3-a2ce-851dc6421e6e&benchmarks=779bc477-4964-4bae-aa8c-4da3e388822c

Vous pouvez maintenant consulter les résultats de chacun des benchmarks dans le navigateur. Cliquez ou copiez et collez les liens de View results. Il ne devrait y avoir qu’un seul point de données pour chaque benchmark, alors ajoutons d’autres données!

D’abord, mettons notre slug de Projet en tant que variable d’environnement, de sorte que nous n’avons pas à le fournir avec le --project à chaque exécution.

Exécutez: export BENCHER_PROJECT=save-walter-white-1234abcd

Si vous exécutez ensuite: echo $BENCHER_PROJECT

Vous devriez voir:

$ echo $BENCHER_PROJECT
save-walter-white-1234abcd

Ré-exécutons la même commande encore sans --project pour générer plus de données.

Exécutez: bencher run "bencher mock"

Maintenant, générions plus de données, mais cette fois nous transmettrons nos résultats dans bencher run.

Exécutez: bencher mock | bencher run

Parfois, vous pouvez vouloir sauvegarder vos résultats dans un fichier et que bencher run les récupère.

Exécutez: bencher run --file results.json "bencher mock > results.json"

De même, vous pouvez avoir un processus séparé qui exécute vos benchmarks et sauvegardez vos résultats dans un fichier. Ensuite bencher run viendra simplement les récupérer.

Exécutez: bencher mock > results.json && bencher run --file results.json

Enfin, mettons en place beaucoup de données en utilisant l’argument --iter de bencher run.

Exécutez: bencher run --iter 16 "bencher mock"

🐰 Astuce: Consultez les doc CLI sous-commande bencher run pour un aperçu complet de tout ce que bencher run peut faire!

Générer une Alerte

Maintenant que nous avons des données historiques pour nos benchmarks, générons une Alerte! Les alertes sont générées lorsqu’un résultat de benchmark est déterminé comme une régression de performance. Alors simulons une régression de performance!

Exécutez: bencher run "bencher mock --pow 8"

Il devrait y avoir une nouvelle section à la fin de la sortie appelée View alerts:

View alerts:
- bencher::mock_0: https://bencher.dev/console/projects/save-walter-white-1234abcd/alerts/b2329d5a-4471-48ab-bfbd-959d46ba1aa6
- bencher::mock_1: https://bencher.dev/console/projects/save-walter-white-1234abcd/alerts/181b1cf5-d984-402a-b0f1-68f6f119fa66
- bencher::mock_2: https://bencher.dev/console/projects/save-walter-white-1234abcd/alerts/b9b6c904-c657-4908-97db-dbeca40f8782
- bencher::mock_3: https://bencher.dev/console/projects/save-walter-white-1234abcd/alerts/5567ff32-2829-4b6a-969a-af33ce3828db
- bencher::mock_4: https://bencher.dev/console/projects/save-walter-white-1234abcd/alerts/49f2768f-ccda-4933-8e1d-08948f57a74d

Vous pouvez maintenant voir les Alertes pour chaque benchmark dans le navigateur. Cliquez ou copiez et collez les liens de View alerts.

🐰 Astuce: Consultez les doc Seuil & Alertes pour un aperçu complet de comment sont détectées les régressions de performances!

🐰 Félicitations! Vous avez attrapé votre première régression de performance! 🎉

Continuez: Aperçu du Benchmarking ➡