Bare Metal Overview

---

대부분의 벤치마크 추적 도구는 단일 환경에서만 벤치마크를 실행할 수 있습니다. 로컬에서 벤치마크를 실행하거나 CI에서 실행하는 것 중 하나만 가능합니다. 로컬과 CI 실행을 모두 지원하더라도, 두 환경 간의 결과를 비교할 수 없습니다.

Bencher Bare Metal을 사용하면 두 가지 장점을 모두 누릴 수 있습니다. 로컬 머신에서 벤치마크를 실행하면서 전용 하드웨어에서 실행되도록 할 수 있으며, CI에서 벤치마크를 실행하면서 완전히 동일한 전용 하드웨어에서 실행되도록 할 수도 있습니다. 이를 통해 벤치마크를 어디에서 실행하든 일관된 벤치마크 실행 환경을 확보할 수 있습니다.

Bencher Bare Metal은 베어 메탈 하드웨어에서 실행되어 변동성을 제거하고 더 정확하고 신뢰할 수 있는 벤치마크 결과를 제공합니다.

Runner

Runner는 전용 Bare Metal 하드웨어에서 실행되는 원격 벤치마크 실행기입니다. Runner는 연결된 Spec을 기반으로 대기 중인 Job을 Bencher API 서버에 폴링합니다. Job이 할당되면 Runner는 해당 Job에 지정된 Image를 가져오고, Image를 언패킹하고, 벤치마크 명령을 실행한 후, 결과를 Bencher API 서버로 전송합니다. 벤치마크가 다른 워크로드의 영향을 받지 않도록 한 번에 하나의 Job만 실행됩니다.

Runner	플랫폼	범위	관리 주체	Sandbox	네트워크 접근	티어
Shared	Bencher Cloud	서버	Bencher	필수	불가	Free, Team, Enterprise
Dedicated	Bencher Cloud	조직	Bencher	선택	불가	Enterprise
Custom	Bencher Cloud	조직	사용자	선택	선택	Enterprise
Self-Hosted Server	Bencher Self-Hosted	서버	사용자	선택	선택	Free, Team, Enterprise
Self-Hosted Organization	Bencher Self-Hosted	조직	사용자	선택	선택	Enterprise

Spec

Spec은 Runner에서 사용 가능한 리소스를 설명하는 하드웨어 사양입니다:

1. 운영 체제 (OS)
   1. Linux
   2. macOS
   3. Windows
2. CPU 아키텍처
   1. x86_64
   2. ARM64
3. Sandbox
   1. Firecracker microVM
   2. Sandbox 없음
4. CPU 수
5. 메모리 크기 (RAM)
6. 디스크 크기
7. 네트워크 접근

Spec은 서버 범위 또는 조직 범위로 설정되며, 동일한 Spec을 같은 서버의 여러 Testbed에서 공유하거나 같은 조직 내에서 공유할 수 있습니다.

bencher run 사용 시 Spec 선택 우선순위는 다음과 같습니다:

1. --spec 옵션
2. Testbed에 할당된 Spec
3. 기본 조직 범위 Spec
4. 기본 서버 범위 Spec

선택된 Spec은 현재 Testbed에 할당됩니다.

Sandbox

Sandbox는 Runner에서 안전한 멀티 테넌시를 가능하게 하는 격리 메커니즘입니다. Bencher Bare Metal은 기본 Sandbox 구현으로 Firecracker microVM을 사용합니다. Sandbox 없이 실행하려면 Bencher Cloud의 Dedicated 또는 Custom Runner가 필요하거나 (자세한 내용은 Bencher Plus 지원에 문의하세요) Bencher Self-Hosted가 필요합니다. Runner가 Sandbox를 사용하도록 구성된 경우, 각 Job은 해당 Sandbox 내에서 실행됩니다. 전체 개요는 runner 문서를 참조하세요.

Job

Job은 원격 벤치마크 실행 요청의 생명 주기를 추적합니다. --job-timeout 옵션을 사용하여 Job별로 사용자 정의 타임아웃을 요청할 수 있습니다. 단, 다음 Job 타임아웃과 동시 실행 수 제한은 항상 적용됩니다:

티어	Job 타임아웃	Job 동시 실행 수
Unclaimed	1분	소스 IP당 1
Free	5분	조직당 1
Team	무제한 (기본값: 60분)	무제한
Enterprise	무제한 (기본값: 60분)	무제한

전체 개요는 Job 문서를 참조하세요.

Image

Image는 벤치마크 코드와 그 의존성을 포함하는 OCI 컨테이너 이미지입니다. Runner가 Job을 실행할 때, Image를 가져오고, Image를 언패킹한 후, Job에 지정된 벤치마크 명령을 실행합니다. 프로젝트용 Image를 생성하는 방법은 Image 문서를 참조하세요.

베어 메탈 워크플로우

계속하기: bencher run CLI 하위 명령어 ➡