Bencher 메트릭 포맷(BMF)

내장된 벤치마크 하네스 어댑터는 벤치마크 출력을 Bencher Metric Format (BMF) JSON으로 변환합니다. 사용자 정의 벤치마킹 하네스는 BMF JSON으로 결과를 출력하고 json 어댑터를 사용해야 합니다. 전체 개요에 대해서는 사용자 정의 벤치마크 추적 방법을 참조하세요.

벤처 메트릭 형식 (BMF) JSON 예제

{
  "benchmark_name": {
    "latency": {
      "value": 88.0,
      "lower_value": 87.42,
      "upper_value": 88.88
    },
    "throughput" {
      "value": 5.55,
      "lower_value": 3.14,
      "upper_value": 6.30
    }
  },
  "/bin/sh -c ./my_build_script.sh": {
    "build-time": {
      "value": 87.0
    }
  },
  "my_binary": {
    "file-size": {
      "value": 42.0
    }
  }
}

이 예제에는 세 개의 벤치마크가 있습니다:

  • benchmark_name 벤치마크에는 두 개의 측정치:
    • 지연 시간 (latency)
    • 처리량 (throughput)
  • /bin/sh -c ./my_build_script.sh 벤치마크는 빌드 시간 추적을 위한 하나의 측정치 (build-time)
  • my_binary 벤치마크는 파일 크기 추적을 위한 하나의 측정치 (file-size)

벤처 메트릭 포맷(BMF) JSON 스키마

이것은 벤처 메트릭 포맷(BMF) JSON을 위한 JSON 스키마입니다:

{
  "$id": "https://bencher.dev/bmf.json",
  "$schema": "http://json-schema.org/draft-07/schema",
  "type": "object",
  "patternProperties": {
    ".+": {
      "type": "object",
      "patternProperties": {
        ".+": {
          "type": "object",
          "properties": {
            "value": {
              "type": "number"
            },
            "lower_value": {
              "type": "number"
            },
            "upper_value": {
              "type": "number"
            }
          },
          "required": ["value"]
        }
      }
    }
  }
}

bencher mock

bencher mock CLI 하위 명령어는 모의 Bencher Metric Format (BMF) JSON 데이터를 생성하는 데 사용됩니다.

--count <COUNT>

생성할 모의 벤치마크의 수입니다.

--measure <MEASURE>

각 벤치마크에 사용할 측정입니다. 여러 측정을 지정하려면 --measure 옵션을 여러 번 사용하면 됩니다. 기본값은 내장 latency 측정입니다.

--pow <POW>

모의 지표에 사용할 10의 거듭제곱입니다. 기본값은 1입니다.

--fail

실행 중 실패합니다.

--flaky

실행 중간에 간헐적으로 실패합니다.

--help

도움말 메시지를 출력합니다.


Published: Sun, May 12, 2024 at 3:12:00 PM UTC