Bencher-Metrikformat (BMF)

Integrierte Benchmark-Harness-Adapter wandeln Benchmark-Ergebnisse in das Bencher Metric Format (BMF) JSON um. Benutzerdefinierte Benchmarking-Harnesses sollten ihre Ergebnisse als BMF JSON ausgeben und den json Adapter verwenden. Siehe wie man benutzerdefinierte Benchmarks verfolgt für einen vollständigen Überblick.

Beispiel für Bencher Metric Format (BMF) JSON

{
  "benchmark_name": {
    "latency": {
      "value": 88.0,
      "lower_value": 87.42,
      "upper_value": 88.88
    },
    "throughput" {
      "value": 5.55,
      "lower_value": 3.14,
      "upper_value": 6.30
    }
  },
  "/bin/sh -c ./my_build_script.sh": {
    "build-time": {
      "value": 87.0
    }
  },
  "my_binary": {
    "file-size": {
      "value": 42.0
    }
  }
}

In diesem Beispiel gibt es drei Benchmarks:

Bencher-Metrik-Format (BMF) JSON-Schema

Dies ist das JSON-Schema für das Bencher-Metrik-Format (BMF) JSON:

{
  "$id": "https://bencher.dev/bmf.json",
  "$schema": "http://json-schema.org/draft-07/schema",
  "type": "object",
  "patternProperties": {
    ".+": {
      "type": "object",
      "patternProperties": {
        ".+": {
          "type": "object",
          "properties": {
            "value": {
              "type": "number"
            },
            "lower_value": {
              "type": "number"
            },
            "upper_value": {
              "type": "number"
            }
          },
          "required": ["value"]
        }
      }
    }
  }
}

bencher mock

Der bencher mock CLI-Unterbefehl wird verwendet, um mock Bencher Metric Format (BMF) JSON-Daten zu generieren.

--count <COUNT>

Die Anzahl der zu generierenden mock Benchmarks.

--measure <MEASURE>

Das Measure, das für jedes Benchmark verwendet werden soll. Mehrere Measures können angegeben werden, indem die Option --measure mehrfach verwendet wird. Der Standardwert ist das integrierte latency Measure.

--pow <POW>

Die Zehnerpotenz, die für die mock Metrics verwendet werden soll. Der Standardwert ist 1.

--fail

Fehlermeldung während der Ausführung.

--flaky

Zeitweise Fehler während der Ausführung.

--help

Zeigt die Hilfe an.


Published: Sun, May 12, 2024 at 3:12:00 PM UTC