Docker BuildxとOpenTelemetryでDockerビルドのトレースを取得する

ここでは、Docker BuildxとBuildKitを使用してコンテナビルドを拡張し、OpenTelemetryをサポートすることでビルド処理のトレースを可視化し、改善やエラー調査を容易にする方法について説明しています。

Docker BuildxとBuildKitについて

Docker BuildxはBuildKitというコンテナのビルドツールを使用してdocker buildコマンドを拡張するものであり、BuildKitで提供される機能を使ってビルドすることが可能になります。

キャッシュやマルチアーキテクチャビルドなど様々な機能がありますが、今回ご紹介するのは OpenTelemetryのサポートについてです。

OpenTelemetryサポート

OpenTelemetryはログ・トレース・メトリクスといったテレメトリーデータを扱うための標準仕様、あるいはそれを扱うためのツール群であり、BuildKitにはOpenTelemetry形式でトレースデータを生成する機能が備わっています。

この機能により、コンテナイメージのビルド処理のトレースが取得できるようになります。
トレースを取得できると、コンテナイメージビルドのどこでどれだけ時間がかかっているかが可視化でき、ビルド処理の改善やエラーの原因調査がしやすくなるというメリットがあります。

試してみる

今回の登場人物は「docker buildx」「opentelemetry collector」「grafana tempo」「grafana」の4つです。
詳細に書くと長くなるため、それぞれの構築手順は割愛します。

データの流れを図にするとこのようになります。
buildxで生成されるトレースデータをopentelemetry collectorを通じてgrafana tempoまで送信し、結果をGrafanaで閲覧することができるという構成です。

buildxの設定

buildxについては実行時にデータの転送先などを環境変数で設定するだけです。

OTEL_SERVICE_NAME=buildx
# デフォルトだとgRPCで送信
OTEL_EXPORTER_OTLP_ENDPOINT=http://to-opentelemetry-collector:4317

opentelemetry collectorの設定

collectorの起動時に使用する設定ファイルにて、以下のように設定します。

receivers:
  otlp:

exporters:
  otlp:
    endpoint: http://to-grafana-tempo-address:4317
    tls:
      insecure: true

processors:
  batch: {}
  attributes/remove_span_attr_command:
    actions:
      - action: extract
        key: command
        pattern: "build -t[^/]+/(?<repository>[^:]+):"
      - action: delete
        key: command

pipelines:
  traces:
    receivers:
      - otlp
    processors:
      - batch
      - attributes/remove_span_attr_command
    exporters:
      - otlp

otlp形式で飛んでくるトレースデータを受け取り、grafana tempoに送信するというシンプルなパイプラインですね。

そのままだと「docker buildx build....」という実行コマンドが「command」というスパン属性に付与されてビルドコマンドで渡す情報が丸見えになるため、
attributes/remove_span_attr_command
というプロセッサーで取り除きつつ、Grafanaから検索しやすくするためにイメージ名の一部を属性として付与する加工を行っています。