Kilo

Cách Thêm traceID Vào Metrics: Tăng Khả Năng Giám Sát Và Debug

Kilo's photo
Kilo
·

5 min read

Exemplar là gì?

Exemplar là các mẫu dữ liệu (samples) được đính kèm với một metric để cung cấp thông tin chi tiết hơn về sự kiện hoặc request cụ thể dẫn đến giá trị metric đó. Các exemplar thường chứa traceID hoặc các dữ liệu bổ sung giúp liên kết metric với các thông tin tracing trong hệ thống phân tán.

Ví dụ:

  • Một metric HTTP request latency có thể kèm theo exemplar là traceID của request có độ trễ lớn nhất, giúp bạn dễ dàng đi từ metric sang log hoặc trace để phân tích sâu hơn.

Mục đích của exemplar

Exemplar được sử dụng để:

  1. Liên kết giữa Metrics và Traces:

    • Giúp kết nối các thông tin từ metrics (được thu thập bởi Prometheus hoặc Grafana) với traces (được lưu trữ trong các hệ thống như Tempo, Jaeger, Zipkin).

    • Điều này giúp bạn dễ dàng xác định nguyên nhân gốc rễ của sự cố.

  2. Tối ưu hóa quá trình Debug:

    • Khi một metric có giá trị bất thường, bạn có thể nhanh chóng tìm kiếm trace tương ứng để hiểu rõ ngữ cảnh của sự kiện đó.

  3. Giảm dữ liệu lưu trữ:

    • Không phải lưu trữ toàn bộ trace; chỉ cần lưu các trace quan trọng (được liên kết thông qua exemplar).

Làm sao để có exemplar?

Để tạo và sử dụng exemplar, bạn cần thực hiện các bước sau:

1. Kích hoạt Exemplar trong Hệ thống Metrics:

  • Các hệ thống như Prometheus hoặc Grafana phải được cấu hình để hỗ trợ exemplar.

  • Sử dụng OpenTelemetry hoặc các thư viện tracing để gửi thông tin traceID cùng với metrics.

2. Tích hợp Exemplar vào hệ thống Metrics:

  • Prometheus:

    • Dùng các exporter hoặc collector (ví dụ: OpenTelemetry Collector) để thêm traceID vào metrics.

    • Prometheus từ phiên bản 2.26 trở lên đã hỗ trợ lưu và hiển thị exemplar.

  • Grafana:

    • Phiên bản Grafana từ 7.4 trở lên hỗ trợ hiển thị exemplar trên các biểu đồ.

3. Kết nối Tracing và Metrics:

  • Lưu trữ traces trong các hệ thống như Tempo, Jaeger hoặc Zipkin.

  • Đảm bảo metrics chứa thông tin traceID trùng khớp với trace được lưu trữ.

Lợi ích thực tế của exemplar

  • Giảm thời gian xác định nguyên nhân lỗi từ metrics bất thường.

  • Hiểu rõ hơn về ngữ cảnh của các yêu cầu hoặc sự kiện trong hệ thống phân tán.

  • Kết nối và đồng bộ hóa thông tin giữa các công cụ trong quá trình giám sát (monitoring) và tracing.

Hướng Dẫn Thêm traceID Vào Metrics Sử Dụng Python

Trong hệ thống phân tán, việc giám sát (monitoring) và truy vết (tracing) đóng vai trò quan trọng để xác định hiệu năng và nguyên nhân gốc rễ của các sự cố. Một cách hiệu quả để kết hợp hai phương pháp này là thêm traceID vào metrics. Điều này cho phép bạn kết nối các dữ liệu metrics từ Prometheus với traces trong các công cụ như Tempo, Jaeger hoặc Zipkin.

Trong bài viết này, chúng ta sẽ tìm hiểu cách thêm traceID vào metrics bằng Python, kết hợp Prometheus Client và OpenTelemetry.

1. Tại Sao traceID Quan Trọng?

traceID là một định danh duy nhất đại diện cho một chuỗi các hoạt động liên quan đến một request hoặc một sự kiện cụ thể. Khi gắn traceID vào metrics, bạn có thể:

  • Theo dõi và phân tích các sự kiện cụ thể gây ra bất thường trong metrics.

  • Kết nối nhanh chóng từ metric bất thường sang trace để hiểu ngữ cảnh.

  • Giảm thời gian xác định nguyên nhân gốc rễ của sự cố.

Ví dụ: Nếu một metric chỉ ra rằng thời gian xử lý (latency) của một request tăng cao, traceID kèm theo sẽ giúp bạn dễ dàng tìm được request cụ thể đó và phân tích sâu hơn qua các công cụ tracing.

2. Các Công Cụ Cần Thiết

Trước khi bắt đầu, bạn cần chuẩn bị các công cụ sau:

  1. Python 3.7+

  2. Thư viện Prometheus Client để định nghĩa và xuất metrics.

  3. Thư viện OpenTelemetry để tạo trace và gắn traceID.

  4. Prometheus để thu thập metrics và hiển thị.

Cài đặt các thư viện cần thiết:

pip install prometheus-client opentelemetry-api opentelemetry-sdk opentelemetry-exporter-prometheus

3. Triển Khai code Python

Dưới đây là ví dụ minh họa cách thêm traceID vào metrics:

from prometheus_client import Counter, start_http_server
from opentelemetry import trace
from opentelemetry.sdk.trace import TracerProvider
from opentelemetry.trace.propagation.tracecontext import TraceContextTextMapPropagator
from opentelemetry.sdk.trace.export import BatchSpanProcessor
from opentelemetry.exporter.prometheus import PrometheusMetricsExporter
import random
import time

# Khởi tạo Tracer
trace.set_tracer_provider(TracerProvider())
tracer = trace.get_tracer(__name__)

# Khởi tạo Prometheus Metrics Exporter
exporter = PrometheusMetricsExporter(
    port=8000,  # Prometheus sẽ thu thập metrics tại cổng này
    service_name="example-service"
)

# Tạo Span Processor và kết nối với Exporter
span_processor = BatchSpanProcessor(exporter)
trace.get_tracer_provider().add_span_processor(span_processor)

# Khởi tạo Metric Counter
http_requests = Counter(
    "http_requests_total", "Total HTTP Requests", ["method", "trace_id"]
)

# Hàm xử lý request
def handle_request(method):
    with tracer.start_as_current_span("handle_request") as span:
        # Lấy traceID từ span context
        trace_id = trace.format_trace_id(span.get_span_context().trace_id)

        # Thêm metric với traceID
        http_requests.labels(method=method, trace_id=trace_id).inc()
        print(f"Handled request with method={method}, trace_id={trace_id}")

# Khởi động HTTP server cho Prometheus
start_http_server(8000)
print("Prometheus metrics server running at http://localhost:8000")

# Mô phỏng các request
methods = ["GET", "POST", "PUT"]
while True:
    method = random.choice(methods)
    handle_request(method)
    time.sleep(1)

Mô tả :

  1. Prometheus Metrics Exporter:

    • Dùng để xuất metrics ra Prometheus.

    • Chạy HTTP server tại cổng 8000 để Prometheus thu thập dữ liệu.

  2. Tracer:

    • Được khởi tạo từ OpenTelemetry SDK để tạo traces.

    • Mỗi request được xử lý trong một span, và traceID được lấy từ span context.

  3. Counter:

    • Là một metric Prometheus dùng để đếm số lượng request.

    • Gắn traceID dưới dạng label (method và trace_id).

  4. Loop Mô phỏng:

    • Liên tục sinh các request ngẫu nhiên để minh họa cách metrics được thu thập.

4. Cấu Hình Prometheus

Để thu thập metrics từ ứng dụng Python, bạn cần thêm cấu hình sau vào file prometheus.yml:

scrape_configs:
  - job_name: "example-service"
    scrape_interval: 5s
    static_configs:
      - targets: ["localhost:8000"]
distributed tracingOpenTelemetry#prometheus