Observability Tax азайту: OTel + Grafana + VeloDB

1. Мәселе: observability инфрақұрылымның өзінен қымбат

Мақалада компания Datadog, Splunk және Sentry қатар қолданып, нәтижесінде observability төлемі AWS инфрақұрылым құнынан асып кететін сценарий көрсетілген.

Бұл құбылыс Observability Tax деп аталады: жүйені бақылау құны жүйенің өзінен қымбаттап кетеді.

Проприетарлы сақтау және query интерфейстері миграцияны қиындатып, vendor lock-in тудырады.
Лог, метрика, trace деректері бірнеше жүйеге бөлінгенде root cause analysis қиындайды.

Storage and ingestion cost optimization chart

2. Ашық стек: OpenTelemetry + Grafana + VeloDB

OpenTelemetry — logs/traces/metrics жинауда де-факто стандарт, CNCF қауымдастығы қолдайды.

Grafana — әртүрлі дереккөздерден observability деректерін визуализациялау және интерактивті талдау құралы.

Негізгі challenge — storage backend: индексі бар жүйелер жылдам, бірақ қымбат; indexless тәсіл арзан, бірақ іздеу өнімділігі әлсіз.

3. VeloDB жылдамдықты сақтай отырып құнын қалай азайтады

Мақалаға сай, VeloDB inverted index сақтай отырып Elasticsearch-пен салыстырғанда compute/storage шығынын 80%+ қысқартады.

Негізгі механизмдер:

SIMD және storage-compute separation арқылы write/index cost оңтайландыру.
Time-series compaction арқылы фондық merge құнын 3-5x-тен ~1x-ке дейін төмендету.
Columnar storage + simplified inverted index + ZSTD: сақтау көлемін Elasticsearch-тің ~20%-ына дейін азайту.
Hot/cold tiering: «ыстық» деректер SSD-де, тарихи деректер object storage-те.

Авторлар моделінде жалпы шығын Elasticsearch-тің ~10%-ына дейін түсуі мүмкін; сонымен қатар Datadog-қа қарсы 94% және Splunk-ке қарсы 98% үнем көрсетілген.

4. OpenTelemetry интеграциясы: Doris Exporter

VeloDB OpenTelemetry экожүйесінде ресми vendor ретінде көрсетілген. Doris Exporter logs/traces/metrics деректерін Apache Doris/VeloDB-қа жазады.

Практикалық артықшылықтар:

Schema/table және базалық индекс auto-create.
history_days арқылы retention басқару.
Logs, traces, metrics үшін бір pipeline.

OpenTelemetry vendor support list with VeloDB

OpenTelemetry Doris exporter configuration

exporters:
  doris:
    endpoint: "http://host:http_port"
    mysql_endpoint: "host:mysql_port"
    database: otel
    username: admin
    password: "****"
    table:
      logs: otel_logs
      traces: otel_traces
      metrics: otel_metrics
    create_schema: true
    history_days: 30

5. Grafana интеграциясы

Негізгі жол: Grafana-ның MySQL data source арқылы қосылу (VeloDB MySQL протоколымен үйлесімді).

Кеңейтілген жол: open-source Grafana Doris Plugin (Kibana Discover-ге жақын UX):

Lucene және SQL арқылы іздеу.
Жазба контекстін және field distribution қарау.
Интерактивті фильтрлер және time range selection.
Trace визуализациясы: distribution, waterfall және log-тан trace-ке өту.

Trace distribution analysis in Grafana Doris plugin

6. Видео-демо және қорытынды

Оригиналда OVG stack (OpenTelemetry + Grafana + VeloDB) демонстрациясы берілген. Төменде сол видео ендірілген.

Негізгі тезис: open stack vendor lock-in-ді азайтып, observability құнын төмендетеді және high-performance іздеу/аналитиканы сақтайды.

Түпнұсқа дереккөз

VeloDB Product Team, "Escape Observability Tax with OpenTelemetry, Grafana, and VeloDB", 2025-12-17.

https://www.velodb.io/blog/escape-observability-tax-opentelemetry-grafana-velodb

Observability Tax-тен шығу: OpenTelemetry + Grafana + VeloDB