Снижение Observability Tax: OTel + Grafana + VeloDB

1. Проблема: наблюдаемость дороже самой инфраструктуры

В статье приводится типичный кейс: компания одновременно использует Datadog (metrics/APM), Splunk (logs) и Sentry (errors), и в какой-то момент суммарный чек за observability превышает стоимость AWS-инфраструктуры.

Этот эффект называют Observability Tax — «налог на наблюдаемость»: бизнес платит больше за мониторинг системы, чем за работу самой системы.

Проприетарные форматы хранения и query-интерфейсы усложняют миграцию и создают vendor lock-in.
Логи, метрики и трейсы часто разнесены по разным системам, что усложняет root cause analysis.

Storage and ingestion cost optimization chart

2. Открытый стек: OpenTelemetry + Grafana + VeloDB

OpenTelemetry стал де-факто стандартом сбора telemetry-данных (logs, traces, metrics). Он задаёт общие спецификации и SDK, а также поддерживается сообществом CNCF.

Grafana — стандарт де-факто для визуализации observability-данных из разных источников и интерактивного анализа.

Но остаётся вопрос storage backend: индексные движки дают быстрый поиск, но дороги; indexless-подходы (например Loki) снижают цену, но уступают по поисковой производительности.

3. Как VeloDB снижает цену без потери скорости

По исходной статье VeloDB сохраняет inverted index и при этом снижает compute/storage расходы на 80%+ относительно Elasticsearch за счёт архитектуры и компрессии.

Ключевые механики:

Оптимизация записи и индексации через SIMD и storage-compute separation.
Снижение фоновых merge-издержек (time-series compaction) с 3-5x до ~1x.
Columnar storage + simplified inverted index + ZSTD: объём хранения до ~20% от Elasticsearch.
Разделение hot/cold данных: только «горячие» данные на SSD, исторические — в object storage.

В статье приводится оценка: совокупная стоимость хранения может снижаться до ~10% от Elasticsearch; также указаны экономии до 94% vs Datadog и 98% vs Splunk (в модели авторов).

4. Интеграция с OpenTelemetry: Doris Exporter

VeloDB указана как официальный vendor OpenTelemetry. Для ingest используется Doris Exporter, который отправляет logs/traces/metrics в Apache Doris/VeloDB.

Практическая ценность интеграции:

Автоматическое создание схем/таблиц и базовых индексов.
Настройка retention через history_days.
Один pipeline для logs, traces и metrics.

OpenTelemetry vendor support list with VeloDB

OpenTelemetry Doris exporter configuration

exporters:
  doris:
    endpoint: "http://host:http_port"
    mysql_endpoint: "host:mysql_port"
    database: otel
    username: admin
    password: "****"
    table:
      logs: otel_logs
      traces: otel_traces
      metrics: otel_metrics
    create_schema: true
    history_days: 30

5. Интеграция с Grafana

Базовый сценарий: подключение через встроенный MySQL data source Grafana (VeloDB совместима по MySQL-протоколу).

Продвинутый сценарий: open-source Grafana Doris Plugin с UX, похожим на Kibana Discover:

Поиск и анализ с Lucene + SQL.
Просмотр контекста записи и распределений по полям.
Интерактивные фильтры и выбор диапазона времени.
Trace-визуализация: распределение и waterfall + переход из логов к trace.

Trace distribution analysis in Grafana Doris plugin

6. Видео-демо и итог

В оригинальной статье есть демо OVG-стека (OpenTelemetry + Grafana + VeloDB). Ниже встроено видео из оригинала.

Главная мысль: open stack позволяет убрать vendor lock-in и радикально снизить observability-расходы, сохраняя high-performance поиск и аналитику.

Источник оригинала

VeloDB Product Team, "Escape Observability Tax with OpenTelemetry, Grafana, and VeloDB", 2025-12-17.

https://www.velodb.io/blog/escape-observability-tax-opentelemetry-grafana-velodb

Как уйти от Observability Tax: OpenTelemetry + Grafana + VeloDB