DATANOMIX.PRO // VELODB ОРТАЛЫҚ АЗИЯДАҒЫ ЭКСКЛЮЗИВТІ СЕРІКТЕС

VeloDB: БІРТҰТАС DATA LAKEHOUSE

Біртұтас OLAP + Vector + Full-Text Search архитектурасы. ClickHouse + Elasticsearch + Spark + Trino орнына. MySQL протоколымен үйлесімді.

./демо_сұрау --full-access cat бенчмарктар.log

SYSTEM_ARCH_PREVIEW v3.0.3

> Loading VeloDB Core Engine...

> Init Vector Search (HNSW/IVPQ)

> Init Full-Text BM25 Index

> Star-Schema Join Mapping

> SUCCESS: UNIFIED ENGINE READY

-- Hybrid Search: 4 қозғалтқыш бір сұрауда
SELECT doc_id, title,
  1.0/(60 + v.rank) + 1.0/(60 + b.rank) AS rrf
FROM vector_search('quarterly report risk', top=50) v
JOIN bm25_search('KYC AML SOFR №2864', top=50) b
  USING (doc_id)
WHERE user_timezone = '__TZ__'
  AND user_lang = '__LANG__'
ORDER BY rrf DESC LIMIT 10;

> Іске қосуға дайын. EXECUTE_QUERY батырмасын басыңыз

Бірнеше жүйені біреуге біріктіру және деректер қайталануын жою арқылы үнемдеу

TCO төмендету

40-70%

Бір қозғалтқыш ClickHouse + Elasticsearch + Spark + Vector DB + Trino орнын басады

Жүйені ауыстырады

1 → 5

TPC-DS — 99 күрделі SQL сұраудан тұратын стандартты enterprise-бенчмарк. VeloDB барлық 99-ын орындайды

TPC-DS сұраулар

99/99

Apache Doris / VeloDB — ByteDance, Tencent, PSBC, UnionPay және мыңдаған басқа компанияларда

Enterprise production-да

4000+

ҚАЗІРГІ ШЕШІМДЕР МӘСЕЛЕЛЕРІ

// analysis_bottlenecks.log

Технология зоопаркі

pest_control

Аналитикаға ClickHouse, логтарға Elasticsearch, ETL-ге Spark, ML-ге бөлек жүйе. Деректер қайталануы, сынғыш конвейерлер, жоғары иелік құны.

Құны & Lock-in

money_off

Oracle Exadata мен Vertica ядро үшін үлкен лицензиялық төлемдерді талап етеді. Жабық код икемділікті шектейді.

> VeloDB лицензия құнын Oracle/Vertica-мен салыстырғанда 40-70%-ға азайтады

ПЛАТФОРМАНЫҢ НЕГІЗГІ АРТЫҚШЫЛЫҚТАРЫ

savings

Үнемді

Ядро бойынша ашық лицензиялау моделі. Oracle Exadata, Vertica және Snowflake-пен салыстырғанда айтарлықтай үнемдеу.

support_agent

24/7 Enterprise қолдау

Маңызды сұрауларға 30 минутта жауап. Architecture Optimization, Performance Tuning, Solution Consulting.

lock_open

Open Source. Тұзақсыз.

Apache Doris-пен (open source, Apache 2.0) 100% үйлесімділік. Шарттар ұнамай ма? Кодта бір өзгеріссіз Community-нұсқаға көшіңіз.

layers

Біртұтас архитектура

OLAP + Векторлық іздеу (HNSW/IVPQ) + Full-Text Search (BM25) + Lakehouse бір қозғалтқышта.

VELODB ҚАНДАЙ МІНДЕТТЕРГЕ ҚОЛДАНЫЛАДЫ

speed

Петабайт деректеріндегі 100 мс-тен аз кідіріспен интерактивті OLAP-аналитика және BI-дашбордтар

BM25 инверттелген индексімен толық мәтінді іздеу және лог-аналитика — Elasticsearch ауыстыру

neurology

AI/RAG үшін векторлық іздеу: нативті HNSW/IVPQ индекстер, гибридті іздеу (vector + text + SQL)

hub

Data Lake-ке бірыңғай кіру нүктесі: Iceberg, Hudi, Delta Lake федеративті сұраулар

bolt

Нақты уақытта деректер жүктеу: MySQL/PostgreSQL-ден CDC, Kafka ағындары ~1 секунд кідіріспен

database

4-5 жүйені біреуге біріктіру: OLAP + іздеу + ML-мүмкіндіктер + Lakehouse бір қозғалтқышта

Open Data Lakehouse архитектурасы

Пакеттік және ағындық өңдеуге арналған біртұтас шешім

ЕСЕПТЕУ

Batch Processing Engine

(Spark, Flink)

Real-Time Analytics Engine

(VeloDB / Apache Doris)

ҚОЙМА

Data Lake

(Iceberg, Hudi, Delta Lake)

Catalog

(Polaris, Unity, Glue)

Real-Time Analytics Engine

VeloDB — нақты уақыттағы аналитика қозғалтқышы. Интерактивті аналитика, жеңіл ETL жүктемелер, гибридті іздеу.

Batch Processing Engine

Ұзақ ETL процестері мен ML есептеулер үшін Spark тәрізді қозғалтқыштар.

Open Lakehouse Storage

Iceberg, Hudi және Polaris / Unity каталогтары негізіндегі ашық қойма.

БЕНЧМАРК НӘТИЖЕЛЕРІ

// benchmark_results.log

CoffeeBench (Real-World)

vs ClickHouse

8× жылдамырақ

vs ClickHouse (құны) 8× арзанырақ

vs Snowflake 5× жылдамырақ

vs Snowflake (құны) 14× арзанырақ

TPC-H (100GB)

vs ClickHouse 3× жылдамырақ

vs ClickHouse (құны) 2.7× арзанырақ

vs Snowflake 6× жылдамырақ

vs Snowflake (құны) 5× арзанырақ

КЛИЕНТТЕР КЕЙСТЕРІ

> Бүкіл әлемде 4000+ enterprise-клиент

ByteDance

Tencent

ZTO Express

Netease

Postal Savings Bank of China

Қаржы / 650M+ клиент / Антифрод

Жазу vs ClickHouse 6×

Ad-hoc сұраулар < 2с 80%

Apache Doris негізіндегі антифрод-платформа. ClickHouse, Greenplum, Cassandra, Kylin салыстыру (5 раунд, 89 тест) — Doris таңдалды.

ChinaUMS (银联商务)

Төлем эквайринг / 25M+ мерчант

Сұрауларды жылдамдату 10-15×

Импорт жылдамдығы 2-5×

Hadoop-тан Apache Doris-қа көшу. Аналитика, есептілік және мерчант деректері үшін бірыңғай реалтайм-қозғалтқыш.

Ping An Life Insurance

Сақтандыру / Fortune 500

Сұрау жылдамдығы 5-10×

Әзірлеу циклі 14×

Presto, PostgreSQL, ClickHouse және т.б. орнына бірыңғай OLAP. Есеп әзірлеу циклі 2 аптадан 1 күнге дейін қысқарды.

VeloDB Enterprise-клиент

Қаржы секторы / OLAP-миграция

TCO төмендеуі 60%

Сұрау жылдамдығы 8×

Oracle + Teradata орнына VeloDB Cloud. Есептілік, ad-hoc аналитика және реалтайм-дашбордтар үшін бірыңғай платформа.

САЛАЛАР

account_balance

Қаржы & Банктер

Compliance-есеп, фрод-детекция, нақты уақыт транзакция аналитикасы

> Oracle / Vertica ауыстыру

shopping_cart

Бөлшек сауда & E-commerce

Ұсыныстар, A/B-тестілеу, сатып алушы мінез-құлық аналитикасы

> ClickHouse + Elasticsearch ауыстыру

cell_tower

Телеком & IoT

CDR-аналитика, желі мониторингі, IoT деректер ағындары

> Vertica / Teradata ауыстыру

ОРНАТУ МОДЕЛЬДЕРІ

lock

BYOC (Bring Your Own Cloud)

Сіздің бұлтыңызда орнату. Деректер сіздің бақылауыңызда.

domain

On-Premise / Air-Gapped

Толық оқшауланған орнату. Ақпараттық қауіпсіздік талаптары бар ұйымдар үшін.

БЛОГ ЖӘНЕ МАҚАЛАЛАР

Барлық мақалалар →

// knowledge_base.log

OFFER speed

BI құралыңызды жылдамдатамыз

Sub-100ms, Auto Query Rewrite, тегін пилот

ARTICLE warehouse

Data Lakehouse деген не

DWH vs Data Lake vs Lakehouse. Open table formats.

DOCS database

Apache Doris / VeloDB — шолу

MPP-архитектура, 5000+ компания production-да

ARTICLE search

Hybrid Search: Vector + BM25 + RRF

GPU-сіз Reranker сапасының 96%-ы.

ЖИІ ҚОЙЫЛАТЫН СҰРАҚТАР

Data Lakehouse дегеніміз не және ол Data Warehouse-тан неімен ерекшеленеді?

Data Lakehouse Data Lake (арзан сақтау, ашық форматтар) мен Data Warehouse (ACID-транзакциялар, SQL-аналитика) артықшылықтарын біріктіреді. VeloDB бұл архитектураны Apache Doris негізінде жүзеге асырады — деректерді қайталаусыз OLAP, іздеу және AI үшін бір қозғалтқыш. Классикалық DWH-тан айырмашылығы, Lakehouse ашық форматтармен (Iceberg, Hudi, Delta Lake) жұмыс істейді.

VeloDB Oracle Exadata мен Vertica-ны қалай ауыстырады?

VeloDB TCO-ны 40-70%-ға төмендетіп, enterprise деңгейінде аналитиканы қамтамасыз етеді. ChinaUMS (银联商务) Hadoop-тан Doris-қа көшіп, сұрауларды 10-15 есе жылдамдатты. PSBC антифрод-платформа үшін ClickHouse мен Greenplum орнына Doris-ті таңдады (650M клиент). VeloDB MySQL протоколын қолдайды. 30 минуттық жауап беру уақытымен 24/7 enterprise-қолдау.

Қандай орнату модельдері қол жетімді?

Екі модель: BYOC (Bring Your Own Cloud) — 30 күндік тегін сынақ кезеңімен сіздің бұлтыңызда орнату, деректер сіздің бақылауыңызда. On-Premise / Air-Gapped — ақпараттық қауіпсіздік талаптары бар ұйымдар үшін сіздің инфрақұрылымыңызда толық оқшауланған орнату.

VeloDB Apache Doris-пен қаншалықты үйлесімді?

VeloDB Apache Doris-пен 100% кері үйлесімді. VeloDB командасы — Apache Doris негізін қалаушылар: 1 PMC Chair, 9 PMC мүше, 26 коммиттер. Барлық бар құралдар, драйверлер және SQL-сұраулар өзгеріссіз жұмыс істейді. VeloDB enterprise-мүмкіндіктер қосады: жүктемені басқару, кеңейтілген қауіпсіздік және SLA-қолдау.

Деректер қауіпсіздігі қалай қамтамасыз етіледі?

BYOC және On-Premise модельдерінде деректер сіздің инфрақұрылымыңыздан ешқашан шықпайды. VeloDB RBAC, at-rest және in-transit деректерді шифрлау, аудит-логтау және LDAP/Kerberos интеграциясын қолдайды. Реттелетін салалар (банктер, мемлекеттік сектор) үшін интернетке қосылусыз Air-Gapped режимі қол жетімді.

Бәсекелестермен салыстырғанда бенчмарк нәтижелері қандай?

CoffeeBench бенчмаркінде (нақты жүктемелер): VeloDB ClickHouse-тан 8 есе жылдам және 8 есе арзан, Snowflake-тен 5 есе жылдам және 14 есе арзан. TPC-H (100GB): ClickHouse-тан 3 есе жылдам, Snowflake-тен 6 есе жылдам. VeloDB TPC-DS стандартты enterprise-бенчмаркінің барлық 99 сұрауын орындайды.

Ағымдағы платформадан көшу қанша тұрады?

Datanomix Орталық Азия кәсіпорындары үшін тегін архитектуралық аудит және POC (Proof of Concept) ұсынады. Көшу құны ағымдағы архитектураға және деректер көлеміне байланысты. VeloDB-нің MySQL-үйлесімділігі көшіруді айтарлықтай жеңілдетеді — көптеген SQL-сұраулар өзгеріссіз жұмыс істейді.

VeloDB және Apache Doris-ті production-да кім қолданады?

Бүкіл әлемде 4000+ enterprise-компания: ByteDance, Tencent, Postal Savings Bank of China (антифрод-платформа, 650M клиент), ChinaUMS (Hadoop-тан көшу), Ping An Insurance (Fortune 500), ZTO Express, Netease және басқалар. Қаржы секторында — транзакция аналитикасы, антифрод және compliance-есептілік.