APACHE DORIS / VELODB ga kirish
Real-time MPP ma'lumotlar ombori: arxitektura, foydalanish stsenariylari, asosiy imkoniyatlar
Apache Doris Documentation 4.x
Datanomix.pro
~12 min
Apache Doris/VeloDB nima
Apache Doris/VeloDB — bu yuqori so'rov tezligi bilan mashhur real-time MPP ma'lumotlar ombori. Katta ma'lumotlar to'plamlaridagi so'rovlar uchun u natijalarni soniya ichida qaytaradi. Ham yuqori konkurentli nuqtaviy so'rovlarni, ham yuqori unumdor murakkab tahlilni qo'llab-quvvatlaydi. Uni hisobot tahlili, maxsus so'rovlar, birlashtirilgan ma'lumotlar ombori va ma'lumotlar ko'li so'rovlarini tezlashtirish uchun ishlatish mumkin.
Apache Doris/VeloDB asosida foydalanuvchilar xulq-atvor tahlili, A/B testlash, jurnal tahlili, foydalanuvchi profili tahlili va elektron tijorat buyurtmalarini tahlil qilish ilovalarini yaratishlari mumkin.
Avval Palo deb atalgan Apache Doris/VeloDB dastlab Baidu reklama analitikasini qo'llab-quvvatlash uchun yaratilgan. Loyiha 2017 yilda rasman ochilgan va 2018 yil iyulda Apache Software Foundation-ga topshirilgan. 2022 yil iyunda Apache Doris inkubatsiyani muvaffaqiyatli yakunlab, Apache yuqori darajali loyihasiga (Top-Level Project) aylandi. Hozirgi vaqtda Apache Doris hamjamiyati turli sohalardagi yuzlab kompaniyalardan 700 dan ortiq kontribyutorni birlashtiradi, oyiga 120 dan ortiq faol ishtirokchi bilan.
Apache Doris/VeloDB keng foydalanuvchi bazasiga ega. U butun dunyo bo'ylab 5000 dan ortiq kompaniyaning production muhitida ishlatiladi, jumladan TikTok, Baidu, Tencent va NetEase kabi ulkan kompaniyalar. Shuningdek, u moliya, chakana savdo, telekommunikatsiya, energetika, ishlab chiqarish, sog'liqni saqlash va boshqa sohalarda keng qo'llaniladi.
Foydalanish stsenariylari
Quyidagi sxemada ko'rsatilganidek, turli integratsiyalar va ma'lumotlarni qayta ishlashdan so'ng, ma'lumotlar manbalari odatda Doris/VeloDB real-time ma'lumotlar omboriga va oflayn ma'lumotlar ko'llariga (Hive, Iceberg va Hudi kabi) tushadi.
Apache Doris/VeloDB quyidagi stsenariylarda keng qo'llaniladi:
Real-time ma'lumotlar tahlili
- Real-time hisobotlar va qaror qabul qilish — Doris/VeloDB korxonaning ichki va tashqi foydalanishi uchun yangilangan hisobotlar va axborot panellarini yetkazib berishni ta'minlaydi, avtomatlashtirilgan jarayonlarda real-time qaror qabul qilishni qo'llab-quvvatlaydi.
- Ad-hoc tahlil — Doris/VeloDB biznes-analitikani va maxsus so'rovlarni tez tahlil qilish imkoniyatlarini taqdim etadi.
- Foydalanuvchi profili va xulq-atvor tahlili — Apache Doris/VeloDB foydalanuvchilar xulq-atvorini tahlil qila oladi: ishtirok, ushlab turish, konversiya, auditoriyani segmentlash va targeting.
Lakehouse analitikasi
- Lakehouse so'rovlarini tezlashtirish — Doris/VeloDB samarali so'rov mexanizmi orqali Lakehouse ma'lumotlar so'rovlarini tezlashtiradi.
- Federativ analitika — Doris/VeloDB bir nechta ma'lumotlar manbalarida federativ so'rovlarni qo'llab-quvvatlaydi, arxitekturani soddalashtiradi va axborot siloslarini yo'q qiladi.
- Real-time ma'lumotlarni qayta ishlash — Doris/VeloDB real-time ma'lumotlar oqimlari va paketli ma'lumotlarni qayta ishlash imkoniyatlarini birlashtiradi.
SQL-yo'naltirilgan kuzatuvchanlik (Observability)
- Jurnallar va hodisalarni tahlil qilish — Apache Doris/VeloDB taqsimlangan tizimlarda jurnallar va hodisalarni real-time tahlil qilishga imkon beradi.
Umumiy arxitektura
Apache Doris/VeloDB MySQL protokolidan foydalanadi, MySQL sintaksisi bilan yaxshi mos keladi va standart SQL-ni qo'llab-quvvatlaydi. Foydalanuvchilar Apache Doris/VeloDB-ga turli mijoz vositalari orqali kirishi mumkin va u BI-vositalar bilan oson integratsiyalanadi.
Saqlash va hisoblashning integratsiyalashgan arxitekturasi
Apache Doris/VeloDB integratsiyalashgan arxitekturasi optimallashtirilgan va xizmat ko'rsatish oson. U ikki turdagi jarayonlardan iborat:
- Frontend (FE): Foydalanuvchi so'rovlarini qayta ishlash, so'rovlarni tahlil qilish va rejalashtirish, metama'lumotlarni boshqarish va tugunlarni boshqarish vazifalari uchun javobgar.
- Backend (BE): Ma'lumotlarni saqlash va so'rovlarni bajarish uchun javobgar. Ma'lumotlar shardlarga bo'linadi va BE tugunlarida bir nechta replika bilan saqlanadi.
| Rol | Funksiya |
|---|---|
| Master | FE Master tuguni metama'lumotlarni o'qish va yozish operatsiyalari uchun javobgar. Master-da metama'lumotlar o'zgarganda, ular BDB JE protokoli orqali Follower yoki Observer tugunlari bilan sinxronlanadi. |
| Follower | Follower tuguni metama'lumotlarni o'qish uchun javobgar. Master tuguni ishdan chiqsa, Follower yangi Master sifatida tanlanishi mumkin. |
| Observer | Observer tuguni metama'lumotlarni o'qish uchun javobgar va so'rov parallelizmini oshirish uchun ishlatiladi. U klaster lideri saylovida qatnashmaydi. |
FE va BE jarayonlari gorizontal ravishda masshtablanadi, bu bitta klasterga yuzlab mashinalar va o'nlab petabayt saqlash hajmini qo'llab-quvvatlashga imkon beradi.
Saqlash va hisoblashni ajratish
3.0 versiyasidan boshlab saqlash va hisoblashni ajratish arxitekturasini tanlash mumkin. Saqlash va hisoblashni ajratish orqali foydalanuvchilar saqlash hajmi va hisoblash resurslarini mustaqil ravishda masshtablashi mumkin.
- Metama'lumotlar qatlami — So'rovlarni rejalashtirish, tahlil qilish va metama'lumotlarni saqlash hamda boshqarish uchun javobgar.
- Hisoblash qatlami — Bir nechta hisoblash guruhlaridan iborat, ularning har biri mustaqil ijarachi sifatida ishlashi mumkin. Har bir guruhda bir nechta stateless BE-tugunlari bor, elastik masshtablanadi.
- Saqlash qatlami — Doris/VeloDB ma'lumotlar fayllarini saqlash uchun S3, HDFS, OSS, COS, OBS, Minio va Ceph-dan foydalanishi mumkin.
Apache Doris/VeloDB asosiy imkoniyatlari
Yuqori mavjudlik
Apache Doris/VeloDB-da metama'lumotlar va ma'lumotlar bir nechta replika bilan saqlanadi, kvorum protokoli orqali ma'lumotlar jurnallarini sinxronlaydi. Bir nechta tugun ishdan chiqsa ham klaster mavjud bo'lib qoladi. Zona ichidagi va mintaqalararo favqulodda tiklanishni qo'llab-quvvatlaydi.
Yuqori moslik
Apache Doris/VeloDB MySQL protokoli bilan yuqori moslikka ega va standart SQL sintaksisini qo'llab-quvvatlaydi. Mavjud ilovalar va vositalarni to'siqlarsiz ko'chirish va integratsiyalashga imkon beradi. BI-vositalar va ma'lumotlar uzatish vositalari uchun MySQL ekotizimini qo'llab-quvvatlaydi.
Real-time ma'lumotlarni qabul qilish
Apache Doris/VeloDB soniyalik kechikish bilan ma'lumotlarni qabul qilish imkoniyatlarini taklif etadi. Vektorizatsiyalangan dvigatellar, MPP arxitekturasi va Pipeline bajarish dvigatelidan foydalanib, Doris/VeloDB soniya ichidagi so'rovlar va yuqori unumdor real-time platformani ta'minlaydi.
Yagona ko'l ombori (Unified Lakehouse)
Apache Doris/VeloDB ma'lumotlar ko'llari yoki relyatsion ma'lumotlar bazalari asosida birlashtirilgan ko'l ombori arxitekturasini yaratishga imkon beradi. Ma'lumotlar ko'llari va ma'lumotlar omborlari o'rtasida uzluksiz integratsiya va ma'lumotlarning erkin oqimini ta'minlaydi.
Moslashuvchan modellash
Apache Doris/VeloDB keng jadvallar, oldindan agregatsiya modellari, yulduz/qor parchalari sxemalarini taklif etadi. Ma'lumotlar Flink orqali denormalizatsiya qilinishi yoki ko'rinishlar, materializatsiyalashgan ko'rinishlar yoki real-time birlashmalar orqali modellashtirilishi mumkin.
Texnik sharh
Doris/VeloDB SQL qo'llab-quvvatlashni ta'minlaydi, samarali interfeys taqdim etadi va MySQL protokoli bilan to'liq mos keladi. Uning so'rov mexanizmi MPP arxitekturasiga asoslangan, murakkab analitik so'rovlarni past kechikish bilan samarali bajarishga qodir. Ustunli saqlash orqali so'rov unumdorligi va siqish koeffitsiyentini sezilarli darajada optimallashtiradi.
Interfeys
Apache Doris/VeloDB MySQL protokolidan foydalanadi, standart SQL-ni qo'llab-quvvatlaydi. BI-vositalar bilan uzluksiz integratsiyalanadi: Smartbi, DataEase, FineBI, Tableau, Power BI. MySQL-ni qo'llab-quvvatlaydigan har qanday BI uchun ma'lumotlar manbai sifatida ishlashi mumkin.
Saqlash dvigateli
Ustunli saqlash dvigateli ma'lumotlarni ustunlar bo'yicha kodlaydi, siqadi va o'qiydi — yuqori siqish koeffitsiyenti va I/O hamda CPU-ni samarali foydalanish. Indekslar:
- Sorted Compound Key Index — qo'shma saralash kalitini shakllantirish uchun uchta ustunga qadar
- Min/Max — raqamli turlar uchun tenglik va diapazon bo'yicha filtrlash
- BloomFilter — yuqori kardinallikka ega ustunlarni filtrlash
- Inverted index — har qanday maydon bo'yicha tez qidiruv
Ma'lumotlar modellari:
- Duplicate Key Model — fakt jadvallari uchun batafsil ma'lumotlar modeli
- Unique Key Model — kalitlar noyobligi, qator darajasida yangilash
- Aggregate Key Model — yuqori unumdorlik uchun oldindan agregatsiya
So'rov dvigateli
Tugunlar orasidagi parallel hisoblashlar uchun MPP dvigatel. Katta jadvallar uchun taqsimlangan shuffle join-ni qo'llab-quvvatlaydi.
So'rov dvigateli to'liq vektorizatsiyalangan, xotiradagi barcha ma'lumotlar tuzilmalari ustunli formatda tashkil etilgan. Apache Doris/VeloDB keng jadvallar agregatsiyasi stsenariylarda 5–10 baravar yuqori unumdorlikni ta'minlaydi.
Apache Doris/VeloDB bajarish rejasini dinamik tuzatish uchun adaptiv so'rovlarni bajarish texnologiyasidan foydalanadi. Runtime-filtr In/Min/Max/Bloom Filter-ni qo'llab-quvvatlaydi.
Pipeline dvigateli so'rovlarni ko'p yadroli CPU-lar yordamida parallel bajarish uchun quyi vazifalarga bo'ladi. Optimizator yuqori unumdor bajarish rejalari uchun CBO, RBO va HBO kombinatsiyasidan foydalanadi.
VELODB SIZNING MUAMMOLARINGIZNI QANDAY HAL QILISHINI BILMOQCHIMISIZ?
> Konsultatsiya bepul, majburiyatlar yo'q
./KONSULTATSIYA_SO'RASH.shData Warehouse vs Data Lake vs Lakehouse. Open table formats. Beshta noaniq afzallik.
Vector + BM25 + RRF. Benchmark: GPU-siz Reranker sifatining 96%-i. SQL misollar.
RBAC, Embedding Drift, Semantic Confusion, audit, Prompt Injection. Yechimlar va tadqiqotlarga havolalar.
SuperSet, PowerBI, Tableau sekin ishlayaptimi? Sub-100ms, Auto Query Rewrite, bepul pilot.
MySQL Protocol, uchta DAG patterni, Stream Load. Job Scheduler vs Airflow.
Kafka -> Doris: standalone/distributed, SSL, DLQ, schema evolution va best practices.