1. Elasticsearch nega yetarli boʼlmay qoladi
Elasticsearch qidiruv tizimi sifatida yaratilgan: toʼliq matnli qidiruv, invertirlangan indekslar, near-real-time hujjat yetkazish.
Lekin ES da analitika qurilganda — milliardlab qatorlardagi agregatsiyalar, koʼp jadvalli JOIN, BI-dashboardlar — tizimli muammolar paydo boʼladi:
- Katta hajmlardagi agregatsiyalar sekin: ES maʼlumotlarni row-oriented formatda saqlaydi.
- SQL JOIN yoʼq: Query DSL indekslar orasida join qoʼllab-quvvatlamaydi.
- Saqlash narxi: 1:1.5 siqish, kolonchali SUBD ning 1:5–1:10 ga nisbatan.
- Litsenziya nobarqarorligi: Apache 2.0 → SSPL → Elastic License → AGPL — 5 yilda 3 oʼzgarish.
2. Arxitektura: qidiruv tizimi vs analitik SUBD
Asosiy farq — maʼlumotlarni saqlash va qayta ishlash modelida.
| Elasticsearch | Apache Doris |
|---|---|
| Inverted Index + row-based saqlash | Columnar storage + MPP arxitekturasi |
| Full-text search va point lookups uchun optimallashtirilgan | Agregatsiyalar, scan, multi-table JOIN uchun optimallashtirilgan |
| Query DSL (JSON) — qidiruvga kuchli, analitikaga noqoʼlay | Standart SQL (MySQL-protokol, JDBC/ODBC) |
| Shardlar orqali gorizontal masshtablash | SIMD bilan vectorized execution engine |
| Murakkab soʼrovlar uchun CBO yoʼq | CBO + Runtime Filter JOIN optimallash uchun |
Apache Doris 2.0 versiyasidan boshlab inverted index, BM25 va hybrid search (matn + vektor) qoʼllab-quvvatlaydi.
3. Unumdorlik: haqiqiy joriy etishlardan raqamlar
Apache Doris va VeloDB eʼlon qilgan keyslardan maʼlumotlar:
| Metrika | Elasticsearch | Apache Doris | Manba |
|---|---|---|---|
| Soʼrov tezligi (toʼliq matn) | Boshlangʼich daraja | 2–3x tezroq | doris.apache.org |
| Yozish tezligi | Boshlangʼich daraja | 4x tezroq | doris.apache.org |
| Maʼlumotlar siqilishi | 1:1.5 | 1:5 – 1:10 | doris.apache.org |
| Saqlash tejamkorligi | — | 50–65% | Koʼchish keyslari |
| Soʼrovlar (toʼlov platformasi) | Boshlangʼich daraja | 56x tezroq | Leading Payment Platform |
| Yozish oʼtkazuvchanlik qobiliyati | Boshlangʼich daraja | +58% | Leading Payment Platform |
4. Query DSL oʼrniga SQL
Elasticsearch JSON Query DSL dan foydalanadi — qidiruvga kuchli, lekin analitikaga noqoʼlay. GROUP BY bilan oddiy agregatsiya ichma-ich JSON tuzilmalarini talab qiladi, JOIN umuman mumkin emas.
Apache Doris MySQL-protokol boʼyicha ishlaydi. Har qanday BI-asbob (Grafana, Superset, Tableau, Power BI) standart JDBC/ODBC orqali ulanadi.
// MISOL: DORIS DA AGREGATSIYA SELECT region, risk_level,
COUNT(*) AS tx_count,
AVG(amount) AS avg_amount
FROM transactions t
JOIN merchants m ON t.merchant_id = m.id
WHERE tx_date >= CURRENT_DATE - INTERVAL 7 DAY
GROUP BY region, risk_level
ORDER BY tx_count DESC; Elasticsearch da bu soʼrov: maʼlumotlarni denormalizatsiya qilish, nested aggregation terms + avg, va saralash uchun alohida pipeline talab qilgan boʼlar edi.
5. Egalik qilish narxi (TCO)
ES dan Doris ga koʼchishdagi asosiy tejash omillari:
| Saqlash | |
|---|---|
| Saqlash | Kolonchali siqish (Zstandard, LZ4): 1:5–1:10 ES ning 1:1.5 ga nisbatan. 10 TB maʼlumotda: Doris ~1–2 TB, ES ~6.7 TB. |
| Serverlar | Lakala ES/Hive/HBase dan Doris ga koʼchgandan keyin serverlar sonini 52% ga qisqartirdi. |
| Muhandislar | Hayvonot bogʼi oʼrniga bitta SQL-dvigatel: ES Mapping, Kibana mutaxassislariga kamroq ehtiyoj. |
| Litsenziyalar | Apache Doris — Apache License 2.0, litsenziya toʼlovisiz. ES AGPL SaaS da kodni ochishni talab qiladi. |
6. Litsenziyalash: barqarorlik vs 5 yilda 3 oʼzgarish
Elasticsearch litsenziyalar tarixi:
- 2010–2018: Apache License 2.0 — toʼliq erkinlik
- 2021: SSPL / Elastic License ga koʼchish — AWS OpenSearch ga javob
- 2024: AGPL ga oʼtish — SaaS provayderlar uchun cheklovlar
Apache Doris: Apache Foundation dagi inkubatsiyadan beri Apache License 2.0. Litsenziya oʼzgarmadi va oʼzgarishi rejalashtirilmagan.
Enterprise kompaniyalar uchun litsenziya barqarorligi — muhim omil: yuridik xavflar, compliance, uzoq muddatli rejalashtirish.
7. Elasticsearch dan koʼchish keyslari
Toʼlov platformasi (kuniga 600M hodisa)
Security-analitikani ES dan Doris ga koʼchirish: soʼrovlar 56 barobar tezlashdi, saqlash narxi 50% kamaydi, yozish oʼtkazuvchanligi 58% oshdi.
Tijorat banki (PB-masshtab)
Petabaytli log omborini ES dan Doris ga koʼchirish. Asosiy sabablar: saqlash tejami, SQL, yagona platforma.
Kwai (trillionlab reklama qatorlari)
ClickHouse + Elasticsearch ni bitta Apache Doris ga birlashtirish (Bleem platformasi). Natija: kuniga ~1 mlrd soʼrov.
Lakala (fintech, 25M riteyler)
ES, Hive, HBase, TiDB, Oracle ni Doris ga birlashtirish: soʼrovlar 15 barobar tez, serverlar 52% kam.
8. Elasticsearch qachon yaxshiroq
Elasticsearch aniq stsenariylarda eng yaxshi tanlov boʼlib qoladi:
- Analitikasiz sof full-text qidiruv: tovar kataloglari, hujjat qidirish, autocomplete.
- DevOps uchun ELK-stek: Logstash + Kibana oʼrnatilgan boʼlsa va SQL-analitika kerak emas.
- Geo-search: ES ning geo-indekslari (geo_point, geo_shape) chuqurroq.
- Fuzzy matching va highlighting: ES Highlight API qidiruv vazifalariga nativroq.
Lekin Elasticsearch da analitika — agregatsiyalar, dashboardlar, hisobotlar, multi-table JOIN — qurilsa, Apache Doris bu vazifalarni tezroq, arzonroq va soddaroq hal qiladi.