Banklar uchun Data Lakehouse: antifrod, hisobot, yagona ombor

1. Banklarga nima uchun modern OLAP kerak

• Legacy DWH (Teradata, Oracle, Greenplum) qimmat va real-time uchun sekin: risk va antifrod uchun yangi maʼlumot kerak, tungi vitrinalar yetarli emas.
• Tizimlar zooʼsi: Elasticsearch loglar, Hive batch, ClickHouse vitrinlar — har bir stack alohida ekspertiza, SLA va qoʼllab-quvvatlash liniyasini talab qiladi.
• Regulyator talablari: Basel III, AML, compliance hisoboti — maʼlumotlar tez, mos keladigan holda va audit imkoniyati bilan kerak.
• Real-time antifrod: tranzaksiya soniyalar ichida baholanishi kerak, daqiqalar emas; kechikish toʼgʼridan-toʼgʼri yoʼqotish va obroʼga zarar beradi.

2. Apache Doris: bank analitikasi uchun yagona platforma

• Kafka va Flink CDC orqali real-time ingest, muhim moliyaviy oqimlar uchun exactly-once semantikasi.
• CBO bilan multi-table JOIN — murakkab analitik soʼrovlar va uzviy hisobot uchun.
• RBAC: row-level va column-level security — rollar va sezgir maydonlar boʼyicha kirish.
• MySQL-protokoli: standart SQL va istalgan BI asbobi, propriyater drayversiz.
• Cross-Cluster Replication — DR va geografik tarqalgan maydonchalar uchun.

3. Apache Dorisda antifrod

• Keys: ~650 mln mijozli riteyl-bank; platforma yirik tranzaksiya va profil oqimlarini qayta ishlaydi.
• Har kuni minglab shubhali tranzaksiya OLAPdagi qoidalar va skoring modellari asosida toʻxtatiladi.
• SLA: ~80% ad-hoc soʼrov 2 soniyadan tez, ~95% 5 soniyadan tez — tekshiruvchilarning tezkor ishi.
• Tanlovdagi taqqoslash: 89 test; Doris yozishda ClickHouseʼga nisbatan taxminan 6x tezroq va JOIN samaradorligi kuchli.
• Arxitektura: Kafka (real-time tx) + Hive (offline) + PostgreSQL (oʼlchamlar) → Flink → Doris yagona analitik tekisligi.

4. Keys: toʼlov platformasi (kuniga 600M hodisa)

• Security analitikasini Elasticsearchdan Apache Dorisga migratsiya: hodisalarni qidirish va SQL analitikasi bitta dvigatelda.
• Oldingi stekga nisbatan tipik soʼrovlar 56× tezlashdi.
• Ustunli model va maʼlumot hayot sikli siyosatlari hisobiga saqlash narxi 50% pasaydi.
• Hodisalarni yetkazish latency talablarini saqlab, yozish oʼtkazuvchanligi 58% oshdi.

5. Keys: toʼlov servisi (25M riteyl)

• Elasticsearch, Hive, HBase, TiDB va Oracleʼni Doris klasterida birlashtirish — operatsion murakkablik kamayadi.
• Ingest tezligi 25×, ETL 312×, interaktiv soʼrovlar 10–15× tez — biznes foydalanuvchilari uchun.
• Yuk va analitik ssenariylar soni oshgan holda server parki 52% qisqardi.

6. Compliance va hisobot

• Basel III: risk maʼlumotlarini regulyator muddatlarida konsolidatsiya qilish; yagona SQL qatlami tekshiruv va sifat nazoratini soddalashtiradi.
• AML: millionlab tranzaksiya boʼyicha pattern qidirish — past latency OLAP eksponiziya oynasini qisqartiradi.
• Regulyator hisoboti: standart SQL compliance jamoalariga maxsus tilsiz ochiq.
• Audit trail: Doris maʼlumot versiyalari va hisoblarni qayta ishlash uchun time-travel soʼrovlarini qoʼllab-quvvatlaydi.
• On-prem joylashtirish: KZ/UZ maydonchalarida maʼlumot suvereniteti va mahalliy normlarga moslik.

7. Bank uchun Lakehouse arxitekturasi