Банктер үшін Data Lakehouse: антифрод, есептілік, қойма

1. Банктерге не үшін modern OLAP керек

• Legacy DWH (Teradata, Oracle, Greenplum) қымбат және real-time үшін баяу: risk пен antifraud үшін жаңа дерек керек, түнгі витриналар жеткіліксіз.
• Жүйелер зоопаркі: Elasticsearch логтарға, Hive batch-қа, ClickHouse витриналарға — әр стек жеке экспертиза, SLA және қолдау линиясы талап етеді.
• Реттеуші талаптар: Basel III, AML, compliance есептілігі — деректер жылдам, үйлесімді және аудит мүмкіндігімен қажет.
• Real-time antifraud: транзакция секунд ішінде бағалануы керек, минут емес; кешігу тікелей шығын мен беделге соғады.

2. Apache Doris: банктік аналитика үшін бірыңғай платформа

• Kafka және Flink CDC арқылы real-time ingest, қаржылық ағындар үшін exactly-once семантикасы.
• CBO бар multi-table JOIN — күрделі аналитикалық сұраныстар мен сквозной есептілік үшін.
• RBAC: row-level және column-level security — рөлдер мен сезімтал өрістер бойынша қолжетімділік.
• MySQL-протоколы: стандартты SQL және кез келген BI құралы, проприетарлы драйверсіз.
• Cross-Cluster Replication — DR және географиялық таратылған алаңдар үшін.

3. Apache Doris жанындағы antifraud

• Кейс: ~650 млн клиенті бар ритейл-банк; платформа ірі транзакция және профиль ағындарын өңдейді.
• Күнделікті мыңдаған күдікті транзакция OLAP-тегі ережелер мен скоринг модельдері негізінде тоқтатылады.
• SLA: ~80% ad-hoc сұраныс 2 секундтан жылдам, ~95% 5 секундтан жылдам — тергеушілердің жедел жұмысы.
• Таңдау кезіндегі салыстыру: 89 тест; Doris жазуда ClickHouse-қа қарағанда шамамен 6x жылдам және JOIN өнімділігі күшті.
• Архитектура: Kafka (real-time tx) + Hive (offline) + PostgreSQL (өлшемдер) → Flink → Doris бірыңғай аналитикалық жазықтығы.

4. Кейс: төлем платформасы (күніне 600M оқиға)

• Security аналитикасын Elasticsearch-тен Apache Doris-ке көшіру: оқиғаларды іздеу мен SQL аналитикасы бір қозғалтқышта.
• Алдыңғы стекке қарағанда типтік сұраныстар 56× жылдамдатылды.
• Бағандық модель және дерек өмір циклі саясаттары арқылы сақтау құны 50% төмендеді.
• Оқиғаларды жеткізу latency талаптарын сақтай отырып, жазу өткізу қабілеті 58% өсті.

5. Кейс: төлем сервисі (25M ритейлер)

• Elasticsearch, Hive, HBase, TiDB және Oracle-ды Doris кластерінде біріктіру — операциялық күрделілік азаяды.
• Ingest жылдамдығы 25×, ETL 312×, интерактивті сұраныстар 10–15× жылдам — бизнес-пайдаланушылар үшін.
• Жүктеме мен аналитикалық сценарийлер саны өскенде сервер паркі 52% қысқарды.

6. Compliance және есептілік

• Basel III: risk деректерін реттеуші мерзімдерде консолидациялау; бірыңғай SQL қабаты тексерулер мен сапаны бақылауды жеңілдетеді.
• AML: миллиондаған транзакция бойынша паттерн іздеу — төмен latency OLAP экспозиция терезесін қысқартады.
• Реттеуші есептілік: стандартты SQL compliance командаларына арнайы тілсіз қолжетімді етеді.
• Audit trail: Doris дерек нұсқаларын басқару және есептерді қайта өндіру үшін time-travel сұраныстарын қолдайды.
• On-prem орналастыру: KZ/UZ алаңдарында дерек суверенитеті және жергілікті нормаларға сәйкестік.

7. Банк үшін Lakehouse архитектурасы