Гибридтік іздеу: неліктен векторлар жалған айтады, ал кілт сөздер ақымақтайды

Идея гениальды. Мәтінді аламыз, нейросеть арқылы өткіземіз, вектор аламыз — 1024 саннан тұратын массив, ол «мағынаны кодтайды». Мағынасы жақын мәтіндер жақын векторлар алады.

Сценарий 1: Нақты идентификаторлар — SKU-7829-BX, заң нөмірлері, тапсырыс ID.

Сценарий 2: Аббревиатуралар — банкингте KYC, AML, SOFR, ICAAP, PCI DSS.

Сценарий 3: Доменнан тыс — модель ешқашан көрмеген ішкі құжаттар.

BM25 = Best Matching 25, TF-IDF тұқымы, 1994 жылдан стандарт.

BM25 күші

• Идентификаторлардың нақты сәйкесуі.
• Интерпретациялануы — қай сөздер бойынша жұмыс істегені көрінеді.
• Жылдамдық — GPU жоқ, миллисекундтар.

Әлсіздігі: семантика жоқ. «Машина» ≠ «автомобиль».

Hybrid = параллель вектор + BM25, содан кейін нәтижелерді біріктіру.

Мәселе: әр түрлі балл шкалалары (cosine 0–1 vs BM25 0.5–45.7).

Шешім: RRF (Reciprocal Rank Fusion), 2009 жылғы мақала.

RRF formula:

RRF_score(doc) = 1/(k + rank_vector) + 1/(k + rank_bm25)    where k = 60

Неге бұл гениалды:

• Скорларды нормализациялау қажет емес.
• Салмақтарды үйрету қажет емес.
• GPU жоқ.
• Латенттілік — микросекундтар.

Hybrid RRF ауыр Reranker сапасының 96% береді. GPU жоқ. Қосымша модель жоқ. Бір SQL-сұраныс.

Типикалық RAG-сәулет

Documents → Elasticsearch (full-text)
         → Qdrant / Milvus (vector)  
         → PostgreSQL (metadata)

Біртұтас тәсіл

-- Hybrid Search in one SQL query
WITH vector_results AS (
    SELECT doc_id,
           cosine_distance(embedding, :query_vec) AS score,
           ROW_NUMBER() OVER (ORDER BY cosine_distance(embedding, :query_vec)) AS rank
    FROM documents
    WHERE department = :user_dept
      AND version_status = 'active'
    ORDER BY score DESC LIMIT 50
),
bm25_results AS (
    SELECT doc_id,
           score(content) AS score,
           ROW_NUMBER() OVER (ORDER BY score(content) DESC) AS rank
    FROM documents
    WHERE MATCH(content, :query_text)
      AND department = :user_dept
      AND version_status = 'active'
    ORDER BY score DESC LIMIT 50
)
SELECT doc_id,
       1.0/(60 + v.rank) + 1.0/(60 + b.rank) AS rrf_score
FROM vector_results v
FULL OUTER JOIN bm25_results b USING (doc_id)
ORDER BY rrf_score DESC
LIMIT 10;

Hybrid Search-тің 5 ережесі

1. Әдепкі бойынша Hybrid-ден бастаңыз.
2. Біріктіру үшін RRF (k=60) қолданыңыз.
3. Hybrid жеткіліксіз болса ғана Reranker қосыңыз.
4. Дерекқорлар зоопарғын жасамаңыз.
5. Өз деректеріңізде тексеріңіз.

Қорытынды, сусыз

• Не: Не: параллель вектор + BM25, RRF арқылы біріктіру.
• Неге: Неге: вектор нақты сәйкесулерде жеңіледі, кілт сөздер мағынаны түсінбейді.
• Таңдаулы: Таңдаулы: RRF ауыр reranker сапасының 96% береді, тегін.
• Қашан керек: Қашан керек: RAG, құжат іздеу, кодтар/аббревиатуралар.

Дереккөздер

1. Cormack et al., «Reciprocal Rank Fusion outperforms...» — SIGIR 2009
2. Microsoft Azure AI Search: Hybrid Search
3. Robertson et al., «Okapi at TREC-3» — BM25, 1994
4. Apache Doris — Inverted Index + Vector Search docs
5. Біздің бенчмарк: толық нәтижелер github.com/datanomix