Гибрид қидирув: нега векторлар ёлғон гапиради, калит сўзлар эса ақлдан озмайди

Идея гениал. Матнни оламиз, нейросеть орқали ўтказамиз, вектор оламиз — 1024 та сондан иборат массив, у «маънони кодлайди». Маъноси яқин матнлар яқин векторлар олади.

Сценарий 1: Аниқ идентификаторлар — SKU-7829-BX, қонун рақамлари, буюртма ID.

Сценарий 2: Qisqartmalar — банкингда KYC, AML, SOFR, ICAAP, PCI DSS.

Сценарий 3: Домендан ташқари — модель ҳеч қачон кўрмаган ички ҳужжатлар.

BM25 = Best Matching 25, TF-IDF оиласи, 1994 йилдан стандарт.

BM25 кучли томонлари

• Идентификаторларнинг аниқ мослашиши.
• Интерпретацияланади — қай сўзлар бўйича ишлаганлиги кўринади.
• Тезлик — GPU йўқ, миллисониялар.

Заифлик: семантика йўқ. «Машина» ≠ «автомобиль».

Hybrid = параллел вектор + BM25, сўнг натижаларни бирлаштириш.

Муаммо: турли балл шкалалари (cosine 0–1 vs BM25 0.5–45.7).

Ечим: RRF (Reciprocal Rank Fusion), 2009 йил мақоласи.

RRF formula:

RRF_score(doc) = 1/(k + rank_vector) + 1/(k + rank_bm25)    where k = 60

Нега бу гениал:

• Скорларни нормалаштириш шарт эмас.
• Огирлиқларни ўргатиш шарт эмас.
• GPU йўқ.
• Латентлик — микросониялар.

Hybrid RRF оғир Reranker сифатининг 96% беради. GPU йўқ. Қўшимча модель йўқ. Битта SQL-сўров.

Типик RAG-меъморчилик

Documents → Elasticsearch (full-text)
         → Qdrant / Milvus (vector)  
         → PostgreSQL (metadata)

Бирлашган ёндашув

-- Hybrid Search in one SQL query
WITH vector_results AS (
    SELECT doc_id,
           cosine_distance(embedding, :query_vec) AS score,
           ROW_NUMBER() OVER (ORDER BY cosine_distance(embedding, :query_vec)) AS rank
    FROM documents
    WHERE department = :user_dept
      AND version_status = 'active'
    ORDER BY score DESC LIMIT 50
),
bm25_results AS (
    SELECT doc_id,
           score(content) AS score,
           ROW_NUMBER() OVER (ORDER BY score(content) DESC) AS rank
    FROM documents
    WHERE MATCH(content, :query_text)
      AND department = :user_dept
      AND version_status = 'active'
    ORDER BY score DESC LIMIT 50
)
SELECT doc_id,
       1.0/(60 + v.rank) + 1.0/(60 + b.rank) AS rrf_score
FROM vector_results v
FULL OUTER JOIN bm25_results b USING (doc_id)
ORDER BY rrf_score DESC
LIMIT 10;

Hybrid Search 5 та правила

1. Сукут бўйича Hybrid дан бошланг.
2. Бирлаштириш учун RRF (k=60) ишлатинг.
3. Hybrid етарли бўлмасагина Reranker қўшинг.
4. Базалар зоопарки яратманг.
5. Ўз маълумотларингизда текширинг.

Хулоса, сувсиз

• Нима: Нима: параллел вектор + BM25, RRF орқали бирлаштириш.
• Нега: Нега: вектор аниқ мослашишларда йутқазиди, калит сўзлар маънони тушунмайди.
• Ажойиб: Ажойиб: RRF оғир reranker сифатининг 96% беради, бепул.
• Қачон керак: Қачон керак: RAG, ҳужжат қидируви, кодлар/qisqartmalar.

Манбалар

1. Cormack et al., «Reciprocal Rank Fusion outperforms...» — SIGIR 2009
2. Microsoft Azure AI Search: Hybrid Search
3. Robertson et al., «Okapi at TREC-3» — BM25, 1994
4. Apache Doris — Inverted Index + Vector Search docs
5. Бизнинг бенчмарк: тўлиқ натижалар github.com/datanomix