# فصل ۰۵ — `RAG` خراب می‌شود — کجا و چرا

<div dir="rtl">

# فصل ۰۵ — `RAG` خراب می‌شود — کجا و چرا

## در این فصل چه یاد می‌گیری

فصلِ قبل ۱۸ از ۲۴ گرفتیم و دو عدد کنارِ هم گذاشتیم: **بازیابی ۱۶ از ۱۹، جوابِ درست ۱۳ از ۱۹**. این فصل می‌رود سراغِ همان فاصله.

و **صادقانه بگویم چه اتفاقی می‌افتد:** پنج تکنیکِ معروف را امتحان می‌کنیم و **هیچ‌کدامشان عددِ نهایی را بالا نمی‌برد — چهارتایشان حتی پایینش می‌آورند.** **این فصل دربارهٔ تکنیک‌ها نیست، دربارهٔ تشخیص است** — و درسِ اصلی‌اش این است: **قبل از اینکه چیزی را «بهتر» کنی، مطمئن شو داری همان چیزی را اندازه می‌گیری که واقعاً خراب است.**

![یک زنجیره که در دو حلقهٔ متفاوت ترک خورده و یکی از ترک‌ها دیده نمی‌شود](/lesson-assets/t5-s05-rag-fails/prompt/01-image-two-cracks.png)

آخر این فصل می‌توانی:

- خطای بازیابی را از خطای تولید با عدد تفکیک کنی
- `chunk` را با معیارِ درست تنظیم کنی، نه با شهود
- جست‌وجوی کلیدواژه‌ای و معنایی را ترکیب کنی و بفهمی کِی می‌ارزد
- تناقضِ دو سند را در پیکره پیدا و مهار کنی

## قبل از شروع

**از فصل ۴:** `chunk_doc`، `embed`، `retrieve` و دو عدد آخرِ فصل. اینجا همه‌شان را دوباره می‌سازیم چون این فصل نوت‌بوکِ مستقلی دارد.

> 💡 **نکته:** **زمانِ تخمینی روی CPU: دو تا سه دقیقه.** این فصل چند بار کلِ مجموعهٔ طلایی را ارزیابی می‌کند و هر ارزیابی ۲۴ بازیابی و ۲۴ تماس دارد.

> 📓 **نوت‌بوک:** [نوت‌بوک این فصل را در Colab باز کن](/notebooks/zharfa/term-5-llm-engineering/session-05-rag-fails.ipynb) — همهٔ کدهای این فصل آماده و به‌ترتیب داخلش هست.

## ۱. به سه پرسشی که گم شد نگاه کن

</div>

```python
import math
from collections import Counter

import torch
from transformers import AutoModel, AutoTokenizer

NAME = "sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2"
tokenizer = AutoTokenizer.from_pretrained(NAME)
encoder = AutoModel.from_pretrained(NAME)
encoder.eval()


@torch.no_grad()
def embed(texts, batch=32):
    out = []
    for i in range(0, len(texts), batch):
        b = tokenizer(texts[i:i + batch], padding=True, truncation=True,
                      max_length=128, return_tensors="pt")
        hidden = encoder(**b).last_hidden_state
        mask = b["attention_mask"].unsqueeze(-1).float()
        out.append((hidden * mask).sum(1) / mask.sum(1))
    return torch.nn.functional.normalize(torch.cat(out), dim=1)


def chunk_doc(doc, size=3, overlap=1):
    parts = sentences(doc["text"])
    out, start = [], 0
    while start < len(parts):
        out.append({"doc": doc["id"], "title": doc["title"],
                    "text": " ".join(parts[start:start + size])})
        if start + size >= len(parts):
            break
        start += size - overlap
    return out


def build(size=3, overlap=1):
    chunks = [c for d in DOCS for c in chunk_doc(d, size, overlap)]
    return chunks, embed([c["text"] for c in chunks])


CHUNKS, INDEX = build()
ANSWERABLE = [g for g in GOLD if g["doc"]]
SIMPLE = [g for g in GOLD if g["kind"] == "ساده"]


def dense(question, k=3):
    scores = embed([question])[0] @ INDEX.T
    return [(float(scores[i]), CHUNKS[i]) for i in scores.topk(k).indices.tolist()]


def missed_by(rank_fn, k=3):
    out = []
    for g in ANSWERABLE:
        got = {c["doc"] for _, c in rank_fn(g["q"], k)}
        if not set(g["doc"].split("+")).issubset(got):
            out.append(g)
    return out


for g in missed_by(dense):
    print(f"  گم شد [{g['doc']}] {g['q'][:48]}")
    for score, chunk in dense(g["q"]):
        print(f"        {score:.3f} [{chunk['doc']:<9}] {chunk['text'][:44]}…")
```

<div dir="rtl">

</div>

```text
  گم شد [loans+renewal] عضو پژوهشی با یک بار تمدید چند روز فرصت دارد؟
        0.596 [loans    ] مدت امانت برای عضو دانشجویی ۲۱ روز است. مدت …
        0.570 [loans    ] عضو پژوهشی هم‌زمان تا ۸ جلد کتاب امانت می‌گی…
        0.534 [faq      ] چند کتاب می‌توانم ببرم؟ بستگی به نوعِ عضویت …
  گم شد [fines+reference] جریمهٔ ۵ ساعت تأخیر در بازگرداندنِ یک کتابِ مرجع
        0.699 [fines    ] به‌ازای هر روز تأخیر در بازگرداندنِ کتابِ عا…
        0.631 [fines    ] امتیازِ منفیِ بیشتر از ۶۰ عضویت را تا تسویه …
        0.522 [faq      ] چند کتاب می‌توانم ببرم؟ بستگی به نوعِ عضویت …
  گم شد [reference] آیا عضو عادی می‌تواند اطلس امانت بگیرد؟
        0.529 [loans    ] عضو عادی هم‌زمان تا ۳ جلد کتاب امانت می‌گیرد…
        0.494 [loans    ] امانت با کارت عضویت و در باجهٔ امانت انجام م…
        0.447 [loans    ] عضو پژوهشی هم‌زمان تا ۸ جلد کتاب امانت می‌گی…
```

<div dir="rtl">

**سه خرابی، ولی فقط دو علت — و اگر هر سه را «بازیابی ضعیف است» بنامی، هیچ‌کدام را درست نمی‌کنی.**

**۱) دو پرسشِ اول به دو سند نیاز دارند.** «عضو پژوهشی با یک بار تمدید» یعنی مدتِ امانت از `loans` و مقدارِ تمدید از `renewal`. **ولی ما یک بردار برای کلِ پرسش ساختیم.** آن بردار جایی بینِ دو موضوع می‌ایستد و سه تکهٔ نزدیک به **خودش** را برمی‌دارد، نه دو تکهٔ نزدیک به دو **نیمه**ی پرسش. **این عیبِ فهرست نیست، عیبِ «یک پرسش، یک جست‌وجو» است.**

**۲) پرسشِ سوم واژگانش با سند نمی‌خواند.** پرسش «عضو عادی» و «امانت» دارد، پس تکه‌های `loans` را می‌آورد. ولی جواب در `reference` است و آنجا کلمهٔ «اطلس» آمده — **که در پرسش هست ولی وزنش زیرِ سنگینیِ «عضو» و «امانت» گم شده.**

## ۲. یک عدد کافی نیست: دو متریکِ بازیابی

</div>

```python
def doc_recall(rank_fn, k=3):
    return len(ANSWERABLE) - len(missed_by(rank_fn, k))


def answer_in_context(rank_fn, k=3):
    hit = 0
    for g in SIMPLE:
        context = " ".join(c["text"] for _, c in rank_fn(g["q"], k))
        hit += g["a"] in context
    return hit


print("سندِ درست در نتایج :", doc_recall(dense), "از ۱۹")
print("جواب در متنِ نهایی :", answer_in_context(dense), "از ۱۳")
```

<div dir="rtl">

</div>

```text
سندِ درست در نتایج : 16 از ۱۹
جواب در متنِ نهایی : 13 از ۱۳
```

<div dir="rtl">

**این دو عدد دو سؤالِ متفاوت می‌پرسند و جوابشان یکی نیست:**

- **`doc_recall`** — آیا سندی که باید، در نتایج بود؟ معیارِ **کتابدار**.
- **`answer_in_context`** — آیا **رشتهٔ جواب** واقعاً در متنی که به مدل دادیم آمد؟ معیارِ **مصرف‌کننده**.

> 📏 **اندازه بگیر:** **۱۳ از ۱۳.** برای **هر** پرسشِ ساده، جواب داخلِ متنی که فرستادیم بود. **پس هیچ خطایی در پرسش‌های سادهٔ ما تقصیرِ بازیابی نیست.** اگر بدونِ این عدد می‌رفتی سراغِ بهبودِ بازیابی، **روی نیمه‌ای کار می‌کردی که اصلاً خراب نبود.** این جمله را از این فصل نگه دار.

## ۳. مرزِ تکه — و یک نتیجهٔ برخلافِ شهود

</div>

```python
for size, overlap in ((2, 0), (2, 1), (3, 0), (3, 1), (5, 1)):
    chunks, index = build(size, overlap)

    def ranked(question, k, chunks=chunks, index=index):
        scores = embed([question])[0] @ index.T
        return [(float(scores[i]), chunks[i]) for i in scores.topk(k).indices.tolist()]

    print(f"  size={size} overlap={overlap}: {len(chunks):>2} تکه · "
          f"جواب در متن {answer_in_context(ranked)}/13 · سند درست {doc_recall(ranked)}/19")
```

<div dir="rtl">

</div>

```text
  size=2 overlap=0: 39 تکه · جواب در متن 12/13 · سند درست 15/19
  size=2 overlap=1: 57 تکه · جواب در متن 12/13 · سند درست 13/19
  size=3 overlap=0: 27 تکه · جواب در متن 13/13 · سند درست 16/19
  size=3 overlap=1: 30 تکه · جواب در متن 13/13 · سند درست 16/19
  size=5 overlap=1: 16 تکه · جواب در متن 13/13 · سند درست 18/19
```

<div dir="rtl">

**بهترین ردیف، درشت‌ترین تکه است: ۱۶ تکهٔ پنج‌جمله‌ای، ۱۸ از ۱۹.**

**و این برخلافِ چیزی است که همه‌جا می‌خوانی** («تکهٔ ریزتر یعنی بازیابیِ دقیق‌تر»). به `size=2 overlap=1` نگاه کن: **۵۷ تکه ساخت — بیشترین — و بدترین نتیجه را داد.**

**چرا؟** چون بردارِ یک تکهٔ دوجمله‌ای **زمینه ندارد.** «مدت امانت برای عضو دانشجویی ۲۱ روز است» به‌تنهایی نمی‌داند دربارهٔ کتابخانه حرف می‌زند یا هر چیزِ دیگری. تکهٔ پنج‌جمله‌ای کلِ قاعدهٔ امانت را در خودش دارد و **بردارش واقعاً «قواعدِ امانت» را نمایندگی می‌کند.**

**و طرفِ دیگرِ معامله را هم ببین:** تکهٔ درشت‌تر یعنی **متنِ بیشتر در پرامپت** — همان چیزی که فصلِ ۴ نشان داد از یک جایی به بعد ضرر می‌زند. **پس این یک بده‌بستان است، نه یک قاعدهٔ طلایی**، و راهش همین جدول است: **جاروب کن، اندازه بگیر، انتخاب کن.**

> ✅ **چک کن:** اگر جدولت با این یکی فرق دارد ولی **شکلش** یکی است (ریزترین بدترین، درشت‌ترین بهترین)، درست کار کرده‌ای. اگر همهٔ ردیف‌ها عددِ یکسان دادند، احتمالاً `build` را صدا زده‌ای ولی `ranked` هنوز `INDEX`ِ سراسریِ بالا را می‌خواند. **آن `chunks=chunks, index=index` در امضای تابع اینجا فقط احتیاط است:** `ranked` در همان دورِ حلقه صدا زده می‌شود و بدونِ آن هم مقدارِ همان دور را می‌بیند. اگر تابع را نگه می‌داشتی و بعد از حلقه صدا می‌زدی، این آرگومان‌ها لازم می‌شدند.

## ۴. تکهٔ تکراری، و تکنیکی که کار نکرد

**در فصلِ ۴ دیدی که برای «کارتم را گم کرده‌ام» دو تا از سه نتیجه از یک سند بودند و متنِ مشترک داشتند.** **بودجهٔ زمینه‌ات دارد صرفِ تکرار می‌شود.**

راهِ‌حلِ معروفش `MMR` است: به‌جای «سه تکهٔ نزدیک‌ترین»، «سه تکه‌ای که هم نزدیک‌اند و هم **به هم شبیه نیستند**».

</div>

```python
SYSTEM = ("تو دستیارِ کتابخانهٔ نوردانه‌ای. فقط از متنِ زیر جواب بده. "
          "اگر جواب در متن نیست بنویس: در سند نیست")


def answer(question, rank_fn, k=3):
    context = "\n\n".join(f"[{c['title']}]\n{c['text']}" for _, c in rank_fn(question, k))
    return chat([{"role": "system", "content": SYSTEM},
                 {"role": "user", "content": context + "\n\n" + question}])["text"]


def end_to_end(rank_fn, k=3):
    hit = 0
    for g in GOLD:
        text = answer(g["q"], rank_fn, k)
        hit += (REFUSAL in text) if g["a"] is None else (g["a"] in text)
    return hit


def distinct_docs(rank_fn, k=3):
    total = sum(len({c["doc"] for _, c in rank_fn(g["q"], k)}) for g in ANSWERABLE)
    return round(total / len(ANSWERABLE), 2)


def mmr(question, k=3, pool=8, lam=0.7):
    scores = embed([question])[0] @ INDEX.T
    pool_ids = scores.topk(pool).indices.tolist()
    chosen = []
    while len(chosen) < k and pool_ids:
        best_id, best_value = None, None
        for i in pool_ids:
            close = max((float(INDEX[i] @ INDEX[j]) for j in chosen), default=0.0)
            value = lam * float(scores[i]) - (1 - lam) * close
            if best_value is None or value > best_value:
                best_id, best_value = i, value
        chosen.append(best_id)
        pool_ids.remove(best_id)
    return [(float(scores[i]), CHUNKS[i]) for i in chosen]


reset_calls()
print(f"  ساده  : {distinct_docs(dense)} سندِ متمایز · جواب در متن {answer_in_context(dense)}/13"
      f" · نهایی {end_to_end(dense)}/24")
print(f"  MMR   : {distinct_docs(mmr)} سندِ متمایز · جواب در متن {answer_in_context(mmr)}/13"
      f" · نهایی {end_to_end(mmr)}/24")
```

<div dir="rtl">

</div>

```text
  ساده  : 2.16 سندِ متمایز · جواب در متن 13/13 · نهایی 18/24
  MMR   : 2.58 سندِ متمایز · جواب در متن 11/13 · نهایی 16/24
```

<div dir="rtl">

**`MMR` دقیقاً همان کاری را کرد که از آن خواستیم — و سامانه را خراب کرد.**

تنوع بالا رفت (۲٫۱۶ به ۲٫۵۸ سندِ متمایز)، ولی **جواب در دو پرسش از متن بیرون افتاد** و نتیجهٔ نهایی از ۱۸ به ۱۶ آمد.

**چرا؟** چون در پیکرهٔ ما **تکرار مضر نبود.** وقتی هر دو تکهٔ برترْ درست‌اند، «متفاوت بودن» یعنی **یکی از آن دو را با چیزی بی‌ربط‌تر عوض کن.**

> 📏 **اندازه بگیر:** **این مهم‌ترین نتیجهٔ منفیِ این ترم است و عمداً برجسته‌اش می‌کنم.** `MMR` تکنیکِ بدی نیست؛ **برای مسئلهٔ ما بی‌جا بود.** هر تکنیکی یک بیماری را درمان می‌کند، و اگر آن بیماری را نداری، **درمانش عارضه است.** پس ترتیبِ درستِ کار این است: **اول تشخیص، بعد درمان، بعد اندازه‌گیریِ دوباره.**

## ۵. کلیدواژه در کنارِ معنا

</div>

```python
DF = Counter()
for c in CHUNKS:
    DF.update(set(words(c["text"])))
NCHUNK = len(CHUNKS)
AVG_LEN = sum(len(words(c["text"])) for c in CHUNKS) / NCHUNK


def bm25(question, k=3, k1=1.5, b=0.75):
    query = words(question)
    scored = []
    for chunk in CHUNKS:
        freq = Counter(words(chunk["text"]))
        length = sum(freq.values())
        total = 0.0
        for w in query:
            if w not in freq:
                continue
            idf = math.log((NCHUNK - DF[w] + 0.5) / (DF[w] + 0.5) + 1)
            total += idf * freq[w] * (k1 + 1) / (freq[w] + k1 * (1 - b + b * length / AVG_LEN))
        scored.append((total, chunk))
    scored.sort(key=lambda pair: -pair[0])
    return scored[:k]


dense_miss = {g["q"] for g in missed_by(dense)}
bm25_miss = {g["q"] for g in missed_by(bm25)}
print("معنایی گم کرد:", len(dense_miss), "· کلیدواژه‌ای گم کرد:", len(bm25_miss))
print("هر دو گم کردند:", len(dense_miss & bm25_miss))
for q in sorted(dense_miss ^ bm25_miss):
    who = "فقط معنایی" if q in dense_miss else "فقط کلیدواژه‌ای"
    print(f"   {who:<16} {q[:50]}")
```

<div dir="rtl">

</div>

```text
معنایی گم کرد: 3 · کلیدواژه‌ای گم کرد: 3
هر دو گم کردند: 2
   فقط معنایی       آیا عضو عادی می‌تواند اطلس امانت بگیرد؟
   فقط کلیدواژه‌ای  عضو دانشجویی با دو بار تمدید حداکثر چند روز می‌توا
```

<div dir="rtl">

**هر دو سه‌تا گم کردند، ولی نه همان سه‌تا را.**

`BM25` یک جست‌وجوی کلیدواژه‌ای است: کلمه را می‌شمارد، کلمه‌های نادر را سنگین‌تر می‌کند، و طولِ تکه را جبران می‌کند. **هیچ چیزی از معنا نمی‌داند** — و دقیقاً به همین دلیل «اطلس» را پیدا کرد، چون «اطلس» کلمه‌ای نادر است و **در متن عیناً آمده**.

در عوض پرسشِ «دو بار تمدید» را گم کرد: نتیجه‌هایش از `renewal` و `lostcard` آمدند و هیچ تکه‌ای از `loans` بالا نیامد، چون «تمدید» کلمه‌ای نادر است و وزنش بقیه را کنار می‌زند. عوض کردنِ «دو» با «۲» هم کمکی نکرد و باز `loans` نیامد. **جست‌وجوی معنایی این پرسش را می‌گیرد.**

**قاعده: بازیابیِ معنایی برای هم‌معنایی خوب است، کلیدواژه‌ای برای نام و کد و شمارهٔ دقیق.** اسمِ محصول، شمارهٔ خطا، نامِ فایل — این‌ها را `embedding` بد پیدا می‌کند و `BM25` عالی.

## ۶. ترکیبشان — و باز هم یک هشدار

</div>

```python
def hybrid(question, k=3, pool=8, c0=10):
    points = {}
    for i, (_, chunk) in enumerate(dense(question, pool)):
        points[chunk["text"]] = points.get(chunk["text"], 0.0) + 1 / (c0 + i + 1)
    for i, (_, chunk) in enumerate(bm25(question, pool)):
        points[chunk["text"]] = points.get(chunk["text"], 0.0) + 1 / (c0 + i + 1)
    by_text = {c["text"]: c for c in CHUNKS}
    best = sorted(points.items(), key=lambda pair: -pair[1])[:k]
    return [(value, by_text[text]) for text, value in best]


reset_calls()
print("  معنایی  : سند درست", doc_recall(dense), "/19 · نهایی", end_to_end(dense), "/24")
print("  ترکیبی  : سند درست", doc_recall(hybrid), "/19 · نهایی", end_to_end(hybrid), "/24")
```

<div dir="rtl">

</div>

```text
  معنایی  : سند درست 16 /19 · نهایی 18 /24
  ترکیبی  : سند درست 17 /19 · نهایی 17 /24
```

<div dir="rtl">

**بازیابی بهتر شد، سامانه بدتر.**

روشِ ترکیب `RRF` است و ایده‌اش زیباست: **به‌جای جمع کردنِ امتیازها، رتبه‌ها را جمع کن.** امتیازِ کسینوسی و امتیازِ `BM25` دو مقیاسِ بی‌ربط‌اند و جمعشان بی‌معنی است؛ ولی «سومِ فهرستِ اول و پنجمِ فهرستِ دوم» معنا دارد. هر سند `1/(c₀+rank)` می‌گیرد و آن `c₀` مانع می‌شود که رتبهٔ یکِ **یک** فهرست به‌تنهایی همه‌چیز را تعیین کند.

**و باز همان درسِ بخشِ ۴، با شواهدِ تازه: متریکِ میانی بهتر شد، متریکِ نهایی نه.** یک سندِ درستِ بیشتر آمد، ولی جای چیزی را گرفت که برای پرسشِ دیگری لازم بود.

**پس اگر فردا کسی گفت «جست‌وجوی ترکیبی همیشه بهتر است»، جوابت این جدول است: در سامانهٔ من، برای این پیکره، نبود.**

## ۷. دو سند، دو جوابِ متفاوت

</div>

```python
QUESTION = "چند بار می‌توانم امانت را تمدید کنم؟"
for score, chunk in dense(QUESTION, 3):
    print(f"  {score:.3f} [{chunk['doc']:<8}] {chunk['text'][:62]}…")
```

<div dir="rtl">

</div>

```text
  0.737 [faq     ] چند بار می‌توانم تمدید کنم؟ تا سه بار. کارتم را گم کرده‌ام، چه…
  0.719 [renewal ] هر امانت حداکثر ۲ بار قابل تمدید است. هر تمدید ۷ روز به مدت ام…
  0.597 [lostcard] گم‌شدن کارت باید فوراً به باجهٔ امانت اعلام شود. تا لحظهٔ اعلا…
```

<div dir="rtl">

**`faq` می‌گوید سه بار. `renewal` می‌گوید دو بار. و `faq` بالاتر نشسته.**

این را عمداً در پیکره گذاشته‌ایم، چون **در هر سازمانِ واقعی هست**: یک صفحهٔ «پرسش‌های پرتکرار» که روزی از روی آیین‌نامه نوشته شده و بعد آیین‌نامه عوض شده. **بازیابیِ معنایی کهنه بودن را نمی‌فهمد؛ فقط شباهت را می‌فهمد** — و پرسشِ کاربر تقریباً کلمه‌به‌کلمه در `faq` تکرار شده.

</div>

```python
SECONDARY = {"faq"}


def primary(question, k=3, pool=8):
    found = dense(question, pool)
    strong = [pair for pair in found if pair[1]["doc"] not in SECONDARY]
    return (strong or found)[:k]


reset_calls()
print("همهٔ منابع :", answer(QUESTION, dense))
print("فقط اصلی  :", answer(QUESTION, primary))
print()
print("  فقط اصلی: سند درست", doc_recall(primary), "/19 · جواب در متن",
      answer_in_context(primary), "/13 · نهایی", end_to_end(primary), "/24")
```

<div dir="rtl">

</div>

```text
همهٔ منابع : چند بار می‌توانم تمدید کنم؟
فقط اصلی  : هر امانت حداکثر ۲ بار قابل تمدید است.

  فقط اصلی: سند درست 17 /19 · جواب در متن 13 /13 · نهایی 18 /24
```

<div dir="rtl">

**دو چیز اینجا اتفاق افتاد و هر دو ارزشِ دیدن دارند.**

**اول، جوابِ «همهٔ منابع» را بخوان: «چند بار می‌توانم تمدید کنم؟»** — مدل **خودِ پرسشِ FAQ را** به‌عنوان جواب برگرداند. **دامِ کلاسیکِ اسنادِ پرسش‌وپاسخ:** جملهٔ پرسش شبیه‌ترین چیز به پرسشِ کاربر است، پس همیشه برنده می‌شود. **اگر FAQ در پیکره‌ات هست، پرسش و پاسخ را در یک تکه نگه دار یا فقط پاسخ‌ها را فهرست کن.**

**دوم، با کنار گذاشتنِ منبعِ درجه‌دوم هر سه عدد یا بهتر شدند یا ثابت ماندند** — و **جوابِ غلط به جوابِ درست تبدیل شد.**

**قاعده: هر سند در پیکره‌ات باید فرادادهٔ اعتبار داشته باشد** — کِی نوشته شده، چه کسی مالکش است، درجه‌یک است یا خلاصهٔ درجه‌دو. **بازیابی باید این را ببیند، نه فقط شباهت را.** و ساده‌ترین شکلش همین چهار خط است.

## ۸. «گم‌شده در وسط» — و مرزِ صداقتِ ما

در منابعِ `RAG` زیاد می‌خوانی که **مدل‌ها به چیزی که وسطِ یک متنِ بلند است کمتر توجه می‌کنند** تا اولش و آخرش. این پدیدهٔ واقعی و مستندی است.

**ولی بدلِ محلیِ ما آن را نشان نمی‌دهد** — بدل همهٔ جمله‌ها را یکسان امتیاز می‌دهد و **جایگاه برایش بی‌معناست**. پس اینجا عددی نمی‌سازیم که پشتش اندازه‌گیری نباشد.

**آنچه بدل نشان می‌دهد و در فصلِ ۴ اندازه گرفتیم، «حواس‌پرتی» است:** با `k=8` دقت پایین آمد چون تکهٔ بی‌ربط با تکهٔ درست رقابت کرد. **این با «گم‌شده در وسط» یکی نیست — علتش محتواست نه جایگاه — ولی درمانِ عملی‌اش همان است:** متنِ کمتر و مربوط‌تر بفرست.

> 🤖 **از دستیارت بپرس:** «پدیدهٔ `lost in the middle` را توضیح بده و بگو در کدام آزمایش‌ها دیده شده.» بعد **خودت اندازه‌اش بگیر:** با `real_chat` و کلیدِ خودت، یک تکهٔ درست را یک بار **اول** و یک بار **وسطِ** هفت تکهٔ بی‌ربط بگذار، هر کدام را ده بار بزن و نرخِ جوابِ درست را مقایسه کن. **این تمرینی است که فقط با مدلِ واقعی معنا دارد** — و دقیقاً همان‌جایی است که بدل مرزش تمام می‌شود.

## ۹. سقف کجاست

**پنج تکنیک را امتحان کردیم. جمع‌بندیِ صادقانه:**

</div>

| کاری که کردیم | متریکِ میانی | نتیجهٔ نهایی |
|---|---|---|
| تکهٔ درشت‌تر (۵ جمله) | سند درست ۱۶ → **۱۸** | **۱۸ → ۱۶ — بدتر** |
| `MMR` برای تنوع | تنوع ۲٫۱۶ → **۲٫۵۸** | **۱۸ → ۱۶ — بدتر** |
| `BM25` تنها | همان ۱۶، ولی **خطاهای متفاوت** | **۱۸ → ۱۶ — بدتر**؛ مکمل، نه جایگزین |
| ترکیبِ `RRF` | سند درست ۱۶ → **۱۷** | **۱۸ → ۱۷ — بدتر** |
| کنار گذاشتنِ منبعِ درجه‌دو | سند درست ۱۶ → **۱۷** | **۱۸، و یک جوابِ غلط درست شد** |

<div dir="rtl">

**و آن شش پرسشی که هنوز غلط‌اند، همان شش `چندسندی`اند** — همان‌هایی که فصلِ ۴ هم صفر گرفت. **جوابشان در هیچ جمله‌ای نوشته نشده.**

**پس با این بدل، بازیابی به سقفِ خودش رسیده:** بدل فقط جمله برمی‌دارد و هیچ بازیابی‌ای این شش پرسش را برایش حل نمی‌کند. روی مدلِ واقعی که می‌تواند دو حقیقت را ترکیب کند، آمدنِ هر دو سند لازم است، و سه پرسشی که بازیابی گم کرد هنوز ارزشِ درست شدن دارند.

> 🔧 **اگر کار نکرد:** اگر عددهایت با کتاب فرق دارند ولی از هم فاصله‌شان همین‌شکل است، احتمالاً نسخهٔ مدلِ `embedding` کمی متفاوت است — **اشکالی ندارد، چون هیچ نتیجه‌ای در این فصل به عددِ مطلق تکیه ندارد، همه به مقایسه تکیه دارند.** ولی اگر همهٔ ردیف‌ها **یکسان** درآمدند، `INDEX` را بعد از عوض کردنِ `CHUNKS` از نو نساخته‌ای.

## واژه‌های تازهٔ این فصل

</div>

| کلمه | تلفظ به حروف فارسی | یعنی چه |
|---|---|---|
| BM25 | بی‌ام‌۲۵ | امتیازدهیِ کلیدواژه‌ای بر پایهٔ تکرار و نادر بودنِ کلمه |
| hybrid search | هیبرید سرچ | ترکیبِ جست‌وجوی معنایی و کلیدواژه‌ای |
| RRF | آر-آر-اف | ترکیبِ دو فهرست با جمع کردنِ عکسِ رتبه‌ها |
| MMR | ام-ام-آر | انتخابِ نتایجی که هم مربوط‌اند هم به هم شبیه نیستند |
| reranking | ری‌رنکینگ | مرتب‌سازیِ دوبارهٔ نتایج با معیارِ دقیق‌تر |
| lost in the middle | لاست این د میدل | کم‌توجهیِ مدل به وسطِ متنِ بلند |
| source authority | سورس آتوریتی | درجهٔ اعتبارِ یک سند به‌عنوان فرادادهٔ بازیابی |

<div dir="rtl">

## تمرین‌ها

قبل از تمرین، بدونِ نگاه به بالا جواب بده: چرا «جواب در متن ۱۳ از ۱۳» ثابت می‌کند که خطاهای پرسش‌های ساده تقصیرِ بازیابی نیست؟

**تمرینِ اجباری:** پرسشِ «چند بار می‌توانم امانت را تمدید کنم؟» را با جوابِ درست «۲ بار» **به `GOLD` اضافه کن** و هر پنج ردیفِ جدولِ بخشِ ۹ را دوباره حساب کن. **کدام ردیف‌ها جابه‌جا می‌شوند؟** جوابت این را نشان می‌دهد: **مجموعهٔ ارزیابی، خودش یک انتخاب است — و انتخاب‌های تو تعیین می‌کنند چه چیزی «بهبود» به‌حساب بیاید.** فصلِ بعد کاملاً دربارهٔ همین است.

**تمرینِ ستاره‌دار ⭐:** برای پرسش‌های `چندسندی` یک بازیابیِ دومرحله‌ای بنویس: پرسش را با یک تماس به **دو زیرپرسش** بشکن (مثلاً «مدتِ امانتِ عضو پژوهشی؟» و «هر تمدید چند روز؟»)، هر کدام را جداگانه بازیابی کن، و **اجتماعِ** تکه‌ها را بفرست. **`doc_recall` روی آن شش پرسش چقدر می‌شود؟** (راهنمایی: بدلِ ما زیرپرسش نمی‌سازد، پس این تمرین را با فهرستِ دستیِ زیرپرسش‌ها انجام بده و جدا گزارش کن که کدام قسمتش خودکار بود و کدام نبود — **گزارشِ صادقانه بخشی از کار است.**)

## در فصل بعد

دو فصل است داریم می‌گوییم «اندازه بگیر»، و هر بار از یک مجموعهٔ ۲۴تایی استفاده کردیم که **آماده به‌ت دادیم**. فصلِ بعد نشان می‌دهد **چطور خودت یکی بسازی** که واقعاً به دردت بخورد: چند نمونه کافی است، چه چیزی باید داخلش باشد، متریکِ خودکار در برابرِ داوریِ مدل، و **کجا داورِ مدلی به‌ت دروغ می‌گوید.** این مهم‌ترین فصلِ این ترم است.

</div>

---
Source: https://yaadestan.com/courses/zharfa/lessons/t5/s05-rag-fails (یادستان, Yaadestan)
