ژرفا — خودآموز یادگیری عمیق و مهندسی هوش مصنوعی (متوسط)

فصل ۵ از ۱۰

پیشرفت ترم
۰٪

در این فصل چه یاد می‌گیری#

فصلِ قبل ۱۸ از ۲۴ گرفتیم و دو عدد کنارِ هم گذاشتیم: بازیابی ۱۶ از ۱۹، جوابِ درست ۱۳ از ۱۹. این فصل می‌رود سراغِ همان فاصله.

و صادقانه بگویم چه اتفاقی می‌افتد: پنج تکنیکِ معروف را امتحان می‌کنیم و هیچ‌کدامشان عددِ نهایی را بالا نمی‌برد — چهارتایشان حتی پایینش می‌آورند. این فصل دربارهٔ تکنیک‌ها نیست، دربارهٔ تشخیص است — و درسِ اصلی‌اش این است: قبل از اینکه چیزی را «بهتر» کنی، مطمئن شو داری همان چیزی را اندازه می‌گیری که واقعاً خراب است.

یک زنجیره که در دو حلقهٔ متفاوت ترک خورده و یکی از ترک‌ها دیده نمی‌شود

آخر این فصل می‌توانی:

  • خطای بازیابی را از خطای تولید با عدد تفکیک کنی
  • chunk را با معیارِ درست تنظیم کنی، نه با شهود
  • جست‌وجوی کلیدواژه‌ای و معنایی را ترکیب کنی و بفهمی کِی می‌ارزد
  • تناقضِ دو سند را در پیکره پیدا و مهار کنی

قبل از شروع#

از فصل ۴: chunk_doc، embed، retrieve و دو عدد آخرِ فصل. اینجا همه‌شان را دوباره می‌سازیم چون این فصل نوت‌بوکِ مستقلی دارد.

💡 نکته: زمانِ تخمینی روی CPU: دو تا سه دقیقه. این فصل چند بار کلِ مجموعهٔ طلایی را ارزیابی می‌کند و هر ارزیابی ۲۴ بازیابی و ۲۴ تماس دارد.

📓 نوت‌بوک: نوت‌بوک این فصل را در Colab باز کن — همهٔ کدهای این فصل آماده و به‌ترتیب داخلش هست.

۱. به سه پرسشی که گم شد نگاه کن#

import math
from collections import Counter

import torch
from transformers import AutoModel, AutoTokenizer

NAME = "sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2"
tokenizer = AutoTokenizer.from_pretrained(NAME)
encoder = AutoModel.from_pretrained(NAME)
encoder.eval()


@torch.no_grad()
def embed(texts, batch=32):
    out = []
    for i in range(0, len(texts), batch):
        b = tokenizer(texts[i:i + batch], padding=True, truncation=True,
                      max_length=128, return_tensors="pt")
        hidden = encoder(**b).last_hidden_state
        mask = b["attention_mask"].unsqueeze(-1).float()
        out.append((hidden * mask).sum(1) / mask.sum(1))
    return torch.nn.functional.normalize(torch.cat(out), dim=1)


def chunk_doc(doc, size=3, overlap=1):
    parts = sentences(doc["text"])
    out, start = [], 0
    while start < len(parts):
        out.append({"doc": doc["id"], "title": doc["title"],
                    "text": " ".join(parts[start:start + size])})
        if start + size >= len(parts):
            break
        start += size - overlap
    return out


def build(size=3, overlap=1):
    chunks = [c for d in DOCS for c in chunk_doc(d, size, overlap)]
    return chunks, embed([c["text"] for c in chunks])


CHUNKS, INDEX = build()
ANSWERABLE = [g for g in GOLD if g["doc"]]
SIMPLE = [g for g in GOLD if g["kind"] == "ساده"]


def dense(question, k=3):
    scores = embed([question])[0] @ INDEX.T
    return [(float(scores[i]), CHUNKS[i]) for i in scores.topk(k).indices.tolist()]


def missed_by(rank_fn, k=3):
    out = []
    for g in ANSWERABLE:
        got = {c["doc"] for _, c in rank_fn(g["q"], k)}
        if not set(g["doc"].split("+")).issubset(got):
            out.append(g)
    return out


for g in missed_by(dense):
    print(f"  گم شد [{g['doc']}] {g['q'][:48]}")
    for score, chunk in dense(g["q"]):
        print(f"        {score:.3f} [{chunk['doc']:<9}] {chunk['text'][:44]}…")
  گم شد [loans+renewal] عضو پژوهشی با یک بار تمدید چند روز فرصت دارد؟
        0.596 [loans    ] مدت امانت برای عضو دانشجویی ۲۱ روز است. مدت …
        0.570 [loans    ] عضو پژوهشی هم‌زمان تا ۸ جلد کتاب امانت می‌گی…
        0.534 [faq      ] چند کتاب می‌توانم ببرم؟ بستگی به نوعِ عضویت …
  گم شد [fines+reference] جریمهٔ ۵ ساعت تأخیر در بازگرداندنِ یک کتابِ مرجع
        0.699 [fines    ] به‌ازای هر روز تأخیر در بازگرداندنِ کتابِ عا…
        0.631 [fines    ] امتیازِ منفیِ بیشتر از ۶۰ عضویت را تا تسویه …
        0.522 [faq      ] چند کتاب می‌توانم ببرم؟ بستگی به نوعِ عضویت …
  گم شد [reference] آیا عضو عادی می‌تواند اطلس امانت بگیرد؟
        0.529 [loans    ] عضو عادی هم‌زمان تا ۳ جلد کتاب امانت می‌گیرد…
        0.494 [loans    ] امانت با کارت عضویت و در باجهٔ امانت انجام م…
        0.447 [loans    ] عضو پژوهشی هم‌زمان تا ۸ جلد کتاب امانت می‌گی…

سه خرابی، ولی فقط دو علت — و اگر هر سه را «بازیابی ضعیف است» بنامی، هیچ‌کدام را درست نمی‌کنی.

۱) دو پرسشِ اول به دو سند نیاز دارند. «عضو پژوهشی با یک بار تمدید» یعنی مدتِ امانت از loans و مقدارِ تمدید از renewal. ولی ما یک بردار برای کلِ پرسش ساختیم. آن بردار جایی بینِ دو موضوع می‌ایستد و سه تکهٔ نزدیک به خودش را برمی‌دارد، نه دو تکهٔ نزدیک به دو نیمهی پرسش. این عیبِ فهرست نیست، عیبِ «یک پرسش، یک جست‌وجو» است.

۲) پرسشِ سوم واژگانش با سند نمی‌خواند. پرسش «عضو عادی» و «امانت» دارد، پس تکه‌های loans را می‌آورد. ولی جواب در reference است و آنجا کلمهٔ «اطلس» آمده — که در پرسش هست ولی وزنش زیرِ سنگینیِ «عضو» و «امانت» گم شده.

۲. یک عدد کافی نیست: دو متریکِ بازیابی#

def doc_recall(rank_fn, k=3):
    return len(ANSWERABLE) - len(missed_by(rank_fn, k))


def answer_in_context(rank_fn, k=3):
    hit = 0
    for g in SIMPLE:
        context = " ".join(c["text"] for _, c in rank_fn(g["q"], k))
        hit += g["a"] in context
    return hit


print("سندِ درست در نتایج :", doc_recall(dense), "از ۱۹")
print("جواب در متنِ نهایی :", answer_in_context(dense), "از ۱۳")
سندِ درست در نتایج : 16 از ۱۹
جواب در متنِ نهایی : 13 از ۱۳

این دو عدد دو سؤالِ متفاوت می‌پرسند و جوابشان یکی نیست:

  • doc_recall — آیا سندی که باید، در نتایج بود؟ معیارِ کتابدار.
  • answer_in_context — آیا رشتهٔ جواب واقعاً در متنی که به مدل دادیم آمد؟ معیارِ مصرف‌کننده.

📏 اندازه بگیر: ۱۳ از ۱۳. برای هر پرسشِ ساده، جواب داخلِ متنی که فرستادیم بود. پس هیچ خطایی در پرسش‌های سادهٔ ما تقصیرِ بازیابی نیست. اگر بدونِ این عدد می‌رفتی سراغِ بهبودِ بازیابی، روی نیمه‌ای کار می‌کردی که اصلاً خراب نبود. این جمله را از این فصل نگه دار.

۳. مرزِ تکه — و یک نتیجهٔ برخلافِ شهود#

for size, overlap in ((2, 0), (2, 1), (3, 0), (3, 1), (5, 1)):
    chunks, index = build(size, overlap)

    def ranked(question, k, chunks=chunks, index=index):
        scores = embed([question])[0] @ index.T
        return [(float(scores[i]), chunks[i]) for i in scores.topk(k).indices.tolist()]

    print(f"  size={size} overlap={overlap}: {len(chunks):>2} تکه · "
          f"جواب در متن {answer_in_context(ranked)}/13 · سند درست {doc_recall(ranked)}/19")
  size=2 overlap=0: 39 تکه · جواب در متن 12/13 · سند درست 15/19
  size=2 overlap=1: 57 تکه · جواب در متن 12/13 · سند درست 13/19
  size=3 overlap=0: 27 تکه · جواب در متن 13/13 · سند درست 16/19
  size=3 overlap=1: 30 تکه · جواب در متن 13/13 · سند درست 16/19
  size=5 overlap=1: 16 تکه · جواب در متن 13/13 · سند درست 18/19

بهترین ردیف، درشت‌ترین تکه است: ۱۶ تکهٔ پنج‌جمله‌ای، ۱۸ از ۱۹.

و این برخلافِ چیزی است که همه‌جا می‌خوانی («تکهٔ ریزتر یعنی بازیابیِ دقیق‌تر»). به size=2 overlap=1 نگاه کن: ۵۷ تکه ساخت — بیشترین — و بدترین نتیجه را داد.

چرا؟ چون بردارِ یک تکهٔ دوجمله‌ای زمینه ندارد. «مدت امانت برای عضو دانشجویی ۲۱ روز است» به‌تنهایی نمی‌داند دربارهٔ کتابخانه حرف می‌زند یا هر چیزِ دیگری. تکهٔ پنج‌جمله‌ای کلِ قاعدهٔ امانت را در خودش دارد و بردارش واقعاً «قواعدِ امانت» را نمایندگی می‌کند.

و طرفِ دیگرِ معامله را هم ببین: تکهٔ درشت‌تر یعنی متنِ بیشتر در پرامپت — همان چیزی که فصلِ ۴ نشان داد از یک جایی به بعد ضرر می‌زند. پس این یک بده‌بستان است، نه یک قاعدهٔ طلایی، و راهش همین جدول است: جاروب کن، اندازه بگیر، انتخاب کن.

✅ چک کن: اگر جدولت با این یکی فرق دارد ولی شکلش یکی است (ریزترین بدترین، درشت‌ترین بهترین)، درست کار کرده‌ای. اگر همهٔ ردیف‌ها عددِ یکسان دادند، احتمالاً build را صدا زده‌ای ولی ranked هنوز INDEXِ سراسریِ بالا را می‌خواند. آن chunks=chunks, index=index در امضای تابع اینجا فقط احتیاط است: ranked در همان دورِ حلقه صدا زده می‌شود و بدونِ آن هم مقدارِ همان دور را می‌بیند. اگر تابع را نگه می‌داشتی و بعد از حلقه صدا می‌زدی، این آرگومان‌ها لازم می‌شدند.

۴. تکهٔ تکراری، و تکنیکی که کار نکرد#

در فصلِ ۴ دیدی که برای «کارتم را گم کرده‌ام» دو تا از سه نتیجه از یک سند بودند و متنِ مشترک داشتند. بودجهٔ زمینه‌ات دارد صرفِ تکرار می‌شود.

راهِ‌حلِ معروفش MMR است: به‌جای «سه تکهٔ نزدیک‌ترین»، «سه تکه‌ای که هم نزدیک‌اند و هم به هم شبیه نیستند».

SYSTEM = ("تو دستیارِ کتابخانهٔ نوردانه‌ای. فقط از متنِ زیر جواب بده. "
          "اگر جواب در متن نیست بنویس: در سند نیست")


def answer(question, rank_fn, k=3):
    context = "\n\n".join(f"[{c['title']}]\n{c['text']}" for _, c in rank_fn(question, k))
    return chat([{"role": "system", "content": SYSTEM},
                 {"role": "user", "content": context + "\n\n" + question}])["text"]


def end_to_end(rank_fn, k=3):
    hit = 0
    for g in GOLD:
        text = answer(g["q"], rank_fn, k)
        hit += (REFUSAL in text) if g["a"] is None else (g["a"] in text)
    return hit


def distinct_docs(rank_fn, k=3):
    total = sum(len({c["doc"] for _, c in rank_fn(g["q"], k)}) for g in ANSWERABLE)
    return round(total / len(ANSWERABLE), 2)


def mmr(question, k=3, pool=8, lam=0.7):
    scores = embed([question])[0] @ INDEX.T
    pool_ids = scores.topk(pool).indices.tolist()
    chosen = []
    while len(chosen) < k and pool_ids:
        best_id, best_value = None, None
        for i in pool_ids:
            close = max((float(INDEX[i] @ INDEX[j]) for j in chosen), default=0.0)
            value = lam * float(scores[i]) - (1 - lam) * close
            if best_value is None or value > best_value:
                best_id, best_value = i, value
        chosen.append(best_id)
        pool_ids.remove(best_id)
    return [(float(scores[i]), CHUNKS[i]) for i in chosen]


reset_calls()
print(f"  ساده  : {distinct_docs(dense)} سندِ متمایز · جواب در متن {answer_in_context(dense)}/13"
      f" · نهایی {end_to_end(dense)}/24")
print(f"  MMR   : {distinct_docs(mmr)} سندِ متمایز · جواب در متن {answer_in_context(mmr)}/13"
      f" · نهایی {end_to_end(mmr)}/24")
  ساده  : 2.16 سندِ متمایز · جواب در متن 13/13 · نهایی 18/24
  MMR   : 2.58 سندِ متمایز · جواب در متن 11/13 · نهایی 16/24

MMR دقیقاً همان کاری را کرد که از آن خواستیم — و سامانه را خراب کرد.

تنوع بالا رفت (۲٫۱۶ به ۲٫۵۸ سندِ متمایز)، ولی جواب در دو پرسش از متن بیرون افتاد و نتیجهٔ نهایی از ۱۸ به ۱۶ آمد.

چرا؟ چون در پیکرهٔ ما تکرار مضر نبود. وقتی هر دو تکهٔ برترْ درست‌اند، «متفاوت بودن» یعنی یکی از آن دو را با چیزی بی‌ربط‌تر عوض کن.

📏 اندازه بگیر: این مهم‌ترین نتیجهٔ منفیِ این ترم است و عمداً برجسته‌اش می‌کنم. MMR تکنیکِ بدی نیست؛ برای مسئلهٔ ما بی‌جا بود. هر تکنیکی یک بیماری را درمان می‌کند، و اگر آن بیماری را نداری، درمانش عارضه است. پس ترتیبِ درستِ کار این است: اول تشخیص، بعد درمان، بعد اندازه‌گیریِ دوباره.

۵. کلیدواژه در کنارِ معنا#

DF = Counter()
for c in CHUNKS:
    DF.update(set(words(c["text"])))
NCHUNK = len(CHUNKS)
AVG_LEN = sum(len(words(c["text"])) for c in CHUNKS) / NCHUNK


def bm25(question, k=3, k1=1.5, b=0.75):
    query = words(question)
    scored = []
    for chunk in CHUNKS:
        freq = Counter(words(chunk["text"]))
        length = sum(freq.values())
        total = 0.0
        for w in query:
            if w not in freq:
                continue
            idf = math.log((NCHUNK - DF[w] + 0.5) / (DF[w] + 0.5) + 1)
            total += idf * freq[w] * (k1 + 1) / (freq[w] + k1 * (1 - b + b * length / AVG_LEN))
        scored.append((total, chunk))
    scored.sort(key=lambda pair: -pair[0])
    return scored[:k]


dense_miss = {g["q"] for g in missed_by(dense)}
bm25_miss = {g["q"] for g in missed_by(bm25)}
print("معنایی گم کرد:", len(dense_miss), "· کلیدواژه‌ای گم کرد:", len(bm25_miss))
print("هر دو گم کردند:", len(dense_miss & bm25_miss))
for q in sorted(dense_miss ^ bm25_miss):
    who = "فقط معنایی" if q in dense_miss else "فقط کلیدواژه‌ای"
    print(f"   {who:<16} {q[:50]}")
معنایی گم کرد: 3 · کلیدواژه‌ای گم کرد: 3
هر دو گم کردند: 2
   فقط معنایی       آیا عضو عادی می‌تواند اطلس امانت بگیرد؟
   فقط کلیدواژه‌ای  عضو دانشجویی با دو بار تمدید حداکثر چند روز می‌توا

هر دو سه‌تا گم کردند، ولی نه همان سه‌تا را.

BM25 یک جست‌وجوی کلیدواژه‌ای است: کلمه را می‌شمارد، کلمه‌های نادر را سنگین‌تر می‌کند، و طولِ تکه را جبران می‌کند. هیچ چیزی از معنا نمی‌داند — و دقیقاً به همین دلیل «اطلس» را پیدا کرد، چون «اطلس» کلمه‌ای نادر است و در متن عیناً آمده.

در عوض پرسشِ «دو بار تمدید» را گم کرد: نتیجه‌هایش از renewal و lostcard آمدند و هیچ تکه‌ای از loans بالا نیامد، چون «تمدید» کلمه‌ای نادر است و وزنش بقیه را کنار می‌زند. عوض کردنِ «دو» با «۲» هم کمکی نکرد و باز loans نیامد. جست‌وجوی معنایی این پرسش را می‌گیرد.

قاعده: بازیابیِ معنایی برای هم‌معنایی خوب است، کلیدواژه‌ای برای نام و کد و شمارهٔ دقیق. اسمِ محصول، شمارهٔ خطا، نامِ فایل — این‌ها را embedding بد پیدا می‌کند و BM25 عالی.

۶. ترکیبشان — و باز هم یک هشدار#

def hybrid(question, k=3, pool=8, c0=10):
    points = {}
    for i, (_, chunk) in enumerate(dense(question, pool)):
        points[chunk["text"]] = points.get(chunk["text"], 0.0) + 1 / (c0 + i + 1)
    for i, (_, chunk) in enumerate(bm25(question, pool)):
        points[chunk["text"]] = points.get(chunk["text"], 0.0) + 1 / (c0 + i + 1)
    by_text = {c["text"]: c for c in CHUNKS}
    best = sorted(points.items(), key=lambda pair: -pair[1])[:k]
    return [(value, by_text[text]) for text, value in best]


reset_calls()
print("  معنایی  : سند درست", doc_recall(dense), "/19 · نهایی", end_to_end(dense), "/24")
print("  ترکیبی  : سند درست", doc_recall(hybrid), "/19 · نهایی", end_to_end(hybrid), "/24")
  معنایی  : سند درست 16 /19 · نهایی 18 /24
  ترکیبی  : سند درست 17 /19 · نهایی 17 /24

بازیابی بهتر شد، سامانه بدتر.

روشِ ترکیب RRF است و ایده‌اش زیباست: به‌جای جمع کردنِ امتیازها، رتبه‌ها را جمع کن. امتیازِ کسینوسی و امتیازِ BM25 دو مقیاسِ بی‌ربط‌اند و جمعشان بی‌معنی است؛ ولی «سومِ فهرستِ اول و پنجمِ فهرستِ دوم» معنا دارد. هر سند 1/(c₀+rank) می‌گیرد و آن c₀ مانع می‌شود که رتبهٔ یکِ یک فهرست به‌تنهایی همه‌چیز را تعیین کند.

و باز همان درسِ بخشِ ۴، با شواهدِ تازه: متریکِ میانی بهتر شد، متریکِ نهایی نه. یک سندِ درستِ بیشتر آمد، ولی جای چیزی را گرفت که برای پرسشِ دیگری لازم بود.

پس اگر فردا کسی گفت «جست‌وجوی ترکیبی همیشه بهتر است»، جوابت این جدول است: در سامانهٔ من، برای این پیکره، نبود.

۷. دو سند، دو جوابِ متفاوت#

QUESTION = "چند بار می‌توانم امانت را تمدید کنم؟"
for score, chunk in dense(QUESTION, 3):
    print(f"  {score:.3f} [{chunk['doc']:<8}] {chunk['text'][:62]}…")
  0.737 [faq     ] چند بار می‌توانم تمدید کنم؟ تا سه بار. کارتم را گم کرده‌ام، چه…
  0.719 [renewal ] هر امانت حداکثر ۲ بار قابل تمدید است. هر تمدید ۷ روز به مدت ام…
  0.597 [lostcard] گم‌شدن کارت باید فوراً به باجهٔ امانت اعلام شود. تا لحظهٔ اعلا…

faq می‌گوید سه بار. renewal می‌گوید دو بار. و faq بالاتر نشسته.

این را عمداً در پیکره گذاشته‌ایم، چون در هر سازمانِ واقعی هست: یک صفحهٔ «پرسش‌های پرتکرار» که روزی از روی آیین‌نامه نوشته شده و بعد آیین‌نامه عوض شده. بازیابیِ معنایی کهنه بودن را نمی‌فهمد؛ فقط شباهت را می‌فهمد — و پرسشِ کاربر تقریباً کلمه‌به‌کلمه در faq تکرار شده.

SECONDARY = {"faq"}


def primary(question, k=3, pool=8):
    found = dense(question, pool)
    strong = [pair for pair in found if pair[1]["doc"] not in SECONDARY]
    return (strong or found)[:k]


reset_calls()
print("همهٔ منابع :", answer(QUESTION, dense))
print("فقط اصلی  :", answer(QUESTION, primary))
print()
print("  فقط اصلی: سند درست", doc_recall(primary), "/19 · جواب در متن",
      answer_in_context(primary), "/13 · نهایی", end_to_end(primary), "/24")
همهٔ منابع : چند بار می‌توانم تمدید کنم؟
فقط اصلی  : هر امانت حداکثر ۲ بار قابل تمدید است.

  فقط اصلی: سند درست 17 /19 · جواب در متن 13 /13 · نهایی 18 /24

دو چیز اینجا اتفاق افتاد و هر دو ارزشِ دیدن دارند.

اول، جوابِ «همهٔ منابع» را بخوان: «چند بار می‌توانم تمدید کنم؟» — مدل خودِ پرسشِ FAQ را به‌عنوان جواب برگرداند. دامِ کلاسیکِ اسنادِ پرسش‌وپاسخ: جملهٔ پرسش شبیه‌ترین چیز به پرسشِ کاربر است، پس همیشه برنده می‌شود. اگر FAQ در پیکره‌ات هست، پرسش و پاسخ را در یک تکه نگه دار یا فقط پاسخ‌ها را فهرست کن.

دوم، با کنار گذاشتنِ منبعِ درجه‌دوم هر سه عدد یا بهتر شدند یا ثابت ماندند — و جوابِ غلط به جوابِ درست تبدیل شد.

قاعده: هر سند در پیکره‌ات باید فرادادهٔ اعتبار داشته باشد — کِی نوشته شده، چه کسی مالکش است، درجه‌یک است یا خلاصهٔ درجه‌دو. بازیابی باید این را ببیند، نه فقط شباهت را. و ساده‌ترین شکلش همین چهار خط است.

۸. «گم‌شده در وسط» — و مرزِ صداقتِ ما#

در منابعِ RAG زیاد می‌خوانی که مدل‌ها به چیزی که وسطِ یک متنِ بلند است کمتر توجه می‌کنند تا اولش و آخرش. این پدیدهٔ واقعی و مستندی است.

ولی بدلِ محلیِ ما آن را نشان نمی‌دهد — بدل همهٔ جمله‌ها را یکسان امتیاز می‌دهد و جایگاه برایش بی‌معناست. پس اینجا عددی نمی‌سازیم که پشتش اندازه‌گیری نباشد.

آنچه بدل نشان می‌دهد و در فصلِ ۴ اندازه گرفتیم، «حواس‌پرتی» است: با k=8 دقت پایین آمد چون تکهٔ بی‌ربط با تکهٔ درست رقابت کرد. این با «گم‌شده در وسط» یکی نیست — علتش محتواست نه جایگاه — ولی درمانِ عملی‌اش همان است: متنِ کمتر و مربوط‌تر بفرست.

🤖 از دستیارت بپرس: «پدیدهٔ lost in the middle را توضیح بده و بگو در کدام آزمایش‌ها دیده شده.» بعد خودت اندازه‌اش بگیر: با real_chat و کلیدِ خودت، یک تکهٔ درست را یک بار اول و یک بار وسطِ هفت تکهٔ بی‌ربط بگذار، هر کدام را ده بار بزن و نرخِ جوابِ درست را مقایسه کن. این تمرینی است که فقط با مدلِ واقعی معنا دارد — و دقیقاً همان‌جایی است که بدل مرزش تمام می‌شود.

۹. سقف کجاست#

پنج تکنیک را امتحان کردیم. جمع‌بندیِ صادقانه:

کاری که کردیم متریکِ میانی نتیجهٔ نهایی
تکهٔ درشت‌تر (۵ جمله) سند درست ۱۶ → ۱۸ ۱۸ → ۱۶ — بدتر
MMR برای تنوع تنوع ۲٫۱۶ → ۲٫۵۸ ۱۸ → ۱۶ — بدتر
BM25 تنها همان ۱۶، ولی خطاهای متفاوت ۱۸ → ۱۶ — بدتر؛ مکمل، نه جایگزین
ترکیبِ RRF سند درست ۱۶ → ۱۷ ۱۸ → ۱۷ — بدتر
کنار گذاشتنِ منبعِ درجه‌دو سند درست ۱۶ → ۱۷ ۱۸، و یک جوابِ غلط درست شد

و آن شش پرسشی که هنوز غلط‌اند، همان شش چندسندیاند — همان‌هایی که فصلِ ۴ هم صفر گرفت. جوابشان در هیچ جمله‌ای نوشته نشده.

پس با این بدل، بازیابی به سقفِ خودش رسیده: بدل فقط جمله برمی‌دارد و هیچ بازیابی‌ای این شش پرسش را برایش حل نمی‌کند. روی مدلِ واقعی که می‌تواند دو حقیقت را ترکیب کند، آمدنِ هر دو سند لازم است، و سه پرسشی که بازیابی گم کرد هنوز ارزشِ درست شدن دارند.

🔧 اگر کار نکرد: اگر عددهایت با کتاب فرق دارند ولی از هم فاصله‌شان همین‌شکل است، احتمالاً نسخهٔ مدلِ embedding کمی متفاوت است — اشکالی ندارد، چون هیچ نتیجه‌ای در این فصل به عددِ مطلق تکیه ندارد، همه به مقایسه تکیه دارند. ولی اگر همهٔ ردیف‌ها یکسان درآمدند، INDEX را بعد از عوض کردنِ CHUNKS از نو نساخته‌ای.

واژه‌های تازهٔ این فصل#

کلمه تلفظ به حروف فارسی یعنی چه
BM25 بی‌ام‌۲۵ امتیازدهیِ کلیدواژه‌ای بر پایهٔ تکرار و نادر بودنِ کلمه
hybrid search هیبرید سرچ ترکیبِ جست‌وجوی معنایی و کلیدواژه‌ای
RRF آر-آر-اف ترکیبِ دو فهرست با جمع کردنِ عکسِ رتبه‌ها
MMR ام-ام-آر انتخابِ نتایجی که هم مربوط‌اند هم به هم شبیه نیستند
reranking ری‌رنکینگ مرتب‌سازیِ دوبارهٔ نتایج با معیارِ دقیق‌تر
lost in the middle لاست این د میدل کم‌توجهیِ مدل به وسطِ متنِ بلند
source authority سورس آتوریتی درجهٔ اعتبارِ یک سند به‌عنوان فرادادهٔ بازیابی

تمرین‌ها

اول خودت فکر کن یا امتحان کن — بعد اینجا را باز کن.

در فصل بعد#

دو فصل است داریم می‌گوییم «اندازه بگیر»، و هر بار از یک مجموعهٔ ۲۴تایی استفاده کردیم که آماده به‌ت دادیم. فصلِ بعد نشان می‌دهد چطور خودت یکی بسازی که واقعاً به دردت بخورد: چند نمونه کافی است، چه چیزی باید داخلش باشد، متریکِ خودکار در برابرِ داوریِ مدل، و کجا داورِ مدلی به‌ت دروغ می‌گوید. این مهم‌ترین فصلِ این ترم است.

به آخر این فصل رسیدی!

اگر ساختی و جواب داد، این دکمه مال توست.