ژرفا — خودآموز یادگیری عمیق و مهندسی هوش مصنوعی (متوسط)

فصل ۶ از ۱۰

پیشرفت ترم
۰٪

در این فصل چه یاد می‌گیری#

پنج فصل است داریم عدد می‌دهیم و آن عددها از یک مجموعهٔ ۲۴تایی می‌آیند که ما آماده به‌ت دادیم. این فصل پرده را کنار می‌زند: آن مجموعه چطور طراحی شد، چرا این ۲۴تا، و چه چیزی را نمی‌تواند به‌ت بگوید.

و سه نتیجهٔ ناخوشایند می‌گیریم که هر سه واقعی‌اند:

  • متریکِ «تطابقِ کامل» صفر از ۲۴ می‌دهد به سامانه‌ای که ۱۸تا را درست جواب داده.
  • داورِ مبتنی بر شباهتِ معنایی از خودِ سامانه بدتر است — و ثابت می‌کنیم چرا هیچ آستانه‌ای نجاتش نمی‌دهد.
  • با ۲۴ نمونه، هر تفاوتی کمتر از ۸ پاسخ، نویز است. یعنی بیشترِ «بهبود»هایی که در فصلِ ۵ دیدیم، از نظرِ آماری اصلاً بهبود نبودند.

یک ترازو که دو کفه‌اش را با خط‌کش‌های متفاوت اندازه می‌گیرند

آخر این فصل می‌توانی:

  • یک مجموعهٔ طلاییِ کوچک ولی کارآمد طراحی کنی
  • متریک را متناسب با شکلِ جواب انتخاب کنی
  • داورِ خودکار را بسنجی پیش از اینکه به‌ش تکیه کنی
  • بگویی یک تفاوتِ عددی معنادار است یا نویز

قبل از شروع#

از فصل ۴ و ۵: chunk، embed، بازیابی و GOLD.

از سرنخ ترمِ ۳: متریکِ طبقه‌بندی، و اینکه یک عددِ کلی می‌تواند خرابیِ یک کلاس را پنهان کند. همان درس، این بار روی متن.

💡 نکته: زمانِ تخمینی روی CPU: دو تا سه دقیقه.

📓 نوت‌بوک: نوت‌بوک این فصل را در Colab باز کن — همهٔ کدهای این فصل آماده و به‌ترتیب داخلش هست.

۱. مجموعهٔ طلایی چطور ساخته می‌شود#

قاعدهٔ اول: بیست پرسشِ خوب از دویست پرسشِ سرسری بهتر است. ولی «خوب» یعنی چه؟

مجموعهٔ GOLD این ترم سه دسته دارد و هیچ‌کدام تزیینی نیست:

دسته چند تا چرا هست
ساده ۱۳ جواب در یک جملهٔ یک سند است. کفِ کارکرد — اگر این‌ها خراب باشند، هیچ‌چیزِ دیگری مهم نیست
چندسندی ۶ جواب از ترکیبِ دو حقیقت درمی‌آید. سقفِ توانایی — نشان می‌دهد بازیابیِ تنها کجا تمام می‌شود
بی‌جواب ۵ پیکره این را نمی‌داند. جوابِ درست یعنی اعتراف. این دسته را همه جا می‌اندازند و همه‌جا لازم است

دربارهٔ دستهٔ سوم اصرار دارم. بدونِ پرسشِ بی‌جواب، سامانه‌ای که هرگز نمی‌گوید نمی‌دانم نمرهٔ کامل می‌گیرد — و همان سامانه در دنیای واقعی با اطمینانِ کامل چیزهای ساختگی به کاربر می‌گوید. پرسشِ بی‌جواب تنها چیزی است که خیال‌بافی را قابلِ اندازه‌گیری می‌کند.

و چهار قاعدهٔ دیگر که در ساختنِ همین ۲۴تا رعایت شده:

  • جواب کوتاه و یکتا باشد («۱۴ روز»، نه «مدتِ امانت بسته به شرایط متفاوت است»). جوابِ بلند را نمی‌شود خودکار سنجید.
  • از دلِ کاربرِ واقعی دربیاید، نه از دلِ سند. اگر پرسش‌ها را از روی متنِ سند بنویسی، داری بازیابی را با جوابِ آزمون امتحان می‌کنی. این قاعده را در GOLD خودمان فقط تا حدی رعایت کرده‌ایم: در ۶ تا از ۱۳ پرسشِ ساده، همهٔ کلمه‌های معنادارِ پرسش در یک جملهٔ سند آمده است.
  • دام هم داشته باشد — پرسشی که جوابِ شبیهِ غلط دارد. «امانتِ کوتاهِ مرجع چند ساعته است؟» عمداً کنارِ جملهٔ «هر ساعت تأخیر ۶ امتیاز» نشسته.
  • هر پرسش سندِ مرجعش ثبت شود. بدونِ ستونِ doc نمی‌توانستیم در فصلِ ۵ خطای بازیابی را از خطای تولید جدا کنیم.
import math
import random

import torch
from transformers import AutoModel, AutoTokenizer

NAME = "sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2"
tokenizer = AutoTokenizer.from_pretrained(NAME)
encoder = AutoModel.from_pretrained(NAME)
encoder.eval()


@torch.no_grad()
def embed(texts, batch=32):
    out = []
    for i in range(0, len(texts), batch):
        b = tokenizer(texts[i:i + batch], padding=True, truncation=True,
                      max_length=128, return_tensors="pt")
        hidden = encoder(**b).last_hidden_state
        mask = b["attention_mask"].unsqueeze(-1).float()
        out.append((hidden * mask).sum(1) / mask.sum(1))
    return torch.nn.functional.normalize(torch.cat(out), dim=1)


def chunk_doc(doc, size=3, overlap=1):
    parts = sentences(doc["text"])
    out, start = [], 0
    while start < len(parts):
        out.append({"doc": doc["id"], "title": doc["title"],
                    "text": " ".join(parts[start:start + size])})
        if start + size >= len(parts):
            break
        start += size - overlap
    return out


CHUNKS = [c for d in DOCS for c in chunk_doc(d)]
INDEX = embed([c["text"] for c in CHUNKS])

WITH_REFUSAL = ("تو دستیارِ کتابخانهٔ نوردانه‌ای. فقط از متنِ زیر جواب بده. "
                "اگر جواب در متن نیست بنویس: در سند نیست")
WITHOUT_REFUSAL = "تو دستیارِ کتابخانهٔ نوردانه‌ای. از متنِ زیر جواب بده."


def rag(question, system=WITH_REFUSAL, k=3):
    scores = embed([question])[0] @ INDEX.T
    picked = [CHUNKS[i] for i in scores.topk(k).indices.tolist()]
    context = "\n\n".join(f"[{c['title']}]\n{c['text']}" for c in picked)
    return chat([{"role": "system", "content": system},
                 {"role": "user", "content": context + "\n\n" + question}])["text"]


reset_calls()
ANSWERS = [rag(g["q"]) for g in GOLD]
for g, text in list(zip(GOLD, ANSWERS))[:3]:
    print(f"  انتظار: {str(g['a']):<12} | گرفتیم: {text[:52]}")
  انتظار: ۵ جلد        | گرفتیم: عضو دانشجویی هم‌زمان تا ۵ جلد کتاب امانت می‌گیرد.
  انتظار: ۱۴ روز       | گرفتیم: مدت امانت برای عضو عادی ۱۴ روز است.
  انتظار: ۷ روز        | گرفتیم: هر تمدید ۷ روز به مدت امانت اضافه می‌کند و این عدد ب

به این سه سطر خوب نگاه کن، چون کلِ بخشِ بعد از دلشان درمی‌آید: هر سه جواب درست‌اند و هیچ‌کدام با متنِ انتظار یکی نیست.

۲. متریک را از روی شکلِ جواب انتخاب کن#

def exact(gold, text):
    return gold is not None and text.strip() == gold


def contains(gold, text):
    return (REFUSAL in text) if gold is None else (gold in text)


def normalise(text):
    return " ".join(words(text))


def contains_normalised(gold, text):
    if gold is None:
        return REFUSAL in text
    return normalise(gold) in normalise(text)


for name, metric in [("تطابقِ کامل", exact), ("دربرگیرنده", contains),
                     ("دربرگیرندهٔ نرمال‌شده", contains_normalised)]:
    hit = sum(metric(g["a"], t) for g, t in zip(GOLD, ANSWERS))
    print(f"  {name:<22} {hit}/24")
  تطابقِ کامل            0/24
  دربرگیرنده             18/24
  دربرگیرندهٔ نرمال‌شده  19/24

صفر در برابرِ هجده. همان سامانه، همان جواب‌ها.

«تطابقِ کامل» بد نیست — بی‌جاست. برای برچسبِ دسته‌بندی («سفر» یا «آشپزی») دقیقاً متریکِ درست است. برای جوابِ متنی، هر سامانه‌ای صفر می‌گیرد و آن صفر هیچ اطلاعاتی ندارد.

و به آن یک واحدِ اختلافِ بینِ ۱۸ و ۱۹ مشکوک باش. normalise سه کار می‌کند که هر سه در فارسی حیاتی‌اند: ارقامِ فارسی به لاتین، حذفِ اعرابِ اضافه (کتابِ و کتاب یک کلمه‌اند)، و نیم‌فاصله به فاصله. بدونِ این‌ها «۳ روزِ کاری» با «۳ روز کاری» برابر نیست. ولی words یک کارِ چهارم هم می‌کند: هر توکنِ یک‌نویسه‌ای را دور می‌ریزد، پس «۲ جلد» فقط «جلد» می‌شود. برای همین جوابِ غلطِ «عضو دانشجویی هم‌زمان تا ۵ جلد کتاب امانت می‌گیرد.» برای پرسشی که جوابش «۲ جلد» است درست حساب شد. آن یک واحد یک مثبتِ کاذب است، نه بهبود. نسخهٔ درست، رقم را نگه می‌دارد:

print(words("۲ جلد"), words("۱۴ روز"))


def normalise(text):
    text = re.sub(r"[\u064B-\u0652\u0670]", "", to_ascii_digits(text)).replace("\u200c", " ")
    return " ".join(re.sub(r"[،؛,.!?؟:()«»]", " ", text).split())


print(normalise("۳ روزِ کاری"))
print("دربرگیرندهٔ نرمال‌شدهٔ درست:",
      sum(contains_normalised(g["a"], t) for g, t in zip(GOLD, ANSWERS)), "/24")
['جلد'] ['14', 'روز']
3 روز کاری
دربرگیرندهٔ نرمال‌شدهٔ درست: 18 /24

با این نسخه عدد همان ۱۸ است. هر متریکی را روی چند نمونه با چشم هم بخوان.

✅ چک کن: اگر «تطابقِ کامل» صفر نشد، احتمالاً strip() را جا انداخته‌ای یا جواب‌هایت را دستی کوتاه کرده‌ای. صفر بودن اینجا درست است و خودش یک نتیجه است.

۳. داورِ خودکار — و اینکه چرا اینجا کار نمی‌کند#

متریکِ دربرگیرنده یک نقطه‌ضعفِ آشکار دارد: اگر مدل بنویسد «چهارده روز» به‌جای «۱۴ روز»، رد می‌شود. راهِ‌حلِ پرطرفدار: به‌جای مقایسهٔ رشته، شباهتِ معنایی را بسنج.

بسنجیمش.

GOLD_LABEL = [contains(g["a"], t) for g, t in zip(GOLD, ANSWERS)]
answer_vecs = embed(ANSWERS)

REFERENCES = {
    "جوابِ برهنه": [g["a"] or REFUSAL for g in GOLD],
    "پرسش + جواب": [g["q"] + " " + (g["a"] or REFUSAL) for g in GOLD],
}

for name, reference in REFERENCES.items():
    sims = [float(a @ b) for a, b in zip(answer_vecs, embed(reference))]
    row = []
    for threshold in (0.5, 0.6, 0.7, 0.8, 0.9):
        agree = sum((s >= threshold) == label for s, label in zip(sims, GOLD_LABEL))
        row.append(f"{threshold}: {agree}/24")
    print(f"  {name:<12} " + " · ".join(row))
  جوابِ برهنه  0.5: 15/24 · 0.6: 12/24 · 0.7: 10/24 · 0.8: 11/24 · 0.9: 11/24
  پرسش + جواب  0.5: 17/24 · 0.6: 17/24 · 0.7: 15/24 · 0.8: 12/24 · 0.9: 6/24

بهترین حالتش ۱۷ از ۲۴ موافقت است. یعنی داور در ۷ مورد از ۲۴ مورد اشتباه قضاوت می‌کند.

و این را با چیزی که جایگزینش می‌شد مقایسه کن. دقت کن که مقایسه اینجا کمی سرِ خود است: برچسبِ مرجعِ ما (GOLD_LABEL) خودش خروجیِ متریکِ دربرگیرنده است، پس آن متریک به‌ناچار ۲۴ از ۲۴ می‌شود و عددش معنایی ندارد. ولی نسخهٔ نرمال‌شده‌اش مستقل است و بعد از درست شدن در بخشِ ۲ دقیقاً همان ۱۸ را داد. در برابرش بهترین حالتِ داورِ معنایی ۱۷ از ۲۴ است. داورِ «هوشمند» از متریکِ «احمق» بدتر درآمد.

ولی چرا؟ جواب در یک خط دیده می‌شود:

sims = [float(a @ b) for a, b in zip(answer_vecs, embed([g["a"] or REFUSAL for g in GOLD]))]
right = sorted(s for s, label in zip(sims, GOLD_LABEL) if label)
wrong = sorted(s for s, label in zip(sims, GOLD_LABEL) if not label)
print("شباهتِ جواب‌های درست :", [round(s, 2) for s in right])
print("شباهتِ جواب‌های غلط  :", [round(s, 2) for s in wrong])
print()
for g, text, sim, label in zip(GOLD, ANSWERS, sims, GOLD_LABEL):
    if label and sim < 0.5:
        print(f"  شباهت {sim:.2f} ولی درست → انتظار «{g['a']}» / جواب «{text[:44]}»")
        break
for g, text, sim, label in zip(GOLD, ANSWERS, sims, GOLD_LABEL):
    if (not label) and sim >= 0.7:
        print(f"  شباهت {sim:.2f} ولی غلط  → انتظار «{g['a']}» / جواب «{text[:44]}»")
        break
شباهتِ جواب‌های درست : [0.35, 0.35, 0.37, 0.44, 0.45, 0.47, 0.48, 0.48, 0.53, 0.58, 0.59, 0.62, 0.7, 1.0, 1.0, 1.0, 1.0, 1.0]
شباهتِ جواب‌های غلط  : [0.03, 0.22, 0.24, 0.24, 0.29, 0.72]

  شباهت 0.35 ولی درست → انتظار «۵ جلد» / جواب «عضو دانشجویی هم‌زمان تا ۵ جلد کتاب امانت می‌»
  شباهت 0.72 ولی غلط  → انتظار «خیر» / جواب «در سند نیست»

📏 اندازه بگیر: دو توزیع روی هم افتاده‌اند. درست‌ها از ۰٫۳۵ شروع می‌شوند، غلط‌ها تا ۰٫۷۲ می‌روند. هیچ آستانه‌ای وجود ندارد که این دو را جدا کند — و همین توضیحِ کاملِ جدولِ قبل است. این خط، نوعِ نموداری است که قبل از هر داورِ خودکاری باید بکشی.

دو نمونهٔ چاپ‌شده هم دقیقاً می‌گویند مشکل کجاست:

  • «۵ جلد» در برابرِ یک جملهٔ ده‌کلمه‌ای: شباهت ۰٫۳۵. جواب کاملاً درست است. مشکل عدمِ تقارنِ طول است — بردارِ یک عبارتِ دوکلمه‌ای هرگز به بردارِ یک جملهٔ کامل نزدیک نمی‌شود، هرچقدر هم معنایشان یکی باشد.
  • «در سند نیست» در برابرِ «خیر»: شباهت ۰٫۷۲. هر دو نفی را می‌رسانند، پس بردارهایشان نزدیک‌اند. ولی یکی جوابِ درست است و دیگری اعترافِ به ندانستن. شباهتِ معنایی این تفاوت را نمی‌بیند.

درسِ عملی: متریک را از روی شکلِ جواب انتخاب کن، نه از روی مدرن بودنش. جوابِ کوتاه و واقعی → مقایسهٔ رشتهٔ نرمال‌شده. جوابِ بلند و آزاد → آنجا داور لازم می‌شود.

۴. LLM-as-judge و مرزهایش#

برای جوابِ بلند («این خلاصه خوب است؟»، «این توضیح برای کاربرِ تازه‌کار مناسب است؟») هیچ مقایسهٔ رشته‌ای کار نمی‌کند. آنجا از یک مدلِ دیگر می‌خواهی داوری کند.

شکلِ درستش این است — و سه ریزه‌کاری دارد:

JUDGE = """جوابِ مرجع و جوابِ سامانه را مقایسه کن.
فقط یکی از این دو کلمه را بنویس: درست یا غلط.

پرسش      : {question}
جوابِ مرجع : {reference}
جوابِ سامانه: {candidate}"""

verdict = real_chat([{"role": "user", "content": JUDGE.format(...)}],
                    temperature=0.0)["text"]

۱) temperature=0 — داوری جای خلاقیت نیست. ۲) خروجیِ بسته («درست» یا «غلط»)، نه نمرهٔ ۱ تا ۱۰؛ نمرهٔ عددیِ مدل‌ها بدجور به وسط می‌چسبد. ۳) جوابِ مرجع در پرامپت باشد — داورِ بدونِ مرجع دارد نظر می‌دهد، نه داوری می‌کند.

و سه سوگیریِ مستندش را بشناس:

  • سوگیریِ پرحرفی — جوابِ بلندتر را بهتر می‌داند، حتی وقتی نیست.
  • سوگیریِ جایگاه — در مقایسهٔ دو جواب، آنکه اول آمده شانسِ بیشتری دارد. علاجش: هر مقایسه را دو بار، با جای عوض‌شده، بزن.
  • خودپسندی — مدل به متنی که خودش یا هم‌خانواده‌اش تولید کرده نمرهٔ بالاتری می‌دهد. علاجش: داور از خانوادهٔ دیگری باشد.

📏 اندازه بگیر: قاعده‌ای که این فصل با عدد ثابتش کرد: داور را هم باید سنجید. ما یک داورِ خودکار ساختیم، با برچسبِ مرجع سنجیدیمش، و ردش کردیم — ۱۷ از ۲۴ برای داوری کافی نیست. همین کار را با LLM-as-judge هم بکن: سی مورد را خودت دستی برچسب بزن، داور را رویشان بزن، و نرخِ موافقتش را گزارش کن. بدونِ آن عدد، داورت یک جعبهٔ سیاه است که عددهای دلگرم‌کننده تولید می‌کند.

۵. یک عدد کافی نیست — تفکیک کن#

def report(answers):
    per = {"ساده": [0, 0], "چندسندی": [0, 0], "بی‌جواب": [0, 0]}
    for g, text in zip(GOLD, answers):
        per[g["kind"]][0] += contains(g["a"], text)
        per[g["kind"]][1] += 1
    return per


for kind, (hit, total) in report(ANSWERS).items():
    bar = "█" * hit + "·" * (total - hit)
    print(f"  {kind:<8} {hit:>2}/{total:<2} {bar}")
  ساده     13/13 █████████████
  چندسندی   0/6  ······
  بی‌جواب   5/5  █████

۱۸ از ۲۴ یعنی «۷۵ درصد». این جدول یعنی «دو کارِ سه‌تا را بی‌نقص انجام می‌دهد و سومی را اصلاً بلد نیست».

عددِ کلی همیشه یک میانگین است، و میانگین شکلِ توزیع را می‌بلعد. ۷۵ درصد می‌توانست یعنی «همه‌جا کمی ضعیف» — که مسئلهٔ کاملاً متفاوتی است و راهِ‌حلِ کاملاً متفاوتی می‌خواهد.

و تفکیک فقط بر اساسِ دسته نیست. در سامانهٔ واقعی این‌ها را هم جدا کن: پرسش‌های فارسی در برابرِ انگلیسی، کوتاه در برابرِ بلند، کاربرِ تازه در برابرِ قدیمی، و اسنادِ تازه‌اضافه‌شده در برابرِ قدیمی. هر بُعدی که ممکن است رفتار در آن فرق کند، یک ستون است.

۶. حالا دو پرامپت را مقایسه کنیم (پشت‌صحنه تولید)

۶. حالا دو پرامپت را مقایسه کنیم#

reset_calls()
ANSWERS_B = [rag(g["q"], WITHOUT_REFUSAL) for g in GOLD]
score_a = sum(GOLD_LABEL)
score_b = sum(contains(g["a"], t) for g, t in zip(GOLD, ANSWERS_B))
print("پرامپت الف (با دستورِ اعتراف):", score_a, "/24")
print("پرامپت ب  (بدونِ آن)        :", score_b, "/24")
print()
for kind in ("ساده", "چندسندی", "بی‌جواب"):
    a = sum(contains(g["a"], t) for g, t in zip(GOLD, ANSWERS) if g["kind"] == kind)
    b = sum(contains(g["a"], t) for g, t in zip(GOLD, ANSWERS_B) if g["kind"] == kind)
    print(f"  {kind:<8} الف {a:>2} | ب {b:>2}")
پرامپت الف (با دستورِ اعتراف): 18 /24
پرامپت ب  (بدونِ آن)        : 13 /24

  ساده     الف 13 | ب 13
  چندسندی  الف  0 | ب  0
  بی‌جواب  الف  5 | ب  0

یک جمله در پرامپت — «اگر جواب در متن نیست بنویس: در سند نیست» — پنج پاسخ را عوض کرد.

و جدولِ تفکیک دقیقاً می‌گوید کدام پنج‌تا: هر پنج پرسشِ بی‌جواب. روی پرسش‌های جواب‌دار هیچ اثری نداشت. یعنی این جمله سامانه را باهوش‌تر نکرد؛ فقط جلوی خیال‌بافی را گرفت.

اگر فقط عددِ کلی را داشتی، می‌گفتی «۵ واحد بهتر شد» و نمی‌دانستی چرا. با جدول می‌دانی، و می‌توانی پیش‌بینی کنی که روی کاربرانِ واقعی چه اتفاقی می‌افتد.

۷. این تفاوت واقعی است یا نویز؟#

def bootstrap(labels, rounds=2000, seed=0):
    rng = random.Random(seed)
    n = len(labels)
    means = []
    for _ in range(rounds):
        sample = [labels[rng.randrange(n)] for _ in range(n)]
        means.append(sum(sample) / n)
    means.sort()
    return means[int(0.05 * rounds)], means[int(0.95 * rounds)]

low, high = bootstrap(GOLD_LABEL)
print(f"دقت: {sum(GOLD_LABEL)}/24 = {sum(GOLD_LABEL) / 24:.3f}")
print(f"بازهٔ ۹۰٪ با bootstrap: {low:.3f} تا {high:.3f}")
print()
p = sum(GOLD_LABEL) / 24
for n in (24, 100, 400, 1600):
    se = math.sqrt(p * (1 - p) / n)
    print(f"  با {n:>4} نمونه: خطای معیار ±{se:.3f}  →  کمترین تفاوتِ قابلِ‌اعتماد ≈ {2 * 1.96 * se:.3f}")
دقت: 18/24 = 0.750
بازهٔ ۹۰٪ با bootstrap: 0.625 تا 0.875

  با   24 نمونه: خطای معیار ±0.088  →  کمترین تفاوتِ قابلِ‌اعتماد ≈ 0.346
  با  100 نمونه: خطای معیار ±0.043  →  کمترین تفاوتِ قابلِ‌اعتماد ≈ 0.170
  با  400 نمونه: خطای معیار ±0.022  →  کمترین تفاوتِ قابلِ‌اعتماد ≈ 0.085
  با 1600 نمونه: خطای معیار ±0.011  →  کمترین تفاوتِ قابلِ‌اعتماد ≈ 0.042

«۷۵ درصد» در واقع یعنی «جایی بینِ ۶۲٪ و ۸۸٪».

bootstrap کارِ ساده‌ای می‌کند: از همان ۲۴ نتیجه، دوباره ۲۴تا با جایگذاری برمی‌دارد، دو هزار بار، و می‌بیند عدد چقدر بالا و پایین می‌رود. این تخمینی است از اینکه اگر ۲۴ پرسشِ دیگر می‌نوشتی، عددت چقدر فرق می‌کرد.

📏 اندازه بگیر: و حالا سخت‌ترین جملهٔ این فصل: با ۲۴ نمونه، کمترین تفاوتی که می‌توانی با اطمینان تشخیص بدهی حدودِ ۳۵ درصد است — یعنی حدودِ ۸ پاسخ. برگرد به جدولِ پایانیِ فصلِ ۵: «۱۸ به ۱۷» و «۱۸ به ۱۶». هیچ‌کدام از این تفاوت‌ها از نظرِ آماری معنادار نیستند. ما آن‌ها را به‌عنوانِ نشانه خواندیم، نه اثبات — و کارِ درست همین است. تفاوتِ ۱۸ به ۱۳ در بخشِ ۶ هم فقط ۵ پاسخ است و از این آستانه رد نمی‌شود. ولی آن آستانه برای دو نمرهٔ جداست و این دو نمره روی همان ۲۴ پرسش‌اند: هر ۵ اختلاف یک‌طرفه‌اند و همه در دستهٔ بی‌جواب. اگر دو پرامپت فرقی نداشتند، احتمالِ اینکه هر ۵ اختلاف به سودِ الف باشد (۱/۲) به توانِ ۵ بود، یعنی حدودِ ۳ درصد. پس این یکی نشانهٔ محکمی است، و محکمی‌اش از جفت بودنِ مقایسه آمده، نه از گذشتن از عددِ ۸.

🌱 ریشه‌اش کجاست: اینکه چرا نمونهٔ کوچک عددِ لرزان می‌دهد و چطور با همین لرزش می‌شود آمارِ گمراه‌کننده ساخت، در ریشه ترمِ ۶ فصل ۸ با مثال آمده. فرمولِ p(1-p)/n هم همان‌جا معنا پیدا می‌کند: هرچه n بزرگ‌تر، عدد آرام‌تر.

و معاملهٔ عملی روشن است: برای رسیدن به تشخیصِ تفاوت‌های کوچک باید صدها نمونه بنویسی و برچسب بزنی، و هر نمونه وقتِ انسانی می‌خواهد. راهِ میانه‌ای که تیم‌ها می‌روند: مجموعهٔ کوچک برای اجرای روزانه و تشخیصِ خرابیِ آشکار، مجموعهٔ بزرگ‌تر برای تصمیم‌های مهم.

۸. eval را مثلِ تست اجرا کن#

آخرین و عملی‌ترین قاعده: eval یک گزارشِ یک‌بارمصرف نیست، یک تست است.

  • قبل از هر تغییرِ پرامپت اجرا کن، بعدش هم. بدونش نمی‌دانی چیزی را که قبلاً کار می‌کرد شکسته‌ای یا نه.
  • نتیجه را با تاریخ و توضیحِ تغییر ذخیره کن. یک فایلِ CSV کافی است. جدولِ فصلِ ۵ دقیقاً همین بود.
  • پرسش‌هایی که کاربرانِ واقعی اشتباه گرفتند، به مجموعه اضافه کن. مجموعهٔ طلایی باید رشد کند — و بهترین منبعِ رشدش شکایت‌های واقعی است.
  • دسته‌بندی را نگه دار. یک ستونِ kind امروز پنج ثانیه وقت می‌گیرد و شش ماه دیگر به‌ت می‌گوید کدام نیمهٔ سامانه پس رفته.

واژه‌های تازهٔ این فصل#

کلمه تلفظ به حروف فارسی یعنی چه
eval ایوال مجموعهٔ آزمونِ سامانه با جوابِ درستِ معلوم
gold set گلد ست همان مجموعه، با جواب‌های تأییدشدهٔ انسانی
exact match اگزکت مچ متریکِ برابریِ کاملِ رشته
LLM-as-judge ال‌ال‌ام از جاج داوری دربارهٔ کیفیتِ جواب توسطِ یک مدلِ دیگر
bootstrap بوت‌استرپ نمونه‌گیریِ مکررِ با جایگذاری برای تخمینِ نوسانِ یک عدد
regression test ریگرشن تست اجرای دوبارهٔ آزمون تا مطمئن شوی چیزی خراب نشده
position bias پوزیشن بایاس ترجیحِ داور به گزینه‌ای که اول آمده

🔧 اگر کار نکرد: سه دامِ واقعیِ همین فصل، و همه‌شان وقتی می‌آیند که GOLD را دست بزنی. اگر پرسش به GOLD اضافه کنی ولی ANSWERS را از نو نسازی، هیچ خطایی نمی‌گیری: zip بی‌صدا به فهرستِ کوتاه‌تر بسنده می‌کند و پرسش‌های تازه اصلاً سنجیده نمی‌شوند. هر تغییر در GOLD یعنی سلولِ بخشِ ۱ باید دوباره اجرا شود. KeyError: 'خیلی‌ساده' یعنی kind تازه‌ای نوشته‌ای که در دیکشنریِ report نیست؛ اول کلیدش را آنجا اضافه کن. و اگر در جدولِ تفکیک یکی از دسته‌ها 0/0 شد، آن دسته هیچ پرسشی ندارد — که خودش یک هشدارِ واقعی است، نه فقط یک باگ: دسته‌ای که نمونه ندارد، سنجیده هم نمی‌شود.

🤖 از دستیارت بپرس: «چند نمونه لازم دارم تا بتوانم تفاوتِ ۵ درصدی را با اطمینان تشخیص بدهم؟» بعد این را بپرس: «اگر همان ۱۰۰ پرسش را روی دو پرامپت اجرا کنم، آیا می‌توانم از آزمونِ جفت‌شده استفاده کنم و به نمونهٔ کمتری نیاز داشته باشم؟» — جوابِ درست «بله» است و دلیلش این است که همان پرسش‌ها در هر دو اجرا مشترک‌اند، پس بخشِ بزرگی از نویز حذف می‌شود.

تمرین‌ها

اول خودت فکر کن یا امتحان کن — بعد اینجا را باز کن.

در فصل بعد#

آن ستونِ چندسندی سه فصل است صفر مانده و ما هر بار گفتیم «بازیابی حلش نمی‌کند». فصلِ بعد تا نیمه حلش می‌کند — ۰ از ۶ می‌شود ۲ از ۶ — با حلقه‌ای که فکر می‌کند، ابزار صدا می‌زند، نتیجه را می‌بیند و دوباره تصمیم می‌گیرد. و همان‌جا با تلخ‌ترین ریاضیِ این ترم روبه‌رو می‌شویم: نرخِ درستیِ یک گام را اندازه می‌گیریم — ۸۷٫۵ درصد — و می‌بینیم همان عدد در زنجیرهٔ پنج‌گامی به ۵۱ درصد و در ده‌گامی به ۲۶ درصد می‌رسد.

به آخر این فصل رسیدی!

اگر ساختی و جواب داد، این دکمه مال توست.