# فصل ۰۶ — `eval`: مهم‌ترین فصلِ این ترم

<div dir="rtl">

# فصل ۰۶ — `eval`: مهم‌ترین فصلِ این ترم

## در این فصل چه یاد می‌گیری

پنج فصل است داریم عدد می‌دهیم و آن عددها از یک مجموعهٔ ۲۴تایی می‌آیند که **ما آماده به‌ت دادیم**. این فصل پرده را کنار می‌زند: **آن مجموعه چطور طراحی شد، چرا این ۲۴تا، و چه چیزی را نمی‌تواند به‌ت بگوید.**

و سه نتیجهٔ ناخوشایند می‌گیریم که هر سه واقعی‌اند:

- **متریکِ «تطابقِ کامل» صفر از ۲۴ می‌دهد** به سامانه‌ای که ۱۸تا را درست جواب داده.
- **داورِ مبتنی بر شباهتِ معنایی از خودِ سامانه بدتر است** — و ثابت می‌کنیم چرا هیچ آستانه‌ای نجاتش نمی‌دهد.
- **با ۲۴ نمونه، هر تفاوتی کمتر از ۸ پاسخ، نویز است.** یعنی بیشترِ «بهبود»هایی که در فصلِ ۵ دیدیم، از نظرِ آماری اصلاً بهبود نبودند.

![یک ترازو که دو کفه‌اش را با خط‌کش‌های متفاوت اندازه می‌گیرند](/lesson-assets/t5-s06-evals/prompt/01-image-scale-and-rulers.png)

آخر این فصل می‌توانی:

- یک مجموعهٔ طلاییِ کوچک ولی کارآمد طراحی کنی
- متریک را متناسب با شکلِ جواب انتخاب کنی
- داورِ خودکار را **بسنجی** پیش از اینکه به‌ش تکیه کنی
- بگویی یک تفاوتِ عددی معنادار است یا نویز

## قبل از شروع

**از فصل ۴ و ۵:** `chunk`، `embed`، بازیابی و `GOLD`.

**از سرنخ ترمِ ۳:** متریکِ طبقه‌بندی، و اینکه یک عددِ کلی می‌تواند خرابیِ یک کلاس را پنهان کند. **همان درس، این بار روی متن.**

> 💡 **نکته:** **زمانِ تخمینی روی CPU: دو تا سه دقیقه.**

> 📓 **نوت‌بوک:** [نوت‌بوک این فصل را در Colab باز کن](/notebooks/zharfa/term-5-llm-engineering/session-06-evals.ipynb) — همهٔ کدهای این فصل آماده و به‌ترتیب داخلش هست.

## ۱. مجموعهٔ طلایی چطور ساخته می‌شود

**قاعدهٔ اول: بیست پرسشِ خوب از دویست پرسشِ سرسری بهتر است.** ولی «خوب» یعنی چه؟

**مجموعهٔ `GOLD` این ترم سه دسته دارد و هیچ‌کدام تزیینی نیست:**

</div>

| دسته | چند تا | چرا هست |
|---|---|---|
| `ساده` | ۱۳ | جواب در یک جملهٔ یک سند است. **کفِ کارکرد** — اگر این‌ها خراب باشند، هیچ‌چیزِ دیگری مهم نیست |
| `چندسندی` | ۶ | جواب از **ترکیبِ** دو حقیقت درمی‌آید. **سقفِ توانایی** — نشان می‌دهد بازیابیِ تنها کجا تمام می‌شود |
| `بی‌جواب` | ۵ | پیکره این را **نمی‌داند**. جوابِ درست یعنی اعتراف. **این دسته را همه جا می‌اندازند و همه‌جا لازم است** |

<div dir="rtl">

**دربارهٔ دستهٔ سوم اصرار دارم.** بدونِ پرسشِ بی‌جواب، سامانه‌ای که **هرگز نمی‌گوید نمی‌دانم** نمرهٔ کامل می‌گیرد — و همان سامانه در دنیای واقعی با اطمینانِ کامل چیزهای ساختگی به کاربر می‌گوید. **پرسشِ بی‌جواب تنها چیزی است که خیال‌بافی را قابلِ اندازه‌گیری می‌کند.**

**و چهار قاعدهٔ دیگر که در ساختنِ همین ۲۴تا رعایت شده:**

- **جواب کوتاه و یکتا باشد** («۱۴ روز»، نه «مدتِ امانت بسته به شرایط متفاوت است»). جوابِ بلند را نمی‌شود خودکار سنجید.
- **از دلِ کاربرِ واقعی دربیاید**، نه از دلِ سند. اگر پرسش‌ها را از روی متنِ سند بنویسی، **داری بازیابی را با جوابِ آزمون امتحان می‌کنی.** این قاعده را در `GOLD` خودمان فقط تا حدی رعایت کرده‌ایم: در ۶ تا از ۱۳ پرسشِ `ساده`، همهٔ کلمه‌های معنادارِ پرسش در یک جملهٔ سند آمده است.
- **دام هم داشته باشد** — پرسشی که جوابِ شبیهِ غلط دارد. «امانتِ کوتاهِ مرجع چند ساعته است؟» عمداً کنارِ جملهٔ «هر ساعت تأخیر ۶ امتیاز» نشسته.
- **هر پرسش سندِ مرجعش ثبت شود.** بدونِ ستونِ `doc` نمی‌توانستیم در فصلِ ۵ خطای بازیابی را از خطای تولید جدا کنیم.

</div>

```python
import math
import random

import torch
from transformers import AutoModel, AutoTokenizer

NAME = "sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2"
tokenizer = AutoTokenizer.from_pretrained(NAME)
encoder = AutoModel.from_pretrained(NAME)
encoder.eval()


@torch.no_grad()
def embed(texts, batch=32):
    out = []
    for i in range(0, len(texts), batch):
        b = tokenizer(texts[i:i + batch], padding=True, truncation=True,
                      max_length=128, return_tensors="pt")
        hidden = encoder(**b).last_hidden_state
        mask = b["attention_mask"].unsqueeze(-1).float()
        out.append((hidden * mask).sum(1) / mask.sum(1))
    return torch.nn.functional.normalize(torch.cat(out), dim=1)


def chunk_doc(doc, size=3, overlap=1):
    parts = sentences(doc["text"])
    out, start = [], 0
    while start < len(parts):
        out.append({"doc": doc["id"], "title": doc["title"],
                    "text": " ".join(parts[start:start + size])})
        if start + size >= len(parts):
            break
        start += size - overlap
    return out


CHUNKS = [c for d in DOCS for c in chunk_doc(d)]
INDEX = embed([c["text"] for c in CHUNKS])

WITH_REFUSAL = ("تو دستیارِ کتابخانهٔ نوردانه‌ای. فقط از متنِ زیر جواب بده. "
                "اگر جواب در متن نیست بنویس: در سند نیست")
WITHOUT_REFUSAL = "تو دستیارِ کتابخانهٔ نوردانه‌ای. از متنِ زیر جواب بده."


def rag(question, system=WITH_REFUSAL, k=3):
    scores = embed([question])[0] @ INDEX.T
    picked = [CHUNKS[i] for i in scores.topk(k).indices.tolist()]
    context = "\n\n".join(f"[{c['title']}]\n{c['text']}" for c in picked)
    return chat([{"role": "system", "content": system},
                 {"role": "user", "content": context + "\n\n" + question}])["text"]


reset_calls()
ANSWERS = [rag(g["q"]) for g in GOLD]
for g, text in list(zip(GOLD, ANSWERS))[:3]:
    print(f"  انتظار: {str(g['a']):<12} | گرفتیم: {text[:52]}")
```

<div dir="rtl">

</div>

```text
  انتظار: ۵ جلد        | گرفتیم: عضو دانشجویی هم‌زمان تا ۵ جلد کتاب امانت می‌گیرد.
  انتظار: ۱۴ روز       | گرفتیم: مدت امانت برای عضو عادی ۱۴ روز است.
  انتظار: ۷ روز        | گرفتیم: هر تمدید ۷ روز به مدت امانت اضافه می‌کند و این عدد ب
```

<div dir="rtl">

**به این سه سطر خوب نگاه کن، چون کلِ بخشِ بعد از دلشان درمی‌آید: هر سه جواب درست‌اند و هیچ‌کدام با متنِ انتظار یکی نیست.**

## ۲. متریک را از روی شکلِ جواب انتخاب کن

</div>

```python
def exact(gold, text):
    return gold is not None and text.strip() == gold


def contains(gold, text):
    return (REFUSAL in text) if gold is None else (gold in text)


def normalise(text):
    return " ".join(words(text))


def contains_normalised(gold, text):
    if gold is None:
        return REFUSAL in text
    return normalise(gold) in normalise(text)


for name, metric in [("تطابقِ کامل", exact), ("دربرگیرنده", contains),
                     ("دربرگیرندهٔ نرمال‌شده", contains_normalised)]:
    hit = sum(metric(g["a"], t) for g, t in zip(GOLD, ANSWERS))
    print(f"  {name:<22} {hit}/24")
```

<div dir="rtl">

</div>

```text
  تطابقِ کامل            0/24
  دربرگیرنده             18/24
  دربرگیرندهٔ نرمال‌شده  19/24
```

<div dir="rtl">

**صفر در برابرِ هجده. همان سامانه، همان جواب‌ها.**

**«تطابقِ کامل» بد نیست — بی‌جاست.** برای برچسبِ دسته‌بندی («سفر» یا «آشپزی») دقیقاً متریکِ درست است. برای جوابِ متنی، **هر سامانه‌ای صفر می‌گیرد** و آن صفر هیچ اطلاعاتی ندارد.

**و به آن یک واحدِ اختلافِ بینِ ۱۸ و ۱۹ مشکوک باش.** `normalise` سه کار می‌کند که هر سه در فارسی حیاتی‌اند: **ارقامِ فارسی به لاتین، حذفِ اعرابِ اضافه (`کتابِ` و `کتاب` یک کلمه‌اند)، و نیم‌فاصله به فاصله.** بدونِ این‌ها «۳ روزِ کاری» با «۳ روز کاری» برابر نیست. ولی `words` یک کارِ چهارم هم می‌کند: **هر توکنِ یک‌نویسه‌ای را دور می‌ریزد**، پس «۲ جلد» فقط «جلد» می‌شود. برای همین جوابِ غلطِ «عضو دانشجویی هم‌زمان تا ۵ جلد کتاب امانت می‌گیرد.» برای پرسشی که جوابش «۲ جلد» است درست حساب شد. **آن یک واحد یک مثبتِ کاذب است، نه بهبود.** نسخهٔ درست، رقم را نگه می‌دارد:

</div>

```python
print(words("۲ جلد"), words("۱۴ روز"))


def normalise(text):
    text = re.sub(r"[\u064B-\u0652\u0670]", "", to_ascii_digits(text)).replace("\u200c", " ")
    return " ".join(re.sub(r"[،؛,.!?؟:()«»]", " ", text).split())


print(normalise("۳ روزِ کاری"))
print("دربرگیرندهٔ نرمال‌شدهٔ درست:",
      sum(contains_normalised(g["a"], t) for g, t in zip(GOLD, ANSWERS)), "/24")
```

<div dir="rtl">

</div>

```text
['جلد'] ['14', 'روز']
3 روز کاری
دربرگیرندهٔ نرمال‌شدهٔ درست: 18 /24
```

<div dir="rtl">

با این نسخه عدد همان ۱۸ است. **هر متریکی را روی چند نمونه با چشم هم بخوان.**

> ✅ **چک کن:** اگر «تطابقِ کامل» صفر نشد، احتمالاً `strip()` را جا انداخته‌ای یا جواب‌هایت را دستی کوتاه کرده‌ای. صفر بودن اینجا **درست** است و خودش یک نتیجه است.

## ۳. داورِ خودکار — و اینکه چرا اینجا کار نمی‌کند

**متریکِ دربرگیرنده یک نقطه‌ضعفِ آشکار دارد:** اگر مدل بنویسد «چهارده روز» به‌جای «۱۴ روز»، رد می‌شود. **راهِ‌حلِ پرطرفدار: به‌جای مقایسهٔ رشته، شباهتِ معنایی را بسنج.**

**بسنجیمش.**

</div>

```python
GOLD_LABEL = [contains(g["a"], t) for g, t in zip(GOLD, ANSWERS)]
answer_vecs = embed(ANSWERS)

REFERENCES = {
    "جوابِ برهنه": [g["a"] or REFUSAL for g in GOLD],
    "پرسش + جواب": [g["q"] + " " + (g["a"] or REFUSAL) for g in GOLD],
}

for name, reference in REFERENCES.items():
    sims = [float(a @ b) for a, b in zip(answer_vecs, embed(reference))]
    row = []
    for threshold in (0.5, 0.6, 0.7, 0.8, 0.9):
        agree = sum((s >= threshold) == label for s, label in zip(sims, GOLD_LABEL))
        row.append(f"{threshold}: {agree}/24")
    print(f"  {name:<12} " + " · ".join(row))
```

<div dir="rtl">

</div>

```text
  جوابِ برهنه  0.5: 15/24 · 0.6: 12/24 · 0.7: 10/24 · 0.8: 11/24 · 0.9: 11/24
  پرسش + جواب  0.5: 17/24 · 0.6: 17/24 · 0.7: 15/24 · 0.8: 12/24 · 0.9: 6/24
```

<div dir="rtl">

**بهترین حالتش ۱۷ از ۲۴ موافقت است. یعنی داور در ۷ مورد از ۲۴ مورد اشتباه قضاوت می‌کند.**

**و این را با چیزی که جایگزینش می‌شد مقایسه کن.** دقت کن که مقایسه اینجا کمی سرِ خود است: **برچسبِ مرجعِ ما (`GOLD_LABEL`) خودش خروجیِ متریکِ دربرگیرنده است**، پس آن متریک به‌ناچار ۲۴ از ۲۴ می‌شود و عددش معنایی ندارد. **ولی نسخهٔ نرمال‌شده‌اش مستقل است و بعد از درست شدن در بخشِ ۲ دقیقاً همان ۱۸ را داد.** **در برابرش بهترین حالتِ داورِ معنایی ۱۷ از ۲۴ است. داورِ «هوشمند» از متریکِ «احمق» بدتر درآمد.**

**ولی چرا؟** جواب در یک خط دیده می‌شود:

</div>

```python
sims = [float(a @ b) for a, b in zip(answer_vecs, embed([g["a"] or REFUSAL for g in GOLD]))]
right = sorted(s for s, label in zip(sims, GOLD_LABEL) if label)
wrong = sorted(s for s, label in zip(sims, GOLD_LABEL) if not label)
print("شباهتِ جواب‌های درست :", [round(s, 2) for s in right])
print("شباهتِ جواب‌های غلط  :", [round(s, 2) for s in wrong])
print()
for g, text, sim, label in zip(GOLD, ANSWERS, sims, GOLD_LABEL):
    if label and sim < 0.5:
        print(f"  شباهت {sim:.2f} ولی درست → انتظار «{g['a']}» / جواب «{text[:44]}»")
        break
for g, text, sim, label in zip(GOLD, ANSWERS, sims, GOLD_LABEL):
    if (not label) and sim >= 0.7:
        print(f"  شباهت {sim:.2f} ولی غلط  → انتظار «{g['a']}» / جواب «{text[:44]}»")
        break
```

<div dir="rtl">

</div>

```text
شباهتِ جواب‌های درست : [0.35, 0.35, 0.37, 0.44, 0.45, 0.47, 0.48, 0.48, 0.53, 0.58, 0.59, 0.62, 0.7, 1.0, 1.0, 1.0, 1.0, 1.0]
شباهتِ جواب‌های غلط  : [0.03, 0.22, 0.24, 0.24, 0.29, 0.72]

  شباهت 0.35 ولی درست → انتظار «۵ جلد» / جواب «عضو دانشجویی هم‌زمان تا ۵ جلد کتاب امانت می‌»
  شباهت 0.72 ولی غلط  → انتظار «خیر» / جواب «در سند نیست»
```

<div dir="rtl">

> 📏 **اندازه بگیر:** **دو توزیع روی هم افتاده‌اند.** درست‌ها از ۰٫۳۵ شروع می‌شوند، غلط‌ها تا ۰٫۷۲ می‌روند. **هیچ آستانه‌ای وجود ندارد که این دو را جدا کند** — و همین توضیحِ کاملِ جدولِ قبل است. **این خط، نوعِ نموداری است که قبل از هر داورِ خودکاری باید بکشی.**

**دو نمونهٔ چاپ‌شده هم دقیقاً می‌گویند مشکل کجاست:**

- **«۵ جلد» در برابرِ یک جملهٔ ده‌کلمه‌ای: شباهت ۰٫۳۵.** جواب کاملاً درست است. **مشکل عدمِ تقارنِ طول است** — بردارِ یک عبارتِ دوکلمه‌ای هرگز به بردارِ یک جملهٔ کامل نزدیک نمی‌شود، هرچقدر هم معنایشان یکی باشد.
- **«در سند نیست» در برابرِ «خیر»: شباهت ۰٫۷۲.** هر دو **نفی** را می‌رسانند، پس بردارهایشان نزدیک‌اند. **ولی یکی جوابِ درست است و دیگری اعترافِ به ندانستن.** شباهتِ معنایی این تفاوت را نمی‌بیند.

**درسِ عملی: متریک را از روی شکلِ جواب انتخاب کن، نه از روی مدرن بودنش.** جوابِ کوتاه و واقعی → مقایسهٔ رشتهٔ نرمال‌شده. جوابِ بلند و آزاد → آنجا داور لازم می‌شود.

## ۴. `LLM-as-judge` و مرزهایش

برای جوابِ بلند («این خلاصه خوب است؟»، «این توضیح برای کاربرِ تازه‌کار مناسب است؟») هیچ مقایسهٔ رشته‌ای کار نمی‌کند. **آنجا از یک مدلِ دیگر می‌خواهی داوری کند.**

**شکلِ درستش این است — و سه ریزه‌کاری دارد:**

</div>

```text-file
JUDGE = """جوابِ مرجع و جوابِ سامانه را مقایسه کن.
فقط یکی از این دو کلمه را بنویس: درست یا غلط.

پرسش      : {question}
جوابِ مرجع : {reference}
جوابِ سامانه: {candidate}"""

verdict = real_chat([{"role": "user", "content": JUDGE.format(...)}],
                    temperature=0.0)["text"]
```

<div dir="rtl">

**۱) `temperature=0`** — داوری جای خلاقیت نیست. **۲) خروجیِ بسته** («درست» یا «غلط»)، نه نمرهٔ ۱ تا ۱۰؛ نمرهٔ عددیِ مدل‌ها بدجور به وسط می‌چسبد. **۳) جوابِ مرجع در پرامپت باشد** — داورِ بدونِ مرجع دارد نظر می‌دهد، نه داوری می‌کند.

**و سه سوگیریِ مستندش را بشناس:**

- **سوگیریِ پرحرفی** — جوابِ بلندتر را بهتر می‌داند، حتی وقتی نیست.
- **سوگیریِ جایگاه** — در مقایسهٔ دو جواب، آنکه اول آمده شانسِ بیشتری دارد. **علاجش: هر مقایسه را دو بار، با جای عوض‌شده، بزن.**
- **خودپسندی** — مدل به متنی که خودش یا هم‌خانواده‌اش تولید کرده نمرهٔ بالاتری می‌دهد. **علاجش: داور از خانوادهٔ دیگری باشد.**

> 📏 **اندازه بگیر:** **قاعده‌ای که این فصل با عدد ثابتش کرد: داور را هم باید سنجید.** ما یک داورِ خودکار ساختیم، با برچسبِ مرجع سنجیدیمش، و **ردش کردیم** — ۱۷ از ۲۴ برای داوری کافی نیست. **همین کار را با `LLM-as-judge` هم بکن:** سی مورد را خودت دستی برچسب بزن، داور را رویشان بزن، و **نرخِ موافقتش را گزارش کن.** بدونِ آن عدد، داورت یک جعبهٔ سیاه است که عددهای دلگرم‌کننده تولید می‌کند.

## ۵. یک عدد کافی نیست — تفکیک کن

</div>

```python
def report(answers):
    per = {"ساده": [0, 0], "چندسندی": [0, 0], "بی‌جواب": [0, 0]}
    for g, text in zip(GOLD, answers):
        per[g["kind"]][0] += contains(g["a"], text)
        per[g["kind"]][1] += 1
    return per


for kind, (hit, total) in report(ANSWERS).items():
    bar = "█" * hit + "·" * (total - hit)
    print(f"  {kind:<8} {hit:>2}/{total:<2} {bar}")
```

<div dir="rtl">

</div>

```text
  ساده     13/13 █████████████
  چندسندی   0/6  ······
  بی‌جواب   5/5  █████
```

<div dir="rtl">

**۱۸ از ۲۴ یعنی «۷۵ درصد». این جدول یعنی «دو کارِ سه‌تا را بی‌نقص انجام می‌دهد و سومی را اصلاً بلد نیست».**

**عددِ کلی همیشه یک میانگین است، و میانگین شکلِ توزیع را می‌بلعد.** ۷۵ درصد می‌توانست یعنی «همه‌جا کمی ضعیف» — که مسئلهٔ کاملاً متفاوتی است و راهِ‌حلِ کاملاً متفاوتی می‌خواهد.

**و تفکیک فقط بر اساسِ دسته نیست.** در سامانهٔ واقعی این‌ها را هم جدا کن: **پرسش‌های فارسی در برابرِ انگلیسی، کوتاه در برابرِ بلند، کاربرِ تازه در برابرِ قدیمی، و اسنادِ تازه‌اضافه‌شده در برابرِ قدیمی.** هر بُعدی که ممکن است رفتار در آن فرق کند، یک ستون است.

## ۶. حالا دو پرامپت را مقایسه کنیم

</div>

```python
reset_calls()
ANSWERS_B = [rag(g["q"], WITHOUT_REFUSAL) for g in GOLD]
score_a = sum(GOLD_LABEL)
score_b = sum(contains(g["a"], t) for g, t in zip(GOLD, ANSWERS_B))
print("پرامپت الف (با دستورِ اعتراف):", score_a, "/24")
print("پرامپت ب  (بدونِ آن)        :", score_b, "/24")
print()
for kind in ("ساده", "چندسندی", "بی‌جواب"):
    a = sum(contains(g["a"], t) for g, t in zip(GOLD, ANSWERS) if g["kind"] == kind)
    b = sum(contains(g["a"], t) for g, t in zip(GOLD, ANSWERS_B) if g["kind"] == kind)
    print(f"  {kind:<8} الف {a:>2} | ب {b:>2}")
```

<div dir="rtl">

</div>

```text
پرامپت الف (با دستورِ اعتراف): 18 /24
پرامپت ب  (بدونِ آن)        : 13 /24

  ساده     الف 13 | ب 13
  چندسندی  الف  0 | ب  0
  بی‌جواب  الف  5 | ب  0
```

<div dir="rtl">

**یک جمله در پرامپت — «اگر جواب در متن نیست بنویس: در سند نیست» — پنج پاسخ را عوض کرد.**

**و جدولِ تفکیک دقیقاً می‌گوید کدام پنج‌تا: هر پنج پرسشِ بی‌جواب.** روی پرسش‌های جواب‌دار **هیچ اثری نداشت**. یعنی این جمله سامانه را باهوش‌تر نکرد؛ **فقط جلوی خیال‌بافی را گرفت.**

**اگر فقط عددِ کلی را داشتی، می‌گفتی «۵ واحد بهتر شد» و نمی‌دانستی چرا.** با جدول می‌دانی، و می‌توانی پیش‌بینی کنی که روی کاربرانِ واقعی چه اتفاقی می‌افتد.

## ۷. این تفاوت واقعی است یا نویز؟

</div>

```python
def bootstrap(labels, rounds=2000, seed=0):
    rng = random.Random(seed)
    n = len(labels)
    means = []
    for _ in range(rounds):
        sample = [labels[rng.randrange(n)] for _ in range(n)]
        means.append(sum(sample) / n)
    means.sort()
    return means[int(0.05 * rounds)], means[int(0.95 * rounds)]

low, high = bootstrap(GOLD_LABEL)
print(f"دقت: {sum(GOLD_LABEL)}/24 = {sum(GOLD_LABEL) / 24:.3f}")
print(f"بازهٔ ۹۰٪ با bootstrap: {low:.3f} تا {high:.3f}")
print()
p = sum(GOLD_LABEL) / 24
for n in (24, 100, 400, 1600):
    se = math.sqrt(p * (1 - p) / n)
    print(f"  با {n:>4} نمونه: خطای معیار ±{se:.3f}  →  کمترین تفاوتِ قابلِ‌اعتماد ≈ {2 * 1.96 * se:.3f}")
```

<div dir="rtl">

</div>

```text
دقت: 18/24 = 0.750
بازهٔ ۹۰٪ با bootstrap: 0.625 تا 0.875

  با   24 نمونه: خطای معیار ±0.088  →  کمترین تفاوتِ قابلِ‌اعتماد ≈ 0.346
  با  100 نمونه: خطای معیار ±0.043  →  کمترین تفاوتِ قابلِ‌اعتماد ≈ 0.170
  با  400 نمونه: خطای معیار ±0.022  →  کمترین تفاوتِ قابلِ‌اعتماد ≈ 0.085
  با 1600 نمونه: خطای معیار ±0.011  →  کمترین تفاوتِ قابلِ‌اعتماد ≈ 0.042
```

<div dir="rtl">

**«۷۵ درصد» در واقع یعنی «جایی بینِ ۶۲٪ و ۸۸٪».**

`bootstrap` کارِ ساده‌ای می‌کند: **از همان ۲۴ نتیجه، دوباره ۲۴تا با جایگذاری برمی‌دارد**، دو هزار بار، و می‌بیند عدد چقدر بالا و پایین می‌رود. **این تخمینی است از اینکه اگر ۲۴ پرسشِ دیگر می‌نوشتی، عددت چقدر فرق می‌کرد.**

> 📏 **اندازه بگیر:** **و حالا سخت‌ترین جملهٔ این فصل: با ۲۴ نمونه، کمترین تفاوتی که می‌توانی با اطمینان تشخیص بدهی حدودِ ۳۵ درصد است — یعنی حدودِ ۸ پاسخ.** برگرد به جدولِ پایانیِ فصلِ ۵: «۱۸ به ۱۷» و «۱۸ به ۱۶». **هیچ‌کدام از این تفاوت‌ها از نظرِ آماری معنادار نیستند.** ما آن‌ها را به‌عنوانِ **نشانه** خواندیم، نه اثبات — و کارِ درست همین است. **تفاوتِ ۱۸ به ۱۳ در بخشِ ۶ هم فقط ۵ پاسخ است و از این آستانه رد نمی‌شود.** ولی آن آستانه برای دو نمرهٔ جداست و این دو نمره روی همان ۲۴ پرسش‌اند: هر ۵ اختلاف یک‌طرفه‌اند و همه در دستهٔ `بی‌جواب`. اگر دو پرامپت فرقی نداشتند، احتمالِ اینکه هر ۵ اختلاف به سودِ الف باشد (۱/۲) به توانِ ۵ بود، یعنی حدودِ ۳ درصد. **پس این یکی نشانهٔ محکمی است، و محکمی‌اش از جفت بودنِ مقایسه آمده، نه از گذشتن از عددِ ۸.**

> 🌱 **ریشه‌اش کجاست:** اینکه چرا نمونهٔ کوچک عددِ لرزان می‌دهد و چطور با همین لرزش می‌شود آمارِ گمراه‌کننده ساخت، در [ریشه ترمِ ۶ فصل ۸](/courses/risheh/lessons/term-6-probability-statistics/session-08-sampling-lies) با مثال آمده. **فرمولِ `p(1-p)/n` هم همان‌جا معنا پیدا می‌کند: هرچه `n` بزرگ‌تر، عدد آرام‌تر.**

**و معاملهٔ عملی روشن است:** برای رسیدن به تشخیصِ تفاوت‌های کوچک باید صدها نمونه بنویسی و برچسب بزنی، و **هر نمونه وقتِ انسانی می‌خواهد**. راهِ میانه‌ای که تیم‌ها می‌روند: **مجموعهٔ کوچک برای اجرای روزانه و تشخیصِ خرابیِ آشکار، مجموعهٔ بزرگ‌تر برای تصمیم‌های مهم.**

## ۸. `eval` را مثلِ تست اجرا کن

**آخرین و عملی‌ترین قاعده: `eval` یک گزارشِ یک‌بارمصرف نیست، یک تست است.**

- **قبل از هر تغییرِ پرامپت اجرا کن، بعدش هم.** بدونش نمی‌دانی چیزی را که قبلاً کار می‌کرد شکسته‌ای یا نه.
- **نتیجه را با تاریخ و توضیحِ تغییر ذخیره کن.** یک فایلِ `CSV` کافی است. **جدولِ فصلِ ۵ دقیقاً همین بود.**
- **پرسش‌هایی که کاربرانِ واقعی اشتباه گرفتند، به مجموعه اضافه کن.** مجموعهٔ طلایی باید **رشد** کند — و بهترین منبعِ رشدش شکایت‌های واقعی است.
- **دسته‌بندی را نگه دار.** یک ستونِ `kind` امروز پنج ثانیه وقت می‌گیرد و شش ماه دیگر به‌ت می‌گوید کدام نیمهٔ سامانه پس رفته.

## واژه‌های تازهٔ این فصل

</div>

| کلمه | تلفظ به حروف فارسی | یعنی چه |
|---|---|---|
| eval | ایوال | مجموعهٔ آزمونِ سامانه با جوابِ درستِ معلوم |
| gold set | گلد ست | همان مجموعه، با جواب‌های تأییدشدهٔ انسانی |
| exact match | اگزکت مچ | متریکِ برابریِ کاملِ رشته |
| LLM-as-judge | ال‌ال‌ام از جاج | داوری دربارهٔ کیفیتِ جواب توسطِ یک مدلِ دیگر |
| bootstrap | بوت‌استرپ | نمونه‌گیریِ مکررِ با جایگذاری برای تخمینِ نوسانِ یک عدد |
| regression test | ریگرشن تست | اجرای دوبارهٔ آزمون تا مطمئن شوی چیزی خراب نشده |
| position bias | پوزیشن بایاس | ترجیحِ داور به گزینه‌ای که اول آمده |

<div dir="rtl">

> 🔧 **اگر کار نکرد:** سه دامِ واقعیِ همین فصل، و همه‌شان وقتی می‌آیند که `GOLD` را دست بزنی. **اگر پرسش به `GOLD` اضافه کنی ولی `ANSWERS` را از نو نسازی، هیچ خطایی نمی‌گیری:** `zip` بی‌صدا به فهرستِ کوتاه‌تر بسنده می‌کند و پرسش‌های تازه اصلاً سنجیده نمی‌شوند. **هر تغییر در `GOLD` یعنی سلولِ بخشِ ۱ باید دوباره اجرا شود.** **`KeyError: 'خیلی‌ساده'`** یعنی `kind` تازه‌ای نوشته‌ای که در دیکشنریِ `report` نیست؛ اول کلیدش را آنجا اضافه کن. و اگر در جدولِ تفکیک یکی از دسته‌ها `0/0` شد، آن دسته **هیچ پرسشی ندارد** — که خودش یک هشدارِ واقعی است، نه فقط یک باگ: **دسته‌ای که نمونه ندارد، سنجیده هم نمی‌شود.**

> 🤖 **از دستیارت بپرس:** «چند نمونه لازم دارم تا بتوانم تفاوتِ ۵ درصدی را با اطمینان تشخیص بدهم؟» بعد این را بپرس: **«اگر همان ۱۰۰ پرسش را روی دو پرامپت اجرا کنم، آیا می‌توانم از آزمونِ جفت‌شده استفاده کنم و به نمونهٔ کمتری نیاز داشته باشم؟»** — جوابِ درست «بله» است و دلیلش این است که **همان پرسش‌ها در هر دو اجرا مشترک‌اند**، پس بخشِ بزرگی از نویز حذف می‌شود.

## تمرین‌ها

قبل از تمرین، بدونِ نگاه به بالا جواب بده: چرا بدونِ پرسشِ «بی‌جواب» نمی‌شود خیال‌بافی را اندازه گرفت؟

**تمرینِ اجباری:** ده پرسشِ تازه به `GOLD` اضافه کن — **چهار `ساده`، سه `چندسندی`، سه `بی‌جواب`** — و هر سه جدولِ این فصل را با ۳۴ پرسش دوباره بساز. **بازهٔ `bootstrap` چقدر باریک‌تر شد؟** و مهم‌تر: **آیا نتیجهٔ مقایسهٔ الف و ب عوض شد؟** اگر نشد، آن مقایسه واقعاً محکم بوده.

**تمرینِ ستاره‌دار ⭐:** یک متریکِ چهارم بنویس: **«جواب باید عددِ درست را داشته باشد و عددِ غلطِ دیگری نداشته باشد.»** (راهنمایی: همهٔ عددهای جواب را با `re.findall` دربیاور، به لاتین ببر، و با عددِ مرجع مقایسه کن.) روی همان ۲۴ پرسش بزنش. **چند مورد را متفاوت از متریکِ دربرگیرنده قضاوت می‌کند؟** به آن موارد نگاه کن و **خودت داوری کن کدام متریک درست‌تر است** — این دقیقاً همان کاری است که یک مهندسِ `eval` هر هفته انجام می‌دهد.

## در فصل بعد

آن ستونِ `چندسندی` سه فصل است صفر مانده و ما هر بار گفتیم «بازیابی حلش نمی‌کند». **فصلِ بعد تا نیمه حلش می‌کند** — ۰ از ۶ می‌شود ۲ از ۶ — با حلقه‌ای که فکر می‌کند، ابزار صدا می‌زند، نتیجه را می‌بیند و **دوباره** تصمیم می‌گیرد. و همان‌جا با تلخ‌ترین ریاضیِ این ترم روبه‌رو می‌شویم: **نرخِ درستیِ یک گام را اندازه می‌گیریم — ۸۷٫۵ درصد — و می‌بینیم همان عدد در زنجیرهٔ پنج‌گامی به ۵۱ درصد و در ده‌گامی به ۲۶ درصد می‌رسد.**

</div>

---
Source: https://yaadestan.com/courses/zharfa/lessons/t5/s06-evals (یادستان, Yaadestan)
