# فصل ۰۵ — بازخوردِ کاربر به‌عنوان داده

<div dir="rtl">

# فصل ۰۵ — بازخوردِ کاربر به‌عنوان داده

## در این فصل چه یاد می‌گیری

یک سیاستِ کاملاً معقول را هشت بار اجرا می‌کنیم: **«جوابی که مدل با اطمینانِ بالا داده، تأییدشده حساب کن و در دادهٔ آموزشِ بعدی بگذار.»**

نتیجه‌اش را می‌شماریم: **دقت از ۰٫۷۷۰۸ به ۰٫۵۳۵۰ می‌رسد.** یادآوریِ دستهٔ «ارسال» از ۰٫۸۶۷ به ۰٫۳۴۱ سقوط می‌کند و سهمِ «پرداخت» در دادهٔ آموزشیِ خودتولید به **۰٫۵۲۹۵** می‌رسد در حالی که سهمِ واقعی‌اش **۰٫۲۳۳۳** است. **هیچ‌کس هیچ کارِ اشتباهی نکرد؛ فقط مدل خودش را آموزش داد.**

بعد پادزهر را اندازه می‌گیریم: **۱۵ درصد برچسبِ انسانیِ تصادفی دقت را به ۰٫۸۷۱۷ می‌رساند** — بالاتر از نقطهٔ شروع.

و در نیمهٔ دوم سراغِ بازخوردِ داوطلبانه می‌رویم: **ویجتِ «مفید بود؟» رضایت را ۰٫۳۲۱۴ گزارش می‌کند، در حالی که رضایتِ واقعی ۰٫۷۷۰۸ است.** خطای ۴۵ واحدی، فقط به این دلیل که آدمِ ناراضی هفت برابرِ آدمِ راضی نظر می‌دهد.

![چرخ‌دنده‌ای که خروجی‌اش را به دهانهٔ ورودیِ خودش برمی‌گرداند](/lesson-assets/t5-s05-feedback-loops/prompt/01-image-self-feeding-gear.png)

آخر این فصل می‌توانی:

- حلقهٔ بازخورد را در سامانهٔ خودت پیدا کنی، پیش از آنکه هشت چرخه بگذرد
- فروپاشیِ حلقه را با یادآوریِ هر دسته و سهمِ هر دسته **بشماری**
- سوگیریِ انتخاب در بازخوردِ داوطلبانه را اندازه بگیری و تصحیحش کنی
- بگویی چرا نمونهٔ تصادفیِ اجباری، حتی وقتی کوچک است، از هزار پاسخِ داوطلبانه بهتر است

## قبل از شروع

**از فصلِ ۳:** سیگنالِ رفتاریِ کاربر بهترین جانشینِ ما بود. **این فصل نشان می‌دهد همان سیگنال اگر به دادهٔ آموزش وصل شود، به خطرناک‌ترین چیزِ سامانه تبدیل می‌شود.**

**از ترمِ ۲ فصلِ ۷:** نشتی. حلقهٔ بازخورد یک نشتیِ زمانی است — خروجیِ دیروز به ورودیِ فردا برمی‌گردد — و مثلِ هر نشتیِ دیگری، عددها را **بهتر** از واقعیت نشان می‌دهد تا وقتی که دیگر دیر شده باشد.

> 📓 **نوت‌بوک:** [نوت‌بوک این فصل را در Colab باز کن](/notebooks/darbast/term-5-keeping-it-alive/session-05-feedback-loops.ipynb) — همهٔ کدهای این فصل آماده و به‌ترتیب داخلش هست.

</div>

| اجرا | زمانِ تقریبی |
|---|---|
| کلِ نوت‌بوک روی CPU | حدودِ یک دقیقه |
| GPU | لازم نیست |

<div dir="rtl">

## ۱. یک مجموعهٔ صادق، بیرون از دسترسِ حلقه

هر آزمایشِ این فصل به چیزی نیاز دارد که **هیچ‌وقت آلوده نشود**: ده روز تیکت با برچسبِ درست که هیچ مدلی رویش آموزش نمی‌بیند و هیچ حلقه‌ای بهش دست نمی‌زند.

</div>

```python
import random

START = fit_model(TRAIN)
HONEST = span(100, 110, "B")          # ده روزِ کنارگذاشته با برچسبِ درست؛ هیچ حلقه‌ای بهش نمی‌رسد
AUTO_CONF = 0.96                      # «جوابِ مطمئن را تأییدشده حساب کن» — سیاستی که همه‌جا هست
CYCLE_DAYS = 7


def cycle_rows(cycle):
    first = 40 + cycle * CYCLE_DAYS
    return span(first, first + CYCLE_DAYS, "B")


def judge(model):
    """دقت و یادآوریِ هر دسته، روی مجموعهٔ صادق."""
    said = model.predict([normalise(r["text"]) for r in HONEST])
    recall = {}
    for cat in CATS:
        pairs = [(a, r) for a, r in zip(said, HONEST) if r["category"] == cat]
        recall[cat] = sum(a == r["category"] for a, r in pairs) / len(pairs)
    hits = sum(a == r["category"] for a, r in zip(said, HONEST))
    return hits / len(HONEST), recall


acc, rec = judge(START)
print("مدلِ امروز روی مجموعهٔ صادق:", round(acc, 4))
print("یادآوریِ هر دسته:", {c: round(rec[c], 3) for c in CATS})
print("مجموعهٔ صادق:", len(HONEST), "تیکت · هر چرخه:", len(cycle_rows(0)), "تیکت")
```

```text
مدلِ امروز روی مجموعهٔ صادق: 0.7708
یادآوریِ هر دسته: {'پرداخت': 0.889, 'ارسال': 0.867, 'حساب کاربری': 0.564, 'اپلیکیشن': 0.879}
مجموعهٔ صادق: 1200 تیکت · هر چرخه: 840 تیکت
```

<div dir="rtl">

**بدونِ این مجموعه هیچ‌کدام از عددهای این فصل قابلِ اعتماد نبود.** مدلی که روی دادهٔ خودش آموزش دیده، روی همان داده هم عالی به‌نظر می‌رسد — این دقیقاً همان چیزی است که حلقه را این‌قدر خطرناک می‌کند. **هر سامانه‌ای که بازخوردِ خودش را می‌خورد، به یک مجموعهٔ صادق نیاز دارد که کسی به آن دست نزند.**

## ۲. هشت چرخه

</div>

```python
def confident_labels(model, rows, floor=AUTO_CONF):
    """برچسبی که خودِ مدل تولید می‌کند — فقط وقتی به‌اندازهٔ کافی مطمئن است."""
    texts = [normalise(r["text"]) for r in rows]
    said = model.predict(texts)
    probs = model.predict_proba(texts)
    return [{"text": r["text"], "category": str(a)}
            for r, a, p in zip(rows, said, probs) if max(p) >= floor]


def run_loop(human_share=0.0, cycles=8):
    """هر چرخه: سرو کن، برچسبِ خودت را جمع کن، دوباره آموزش بده. همین."""
    model, history = START, []
    for cycle in range(cycles):
        rows = cycle_rows(cycle)
        picker = random.Random(f"human:{human_share}:{cycle}")
        checked = [r for r in rows if picker.random() < human_share]
        checked_ids = {r["ticket_id"] for r in checked}
        auto = confident_labels(model, [r for r in rows if r["ticket_id"] not in checked_ids])
        batch = auto + [{"text": r["text"], "category": r["category"]} for r in checked]
        model = fit_model(batch)
        acc, recall = judge(model)
        mix = {c: sum(r["category"] == c for r in batch) / len(batch) for c in CATS}
        history.append({"cycle": cycle + 1, "n": len(batch), "human": len(checked),
                        "acc": acc, "recall": recall, "mix": mix})
    return history


LOOP = run_loop()
print(f"{'چرخه':>5}{'دادهٔ آموزش':>13}{'دقت':>9}" + "".join(f"{c:>14}" for c in CATS))
print(f"{'۰':>5}{len(TRAIN):>13}{acc:>9.4f}" + "".join(f"{rec[c]:>14.3f}" for c in CATS))
for h in LOOP:
    print(f"{h['cycle']:>5}{h['n']:>13}{h['acc']:>9.4f}"
          + "".join(f"{h['recall'][c]:>14.3f}" for c in CATS))
```

```text
 چرخه  دادهٔ آموزش      دقت        پرداخت         ارسال   حساب کاربری      اپلیکیشن
    ۰         3600   0.7708         0.889         0.867         0.564         0.879
    1          389   0.7567         0.886         0.811         0.557         0.887
    2          384   0.6800         0.896         0.485         0.564         0.845
    3          424   0.5558         0.904         0.337         0.552         0.402
    4          500   0.5575         0.900         0.348         0.552         0.402
    5          507   0.5308         0.904         0.333         0.501         0.368
    6          495   0.5300         0.896         0.344         0.496         0.368
    7          482   0.5475         0.907         0.348         0.545         0.356
    8          491   0.5350         0.907         0.341         0.513         0.356
```

<div dir="rtl">

**بیست‌وسه واحد دقت، در هشت هفته، بدونِ اینکه هیچ‌چیزِ بیرونی عوض شود.**

دقت کن که در همین مدت دنیا **ثابت** بود؛ تنها چیزی که حرکت کرد خودِ مدل بود. و ستون‌ها می‌گویند فروپاشی یکنواخت نبود: «پرداخت» تا آخر روی ۰٫۹ ماند و حتی بهتر شد، ولی «ارسال» از ۰٫۸۶۷ به ۰٫۳۴۱ و «اپلیکیشن» از ۰٫۸۷۹ به ۰٫۳۵۶ رفت.

**سازوکارش دقیقاً همان چیزی است که در کد نوشتیم و به‌نظر بی‌خطر می‌آمد:** فقط جوابی وارد دادهٔ آموزش می‌شود که مدل رویش مطمئن است. مدل روی چیزهایی مطمئن است که از قبل خوب بلد بوده. **پس دادهٔ فردا فقط از آن چیزهایی ساخته می‌شود که مدل دیروز بلد بود** — و هرچه از یک دسته کمتر بلد باشد، کمتر از آن نمونه می‌گیرد و بلدتر نمی‌شود.

## ۳. چیزی که واقعاً ناپدید شد

</div>

```python
print("سهمِ هر دسته در دادهٔ آموزشیِ خودتولید:")
print(f"{'چرخه':>5}" + "".join(f"{c:>14}" for c in CATS))
for h in LOOP:
    print(f"{h['cycle']:>5}" + "".join(f"{h['mix'][c]:>14.4f}" for c in CATS))
real_mix = {c: sum(r["category"] == c for r in HONEST) / len(HONEST) for c in CATS}
print(f"{'واقعی':>5}" + "".join(f"{real_mix[c]:>14.4f}" for c in CATS))
```

```text
سهمِ هر دسته در دادهٔ آموزشیِ خودتولید:
 چرخه        پرداخت         ارسال   حساب کاربری      اپلیکیشن
    1        0.4216        0.1954        0.2005        0.1825
    2        0.5052        0.1458        0.2396        0.1094
    3        0.4906        0.0896        0.2618        0.1580
    4        0.4880        0.1100        0.2680        0.1340
    5        0.5089        0.0947        0.2682        0.1282
    6        0.4747        0.1111        0.2646        0.1495
    7        0.4979        0.0954        0.2925        0.1141
    8        0.5295        0.1059        0.2607        0.1039
واقعی        0.2333        0.2250        0.3425        0.1992
```

<div dir="rtl">

**سطرِ آخر را با سطرِ هشتم مقایسه کن.** در دنیای واقعی ۲۲٫۵ درصدِ تیکت‌ها «ارسال» بودند؛ در دادهٔ آموزشیِ چرخهٔ هشتم ۱۰٫۶ درصد. «پرداخت» ۲۳٫۳ درصد بود و ۵۳ درصد شد.

**این عدد قابلِ پایش است.** کافی است سهمِ هر دسته در **دادهٔ آموزشی** را با سهمش در **ترافیکِ ورودی** مقایسه کنی. اگر این دو از هم دور می‌شوند، حلقه دارد کار می‌کند. سهمِ واقعیِ ترافیک برچسب می‌خواهد، ولی یک نمونهٔ تصادفیِ کوچک برایش کافی است. بدونِ هیچ برچسبی هم می‌شود، به شرطِ اینکه مرجع ثابت باشد، مثلاً سهم‌هایی که مدلِ اول گفته بود. سهمی که مدلِ همان چرخه می‌گوید به کار نمی‌آید، چون با خودِ مدل جابه‌جا می‌شود. تمرینِ ستاره‌دارِ همین فصل هر سه را با عدد نشان می‌دهد.

> ✅ **چک کن:** در سامانهٔ خودت این جمله را دنبال کن: **«برچسبی که فردا رویش آموزش می‌دهم، امروز از کجا آمد؟»** اگر جواب در هر جایی از زنجیره به خروجیِ خودِ مدل می‌رسد — تأییدِ خودکار، پیشنهادی که کاربر فقط قبولش کرد، صفی که مدل پرش کرده — **حلقه داری**، حتی اگر کسی اسمش را حلقه نگذاشته باشد.

## ۴. پادزهر: نمونهٔ تصادفیِ اجباری

</div>

```python
print(f"{'سهمِ برچسبِ انسانی':>20}{'دقتِ چرخهٔ ۸':>16}{'کمترین یادآوری':>18}"
      f"{'برچسبِ انسانی':>16}")
for share in (0.00, 0.05, 0.15, 0.30):
    history = run_loop(human_share=share)
    last = history[-1]
    print(f"{share:>20.2f}{last['acc']:>16.4f}{min(last['recall'].values()):>18.3f}"
          f"{sum(h['human'] for h in history):>16}")
```

```text
  سهمِ برچسبِ انسانی    دقتِ چرخهٔ ۸    کمترین یادآوری   برچسبِ انسانی
                0.00          0.5350             0.341               0
                0.05          0.7850             0.615             348
                0.15          0.8717             0.815             981
                0.30          0.8683             0.804            2005
```

<div dir="rtl">

**پنج درصد جلوی فروپاشی را می‌گیرد ولی نمی‌تواند ترمیمش کند: ۰٫۷۸۵۰.** پانزده درصد نه‌تنها ترمیم می‌کند، بلکه از نقطهٔ شروع هم جلو می‌زند: **۰٫۸۷۱۷** در برابرِ ۰٫۷۷۰۸ — چون آن برچسب‌های انسانی قاعدهٔ **تازه** را در خودشان دارند و مدلِ اولیه هرگز آن را ندیده بود.

**و سی درصد بهتر از پانزده درصد نشد** (۰٫۸۶۸۳ در برابرِ ۰٫۸۷۱۷، یعنی در حدِ نوسان). **دو برابر کردنِ هزینه هیچ چیزی نخرید** — و این دقیقاً همان جدولی است که پیش از بستنِ قرارداد با یک تیمِ برچسب‌زنی باید داشته باشی.

**قید «تصادفی» شوخی نیست.** اگر همان پانزده درصد را از کم‌اطمینان‌ترین تیکت‌ها بگیری، همان سوگیری را از طرفِ دیگر می‌سازی. **نمونهٔ تصادفیِ اجباری تنها چیزی است که تضمین می‌کند دادهٔ آموزشِ فردا هنوز به دنیا وصل باشد.**

## ۵. اگر حلقه کمی تندتر باشد

</div>

```python
try:
    greedy = START
    for cycle in range(3):
        greedy = fit_model(confident_labels(greedy, cycle_rows(cycle), floor=0.98))
        print("چرخهٔ", cycle + 1, "· دسته‌های باقی‌مانده:",
              sorted(str(c) for c in greedy.classes_))
except ValueError as exc:
    print("ValueError:", exc)
```

```text
چرخهٔ 1 · دسته‌های باقی‌مانده: ['ارسال', 'اپلیکیشن', 'حساب کاربری', 'پرداخت']
ValueError: This solver needs samples of at least 2 classes in the data, but the data contains only one class: np.str_('پرداخت')
```

<div dir="rtl">

**همان حلقه با آستانهٔ ۰٫۹۸ به‌جای ۰٫۹۶، در چرخهٔ دوم کاملاً می‌میرد.** مدل به جایی رسید که دادهٔ آموزشی‌اش فقط **یک دسته** داشت.

> 🔧 **اگر کار نکرد:** پیامی که می‌گیری این است: `ValueError: This solver needs samples of at least 2 classes in the data, but the data contains only one class: np.str_('پرداخت')`. **این خطا خبرِ خوبی است** — تنها لحظه‌ای در کلِ این فصل که سامانه سروصدا کرد. حلقهٔ ۰٫۹۶ همان کار را کرد و **هیچ خطایی نداد**؛ فقط بی‌سروصدا بیست‌وسه واحد بدتر شد. **قاعده: هر جا داده‌ات را خودت می‌سازی، توزیعِ دسته‌ها را قبل از آموزش چاپ کن و اگر یک دسته زیرِ کف رفت، آموزش را متوقف کن.** خطای `ValueError` بعد از فروپاشی می‌آید، نه قبلش.

## ۶. نیمهٔ دوم: کسی که نظر می‌دهد، نمایندهٔ کسی نیست

حالا حلقه را کنار بگذاریم و سراغِ ساده‌ترین شکلِ جمع‌آوریِ بازخورد برویم: یک دکمهٔ «مفید بود؟».

</div>

```python
RATE_WRONG = 0.35                     # کسی که جوابِ اشتباه گرفته خیلی بیشتر نظر می‌دهد
RATE_RIGHT = 0.05

SAID = list(START.predict([normalise(r["text"]) for r in HONEST]))
VOTED = []
for row, said in zip(HONEST, SAID):
    ok = said == row["category"]
    chance = RATE_RIGHT if ok else RATE_WRONG
    VOTED.append(random.Random(f"vote:{row['ticket_id']}").random() < chance)
answers = sum(VOTED)
measured = sum(ok for ok, v in zip((s == r["category"] for s, r in zip(SAID, HONEST)),
                                   VOTED) if v) / answers
real = sum(s == r["category"] for s, r in zip(SAID, HONEST)) / len(HONEST)
print("تیکت‌ها:", len(HONEST), "· پاسخ‌دهندگان:", answers, f"({answers / len(HONEST):.1%})")
print(f"رضایت از بازخوردِ داوطلبانه: {measured:.4f}")
print(f"رضایتِ واقعیِ همان تیکت‌ها  : {real:.4f}")
print(f"خطای برآورد               : {measured - real:+.4f}")
```

```text
تیکت‌ها: 1200 · پاسخ‌دهندگان: 140 (11.7%)
رضایت از بازخوردِ داوطلبانه: 0.3214
رضایتِ واقعیِ همان تیکت‌ها  : 0.7708
خطای برآورد               : -0.4494
```

<div dir="rtl">

**۰٫۳۲۱۴ در برابرِ ۰٫۷۷۰۸.** خطای چهل‌وپنج واحدی، و **هیچ‌کدام از ۱۴۰ پاسخ دروغ نگفته بودند**.

سازوکارش را در دو خطِ اول کد نوشتیم: کسی که جوابِ اشتباه گرفته با احتمالِ ۰٫۳۵ نظر می‌دهد و کسی که جوابِ درست گرفته با احتمالِ ۰٫۰۵. **هفت برابر.** پس سهمِ ناراضی‌ها از ۰٫۲۲۹۲ در کلِ تیکت‌ها به ۰٫۶۷۸۶ در میانِ پاسخ‌دهندگان می‌رسد، نزدیکِ سه برابر. چیزی که هفت برابر می‌شود، نسبتِ ناراضی به راضی است.

**و توجه کن که بزرگ‌تر شدنِ نمونه این را درست نمی‌کند.** اگر ده هزار پاسخ جمع کنی، همان ۰٫۳۲ را با بازهٔ اطمینانِ باریک‌تری می‌گیری. **سوگیری با نمونهٔ بیشتر کوچک نمی‌شود؛ فقط مطمئن‌تر غلط می‌شود.**

> 🌱 **ریشه‌اش کجاست:** این پدیده اسم دارد و [ریشه، ترم ۶ فصل ۸ — نمونه‌گیری، و چطور با آمار دروغ می‌گویند](/courses/risheh/lessons/term-6-probability-statistics/session-08-sampling-lies) با همین مثال می‌سازدش: **«سوگیریِ خودانتخابی — نظرسنجی‌ای که هر کس بخواهد در آن شرکت می‌کند. کسانی که نظرِ شدید دارند بیشتر شرکت می‌کنند.»** و همان فصل، با فاصلهٔ زیاد، **روشِ انتخاب را مهم‌تر از تعداد** می‌داند. بخشِ ۷ همین را با عدد نشان می‌دهد — شصت‌وچند پاسخِ اجباری در برابرِ ۱۴۰ پاسخِ داوطلبانه، با خطایی که حتی در بدترین قرعه‌اش **دستِ‌کم پانزده برابر** کمتر است.

## ۷. شصت پاسخِ اجباری، در برابرِ صد و چهل پاسخِ داوطلبانه

</div>

```python
def forced(share, seed):
    picker = random.Random(f"forced:{seed}")
    picked = [(s, r) for s, r in zip(SAID, HONEST) if picker.random() < share]
    return len(picked), sum(s == r["category"] for s, r in picked) / len(picked)


for seed in (3, 4, 5):
    size, value = forced(0.05, seed)
    print(f"نمونهٔ اجباریِ ۵ درصدی (seed={seed}): {size:>3} پاسخ · رضایت {value:.4f}"
          f" · خطا {value - real:+.4f}")
print(f"بازخوردِ داوطلبانه با {answers} پاسخ: رضایت {measured:.4f}"
      f" · خطا {measured - real:+.4f}")
```

```text
نمونهٔ اجباریِ ۵ درصدی (seed=3):  64 پاسخ · رضایت 0.7656 · خطا -0.0052
نمونهٔ اجباریِ ۵ درصدی (seed=4):  66 پاسخ · رضایت 0.7424 · خطا -0.0284
نمونهٔ اجباریِ ۵ درصدی (seed=5):  70 پاسخ · رضایت 0.7571 · خطا -0.0137
بازخوردِ داوطلبانه با 140 پاسخ: رضایت 0.3214 · خطا -0.4494
```

<div dir="rtl">

**شصت‌وچند پاسخ با خطای کمتر از سه واحد، در برابرِ ۱۴۰ پاسخ با خطای چهل‌وپنج واحد.**

سه `seed` متفاوت گرفتیم تا معلوم شود این شانس نبوده: هر سه بارِ خطا زیرِ سه واحد ماند. **تفاوت در تعدادِ پاسخ نیست، در این است که چه کسی پاسخ می‌دهد.**

> 📏 **اندازه بگیر:** **با چه چیزی مقایسه شد؟** با مجموعهٔ صادق — ۱۲۰۰ تیکت با برچسبِ درست که هیچ حلقه‌ای بهشان دست نزد. **روی کدام داده؟** حلقه روی روزهای ۴۰ تا ۹۵ آموزش دید و ارزیابی همیشه روی روزهای ۱۰۰ تا ۱۰۹ بود؛ هیچ همپوشانی‌ای در کار نیست. **با چند `seed`؟** برای نمونهٔ اجباری سه، و برای حلقه چهار سطحِ متفاوتِ برچسبِ انسانی که خودشان چهار اجرای مستقل‌اند. **و قرعهٔ نظر دادنِ هر تیکت از شناسهٔ خودش می‌آید**، پس همهٔ این عددها روی هر ماشینی همین‌اند.

## ۸. سوگیری چه چیزی را خراب کرد و چه چیزی را نه

</div>

```python
print(f"{'دستهٔ واقعی':<14}{'تیکت':>7}{'رضایتِ واقعی':>16}{'پاسخ':>7}{'رضایتِ داوطلبانه':>20}")
ranked = []
for cat in CATS:
    idx = [i for i, r in enumerate(HONEST) if r["category"] == cat]
    true_ok = sum(SAID[i] == HONEST[i]["category"] for i in idx) / len(idx)
    votes = [i for i in idx if VOTED[i]]
    seen_ok = sum(SAID[i] == HONEST[i]["category"] for i in votes) / len(votes)
    ranked.append((cat, true_ok, seen_ok))
    print(f"{cat:<14}{len(idx):>7}{true_ok:>16.4f}{len(votes):>7}{seen_ok:>20.4f}")
print("بدترین دسته بر اساسِ حقیقت    :", min(ranked, key=lambda x: x[1])[0])
print("بدترین دسته بر اساسِ بازخورد  :", min(ranked, key=lambda x: x[2])[0])
```

```text
دستهٔ واقعی      تیکت    رضایتِ واقعی   پاسخ    رضایتِ داوطلبانه
پرداخت            280          0.8893     29              0.6897
ارسال             270          0.8667     25              0.4400
حساب کاربری       411          0.5645     75              0.1333
اپلیکیشن          239          0.8787     11              0.3636
بدترین دسته بر اساسِ حقیقت    : حساب کاربری
بدترین دسته بر اساسِ بازخورد  : حساب کاربری
```

<div dir="rtl">

**اینجا یک نتیجهٔ منفیِ صادقانه داریم که باید گفته شود: سوگیری، رتبه‌بندی را خراب نکرد.** بدترین دسته در هر دو ستون یکی است.

**پس بازخوردِ داوطلبانه بی‌فایده نیست، فقط نباید به‌عنوان سطح خوانده شود.** برای «کدام بخش بدتر است؟» کار می‌کند؛ برای «چقدر بد است؟» فاجعه است. و توجه کن که حتی رتبه‌بندی هم تضمینی نیست: دستهٔ «اپلیکیشن» با رضایتِ واقعیِ ۰٫۸۷۸۷ از «ارسال» با ۰٫۸۶۶۷ بهتر بود، ولی در ستونِ بازخورد جایشان عوض شد — چون فقط ۱۱ نفر از آن دسته نظر داده بودند.

**قاعدهٔ عملی:** سطح را از نمونهٔ اجباری بگیر، جهت را از بازخوردِ داوطلبانه، و **هرگز عددِ داوطلبانه را در گزارشی که کسی رویش تصمیم می‌گیرد بدونِ نرخِ پاسخ ننویس.**

> 🤖 **از دستیارت بپرس:** «`model collapse` در آموزشِ مدل‌های زبانی روی دادهٔ تولیدشده توسطِ خودِ مدل‌ها چیست و چه شباهتی به حلقهٔ بازخورد دارد؟» بعد این را بپرس: **«اگر سامانهٔ پیشنهاددهنده‌ام فقط روی چیزهایی که کاربر کلیک کرده آموزش ببیند، چه چیزهایی هرگز شانسِ دیده شدن پیدا نمی‌کنند و چطور می‌شود اندازه‌اش گرفت؟»** — جوابِ درست به «کاوشِ اجباری» می‌رسد، که همان نمونهٔ تصادفیِ بخشِ ۴ است با نامی دیگر.

## واژه‌های تازهٔ این فصل

</div>

| کلمه | تلفظ به حروف فارسی | یعنی چه |
|---|---|---|
| feedback loop | فیدبک لوپ | وقتی خروجیِ سامانه به ورودیِ خودش برمی‌گردد |
| self-training | سلف ترینینگ | آموزشِ مدل روی برچسبی که خودش تولید کرده |
| model collapse | مدل کالپس | فروپاشیِ تدریجیِ مدلی که از دادهٔ خودش تغذیه می‌کند |
| selection bias | سلکشن بایاس | وقتی کسانی که در نمونه‌اند با کلِ جامعه فرق دارند |
| response rate | ریسپانس ریت | سهمِ کسانی که واقعاً پاسخ دادند |
| forced sample | فورسد سمپل | نمونهٔ تصادفی که خودت انتخاب می‌کنی، نه پاسخ‌دهنده |
| exploration | اکسپلوریشن | سهمی از ترافیک که عمداً خارج از تصمیمِ مدل می‌رود |

<div dir="rtl">

## تمرین‌ها

قبل از تمرین، بدونِ نگاه به بالا جواب بده: چرا جمع کردنِ ده برابر پاسخِ داوطلبانه، خطای بخشِ ۶ را کم نمی‌کند؟

**تمرینِ اجباری:** `AUTO_CONF` را ۰٫۷۰ و ۰٫۸۵ و ۰٫۹۶ بگذار و بعد از هر تغییر سلولِ `confident_labels` را هم دوباره اجرا کن، چون `floor=AUTO_CONF` مقدارش را موقعِ تعریفِ تابع می‌گیرد. برای هرکدام **سه عدد** بده: دقتِ چرخهٔ هشتم، کمترین یادآوری، و اندازهٔ دادهٔ آموزشیِ هر چرخه. **جدولت را نگاه کن و جواب بده: آیا آستانهٔ پایین‌تر حلقه را امن‌تر می‌کند؟** جوابت احتمالاً بدیهی نیست — با آستانهٔ پایین، برچسب‌های غلطِ بیشتری وارد می‌شوند ولی توزیعِ دسته‌ها کمتر منحرف می‌شود. **کدام‌یک بدتر است، با عدد.**

**تمرینِ ستاره‌دار ⭐:** یک نگهبان بنویس که حلقه را **قبل از** فروپاشی متوقف کند: هر چرخه سهمِ هر دسته در دادهٔ آموزشیِ تازه را با سهمش در ترافیکِ ورودی مقایسه کن و اگر فاصله از حدی بیشتر شد، آموزش را متوقف کن و برچسبِ انسانی بخواه. **معیارِ فاصله را از فصلِ ۲ بردار — `PSI` روی توزیعِ دسته‌ها.** سه عدد گزارش کن: چرخه‌ای که نگهبان متوقف کرد، دقت در آن لحظه، و دقتی که بدونِ نگهبان در چرخهٔ هشتم می‌گرفتی. **و سؤالِ سخت: اگر نگهبانت هیچ‌وقت فعال نشد، از کجا می‌دانی که چون حلقه سالم بوده و نه چون آستانه‌ات شل بوده؟**

## در فصل بعد

دیدیم که بازآموزی روی دادهٔ اشتباه سامانه را نابود می‌کند. **فصلِ بعد سؤالِ درست را می‌پرسد: کِی و با کدام پنجرهٔ داده بازآموزی کنیم؟**

چهار راه‌انداز و پنج پنجرهٔ زمانی را با هم مقایسه می‌کنیم، و بعد یک بازآموزیِ کاملاً منطقی نشان می‌دهیم که **مدل را بدتر می‌کند** — و دروازه‌ای که جلویش را می‌گیرد.

</div>

---
Source: https://yaadestan.com/courses/darbast/lessons/t5/s05-feedback-loops (یادستان, Yaadestan)
