# فصل ۰۳ — کیفیت وقتی برچسب نداری

<div dir="rtl">

# فصل ۰۳ — کیفیت وقتی برچسب نداری

## در این فصل چه یاد می‌گیری

شصت روزِ تولید می‌سازیم که در آن دقتِ واقعی از ۰٫۸۷۷۱ به ۰٫۷۴۰۴ می‌رود، و بعد چهار معیارِ جانشین را که **هیچ‌کدام برچسب لازم ندارند** با همان دقت می‌سنجیم. اندازه‌گیری‌مان ضریبِ همبستگی است و نتیجه‌اش را کامل گزارش می‌کنیم، از جمله شکست‌ها:

- **میانگینِ اطمینان: ۰٫۲۱۳۴** — و در هر سه دوره روی ۰٫۸۹۶ ثابت ماند، در حالی که دقت چهارده واحد افتاد
- **نرخِ زیرِ ۰٫۹: منفیِ ۰٫۰۰۲۰** — یعنی صفر. **این متریک به‌جای افتِ کیفیت، رانشِ بی‌ضررِ فصلِ ۲ را دنبال می‌کند**
- **نرخِ بازگشاییِ تیکت: منفیِ ۰٫۴۹۰۵** — بهترینِ جمع، و منفی بودنش هم درست است: هرچه دقت پایین‌تر، بازگشایی بیشتر. ولی یک دامِ پنهان دارد
- و برای اینکه بدانیم «هیچ سیگنال» چه شکلی است، بیست سکهٔ تصادفی هم می‌اندازیم: **بیشترین همبستگیِ یک سکه ۰٫۳۰۸۰ درآمد.** یعنی سه تا از چهار جانشینِ ما از یک سکه بهتر نبودند.

بعد دامِ سیگنالِ رفتاری را پیدا می‌کنیم و رفعش می‌کنیم: **همبستگی از ۰٫۴۹۰۵ به ۰٫۶۸۳۹ می‌رسد و هشدارهای کاذبش از ۴ به ۰.**

![یک ترازوی سنجش که به‌جای وزنه، سایهٔ وزنه را می‌سنجد](/lesson-assets/t5-s03-quality-without-labels/prompt/01-image-proxy-scale.png)

آخر این فصل می‌توانی:

- معیارِ جانشین بسازی و **کیفیتش را با عدد** بسنجی، نه با شهود
- همبستگی را با دست حساب کنی و بدانی چه چیزی را نمی‌گوید
- سیگنالِ رفتاریِ کاربر را از مخدوش‌کننده‌اش جدا کنی
- بگویی برای رسیدن به یک بازهٔ مشخص، چند برچسبِ دستی لازم است

## قبل از شروع

**از فصلِ ۲:** تنها آشکارسازی که رانشِ مفهوم را دید، برچسب لازم داشت. **این فصل می‌پرسد تا کجا می‌شود بدونِ برچسب پیش رفت.**

**از فصلِ ۱:** میانگینِ اطمینان در حینِ افتِ دقت **بالا** رفت. اینجا آن مشاهده را به یک اندازه‌گیریِ نظام‌مند تبدیل می‌کنیم.

**از ژرفا ترمِ ۵:** `bootstrap` برای ساختنِ بازهٔ اطمینان. بخشِ ۷ عیناً همان را روی برآوردِ دقت می‌زند.

> 📓 **نوت‌بوک:** [نوت‌بوک این فصل را در Colab باز کن](/notebooks/darbast/term-5-keeping-it-alive/session-03-quality-without-labels.ipynb) — همهٔ کدهای این فصل آماده و به‌ترتیب داخلش هست.

</div>

| اجرا | زمانِ تقریبی |
|---|---|
| کلِ نوت‌بوک روی CPU | حدودِ یک دقیقه |
| GPU | لازم نیست |

<div dir="rtl">

## ۱. شصت روز، سه دوره

برای اینکه بشود جانشین‌ها را سنجید، به یک بازهٔ زمانی نیاز داریم که دقت در آن **واقعاً بالا و پایین برود** — وگرنه همبستگی روی یک خطِ صاف فقط نویز است.

</div>

```python
import random

MODEL = fit_model(TRAIN)
CLASSES = list(MODEL.classes_)
# کاربرِ چت دکمهٔ «باز کردن دوباره» را جلوی چشمش دارد و راحت می‌زند؛ کسی که تلفن
# زده باید دوباره تماس بگیرد. پس نرخِ پایهٔ بازگشایی به کانال بستگی دارد — و این
# در بخشِ ۶ به یک دامِ تمام‌عیار تبدیل می‌شود.
BASE_REOPEN = {"چت": 0.22, "ایمیل": 0.04, "تلفن": 0.03, "حضوری": 0.03}
WRONG_REOPEN = 0.45                       # اثرِ واقعیِ «به تیمِ اشتباه رفت»


def regime(day):
    """شصت روزِ تولید: بیست روز آرام، بیست روز رانشِ داده، بیست روز رانشِ مفهوم."""
    if day < 50:
        return "N"
    return "A" if day < 70 else "B"


def day_events(day):
    """یک روزِ سروشده. جز truth، هیچ فیلدی به جوابِ درست نگاه نمی‌کند."""
    rows = day_rows(day, regime(day))
    probs = MODEL.predict_proba([normalise(r["text"]) for r in rows])
    out = []
    for row, p in zip(rows, probs):
        best = max(range(len(CLASSES)), key=lambda i: p[i])
        said = CLASSES[best]
        wrong = said != row["category"]
        chance = BASE_REOPEN[row["channel"]] + (WRONG_REOPEN if wrong else 0.0)
        out.append({
            "day": day,
            "channel": row["channel"],
            "said": said,
            "truth": row["category"],
            "conf": float(p[best]),
            "reopened": random.Random(f"reopen:{row['ticket_id']}").random() < chance,
        })
    return out


DAYS = list(range(30, 90))
TIMELINE = {day: day_events(day) for day in DAYS}
print("روزها:", len(DAYS), "· درخواست در هر روز:", len(TIMELINE[30]))
print("دوره‌ها:", [(d, regime(d)) for d in (30, 49, 50, 69, 70, 89)])
```

```text
روزها: 60 · درخواست در هر روز: 120
دوره‌ها: [(30, 'N'), (49, 'N'), (50, 'A'), (69, 'A'), (70, 'B'), (89, 'B')]
```

<div dir="rtl">

**«نرخِ بازگشایی» تنها سیگنالی است که از خودِ کاربر می‌آید** و نه از مدل: تیکتی که به تیمِ اشتباه برود، آن تیم پسش می‌فرستد یا کاربر دوباره بازش می‌کند. اینجا با یک قاعدهٔ صریح شبیه‌سازی‌اش کردیم — و **آن قاعده عمداً یک مخدوش‌کننده دارد** که بخشِ ۶ رویش می‌ایستد.

## ۲. چهار جانشین، کنارِ حقیقت

</div>

```python
def true_accuracy(events):
    return sum(e["said"] == e["truth"] for e in events) / len(events)


PROXIES = {
    "میانگینِ اطمینان": lambda ev: sum(e["conf"] for e in ev) / len(ev),
    "نرخِ زیرِ ۰٫۶": lambda ev: sum(e["conf"] < 0.60 for e in ev) / len(ev),
    "نرخِ زیرِ ۰٫۹": lambda ev: sum(e["conf"] < 0.90 for e in ev) / len(ev),
    "نرخِ بازگشایی": lambda ev: sum(e["reopened"] for e in ev) / len(ev),
}
NAMES = list(PROXIES)
TRUTH_SERIES = [true_accuracy(TIMELINE[d]) for d in DAYS]
SERIES = {name: [fn(TIMELINE[d]) for d in DAYS] for name, fn in PROXIES.items()}
print(f"{'دوره':<14}{'دقتِ واقعی':>12}" + "".join(f"{n:>18}" for n in NAMES))
for label, first, last in (("آرام", 30, 50), ("رانشِ داده", 50, 70), ("رانشِ مفهوم", 70, 90)):
    idx = range(first - 30, last - 30)
    row = "".join(f"{sum(SERIES[n][i] for i in idx) / len(idx):>18.4f}" for n in NAMES)
    print(f"{label:<14}{sum(TRUTH_SERIES[i] for i in idx) / len(idx):>12.4f}{row}")
```

```text
دوره            دقتِ واقعی  میانگینِ اطمینان     نرخِ زیرِ ۰٫۶     نرخِ زیرِ ۰٫۹     نرخِ بازگشایی
آرام                0.8771            0.8964            0.0900            0.2046            0.1504
رانشِ داده          0.8821            0.8959            0.0829            0.2321            0.1783
رانشِ مفهوم         0.7404            0.8957            0.0912            0.2050            0.1963
```

<div dir="rtl">

**ستونِ اطمینان را از بالا تا پایین بخوان: ۰٫۸۹۶۴ و ۰٫۸۹۵۹ و ۰٫۸۹۵۷.** هفت ده‌هزارم تغییر، در برابرِ چهارده واحد افتِ دقت.

**و ستونِ «نرخِ زیرِ ۰٫۹» بدتر است:** در دورهٔ رانشِ داده بالا رفت (۰٫۲۰۴۶ به ۰٫۲۳۲۱) جایی که دقت اصلاً نیفتاده بود، و در دورهٔ رانشِ مفهوم برگشت سرِ جای اولش (۰٫۲۰۵۰) جایی که دقت فروریخته بود. **این متریک کیفیت را دنبال نمی‌کند، تازگیِ ورودی را دنبال می‌کند** — دو چیزِ متفاوت که اتفاقی گاهی با هم می‌آیند.

فقط نرخِ بازگشایی در جهتِ درست حرکت کرد. حالا این «حرکت در جهتِ درست» را عدد کنیم.

## ۳. همبستگی، با پنج نقطه و دست

</div>

```python
import math


def correlation(xs, ys):
    """همبستگیِ پیرسون: چقدر دو سری با هم بالا و پایین می‌روند، بینِ -۱ و +۱."""
    n = len(xs)
    mx, my = sum(xs) / n, sum(ys) / n
    top = sum((x - mx) * (y - my) for x, y in zip(xs, ys))
    bottom = math.sqrt(sum((x - mx) ** 2 for x in xs) * sum((y - my) ** 2 for y in ys))
    return top / bottom


SMALL_X = [1.0, 2.0, 3.0, 4.0, 5.0]
SMALL_Y = [2.0, 1.0, 4.0, 3.0, 5.0]
mx = sum(SMALL_X) / 5
my = sum(SMALL_Y) / 5
for x, y in zip(SMALL_X, SMALL_Y):
    print(f"  x={x:.1f} y={y:.1f} · فاصله از میانگین {x - mx:+.1f} و {y - my:+.1f}"
          f" · حاصل‌ضرب {(x - mx) * (y - my):+.2f}")
print("r =", round(correlation(SMALL_X, SMALL_Y), 4))
print("r با خودش:", round(correlation(SMALL_X, SMALL_X), 4),
      "· با وارونه‌اش:", round(correlation(SMALL_X, SMALL_X[::-1]), 4))
```

```text
  x=1.0 y=2.0 · فاصله از میانگین -2.0 و -1.0 · حاصل‌ضرب +2.00
  x=2.0 y=1.0 · فاصله از میانگین -1.0 و -2.0 · حاصل‌ضرب +2.00
  x=3.0 y=4.0 · فاصله از میانگین +0.0 و +1.0 · حاصل‌ضرب +0.00
  x=4.0 y=3.0 · فاصله از میانگین +1.0 و +0.0 · حاصل‌ضرب +0.00
  x=5.0 y=5.0 · فاصله از میانگین +2.0 و +2.0 · حاصل‌ضرب +4.00
r = 0.8
r با خودش: 1.0 · با وارونه‌اش: -1.0
```

<div dir="rtl">

**ایده در یک جمله:** هر نقطه را با فاصله‌اش از میانگین بسنج. اگر هر دو سری هم‌زمان بالای میانگینشان یا هم‌زمان زیرِ آن باشند، حاصل‌ضرب مثبت است و به همبستگی اضافه می‌کند؛ اگر یکی بالا و دیگری پایین باشد، منفی است.

فرمولش:

</div>

```
r = Σ (xᵢ − x̄)(yᵢ − ȳ) / sqrt( Σ (xᵢ − x̄)² × Σ (yᵢ − ȳ)² )
```

<div dir="rtl">

- `xᵢ` و `yᵢ` مقدارِ دو سری در روزِ `i`
- `x̄` و `ȳ` میانگینشان
- مخرج فقط نقشِ مقیاس‌بندی دارد تا جواب همیشه بینِ ۱- و ۱+ بماند

## ۴. جدولی که دو شکست دارد

</div>

```python
CONCEPT_WIN = [i for i, d in enumerate(DAYS) if regime(d) == "B"]   # فقط بیست روزِ آخر
print(f"{'جانشین':<20}{'همبستگی با دقت':>18}{'فقط روی رانشِ مفهوم':>22}")
for name in NAMES:
    whole = correlation(SERIES[name], TRUTH_SERIES)
    part = correlation([SERIES[name][i] for i in CONCEPT_WIN],
                       [TRUTH_SERIES[i] for i in CONCEPT_WIN])
    print(f"{name:<20}{whole:>18.4f}{part:>22.4f}")
coins = sorted(abs(correlation([random.Random(f"coin:{s}:{d}").random() for d in DAYS],
                               TRUTH_SERIES)) for s in range(20))
print(f"بیست سکهٔ تصادفی — قدرِ مطلقِ همبستگی: کمینه {coins[0]:.4f}"
      f" · میانه {(coins[9] + coins[10]) / 2:.4f} · بیشینه {coins[-1]:.4f}")
```

```text
جانشین                  همبستگی با دقت   فقط روی رانشِ مفهوم
میانگینِ اطمینان                0.2134                0.2628
نرخِ زیرِ ۰٫۶                  -0.2314               -0.3723
نرخِ زیرِ ۰٫۹                  -0.0020                0.0075
نرخِ بازگشایی                  -0.4905               -0.6526
بیست سکهٔ تصادفی — قدرِ مطلقِ همبستگی: کمینه 0.0161 · میانه 0.0918 · بیشینه 0.3080
```

<div dir="rtl">

**خطِ آخر مهم‌ترین خطِ جدول است.** بیست سری از عددِ کاملاً تصادفی ساختیم و همبستگیشان را با دقت سنجیدیم. **بیشترینشان ۰٫۳۰۸۰ شد.** یعنی با شصت نقطه، هر همبستگیِ زیرِ حدودِ ۰٫۳ را باید «ممکن است فقط شانس باشد» خواند.

با این خط‌کش، ستونِ اول این می‌شود:

- **۱)** میانگینِ اطمینان (۰٫۲۱۳۴) و نرخِ زیرِ ۰٫۶ (منفیِ ۰٫۲۳۱۴) **از نظرِ قدرِ مطلق زیرِ سقفِ سکه‌اند** — علامتشان اینجا مهم نیست، چون خطِ پایه هم قدرِ مطلق است. نه اینکه ضعیف باشند؛ **از یک عددِ تصادفی قابلِ تفکیک نیستند.**
- **۲)** نرخِ زیرِ ۰٫۹ (منفیِ ۰٫۰۰۲۰) صفرِ تمام‌عیار است.
- **۳)** نرخِ بازگشایی (منفیِ ۰٫۴۹۰۵) تنها چیزی است که واقعاً بیرونِ نویز ایستاده.

**و ستونِ دوم — فقط بیست روزِ رانشِ مفهوم — همین نتیجه را تیزتر می‌کند:** نرخِ بازگشایی به منفیِ ۰٫۶۵۲۶ می‌رود و نرخِ زیرِ ۰٫۹ به ۰٫۰۰۷۵ می‌افتد، یعنی روی همان دوره‌ای که مدل واقعاً فروریخته، **تنها چیزی که تکان می‌خورد سیگنالِ رفتاریِ کاربر است.** ولی این ستون فقط بیست نقطه دارد، نه شصت‌تا، **پس نویزش بزرگ‌تر است و سقفِ سکه‌ای که برایش حساب کردیم مالِ ستونِ اول است، نه این یکی** — عددهایش را برای دیدنِ **جهت** بخوان، نه برای رتبه‌بندیِ دقیق.

> 🌱 **ریشه‌اش کجاست:** همین‌جا یک جملهٔ [ریشه، ترم ۶ فصل ۸ — نمونه‌گیری، و چطور با آمار دروغ می‌گویند](/courses/risheh/lessons/term-6-probability-statistics/session-08-sampling-lies) عیناً به کار می‌آید: **«اگر به‌اندازهٔ کافی جفت داده را بررسی کنی، بعضی‌شان اتفاقی همبسته در می‌آیند.»** بیست سکهٔ بالا دقیقاً همین را ساختند. و همان فصل چهار توضیحِ ممکن برای هر همبستگی می‌شمارد — که یکی‌شان «عاملِ سومی باعثِ هر دو می‌شود» است. **بخشِ ۶ نشان می‌دهد که بهترین جانشینِ ما دقیقاً همین بیماری را دارد.**

## ۵. چرا اطمینان شکست خورد

</div>

```python
wallet = [(e["conf"], e["said"] == e["truth"])
          for d in range(70, 90) for e in TIMELINE[d] if e["said"] == "پرداخت"]
bad = [c for c, ok in wallet if not ok]
good = [c for c, ok in wallet if ok]
print("تیکت‌هایی که مدل «پرداخت» گفت، در بیست روزِ رانشِ مفهوم:", len(wallet))
print("  دقتشان         :", round(sum(ok for _, ok in wallet) / len(wallet), 4))
print("  میانگینِ اطمینان:", round(sum(c for c, _ in wallet) / len(wallet), 4))
print("  سهمِ اطمینانِ بالای ۰٫۹:", round(sum(c > 0.9 for c, _ in wallet) / len(wallet), 4))
print("  اطمینانِ غلط‌ها :", round(sum(bad) / len(bad), 4),
      "· اطمینانِ درست‌ها:", round(sum(good) / len(good), 4))
```

```text
تیکت‌هایی که مدل «پرداخت» گفت، در بیست روزِ رانشِ مفهوم: 870
  دقتشان         : 0.5057
  میانگینِ اطمینان: 0.916
  سهمِ اطمینانِ بالای ۰٫۹: 0.8322
  اطمینانِ غلط‌ها : 0.9188 · اطمینانِ درست‌ها: 0.9132
```

<div dir="rtl">

**اطمینانِ جواب‌های غلط از اطمینانِ جواب‌های درست بیشتر است.** ۰٫۹۱۸۸ در برابرِ ۰٫۹۱۳۲.

دلیلش یک جملهٔ ساده است که ارزشِ حفظ کردن دارد: **اطمینانِ مدل می‌گوید «چقدر مطمئنم که قاعده‌ای که یاد گرفتم این جواب را می‌دهد»، نه «چقدر مطمئنم که این جواب درست است».** وقتی قاعده عوض شده، مدل با همان اطمینانِ قبلی، قاعدهٔ منسوخ را اجرا می‌کند.

**پس اطمینان برای رانشِ مفهوم بی‌فایده است — ولی نه برای همه‌چیز.** برای ورودیِ خارج از دامنه (متنی به زبانِ دیگر، فرمی که تا حالا نیامده) معمولاً واقعاً پایین می‌آید. **قاعدهٔ درست این است که هیچ جانشینی را بدونِ اندازه‌گیری روی خرابیِ موردِ نظرِ خودت قبول نکنی.**

> ✅ **چک کن:** به داشبوردِ خودت نگاه کن و برای **هر** متریکِ بی‌نیاز از برچسب این سؤال را بپرس: **«آخرین باری که این عدد را با دقتِ واقعی مقایسه کردم کِی بود، و آن مقایسه چه عددی داد؟»** اگر جوابت «هیچ‌وقت» است، آن متریک یک **فرض** است، نه یک اندازه‌گیری — و همان‌طور که این جدول نشان داد، فرض‌ها اینجا معمولاً غلط از آب درمی‌آیند.

## ۶. سیگنالِ رفتاری، و مخدوش‌کننده‌اش

</div>

```python
def rate(day, channel=None):
    seen = [e for e in TIMELINE[day] if channel is None or e["channel"] == channel]
    return sum(e["reopened"] for e in seen) / len(seen), len(seen)


def mean_rate(first, last, channel=None):
    return sum(rate(d, channel)[0] for d in range(first, last)) / (last - first)


print(f"{'برش':<16}{'آرام':>10}{'رانشِ داده':>14}{'رانشِ مفهوم':>14}{'نمونه در روز':>14}")
for label, channel in (("همهٔ کانال‌ها", None), ("فقط ایمیل", "ایمیل"), ("فقط چت", "چت")):
    print(f"{label:<16}{mean_rate(30, 50, channel):>10.4f}{mean_rate(50, 70, channel):>14.4f}"
          f"{mean_rate(70, 90, channel):>14.4f}{rate(75, channel)[1]:>14}")
base = mean_rate(30, 50)
print("قاعده: هر روزی که نرخِ کلِ بازگشایی پنج واحد بالاتر از دورانِ آرام برود، هشدار")
print("  هشدار در بیست روزِ رانشِ داده (دقت نیفتاده):",
      sum(rate(d)[0] > base + 0.05 for d in range(50, 70)))
print("  هشدار در بیست روزِ رانشِ مفهوم (دقت افتاده):",
      sum(rate(d)[0] > base + 0.05 for d in range(70, 90)))
CHANNEL_KEYS = ["تلفن", "ایمیل", "چت", "حضوری"]
REF_MIX = {c: sum(rate(d, c)[1] for d in range(30, 50)) /
              sum(rate(d)[1] for d in range(30, 50)) for c in CHANNEL_KEYS}


def adjusted(day):
    """نرخِ بازگشایی اگر ترکیبِ کانال‌ها همان ترکیبِ دورانِ آرام مانده بود."""
    return sum(REF_MIX[c] * rate(day, c)[0] for c in CHANNEL_KEYS)


print("ترکیبِ کانالِ دورانِ آرام:", {c: round(w, 3) for c, w in REF_MIX.items()})
abase = sum(adjusted(d) for d in range(30, 50)) / 20
print(f"نرخِ تعدیل‌شده — آرام {abase:.4f}"
      f" · رانشِ داده {sum(adjusted(d) for d in range(50, 70)) / 20:.4f}"
      f" · رانشِ مفهوم {sum(adjusted(d) for d in range(70, 90)) / 20:.4f}")
print("  هشدار در رانشِ داده:", sum(adjusted(d) > abase + 0.05 for d in range(50, 70)),
      "· در رانشِ مفهوم:", sum(adjusted(d) > abase + 0.05 for d in range(70, 90)))
print("  همبستگی با دقت — خام:",
      round(correlation(SERIES["نرخِ بازگشایی"], TRUTH_SERIES), 4),
      "· تعدیل‌شده:", round(correlation([adjusted(d) for d in DAYS], TRUTH_SERIES), 4))
```

```text
برش                   آرام    رانشِ داده   رانشِ مفهوم  نمونه در روز
همهٔ کانال‌ها       0.1504        0.1783        0.1963           120
فقط ایمیل           0.1011        0.1072        0.1499            42
فقط چت              0.2942        0.2594        0.3398            28
قاعده: هر روزی که نرخِ کلِ بازگشایی پنج واحد بالاتر از دورانِ آرام برود، هشدار
  هشدار در بیست روزِ رانشِ داده (دقت نیفتاده): 4
  هشدار در بیست روزِ رانشِ مفهوم (دقت افتاده): 8
ترکیبِ کانالِ دورانِ آرام: {'تلفن': 0.363, 'ایمیل': 0.303, 'چت': 0.279, 'حضوری': 0.055}
نرخِ تعدیل‌شده — آرام 0.1503 · رانشِ داده 0.1332 · رانشِ مفهوم 0.1964
  هشدار در رانشِ داده: 0 · در رانشِ مفهوم: 10
  همبستگی با دقت — خام: -0.4905 · تعدیل‌شده: -0.6839
```

<div dir="rtl">

**سطرِ اول جدول در دورهٔ رانشِ داده بالا رفت — از ۰٫۱۵۰۴ به ۰٫۱۷۸۳ — و دقت در همان دوره اصلاً نیفتاده بود.** چهار روز هشدارِ کاذب داد.

**دلیلش در دو سطرِ بعد است:** نرخِ پایهٔ بازگشایی در کانالِ چت ۰٫۲۹۴۲ است و در ایمیل ۰٫۱۰۱۱. و فصلِ ۲ گفت که در رانشِ داده سهمِ چت از ۲۷ درصد به ۵۵ درصد رفت. **پس عددِ کل بالا رفت بدونِ اینکه هیچ کاربری تجربهٔ بدتری داشته باشد — فقط ترکیبِ جمعیت عوض شد.**

راهِ حل همان چیزی است که در آمار به آن «استانداردسازی» می‌گویند: **نرخِ هر کانال را جداگانه بگیر، و بعد با وزنِ ترکیبِ دورانِ آرام جمعشان کن.** با این کار می‌پرسی «اگر ترکیبِ کاربران همان قبلی مانده بود، نرخِ بازگشایی چقدر می‌شد؟»

**نتیجه: هشدارهای کاذب از ۴ به ۰ رسید، هشدارهای درست از ۸ به ۱۰، و همبستگی از ۰٫۴۹۰۵ به ۰٫۶۸۳۹.** و توجه کن که این کار **نمونه را کم نکرد** — هر روز هنوز هر ۱۲۰ تیکت را می‌بیند، برخلافِ راهِ ساده‌لوحانه‌ترِ «فقط ایمیل را نگاه کن» که نمونه را به ۴۲ می‌رساند.

> 📏 **اندازه بگیر:** **با چه چیزی مقایسه شد؟** با دقتِ واقعی — که چون آزمایشگاهیم داریمش — و با بیست سریِ کاملاً تصادفی به‌عنوانِ خطِ پایهٔ «هیچ سیگنال». بدونِ آن خطِ پایه، ۰٫۲۱ شبیهِ «همبستگیِ ضعیف» به‌نظر می‌رسید نه «هیچ». **روی کدام داده؟** شصت روز، هر روز ۱۲۰ تیکت، سه دورهٔ متفاوت. **با چند `seed`؟** بیست، برای خطِ پایه — و همان بیست هستند که نشان دادند سقفِ شانس ۰٫۳۰۸۰ است.

## ۷. برچسبِ دستی: قیمتِ حقیقت

هیچ جانشینی حقیقت نیست. دیر یا زود باید کسی تیکت‌ها را بخواند.

</div>

```python
def audit(day, size, seed=0):
    rows = day_rows(day, regime(day))
    picked = random.Random(f"audit:{seed}:{day}:{size}").sample(rows, size)
    said = MODEL.predict([normalise(r["text"]) for r in picked])
    return [a == r["category"] for a, r in zip(said, picked)]


def bootstrap_interval(hits, draws=2000, seed=7):
    rng = random.Random(f"boot:{seed}:{len(hits)}")
    means = sorted(sum(rng.choices(hits, k=len(hits))) / len(hits) for _ in range(draws))
    return means[int(0.025 * draws)], means[int(0.975 * draws)]


print(f"{'برچسب در روز':>14}{'برآوردِ دقت':>14}{'بازهٔ ۹۵٪':>22}{'پهنا':>9}")
for size in (20, 60, 120):
    hits = audit(75, size)
    lo, hi = bootstrap_interval(hits)
    print(f"{size:>14}{sum(hits) / len(hits):>14.4f}"
          f"{f'{lo:.3f} تا {hi:.3f}':>22}{hi - lo:>9.3f}")
print("دقتِ واقعیِ همان روز:", round(true_accuracy(TIMELINE[75]), 4))
week = [h for d in range(70, 77) for h in audit(d, 60)]
lo, hi = bootstrap_interval(week)
print(f"هفتِ روز × ۶۰ برچسب = {len(week)} برچسب → {sum(week) / len(week):.4f}"
      f" · بازهٔ {lo:.3f} تا {hi:.3f} · پهنا {hi - lo:.3f}")
try:
    audit(75, 300)
except ValueError as exc:
    print("ValueError:", exc)
```

```text
  برچسب در روز   برآوردِ دقت             بازهٔ ۹۵٪     پهنا
            20        0.7500        0.550 تا 0.900    0.350
            60        0.6833        0.567 تا 0.800    0.233
           120        0.7250        0.642 تا 0.800    0.158
دقتِ واقعیِ همان روز: 0.725
هفتِ روز × ۶۰ برچسب = 420 برچسب → 0.7310 · بازهٔ 0.688 تا 0.776 · پهنا 0.088
ValueError: Sample larger than population or is negative
```

<div dir="rtl">

**بیست برچسب در روز چیزی به تو نمی‌گوید:** بازه‌اش از ۰٫۵۵ تا ۰٫۹۰ است، یعنی هم با «فاجعه» سازگار است و هم با «همه‌چیز عالی».

با شصت برچسب پهنا ۰٫۲۳۳ می‌شود و برآورد ۰٫۶۸۳۳ در حالی که حقیقت ۰٫۷۲۵ است — **نمونه‌گیری چهار واحد خطا داد و بازه‌اش صادقانه اعتراف کرد.** با ۱۲۰ برچسب یعنی خواندنِ کلِ ترافیکِ آن روز، پهنا ۰٫۱۵۸ می‌شود؛ **پایین‌تر از این نمی‌رود، چون این دیگر خطای نمونه‌گیری نیست، خطای اندازهٔ خودِ روز است.**

**راهِ عملی: نمونه را در زمان جمع کن، نه در یک روز.** هفت روز × ۶۰ برچسب پهنا را به ۰٫۰۸۸ می‌رساند — **بهتر از خواندنِ کلِ یک روز، با نصفِ کارِ هر روز** (ولی در جمع ۴۲۰ برچسب در برابرِ ۱۲۰ برچسب). قیمتش این است که جوابت مالِ «هفتهٔ گذشته» است نه «امروز»، و هر چه پنجره بلندتر باشد دیرتر می‌فهمی. **همان معاملهٔ پنجرهٔ فصلِ ۲، این بار روی برچسب.**

> 🔧 **اگر کار نکرد:** اگر اندازهٔ نمونه را از تعدادِ تیکت‌های آن روز بزرگ‌تر بگذاری، این را می‌گیری: `ValueError: Sample larger than population or is negative`. و این خطا **در واقع دوستِ توست**. جایگزینِ وسوسه‌انگیزش `random.choices` است که با جایگذاری نمونه می‌گیرد و بی‌سروصدا ۳۰۰ ردیف از همان ۱۲۰ تیکت می‌سازد. **آن‌وقت بازهٔ اطمینانت باریک‌تر می‌شود بی‌آنکه یک برچسبِ تازه در کار باشد** — یک عددِ دقیق‌تر که هیچ اطلاعاتِ تازه‌ای پشتش نیست. اگر نمونه‌ات از جامعه بزرگ‌تر است، مسئله اندازهٔ نمونه نیست، اندازهٔ روز است.

> 🤖 **از دستیارت بپرس:** «نمونه‌گیریِ لایه‌ای چیست و چرا برای برآوردِ دقت روی زیرگروه‌های کوچک بهتر از نمونه‌گیریِ تصادفیِ ساده است؟» بعد این را بپرس: **«اگر بخواهم زیرگروهی را که فقط پنج درصدِ ترافیک است با همان دقتِ کل بسنجم، نمونهٔ لازمم چند برابر می‌شود؟»** — جوابش دلیلِ آن است که کانالِ حضوری در ترمِ ۴ این‌قدر دیر پیدا شد.

## واژه‌های تازهٔ این فصل

</div>

| کلمه | تلفظ به حروف فارسی | یعنی چه |
|---|---|---|
| proxy metric | پراکسی متریک | معیاری که به‌جای چیزِ اصلی سنجیده می‌شود چون ارزان‌تر یا زودتر در دسترس است |
| implicit feedback | ایمپلیسیت فیدبک | سیگنالی که از رفتارِ کاربر درمی‌آید، بدونِ اینکه نظری داده باشد |
| correlation | کرلیشن | عددِ بینِ ۱- و ۱+ که می‌گوید دو سری چقدر با هم حرکت می‌کنند |
| confounder | کانفاوندر | عاملِ سومی که هر دو سری را تکان می‌دهد و رابطه‌شان را جعلی نشان می‌دهد |
| standardisation | استانداردایزیشن | تعدیلِ یک نرخ به ترکیبِ جمعیتیِ مرجع، تا مقایسه معنا پیدا کند |
| abstention rate | ابستنشن ریت | سهمِ درخواست‌هایی که مدل جواب نمی‌دهد و به آدم می‌سپارد |
| label budget | لیبل باجت | تعدادِ برچسبی که در واحدِ زمان می‌توانی بخری |

<div dir="rtl">

## تمرین‌ها

قبل از تمرین، بدونِ نگاه به بالا جواب بده: چرا لازم بود همبستگیِ بیست سریِ تصادفی را هم حساب کنیم؟

**تمرینِ اجباری:** یک جانشینِ پنجم اضافه کن — **نرخِ اختلاف با مدلِ قبلی**: یک مدلِ دومی با `fit_model(TRAIN, tfidf=True)` بساز و هر روز نسبتِ تیکت‌هایی را بشمار که دو مدل جوابِ متفاوت می‌دهند. **سه عدد گزارش کن:** همبستگیِ این جانشین با دقتِ واقعی، مقدارش در هر سه دوره، و اینکه از سقفِ سکه (۰٫۳۰۸۰) رد می‌شود یا نه. **بعد جواب بده: این جانشین از کدام‌یک از چهارتای فصل بهتر است و چرا؟**

**تمرینِ ستاره‌دار ⭐:** فرض کن بودجه‌ات ۴۲۰ برچسب در هفته است و می‌خواهی **جای خرج کردنش** را بهینه کنی. سه سیاست را با هم مقایسه کن: نمونهٔ تصادفیِ یکنواخت، نمونه‌ای که فقط از کم‌اطمینان‌ترین‌ها می‌گیرد، و نمونه‌ای که نصفش تصادفی و نصفش کم‌اطمینان است. **برای هر سیاست دو عدد بده:** برآوردِ دقتِ کل و فاصله‌اش از دقتِ واقعی. **و سؤالِ سخت را جواب بده: چرا سیاستِ دوم معمولاً برآوردِ دقتِ کل را خراب می‌کند، حتی وقتی که برای پیدا کردنِ خطا بهترین است؟** جوابت باید به تفاوتِ «پیدا کردنِ خطا» و «برآوردِ نرخِ خطا» برسد.

## در فصل بعد

حالا چند سیگنال داریم که می‌شود پایششان کرد. **فصلِ بعد سراغِ سؤالی می‌رود که همه‌جا اشتباه جواب داده می‌شود: کِی از این سیگنال‌ها هشدار بسازیم؟**

سه آشکارساز را روی ۹۰ روز اجرا می‌کنیم و **هشدارهای کاذبِ هر کدام را در هفته می‌شماریم.** یک آستانهٔ ظاهراً معقول هفته‌ای ۴٫۳۳ بار زنگ می‌زند و بیشترشان کاذب‌اند — و بعد حساب می‌کنیم که وقتی خرابیِ واقعی رسید، آن هشدار **شمارهٔ ۱۷** بود.

</div>

---
Source: https://yaadestan.com/courses/darbast/lessons/t5/s03-quality-without-labels (یادستان, Yaadestan)
