# فصل ۰۲ — رانشِ داده و رانشِ مفهوم

<div dir="rtl">

# فصل ۰۲ — رانشِ داده و رانشِ مفهوم

## در این فصل چه یاد می‌گیری

دو جریانِ ترافیک می‌سازیم که هر دو در روزِ ۴۰ عوض می‌شوند.

**در جریانِ A ورودی عوض می‌شود و دقت سرِ جایش می‌ماند:** ۰٫۸۸۲۵ در برابرِ ۰٫۸۷۶۷. **در جریانِ B ورودی حتی یک حرف هم عوض نمی‌شود و دقت به ۰٫۷۵۰۸ سقوط می‌کند.**

بعد یک آشکارسازِ رانشِ استاندارد را روی هر دو می‌بندیم و این را می‌گیریم: **روی جریانِ بی‌ضرر عدد ۰٫۹۸۴۰ می‌دهد — رانشِ جدی — و روی جریانِ مرگبار ۰٫۰۰۵۰.** همان عددی که برای «هیچ اتفاقی نیفتاده» می‌دهد.

**این وارونگی اتفاقی نیست و با تنظیمِ آستانه هم درست نمی‌شود.** فصل نشان می‌دهد چرا، و بعد تنها آشکارسازی را می‌سازد که جریانِ B را می‌بیند — و قیمتش را می‌شمارد: **۴۲۰ برچسبِ دستی در هفته، و ۵ هشدارِ کاذب در سی روز.**

![دو لولهٔ ورودی یکسان که یکی‌شان زیرِ صفحه به مقصدِ دیگری وصل شده](/lesson-assets/t5-s02-drift/prompt/01-image-swapped-outlet.png)

آخر این فصل می‌توانی:

- رانشِ داده و رانشِ مفهوم را **با اندازه‌گیری** از هم جدا کنی، نه با تعریف
- `PSI` را با دست روی سه سطل حساب کنی و بعد در کد بنویسی
- پنجرهٔ مرجع و پنجرهٔ جاری را انتخاب کنی و اثرِ انتخابت را با عدد نشان بدهی
- بگویی چرا هیچ آشکارسازِ سمتِ ورودی، رانشِ مفهوم را **نمی‌تواند** ببیند

## قبل از شروع

**از فصلِ ۱:** پیشامد، متریکِ بی‌نیاز از برچسب، و گروهِ کنترل. همان جریانِ `N` اینجا هم هست و کارش این است که بگوید عددِ «هیچ اتفاقی نیفتاده» چقدر است.

**از ترمِ ۳ فصلِ ۷:** ارزیابیِ آفلاین دروغ می‌گوید، چون توزیعِ آزمون با توزیعِ تولید فرق دارد. **این فصل همان شکاف است، ولی در زمان:** توزیعِ تولیدِ امروز با توزیعِ تولیدِ سه ماهِ پیش فرق دارد.

> 📓 **نوت‌بوک:** [نوت‌بوک این فصل را در Colab باز کن](/notebooks/darbast/term-5-keeping-it-alive/session-02-drift.ipynb) — همهٔ کدهای این فصل آماده و به‌ترتیب داخلش هست.

</div>

| اجرا | زمانِ تقریبی |
|---|---|
| کلِ نوت‌بوک روی CPU | حدودِ یک دقیقه |
| GPU | لازم نیست |

<div dir="rtl">

## ۱. دو دنیا، یک مدل

</div>

```python
MODEL = fit_model(TRAIN)


def accuracy(rows):
    said = MODEL.predict([normalise(r["text"]) for r in rows])
    return sum(a == r["category"] for a, r in zip(said, rows)) / len(rows)


STREAMS = [("N — هیچ اتفاقی نیفتاده", "N"),
           ("A — ورودی عوض شد", "A"),
           ("B — قاعده عوض شد", "B")]
print(f"{'جریان':<24}{'روزهای ۳۰ تا ۳۹':>18}{'روزهای ۴۰ تا ۶۹':>18}")
for name, stream in STREAMS:
    print(f"{name:<24}{accuracy(span(30, 40, stream)):>18.4f}"
          f"{accuracy(span(40, 70, stream)):>18.4f}")
print("متنِ ورودیِ جریانِ B با جریانِ کنترل یکی است؟",
      [r["text"] for r in span(40, 70, "B")] == [r["text"] for r in span(40, 70, "N")])
print("برچسبشان هم یکی است؟",
      [r["category"] for r in span(40, 70, "B")] == [r["category"] for r in span(40, 70, "N")])
```

```text
جریان                      روزهای ۳۰ تا ۳۹   روزهای ۴۰ تا ۶۹
N — هیچ اتفاقی نیفتاده              0.8767            0.8869
A — ورودی عوض شد                    0.8767            0.8825
B — قاعده عوض شد                    0.8767            0.7508
متنِ ورودیِ جریانِ B با جریانِ کنترل یکی است؟ True
برچسبشان هم یکی است؟ False
```

<div dir="rtl">

**دو خطِ آخر کلِ فصل‌اند.**

در جریانِ A، مسیرِ ورودی عوض شده: کمپینِ بازاریابی موجی از کاربرِ اپلیکیشن آورده، سهمِ کانالِ چت از ۲۷ درصد به ۵۵ درصد رفته و مردم پرحرف‌تر شده‌اند. **این «رانشِ داده» است** — و دقت شش هزارم بهتر شد، یعنی هیچ.

در جریانِ B ورودی **حرف‌به‌حرف** همان است که در دنیای بدونِ اتفاق می‌بود. چیزی که عوض شده بیرونِ داده است: شرکت شکایتِ «کیف پول و کد تخفیف» را از تیمِ پرداخت به تیمِ حساب کاربری منتقل کرده. **همان جمله، جوابِ درستِ متفاوت. این «رانشِ مفهوم» است** — و دقت دوازده واحد سقوط کرد.

**تعریف را می‌شود در یک جمله گفت، ولی تشخیصشان از هم کارِ اندازه‌گیری است:** رانشِ داده یعنی `P(x)` عوض شده، رانشِ مفهوم یعنی `P(y | x)` عوض شده. بقیهٔ فصل نشان می‌دهد که این تفاوتِ ظاهراً ظریف، تفاوتِ «قابلِ دیدن» و «نامرئی» است.

## ۲. فاصلهٔ دو توزیع، با سه سطل و دست

قبل از هر کدی، یک مثالِ کوچک. سه سطل داریم و می‌خواهیم بگوییم توزیعِ امروز چقدر با توزیعِ دیروز فرق دارد.

</div>

```python
import math

REF_SHARE = [0.50, 0.30, 0.20]
CUR_SHARE = [0.30, 0.30, 0.40]


def psi(ref_share, cur_share):
    """فاصلهٔ دو توزیع: هر سطل به‌اندازهٔ «چقدر جابه‌جا شد» × «چند برابر شد» سهم دارد."""
    return sum((q - p) * math.log(q / p) for p, q in zip(ref_share, cur_share))


for p, q in zip(REF_SHARE, CUR_SHARE):
    print(f"  مرجع {p:.2f} · جاری {q:.2f} · اختلاف {q - p:+.2f}"
          f" · نسبت {q / p:.2f} · سهم در جمع {(q - p) * math.log(q / p):.5f}")
print("PSI =", round(psi(REF_SHARE, CUR_SHARE), 5))
print("همان توزیع با خودش:", round(psi(REF_SHARE, REF_SHARE), 5))
print("یک سطل که فقط ۲ درصد جابه‌جا شود:",
      round(psi([0.50, 0.30, 0.20], [0.48, 0.30, 0.22]), 5))
```

```text
  مرجع 0.50 · جاری 0.30 · اختلاف -0.20 · نسبت 0.60 · سهم در جمع 0.10217
  مرجع 0.30 · جاری 0.30 · اختلاف +0.00 · نسبت 1.00 · سهم در جمع 0.00000
  مرجع 0.20 · جاری 0.40 · اختلاف +0.20 · نسبت 2.00 · سهم در جمع 0.13863
PSI = 0.24079
همان توزیع با خودش: 0.0
یک سطل که فقط ۲ درصد جابه‌جا شود: 0.00272
```

<div dir="rtl">

سطلِ وسط هیچ سهمی ندارد چون تکان نخورده. سطلِ سوم دو برابر شده و بیشترین سهم را دارد. و یک جابه‌جاییِ دو درصدی فقط ۰٫۰۰۲۷ می‌دهد. **پس این عدد هم بزرگیِ تغییر را می‌بیند و هم نسبتش را.**

فرمولش، حالا که با دست دیدیمش:

</div>

```
PSI = Σ (q_i − p_i) × ln(q_i / p_i)
```

<div dir="rtl">

- `p_i` سهمِ سطلِ `i` در **پنجرهٔ مرجع** (دورانی که مطمئنیم سالم بوده)
- `q_i` سهمِ همان سطل در **پنجرهٔ جاری** (چیزی که همین حالا می‌آید)
- `ln` لگاریتمِ طبیعی؛ نسبت را به یک عددِ متقارن حولِ صفر تبدیل می‌کند

> 🌱 **ریشه‌اش کجاست:** آن `ln` تنها قطعهٔ فرمول است که ممکن است ناآشنا باشد، و [ریشه، ترم ۴ فصل ۸ — لگاریتم: توانِ وارونه](/courses/risheh/lessons/term-4-functions/session-08-log) در یک جمله خلعِ سلاحش می‌کند: **«همان‌قدر معکوسِ توان است که تقسیم معکوسِ ضرب.»** و چرا اینجا لازم است؟ چون **نسبت** به‌تنهایی نامتقارن است: دو برابر شدن نسبت ۲ می‌دهد و نصف شدن نسبت ۰٫۵، در حالی که هر دو «یک برابر جابه‌جایی»اند. لگاریتم این دو را به `+۰٫۶۹` و `−۰٫۶۹` تبدیل می‌کند — **قرینه، همان‌طور که باید باشند** — و ضرب در اختلافِ سهم، علامتِ منفی را هم برمی‌گرداند، برای همین `PSI` همیشه مثبت است.

**آستانه‌هایش قانونِ طبیعت نیستند، عرف‌اند:** زیرِ ۰٫۱ بی‌اهمیت، ۰٫۱ تا ۰٫۲۵ قابلِ بررسی، بالای ۰٫۲۵ رانشِ جدی. مثلِ هر آستانهٔ دیگری، عددِ درست را باید روی دادهٔ خودت و با شمردنِ هشدارهای کاذب پیدا کنی — کاری که فصلِ ۴ می‌کند.

> 🌱 **ریشه‌اش کجاست:** «سطل» و «سهمِ سطل» دقیقاً همان هیستوگرامِ [ریشه، ترم ۶ فصل ۷ — توزیع: شکلِ داده](/courses/risheh/lessons/term-6-probability-statistics/session-07-distributions) است، و آنجا این جمله ساختنش را کامل توضیح می‌دهد: **«داده را دسته‌بندی کن — مثلاً هر ۵ سانتی‌متر یک دسته — و برای هر دسته یک ستون بکش که ارتفاعش تعدادِ داده‌های آن دسته باشد.»** کاری که ما اینجا می‌کنیم فقط یک قدم جلوتر است: **دو هیستوگرام را روی هم می‌گذاریم و اختلافشان را به یک عدد تبدیل می‌کنیم.**

## ۳. سطل‌ها را از پنجرهٔ مرجع بساز

</div>

```python
import re

TOKEN = re.compile(r"\w\w+")
VOCAB = MODEL.named_steps["countvectorizer"].vocabulary_


def features(rows):
    """سه چیزی که سرویس بدونِ هیچ برچسبی از هر درخواست می‌داند."""
    out = []
    for row in rows:
        text = normalise(row["text"])
        words = TOKEN.findall(text.lower())
        out.append({
            "chars": len(text),
            "unknown": sum(w not in VOCAB for w in words) / len(words),
            "channel": row["channel"],
        })
    return out


def edges_from(values, k=6):
    """مرزِ سطل‌ها از خودِ پنجرهٔ مرجع می‌آید، نه از عددهای گردِ دلبخواه."""
    ordered = sorted(values)
    edges = []
    for i in range(1, k):
        cut = ordered[i * len(ordered) // k]
        if not edges or cut > edges[-1]:
            edges.append(cut)
    return edges


def shares(values, edges):
    counts = [0] * (len(edges) + 1)
    for value in values:
        slot = 0
        while slot < len(edges) and value > edges[slot]:
            slot += 1
        counts[slot] += 1
    return [max(c, 1) / len(values) for c in counts]     # سطلِ خالی → ln(0)، پس کفِ یک


def cat_shares(values, keys):
    return [max(sum(v == k for v in values), 1) / len(values) for k in keys]


REF = span(30, 40, "N")
REF_F = features(REF)
CHAR_EDGES = edges_from([f["chars"] for f in REF_F])
UNK_EDGES = edges_from([f["unknown"] for f in REF_F])
CHANNEL_KEYS = ["تلفن", "ایمیل", "چت", "حضوری"]
LABEL_KEYS = list(MODEL.classes_)
REF_CHARS = shares([f["chars"] for f in REF_F], CHAR_EDGES)
REF_UNK = shares([f["unknown"] for f in REF_F], UNK_EDGES)
REF_CHAN = cat_shares([f["channel"] for f in REF_F], CHANNEL_KEYS)
REF_PRED = cat_shares(list(MODEL.predict([normalise(r["text"]) for r in REF])), LABEL_KEYS)
print("پنجرهٔ مرجع:", len(REF), "درخواست از روزهای ۳۰ تا ۳۹")
print("مرزِ سطل‌های طولِ متن :", CHAR_EDGES)
print("سهمِ سطل‌ها در مرجع  :", [round(x, 4) for x in REF_CHARS])
```

```text
پنجرهٔ مرجع: 1200 درخواست از روزهای ۳۰ تا ۳۹
مرزِ سطل‌های طولِ متن : [47, 54, 68, 77, 91]
سهمِ سطل‌ها در مرجع  : [0.2025, 0.1433, 0.1633, 0.16, 0.1733, 0.1575]
```

<div dir="rtl">

**پنجرهٔ مرجع را از روزهای ۳۰ تا ۳۹ گرفتیم، نه از دادهٔ آموزش.** دلیلش مهم است: دادهٔ آموزش را مدل دیده و توزیعش با ترافیکِ زندهٔ امروز از اول هم یکی نیست. **مرجعِ درست، آخرین دورانی است که مطمئنی سامانه سالم کار می‌کرده.**

مرزهای سطل هم از خودِ همان پنجره درمی‌آیند، پس سهمِ هر سطل حدودِ یک‌ششم است. اگر مرزها را دستی بگذاری، ممکن است نصفِ داده در یک سطل بیفتد و آشکارساز نسبت به تغییراتِ داخلِ آن سطل کور شود.

## ۴. آشکارساز، روی هر سه جریان

</div>

```python
def drift_report(rows):
    cur = features(rows)
    said = list(MODEL.predict([normalise(r["text"]) for r in rows]))
    return {
        "طولِ متن": psi(REF_CHARS, shares([f["chars"] for f in cur], CHAR_EDGES)),
        "واژهٔ ناشناخته": psi(REF_UNK, shares([f["unknown"] for f in cur], UNK_EDGES)),
        "کانال": psi(REF_CHAN, cat_shares([f["channel"] for f in cur], CHANNEL_KEYS)),
        "پیش‌بینیِ مدل": psi(REF_PRED, cat_shares(said, LABEL_KEYS)),
    }


COLUMNS = ["طولِ متن", "واژهٔ ناشناخته", "کانال", "پیش‌بینیِ مدل"]
print(f"{'جریان':<8}" + "".join(f"{c:>16}" for c in COLUMNS) + f"{'دقت':>9}")
for name, stream in STREAMS:
    rows = span(40, 70, stream)
    report = drift_report(rows)
    print(f"{stream:<8}" + "".join(f"{report[c]:>16.4f}" for c in COLUMNS)
          + f"{accuracy(rows):>9.4f}")
print("آستانهٔ متعارف: زیرِ ۰٫۱ بی‌اهمیت · ۰٫۱ تا ۰٫۲۵ قابلِ بررسی · بالای ۰٫۲۵ رانشِ جدی")
```

```text
جریان           طولِ متن  واژهٔ ناشناخته           کانال   پیش‌بینیِ مدل      دقت
N                 0.0050          0.0006          0.0032          0.0032   0.8869
A                 0.9840          0.0006          0.3865          0.0041   0.8825
B                 0.0050          0.0006          0.0032          0.0032   0.7508
آستانهٔ متعارف: زیرِ ۰٫۱ بی‌اهمیت · ۰٫۱ تا ۰٫۲۵ قابلِ بررسی · بالای ۰٫۲۵ رانشِ جدی
```

<div dir="rtl">

**سطرِ `A` و سطرِ `B` را کنارِ هم بگذار و به ستونِ آخر نگاه کن.**

روی جریانی که هیچ آسیبی نزده، آشکارساز ۰٫۹۸۴۰ می‌دهد — چهار برابرِ آستانهٔ «رانشِ جدی» — و کانال هم ۰٫۳۸۶۵. **دو زنگِ بلند برای یک اتفاقِ بی‌خطر.**

روی جریانی که دوازده واحد دقت خورده، **هر چهار ستون عددِ جریانِ کنترل را می‌دهند.** نه تقریباً؛ **دقیقاً**، چون ورودی‌هایشان یک‌به‌یک همان‌اند.

**و ستونِ «پیش‌بینیِ مدل» آخرین امید بود.** ایده‌اش وسوسه‌انگیز است: شاید اگر به‌جای ورودی، خروجیِ خودِ مدل را بپاییم، تغییرِ قاعده را ببینیم. **جواب ۰٫۰۰۳۲ است.** مدل همان ورودی را می‌بیند، پس همان جواب را می‌دهد؛ چیزی که عوض شده در جوابِ او نیست، در جوابِ **درست** است.

**ستونِ «واژهٔ ناشناخته» هم یک نتیجهٔ منفیِ تمام‌عیار است:** حتی روی جریانِ A هم ۰٫۰۰۰۶ داد. موجِ تازه پرحرف‌تر بود ولی واژهٔ تازه‌ای نیاورد — همان عبارت‌های مؤدبانه‌ای که در دادهٔ آموزش هم بودند. **آشکارسازی که آماده کرده بودیم، حتی رانشی را که واقعاً اتفاق افتاد ندید.** هر آشکارساز فقط همان بُعدی را می‌بیند که رویش نوشته شده.

> ⚠️ **مواظب باش:** وسوسهٔ طبیعی بعد از دیدنِ ۰٫۹۸۴۰ این است که آستانه را بالا ببری تا این «هشدارِ کاذب» ساکت شود. **کار نمی‌کند.** هیچ آستانه‌ای بینِ ۰٫۹۸۴۰ و ۰٫۰۰۵۰ وجود ندارد که اولی را رد و دومی را قبول کند، چون ترتیبشان از اول وارونه است. **این خرابیِ تنظیم نیست، محدودیتِ ساختاری است.**

## ۵. پنجره، و روزی که زنگ می‌خورد

تا اینجا کلِ سی روزِ بعد از تغییر را یک‌جا سنجیدیم. در تولید هر روز باید تصمیم بگیری.

</div>

```python
def rolling(stream, window=7, threshold=0.25):
    series, fired = [], None
    for day in range(40, 70):
        rows = span(day - window + 1, day + 1, stream)
        value = drift_report(rows)["طولِ متن"]
        series.append((day, value))
        if fired is None and value > threshold:
            fired = day
    return series, fired


def cumulative(stream, threshold=0.25):
    fired = None
    for day in range(40, 70):
        value = drift_report(span(30, day + 1, stream))["طولِ متن"]
        if fired is None and value > threshold:
            fired = day
    return fired


for stream in ("A", "B"):
    series, fired = rolling(stream)
    shown = [f"{d}:{v:.2f}" for d, v in series[:8]]
    print(f"جریانِ {stream} · پنجرهٔ غلتانِ ۷ روزه:", " ".join(shown), "...")
    print(f"   اولین روزِ عبور از آستانه: {fired}"
          f" · با پنجرهٔ تجمعی از روزِ ۳۰: {cumulative(stream)}")
```

```text
جریانِ A · پنجرهٔ غلتانِ ۷ روزه: 40:0.02 41:0.07 42:0.15 43:0.23 44:0.43 45:0.65 46:0.94 47:0.94 ...
   اولین روزِ عبور از آستانه: 44 · با پنجرهٔ تجمعی از روزِ ۳۰: 51
جریانِ B · پنجرهٔ غلتانِ ۷ روزه: 40:0.00 41:0.00 42:0.00 43:0.01 44:0.00 45:0.01 46:0.01 47:0.01 ...
   اولین روزِ عبور از آستانه: None · با پنجرهٔ تجمعی از روزِ ۳۰: None
```

<div dir="rtl">

**همان آشکارساز، همان آستانه، همان داده — و چهار روز در برابرِ یازده روز تأخیر.**

پنجرهٔ غلتانِ هفت‌روزه در روزِ ۴۴ زنگ زد. پنجرهٔ تجمعی که همه‌چیز را از روزِ ۳۰ نگه می‌دارد، تا روزِ ۵۱ زنگ نزد — چون روزهای سالم عددِ روزهای خراب را رقیق می‌کنند و هرچه جلوتر برویم رقیق‌تر می‌شود.

**قاعدهٔ عملی: پنجرهٔ مرجع بلند و ثابت، پنجرهٔ جاری کوتاه و غلتان.** پنجرهٔ جاریِ کوتاه‌تر زودتر می‌فهمد و بیشتر هشدارِ کاذب می‌دهد؛ این همان معامله‌ای است که فصلِ ۴ عددگذاری‌اش می‌کند.

**و ستونِ جریانِ B هنوز صفر است.** نه در روزِ ۴۰، نه در ۶۹، نه با هیچ پنجره‌ای.

## ۶. تنها چیزی که رانشِ مفهوم را می‌بیند

اگر هیچ سیگنالی از سمتِ ورودی این را نمی‌بیند، پس چه؟ **جوابِ صادقانه: برچسب.** و برچسب گران است، پس نمونه می‌گیریم.

</div>

```python
import random

SAMPLE_SIZE = 60


def sampled_accuracy(day, stream):
    """هر روز فقط این تعداد تیکت را آدم می‌خواند و برچسبِ درست را می‌گذارد."""
    rows = day_rows(day, stream)
    picked = random.Random(f"audit:{stream}:{day}").sample(rows, SAMPLE_SIZE)
    said = MODEL.predict([normalise(r["text"]) for r in picked])
    return sum(a == r["category"] for a, r in zip(said, picked)) / len(picked)


FLOOR = min(sampled_accuracy(d, "N") for d in range(33, 40))    # کفِ هفتهٔ سالم
print("کفِ هفتهٔ سالم:", round(FLOOR, 4), "· قاعده: هر روزی که زیرِ این کف بیفتد، هشدار")
for stream in ("A", "B"):
    days = [d for d in range(40, 70) if sampled_accuracy(d, stream) < FLOOR]
    print(f"جریانِ {stream} · اولین هشدار در روزِ {days[0] if days else None}"
          f" · تعدادِ روزهای هشدار در سی روز: {len(days)}")
print("هزینهٔ این آشکارساز:", SAMPLE_SIZE * 7, "برچسبِ دستی در هفته")
```

```text
کفِ هفتهٔ سالم: 0.85 · قاعده: هر روزی که زیرِ این کف بیفتد، هشدار
جریانِ A · اولین هشدار در روزِ 45 · تعدادِ روزهای هشدار در سی روز: 5
جریانِ B · اولین هشدار در روزِ 40 · تعدادِ روزهای هشدار در سی روز: 29
هزینهٔ این آشکارساز: 420 برچسبِ دستی در هفته
```

<div dir="rtl">

**جریانِ B در همان روزِ اول گرفته شد و ۲۹ روز از ۳۰ روز هشدار داد. این تنها آشکارسازی است که کار کرد.**

**ولی قیمتش را کامل بنویسیم، وگرنه گزارش ناتمام است:** روی جریانِ **بی‌ضرر** هم پنج بار زنگ زد. نه به این دلیل که چیزی خراب شده بود، بلکه چون شصت نمونه در روز نویز دارد و بعضی روزها اتفاقی زیرِ کف می‌افتند. **یک آشکارسازِ درست با پنج هشدارِ کاذب در ماه، و ۴۲۰ برچسبِ دستی در هفته که کسی باید واقعاً بخواندشان.**

> 📏 **اندازه بگیر:** **با چه چیزی مقایسه شد؟** با جریانِ کنترل `N` — همان روزها، همان مدل، بدونِ هیچ تغییری. هر عددِ این فصل جفتِ کنترلِ خودش را دارد. **روی کدام داده؟** پنجرهٔ مرجع ۱۲۰۰ درخواست از روزهای ۳۰ تا ۳۹، پنجرهٔ جاری ۳۶۰۰ درخواست از روزهای ۴۰ تا ۶۹. **با چند `seed`؟** قرعهٔ هر روز فقط به شمارهٔ روز بستگی دارد، پس یک اجرا روی هر ماشینی همین عددها را می‌دهد؛ **ولی «چند `seed`» اینجا معنیِ دیگری هم دارد و جوابش سی روز است** — سی اندازه‌گیریِ مستقلِ روزانه، که همان‌هایی‌اند که پنج هشدارِ کاذب را رو کردند.

> ✅ **چک کن:** برای مدلِ خودت این دو سؤال را جدا از هم جواب بده: **«اگر ورودی‌هایم فردا عوض شوند، از کجا می‌فهمم؟»** و **«اگر جوابِ درستِ همین ورودی‌ها فردا عوض شود، از کجا می‌فهمم؟»** برای سؤالِ اول معمولاً چند جواب داری. **اگر برای سؤالِ دوم هیچ جوابی نداری، دقیقاً در همان وضعیتی هستی که جریانِ B نشان داد** — و تنها نشانه‌ات شکایتِ کاربر خواهد بود.

> 🔧 **اگر کار نکرد:** اگر `PSI` را روی داده‌ای حساب کنی که یک سطلش خالی است، این را می‌بینی: `ValueError: math domain error` — و پیام هیچ نمی‌گوید کدام سطل. علتش `ln(0)` است. ما در `shares` با `max(c, 1)` کف گذاشتیم، یعنی هر سطلِ خالی را «یک مشاهده» فرض می‌کنیم. **این یک انتخاب است نه یک حقیقت:** با نمونهٔ کوچک، همین کف عددِ `PSI` را به‌طورِ مصنوعی بالا می‌برد. اگر آشکارسازت روی پنجره‌های کوچک هشدارهای عجیب می‌دهد، اول تعدادِ سطل‌ها را کم کن، نه آستانه را زیاد.

> 🤖 **از دستیارت بپرس:** «`KL divergence` و `Jensen-Shannon distance` و `PSI` چه نسبتی با هم دارند و چرا `PSI` متقارن است؟» بعد این را بپرس: **«اگر صد ویژگی داشته باشم و روی هرکدام یک آشکارسازِ رانش با آستانهٔ ثابت بگذارم، در یک ماه چند هشدارِ کاذب انتظار دارم؟»** — این همان دامِ مقایسهٔ چندگانهٔ ترمِ ۳ فصلِ ۵ است، این بار در داشبورد.

## واژه‌های تازهٔ این فصل

</div>

| کلمه | تلفظ به حروف فارسی | یعنی چه |
|---|---|---|
| data drift | دیتا دریفت | عوض شدنِ توزیعِ ورودی‌ها |
| concept drift | کانسپت دریفت | عوض شدنِ رابطهٔ ورودی و جوابِ درست |
| PSI | پی‌اس‌آی | عددی که فاصلهٔ دو توزیع را می‌سنجد |
| reference window | رفرنس ویندو | دورانی که مطمئنی سالم بوده و همه‌چیز با آن سنجیده می‌شود |
| rolling window | رولینگ ویندو | پنجرهٔ جاری که هر روز جلو می‌رود |
| prediction drift | پریدیکشن دریفت | عوض شدنِ توزیعِ خروجیِ مدل |
| detection delay | دیتکشن دیلی | فاصلهٔ روزی که خرابی شروع شد تا روزی که فهمیدی |

<div dir="rtl">

## تمرین‌ها

قبل از تمرین، بدونِ نگاه به بالا جواب بده: چرا هیچ آشکارسازی که فقط به ورودی نگاه می‌کند نمی‌تواند رانشِ مفهوم را ببیند؟

**تمرینِ اجباری:** پنجرهٔ جاری را ۳، ۷، ۱۴ و ۳۰ روزه بگذار و برای جریانِ A **سه عدد** گزارش کن: روزِ اولین عبور از آستانه، بیشترین مقدارِ `PSI` در سی روز، و **تعدادِ روزهایی که در جریانِ کنترل `N` از همان آستانه رد شدند** (هشدارِ کاذب). **جدولت را نگاه کن و بگو کدام پنجره را برای سرویسِ خودت انتخاب می‌کنی و چرا** — و توجه کن که این تصمیم بدونِ ستونِ سوم بی‌معناست.

**تمرینِ ستاره‌دار ⭐:** یک آشکارساز بساز که **رانشِ مفهوم را بدونِ برچسبِ کامل** بگیرد: به‌جای برچسب زدن به نمونهٔ تصادفی، فقط تیکت‌هایی را برای آدم بفرست که مدل رویشان **کم‌اطمینان** است. **دو عدد را با نمونه‌گیریِ تصادفیِ همین فصل مقایسه کن:** روزِ اولین کشف، و تعدادِ برچسب لازم تا آن روز. **بعد جوابِ سؤالِ سخت را بنویس: در فصلِ ۱ دیدیم مدل روی همان گروهی که خراب شده بود اطمینانِ ۰٫۹۶۶۵ داشت. این عدد با ایدهٔ «کم‌اطمینان‌ها را برچسب بزن» چه می‌کند؟** جوابت باید به یک نتیجهٔ منفیِ صریح برسد.

## در فصل بعد

فهمیدیم که تنها آشکارسازِ کارآمد برچسب لازم دارد و برچسب گران است. **فصلِ بعد می‌پرسد: تا کجا می‌شود بدونِ برچسب پیش رفت؟**

چهار معیارِ جانشین را می‌سازیم و هرکدام را با دقتِ واقعی — که ما پنهانی می‌دانیم — می‌سنجیم. **نتیجه‌اش یک برنده دارد و سه بازنده: دوتایشان از یک عددِ کاملاً تصادفی قابلِ تفکیک نیستند و سومی صفرِ تمام‌عیار است.** هر چهارتا را با ضریبِ همبستگی گزارش می‌کنیم، و کنارشان خطِ پایه‌ای که می‌گوید «هیچ سیگنال» چه شکلی است.

</div>

---
Source: https://yaadestan.com/courses/darbast/lessons/t5/s02-drift (یادستان, Yaadestan)
