داربست — خودآموز MLOps و مهندسی سامانه‌های هوش مصنوعی (پیشرفته)

فصل ۲ از ۸

پیشرفت ترم
۰٪

در این فصل چه یاد می‌گیری#

دو جریانِ ترافیک می‌سازیم که هر دو در روزِ ۴۰ عوض می‌شوند.

در جریانِ A ورودی عوض می‌شود و دقت سرِ جایش می‌ماند: ۰٫۸۸۲۵ در برابرِ ۰٫۸۷۶۷. در جریانِ B ورودی حتی یک حرف هم عوض نمی‌شود و دقت به ۰٫۷۵۰۸ سقوط می‌کند.

بعد یک آشکارسازِ رانشِ استاندارد را روی هر دو می‌بندیم و این را می‌گیریم: روی جریانِ بی‌ضرر عدد ۰٫۹۸۴۰ می‌دهد — رانشِ جدی — و روی جریانِ مرگبار ۰٫۰۰۵۰. همان عددی که برای «هیچ اتفاقی نیفتاده» می‌دهد.

این وارونگی اتفاقی نیست و با تنظیمِ آستانه هم درست نمی‌شود. فصل نشان می‌دهد چرا، و بعد تنها آشکارسازی را می‌سازد که جریانِ B را می‌بیند — و قیمتش را می‌شمارد: ۴۲۰ برچسبِ دستی در هفته، و ۵ هشدارِ کاذب در سی روز.

دو لولهٔ ورودی یکسان که یکی‌شان زیرِ صفحه به مقصدِ دیگری وصل شده

آخر این فصل می‌توانی:

  • رانشِ داده و رانشِ مفهوم را با اندازه‌گیری از هم جدا کنی، نه با تعریف
  • PSI را با دست روی سه سطل حساب کنی و بعد در کد بنویسی
  • پنجرهٔ مرجع و پنجرهٔ جاری را انتخاب کنی و اثرِ انتخابت را با عدد نشان بدهی
  • بگویی چرا هیچ آشکارسازِ سمتِ ورودی، رانشِ مفهوم را نمی‌تواند ببیند

قبل از شروع#

از فصلِ ۱: پیشامد، متریکِ بی‌نیاز از برچسب، و گروهِ کنترل. همان جریانِ N اینجا هم هست و کارش این است که بگوید عددِ «هیچ اتفاقی نیفتاده» چقدر است.

از ترمِ ۳ فصلِ ۷: ارزیابیِ آفلاین دروغ می‌گوید، چون توزیعِ آزمون با توزیعِ تولید فرق دارد. این فصل همان شکاف است، ولی در زمان: توزیعِ تولیدِ امروز با توزیعِ تولیدِ سه ماهِ پیش فرق دارد.

📓 نوت‌بوک: نوت‌بوک این فصل را در Colab باز کن — همهٔ کدهای این فصل آماده و به‌ترتیب داخلش هست.

اجرا زمانِ تقریبی
کلِ نوت‌بوک روی CPU حدودِ یک دقیقه
GPU لازم نیست

۱. دو دنیا، یک مدل#

MODEL = fit_model(TRAIN)


def accuracy(rows):
    said = MODEL.predict([normalise(r["text"]) for r in rows])
    return sum(a == r["category"] for a, r in zip(said, rows)) / len(rows)


STREAMS = [("N — هیچ اتفاقی نیفتاده", "N"),
           ("A — ورودی عوض شد", "A"),
           ("B — قاعده عوض شد", "B")]
print(f"{'جریان':<24}{'روزهای ۳۰ تا ۳۹':>18}{'روزهای ۴۰ تا ۶۹':>18}")
for name, stream in STREAMS:
    print(f"{name:<24}{accuracy(span(30, 40, stream)):>18.4f}"
          f"{accuracy(span(40, 70, stream)):>18.4f}")
print("متنِ ورودیِ جریانِ B با جریانِ کنترل یکی است؟",
      [r["text"] for r in span(40, 70, "B")] == [r["text"] for r in span(40, 70, "N")])
print("برچسبشان هم یکی است؟",
      [r["category"] for r in span(40, 70, "B")] == [r["category"] for r in span(40, 70, "N")])
جریان                      روزهای ۳۰ تا ۳۹   روزهای ۴۰ تا ۶۹
N — هیچ اتفاقی نیفتاده              0.8767            0.8869
A — ورودی عوض شد                    0.8767            0.8825
B — قاعده عوض شد                    0.8767            0.7508
متنِ ورودیِ جریانِ B با جریانِ کنترل یکی است؟ True
برچسبشان هم یکی است؟ False

دو خطِ آخر کلِ فصل‌اند.

در جریانِ A، مسیرِ ورودی عوض شده: کمپینِ بازاریابی موجی از کاربرِ اپلیکیشن آورده، سهمِ کانالِ چت از ۲۷ درصد به ۵۵ درصد رفته و مردم پرحرف‌تر شده‌اند. این «رانشِ داده» است — و دقت شش هزارم بهتر شد، یعنی هیچ.

در جریانِ B ورودی حرف‌به‌حرف همان است که در دنیای بدونِ اتفاق می‌بود. چیزی که عوض شده بیرونِ داده است: شرکت شکایتِ «کیف پول و کد تخفیف» را از تیمِ پرداخت به تیمِ حساب کاربری منتقل کرده. همان جمله، جوابِ درستِ متفاوت. این «رانشِ مفهوم» است — و دقت دوازده واحد سقوط کرد.

تعریف را می‌شود در یک جمله گفت، ولی تشخیصشان از هم کارِ اندازه‌گیری است: رانشِ داده یعنی P(x) عوض شده، رانشِ مفهوم یعنی P(y | x) عوض شده. بقیهٔ فصل نشان می‌دهد که این تفاوتِ ظاهراً ظریف، تفاوتِ «قابلِ دیدن» و «نامرئی» است.

۲. فاصلهٔ دو توزیع، با سه سطل و دست#

قبل از هر کدی، یک مثالِ کوچک. سه سطل داریم و می‌خواهیم بگوییم توزیعِ امروز چقدر با توزیعِ دیروز فرق دارد.

import math

REF_SHARE = [0.50, 0.30, 0.20]
CUR_SHARE = [0.30, 0.30, 0.40]


def psi(ref_share, cur_share):
    """فاصلهٔ دو توزیع: هر سطل به‌اندازهٔ «چقدر جابه‌جا شد» × «چند برابر شد» سهم دارد."""
    return sum((q - p) * math.log(q / p) for p, q in zip(ref_share, cur_share))


for p, q in zip(REF_SHARE, CUR_SHARE):
    print(f"  مرجع {p:.2f} · جاری {q:.2f} · اختلاف {q - p:+.2f}"
          f" · نسبت {q / p:.2f} · سهم در جمع {(q - p) * math.log(q / p):.5f}")
print("PSI =", round(psi(REF_SHARE, CUR_SHARE), 5))
print("همان توزیع با خودش:", round(psi(REF_SHARE, REF_SHARE), 5))
print("یک سطل که فقط ۲ درصد جابه‌جا شود:",
      round(psi([0.50, 0.30, 0.20], [0.48, 0.30, 0.22]), 5))
  مرجع 0.50 · جاری 0.30 · اختلاف -0.20 · نسبت 0.60 · سهم در جمع 0.10217
  مرجع 0.30 · جاری 0.30 · اختلاف +0.00 · نسبت 1.00 · سهم در جمع 0.00000
  مرجع 0.20 · جاری 0.40 · اختلاف +0.20 · نسبت 2.00 · سهم در جمع 0.13863
PSI = 0.24079
همان توزیع با خودش: 0.0
یک سطل که فقط ۲ درصد جابه‌جا شود: 0.00272

سطلِ وسط هیچ سهمی ندارد چون تکان نخورده. سطلِ سوم دو برابر شده و بیشترین سهم را دارد. و یک جابه‌جاییِ دو درصدی فقط ۰٫۰۰۲۷ می‌دهد. پس این عدد هم بزرگیِ تغییر را می‌بیند و هم نسبتش را.

فرمولش، حالا که با دست دیدیمش:

PSI = Σ (q_i − p_i) × ln(q_i / p_i)
  • p_i سهمِ سطلِ i در پنجرهٔ مرجع (دورانی که مطمئنیم سالم بوده)
  • q_i سهمِ همان سطل در پنجرهٔ جاری (چیزی که همین حالا می‌آید)
  • ln لگاریتمِ طبیعی؛ نسبت را به یک عددِ متقارن حولِ صفر تبدیل می‌کند

🌱 ریشه‌اش کجاست: آن ln تنها قطعهٔ فرمول است که ممکن است ناآشنا باشد، و ریشه، ترم ۴ فصل ۸ — لگاریتم: توانِ وارونه در یک جمله خلعِ سلاحش می‌کند: «همان‌قدر معکوسِ توان است که تقسیم معکوسِ ضرب.» و چرا اینجا لازم است؟ چون نسبت به‌تنهایی نامتقارن است: دو برابر شدن نسبت ۲ می‌دهد و نصف شدن نسبت ۰٫۵، در حالی که هر دو «یک برابر جابه‌جایی»اند. لگاریتم این دو را به +۰٫۶۹ و −۰٫۶۹ تبدیل می‌کند — قرینه، همان‌طور که باید باشند — و ضرب در اختلافِ سهم، علامتِ منفی را هم برمی‌گرداند، برای همین PSI همیشه مثبت است.

آستانه‌هایش قانونِ طبیعت نیستند، عرف‌اند: زیرِ ۰٫۱ بی‌اهمیت، ۰٫۱ تا ۰٫۲۵ قابلِ بررسی، بالای ۰٫۲۵ رانشِ جدی. مثلِ هر آستانهٔ دیگری، عددِ درست را باید روی دادهٔ خودت و با شمردنِ هشدارهای کاذب پیدا کنی — کاری که فصلِ ۴ می‌کند.

🌱 ریشه‌اش کجاست: «سطل» و «سهمِ سطل» دقیقاً همان هیستوگرامِ ریشه، ترم ۶ فصل ۷ — توزیع: شکلِ داده است، و آنجا این جمله ساختنش را کامل توضیح می‌دهد: «داده را دسته‌بندی کن — مثلاً هر ۵ سانتی‌متر یک دسته — و برای هر دسته یک ستون بکش که ارتفاعش تعدادِ داده‌های آن دسته باشد.» کاری که ما اینجا می‌کنیم فقط یک قدم جلوتر است: دو هیستوگرام را روی هم می‌گذاریم و اختلافشان را به یک عدد تبدیل می‌کنیم.

۳. سطل‌ها را از پنجرهٔ مرجع بساز#

import re

TOKEN = re.compile(r"\w\w+")
VOCAB = MODEL.named_steps["countvectorizer"].vocabulary_


def features(rows):
    """سه چیزی که سرویس بدونِ هیچ برچسبی از هر درخواست می‌داند."""
    out = []
    for row in rows:
        text = normalise(row["text"])
        words = TOKEN.findall(text.lower())
        out.append({
            "chars": len(text),
            "unknown": sum(w not in VOCAB for w in words) / len(words),
            "channel": row["channel"],
        })
    return out


def edges_from(values, k=6):
    """مرزِ سطل‌ها از خودِ پنجرهٔ مرجع می‌آید، نه از عددهای گردِ دلبخواه."""
    ordered = sorted(values)
    edges = []
    for i in range(1, k):
        cut = ordered[i * len(ordered) // k]
        if not edges or cut > edges[-1]:
            edges.append(cut)
    return edges


def shares(values, edges):
    counts = [0] * (len(edges) + 1)
    for value in values:
        slot = 0
        while slot < len(edges) and value > edges[slot]:
            slot += 1
        counts[slot] += 1
    return [max(c, 1) / len(values) for c in counts]     # سطلِ خالی → ln(0)، پس کفِ یک


def cat_shares(values, keys):
    return [max(sum(v == k for v in values), 1) / len(values) for k in keys]


REF = span(30, 40, "N")
REF_F = features(REF)
CHAR_EDGES = edges_from([f["chars"] for f in REF_F])
UNK_EDGES = edges_from([f["unknown"] for f in REF_F])
CHANNEL_KEYS = ["تلفن", "ایمیل", "چت", "حضوری"]
LABEL_KEYS = list(MODEL.classes_)
REF_CHARS = shares([f["chars"] for f in REF_F], CHAR_EDGES)
REF_UNK = shares([f["unknown"] for f in REF_F], UNK_EDGES)
REF_CHAN = cat_shares([f["channel"] for f in REF_F], CHANNEL_KEYS)
REF_PRED = cat_shares(list(MODEL.predict([normalise(r["text"]) for r in REF])), LABEL_KEYS)
print("پنجرهٔ مرجع:", len(REF), "درخواست از روزهای ۳۰ تا ۳۹")
print("مرزِ سطل‌های طولِ متن :", CHAR_EDGES)
print("سهمِ سطل‌ها در مرجع  :", [round(x, 4) for x in REF_CHARS])
پنجرهٔ مرجع: 1200 درخواست از روزهای ۳۰ تا ۳۹
مرزِ سطل‌های طولِ متن : [47, 54, 68, 77, 91]
سهمِ سطل‌ها در مرجع  : [0.2025, 0.1433, 0.1633, 0.16, 0.1733, 0.1575]

پنجرهٔ مرجع را از روزهای ۳۰ تا ۳۹ گرفتیم، نه از دادهٔ آموزش. دلیلش مهم است: دادهٔ آموزش را مدل دیده و توزیعش با ترافیکِ زندهٔ امروز از اول هم یکی نیست. مرجعِ درست، آخرین دورانی است که مطمئنی سامانه سالم کار می‌کرده.

مرزهای سطل هم از خودِ همان پنجره درمی‌آیند، پس سهمِ هر سطل حدودِ یک‌ششم است. اگر مرزها را دستی بگذاری، ممکن است نصفِ داده در یک سطل بیفتد و آشکارساز نسبت به تغییراتِ داخلِ آن سطل کور شود.

۴. آشکارساز، روی هر سه جریان#

def drift_report(rows):
    cur = features(rows)
    said = list(MODEL.predict([normalise(r["text"]) for r in rows]))
    return {
        "طولِ متن": psi(REF_CHARS, shares([f["chars"] for f in cur], CHAR_EDGES)),
        "واژهٔ ناشناخته": psi(REF_UNK, shares([f["unknown"] for f in cur], UNK_EDGES)),
        "کانال": psi(REF_CHAN, cat_shares([f["channel"] for f in cur], CHANNEL_KEYS)),
        "پیش‌بینیِ مدل": psi(REF_PRED, cat_shares(said, LABEL_KEYS)),
    }


COLUMNS = ["طولِ متن", "واژهٔ ناشناخته", "کانال", "پیش‌بینیِ مدل"]
print(f"{'جریان':<8}" + "".join(f"{c:>16}" for c in COLUMNS) + f"{'دقت':>9}")
for name, stream in STREAMS:
    rows = span(40, 70, stream)
    report = drift_report(rows)
    print(f"{stream:<8}" + "".join(f"{report[c]:>16.4f}" for c in COLUMNS)
          + f"{accuracy(rows):>9.4f}")
print("آستانهٔ متعارف: زیرِ ۰٫۱ بی‌اهمیت · ۰٫۱ تا ۰٫۲۵ قابلِ بررسی · بالای ۰٫۲۵ رانشِ جدی")
جریان           طولِ متن  واژهٔ ناشناخته           کانال   پیش‌بینیِ مدل      دقت
N                 0.0050          0.0006          0.0032          0.0032   0.8869
A                 0.9840          0.0006          0.3865          0.0041   0.8825
B                 0.0050          0.0006          0.0032          0.0032   0.7508
آستانهٔ متعارف: زیرِ ۰٫۱ بی‌اهمیت · ۰٫۱ تا ۰٫۲۵ قابلِ بررسی · بالای ۰٫۲۵ رانشِ جدی

سطرِ A و سطرِ B را کنارِ هم بگذار و به ستونِ آخر نگاه کن.

روی جریانی که هیچ آسیبی نزده، آشکارساز ۰٫۹۸۴۰ می‌دهد — چهار برابرِ آستانهٔ «رانشِ جدی» — و کانال هم ۰٫۳۸۶۵. دو زنگِ بلند برای یک اتفاقِ بی‌خطر.

روی جریانی که دوازده واحد دقت خورده، هر چهار ستون عددِ جریانِ کنترل را می‌دهند. نه تقریباً؛ دقیقاً، چون ورودی‌هایشان یک‌به‌یک همان‌اند.

و ستونِ «پیش‌بینیِ مدل» آخرین امید بود. ایده‌اش وسوسه‌انگیز است: شاید اگر به‌جای ورودی، خروجیِ خودِ مدل را بپاییم، تغییرِ قاعده را ببینیم. جواب ۰٫۰۰۳۲ است. مدل همان ورودی را می‌بیند، پس همان جواب را می‌دهد؛ چیزی که عوض شده در جوابِ او نیست، در جوابِ درست است.

ستونِ «واژهٔ ناشناخته» هم یک نتیجهٔ منفیِ تمام‌عیار است: حتی روی جریانِ A هم ۰٫۰۰۰۶ داد. موجِ تازه پرحرف‌تر بود ولی واژهٔ تازه‌ای نیاورد — همان عبارت‌های مؤدبانه‌ای که در دادهٔ آموزش هم بودند. آشکارسازی که آماده کرده بودیم، حتی رانشی را که واقعاً اتفاق افتاد ندید. هر آشکارساز فقط همان بُعدی را می‌بیند که رویش نوشته شده.

⚠️ مواظب باش: وسوسهٔ طبیعی بعد از دیدنِ ۰٫۹۸۴۰ این است که آستانه را بالا ببری تا این «هشدارِ کاذب» ساکت شود. کار نمی‌کند. هیچ آستانه‌ای بینِ ۰٫۹۸۴۰ و ۰٫۰۰۵۰ وجود ندارد که اولی را رد و دومی را قبول کند، چون ترتیبشان از اول وارونه است. این خرابیِ تنظیم نیست، محدودیتِ ساختاری است.

۵. پنجره، و روزی که زنگ می‌خورد#

تا اینجا کلِ سی روزِ بعد از تغییر را یک‌جا سنجیدیم. در تولید هر روز باید تصمیم بگیری.

def rolling(stream, window=7, threshold=0.25):
    series, fired = [], None
    for day in range(40, 70):
        rows = span(day - window + 1, day + 1, stream)
        value = drift_report(rows)["طولِ متن"]
        series.append((day, value))
        if fired is None and value > threshold:
            fired = day
    return series, fired


def cumulative(stream, threshold=0.25):
    fired = None
    for day in range(40, 70):
        value = drift_report(span(30, day + 1, stream))["طولِ متن"]
        if fired is None and value > threshold:
            fired = day
    return fired


for stream in ("A", "B"):
    series, fired = rolling(stream)
    shown = [f"{d}:{v:.2f}" for d, v in series[:8]]
    print(f"جریانِ {stream} · پنجرهٔ غلتانِ ۷ روزه:", " ".join(shown), "...")
    print(f"   اولین روزِ عبور از آستانه: {fired}"
          f" · با پنجرهٔ تجمعی از روزِ ۳۰: {cumulative(stream)}")
جریانِ A · پنجرهٔ غلتانِ ۷ روزه: 40:0.02 41:0.07 42:0.15 43:0.23 44:0.43 45:0.65 46:0.94 47:0.94 ...
   اولین روزِ عبور از آستانه: 44 · با پنجرهٔ تجمعی از روزِ ۳۰: 51
جریانِ B · پنجرهٔ غلتانِ ۷ روزه: 40:0.00 41:0.00 42:0.00 43:0.01 44:0.00 45:0.01 46:0.01 47:0.01 ...
   اولین روزِ عبور از آستانه: None · با پنجرهٔ تجمعی از روزِ ۳۰: None

همان آشکارساز، همان آستانه، همان داده — و چهار روز در برابرِ یازده روز تأخیر.

پنجرهٔ غلتانِ هفت‌روزه در روزِ ۴۴ زنگ زد. پنجرهٔ تجمعی که همه‌چیز را از روزِ ۳۰ نگه می‌دارد، تا روزِ ۵۱ زنگ نزد — چون روزهای سالم عددِ روزهای خراب را رقیق می‌کنند و هرچه جلوتر برویم رقیق‌تر می‌شود.

قاعدهٔ عملی: پنجرهٔ مرجع بلند و ثابت، پنجرهٔ جاری کوتاه و غلتان. پنجرهٔ جاریِ کوتاه‌تر زودتر می‌فهمد و بیشتر هشدارِ کاذب می‌دهد؛ این همان معامله‌ای است که فصلِ ۴ عددگذاری‌اش می‌کند.

و ستونِ جریانِ B هنوز صفر است. نه در روزِ ۴۰، نه در ۶۹، نه با هیچ پنجره‌ای.

۶. تنها چیزی که رانشِ مفهوم را می‌بیند#

اگر هیچ سیگنالی از سمتِ ورودی این را نمی‌بیند، پس چه؟ جوابِ صادقانه: برچسب. و برچسب گران است، پس نمونه می‌گیریم.

import random

SAMPLE_SIZE = 60


def sampled_accuracy(day, stream):
    """هر روز فقط این تعداد تیکت را آدم می‌خواند و برچسبِ درست را می‌گذارد."""
    rows = day_rows(day, stream)
    picked = random.Random(f"audit:{stream}:{day}").sample(rows, SAMPLE_SIZE)
    said = MODEL.predict([normalise(r["text"]) for r in picked])
    return sum(a == r["category"] for a, r in zip(said, picked)) / len(picked)


FLOOR = min(sampled_accuracy(d, "N") for d in range(33, 40))    # کفِ هفتهٔ سالم
print("کفِ هفتهٔ سالم:", round(FLOOR, 4), "· قاعده: هر روزی که زیرِ این کف بیفتد، هشدار")
for stream in ("A", "B"):
    days = [d for d in range(40, 70) if sampled_accuracy(d, stream) < FLOOR]
    print(f"جریانِ {stream} · اولین هشدار در روزِ {days[0] if days else None}"
          f" · تعدادِ روزهای هشدار در سی روز: {len(days)}")
print("هزینهٔ این آشکارساز:", SAMPLE_SIZE * 7, "برچسبِ دستی در هفته")
کفِ هفتهٔ سالم: 0.85 · قاعده: هر روزی که زیرِ این کف بیفتد، هشدار
جریانِ A · اولین هشدار در روزِ 45 · تعدادِ روزهای هشدار در سی روز: 5
جریانِ B · اولین هشدار در روزِ 40 · تعدادِ روزهای هشدار در سی روز: 29
هزینهٔ این آشکارساز: 420 برچسبِ دستی در هفته

جریانِ B در همان روزِ اول گرفته شد و ۲۹ روز از ۳۰ روز هشدار داد. این تنها آشکارسازی است که کار کرد.

ولی قیمتش را کامل بنویسیم، وگرنه گزارش ناتمام است: روی جریانِ بی‌ضرر هم پنج بار زنگ زد. نه به این دلیل که چیزی خراب شده بود، بلکه چون شصت نمونه در روز نویز دارد و بعضی روزها اتفاقی زیرِ کف می‌افتند. یک آشکارسازِ درست با پنج هشدارِ کاذب در ماه، و ۴۲۰ برچسبِ دستی در هفته که کسی باید واقعاً بخواندشان.

📏 اندازه بگیر: با چه چیزی مقایسه شد؟ با جریانِ کنترل N — همان روزها، همان مدل، بدونِ هیچ تغییری. هر عددِ این فصل جفتِ کنترلِ خودش را دارد. روی کدام داده؟ پنجرهٔ مرجع ۱۲۰۰ درخواست از روزهای ۳۰ تا ۳۹، پنجرهٔ جاری ۳۶۰۰ درخواست از روزهای ۴۰ تا ۶۹. با چند seed؟ قرعهٔ هر روز فقط به شمارهٔ روز بستگی دارد، پس یک اجرا روی هر ماشینی همین عددها را می‌دهد؛ ولی «چند seed» اینجا معنیِ دیگری هم دارد و جوابش سی روز است — سی اندازه‌گیریِ مستقلِ روزانه، که همان‌هایی‌اند که پنج هشدارِ کاذب را رو کردند.

✅ چک کن: برای مدلِ خودت این دو سؤال را جدا از هم جواب بده: «اگر ورودی‌هایم فردا عوض شوند، از کجا می‌فهمم؟» و «اگر جوابِ درستِ همین ورودی‌ها فردا عوض شود، از کجا می‌فهمم؟» برای سؤالِ اول معمولاً چند جواب داری. اگر برای سؤالِ دوم هیچ جوابی نداری، دقیقاً در همان وضعیتی هستی که جریانِ B نشان داد — و تنها نشانه‌ات شکایتِ کاربر خواهد بود.

🔧 اگر کار نکرد: اگر PSI را روی داده‌ای حساب کنی که یک سطلش خالی است، این را می‌بینی: ValueError: math domain error — و پیام هیچ نمی‌گوید کدام سطل. علتش ln(0) است. ما در shares با max(c, 1) کف گذاشتیم، یعنی هر سطلِ خالی را «یک مشاهده» فرض می‌کنیم. این یک انتخاب است نه یک حقیقت: با نمونهٔ کوچک، همین کف عددِ PSI را به‌طورِ مصنوعی بالا می‌برد. اگر آشکارسازت روی پنجره‌های کوچک هشدارهای عجیب می‌دهد، اول تعدادِ سطل‌ها را کم کن، نه آستانه را زیاد.

🤖 از دستیارت بپرس: «KL divergence و Jensen-Shannon distance و PSI چه نسبتی با هم دارند و چرا PSI متقارن است؟» بعد این را بپرس: «اگر صد ویژگی داشته باشم و روی هرکدام یک آشکارسازِ رانش با آستانهٔ ثابت بگذارم، در یک ماه چند هشدارِ کاذب انتظار دارم؟» — این همان دامِ مقایسهٔ چندگانهٔ ترمِ ۳ فصلِ ۵ است، این بار در داشبورد.

واژه‌های تازهٔ این فصل#

کلمه تلفظ به حروف فارسی یعنی چه
data drift دیتا دریفت عوض شدنِ توزیعِ ورودی‌ها
concept drift کانسپت دریفت عوض شدنِ رابطهٔ ورودی و جوابِ درست
PSI پی‌اس‌آی عددی که فاصلهٔ دو توزیع را می‌سنجد
reference window رفرنس ویندو دورانی که مطمئنی سالم بوده و همه‌چیز با آن سنجیده می‌شود
rolling window رولینگ ویندو پنجرهٔ جاری که هر روز جلو می‌رود
prediction drift پریدیکشن دریفت عوض شدنِ توزیعِ خروجیِ مدل
detection delay دیتکشن دیلی فاصلهٔ روزی که خرابی شروع شد تا روزی که فهمیدی

تمرین‌ها

اول خودت فکر کن یا امتحان کن — بعد اینجا را باز کن.

در فصل بعد#

فهمیدیم که تنها آشکارسازِ کارآمد برچسب لازم دارد و برچسب گران است. فصلِ بعد می‌پرسد: تا کجا می‌شود بدونِ برچسب پیش رفت؟

چهار معیارِ جانشین را می‌سازیم و هرکدام را با دقتِ واقعی — که ما پنهانی می‌دانیم — می‌سنجیم. نتیجه‌اش یک برنده دارد و سه بازنده: دوتایشان از یک عددِ کاملاً تصادفی قابلِ تفکیک نیستند و سومی صفرِ تمام‌عیار است. هر چهارتا را با ضریبِ همبستگی گزارش می‌کنیم، و کنارشان خطِ پایه‌ای که می‌گوید «هیچ سیگنال» چه شکلی است.

به آخر این فصل رسیدی!

اگر ساختی و جواب داد، این دکمه مال توست.