داربست — خودآموز MLOps و مهندسی سامانه‌های هوش مصنوعی (پیشرفته)

فصل ۶ از ۸

پیشرفت ترم
۰٪

در این فصل چه یاد می‌گیری#

مدلِ زنده روی مجموعهٔ صادق ۰٫۷۴۹۲ می‌گیرد و می‌دانیم دنیا عوض شده. سه سؤال باقی است: کِی بازآموزی کنیم، با کدام داده، و از کجا بدانیم نتیجه بهتر شده.

پنجرهٔ داده تنها یک انتخابِ سلیقه‌ای نیست: با پنجرهٔ سی‌روزه ۰٫۸۹۱۷ می‌گیریم و با همهٔ تاریخ ۰٫۷۸۰۰. یازده واحد ضرر، فقط به‌خاطرِ نگه‌داشتنِ دادهٔ کهنه.

و برچسبِ رایگان گران‌ترین گزینه است: بازآموزی روی جوابِ خودِ مدل صفر برچسب هزینه دارد و به ۰٫۷۴۰۸ می‌رسد — بدتر از هیچ کاری نکردن.

بعد دروازه را می‌سازیم و اول شکستش می‌دهیم: یک دروازهٔ کاملاً معقول دو مدعیِ بدتر را تأیید می‌کند، چون روی داده‌ای می‌سنجدشان که خودشان رویش آموزش دیده‌اند. دروازهٔ درست هر دو را رد می‌کند — ولی یک مدعیِ خوب را هم اشتباهی رد می‌کند، و همین را هم گزارش می‌کنیم.

دو انبارِ قطعه، یکی پر از قطعهٔ کهنه و یکی با قفسهٔ چرخان

آخر این فصل می‌توانی:

  • راه‌اندازِ بازآموزی را انتخاب کنی و هزینه‌اش را به برچسب تبدیل کنی
  • پنجرهٔ داده را با عدد انتخاب کنی، نه با «هرچه بیشتر بهتر»
  • دروازهٔ قهرمان و مدعی بنویسی که خودش نشتی نداشته باشد
  • بگویی چرا حاشیهٔ دروازه باید از نویزِ نمونه بزرگ‌تر باشد

قبل از شروع#

از فصلِ ۲: آشکارسازِ رانشِ ورودی، رانشِ مفهوم را نمی‌بیند. بخشِ ۶ همان را به‌عنوان یک راه‌اندازِ بازآموزی امتحان می‌کند و نتیجه‌اش قابلِ حدس است.

از فصلِ ۵: برچسبی که از خروجیِ خودِ مدل بیاید سمّ است. بخشِ ۳ همان را با عدد به یک تصمیمِ بازآموزی تبدیل می‌کند.

از ترمِ ۳ فصلِ ۷: تقسیمِ زمانی. دروازهٔ این فصل بدونِ آن کار نمی‌کند و بخشِ ۴ نشان می‌دهد دقیقاً چرا.

📓 نوت‌بوک: نوت‌بوک این فصل را در Colab باز کن — همهٔ کدهای این فصل آماده و به‌ترتیب داخلش هست.

اجرا زمانِ تقریبی
کلِ نوت‌بوک روی CPU حدودِ دو دقیقه
GPU لازم نیست

۱. قهرمان، و داوری که کسی نمی‌تواند بخردش#

import math
import random
import statistics

CHAMPION = fit_model(TRAIN)
HONEST = span(110, 120, "B")             # ده روزِ کنارگذاشته؛ هیچ بازآموزی‌ای بهش نمی‌رسد
SUB = [r for r in HONEST if r["channel"] == "حضوری"]
AUDIT = 60


def accuracy(model, rows):
    said = model.predict([normalise(r["text"]) for r in rows])
    return sum(a == r["category"] for a, r in zip(said, rows)) / len(rows)


def sampled(model, day):
    picked = random.Random(f"audit:{day}").sample(day_rows(day, "B"), AUDIT)
    return accuracy(model, picked)


BASE = statistics.mean(accuracy(CHAMPION, day_rows(d, "B")) for d in range(30, 40))
print("قهرمان روی مجموعهٔ صادق:", round(accuracy(CHAMPION, HONEST), 4),
      "· روی کانالِ حضوری:", round(accuracy(CHAMPION, SUB), 4))
print("دقتِ قهرمان پیش از تغییر (خطِ پایه):", round(BASE, 4))
print("مجموعهٔ صادق:", len(HONEST), "تیکت · کانالِ حضوری در آن:", len(SUB))
قهرمان روی مجموعهٔ صادق: 0.7492 · روی کانالِ حضوری: 0.8
دقتِ قهرمان پیش از تغییر (خطِ پایه): 0.8767
مجموعهٔ صادق: 1200 تیکت · کانالِ حضوری در آن: 70

مجموعهٔ صادق از آخرِ خطِ زمانی برداشته شده، نه از وسطش. هیچ‌کدام از بازآموزی‌های این فصل حق ندارند نزدیکش شوند. این تنها داوریِ فصل است و همهٔ ادعاها با آن سنجیده می‌شوند.

۲. پنجرهٔ داده#

سه لحظهٔ متفاوت برای بازآموزی انتخاب می‌کنیم و در هر لحظه پنج پنجرهٔ متفاوت.

print(f"{'روزِ بازآموزی':>14}{'پنجره':>10}{'ردیفِ آموزش':>14}{'مجموعهٔ صادق':>16}{'حضوری':>10}")
for day in (43, 55, 70):
    for window in (7, 14, 30, 60, None):
        first = 0 if window is None else max(0, day - window)
        rows = span(first, day, "B")
        model = fit_model(rows)
        label = "همه" if window is None else str(window)
        print(f"{day:>14}{label:>10}{len(rows):>14}{accuracy(model, HONEST):>16.4f}"
              f"{accuracy(model, SUB):>10.4f}")
 روزِ بازآموزی     پنجره   ردیفِ آموزش    مجموعهٔ صادق     حضوری
            43         7           840          0.7950    0.9143
            43        14          1680          0.7508    0.8000
            43        30          3600          0.7450    0.8000
            43        60          5160          0.7442    0.8000
            43       همه          5160          0.7442    0.8000
            55         7           840          0.8783    0.9571
            55        14          1680          0.8867    0.9857
            55        30          3600          0.8550    0.9429
            55        60          6600          0.7475    0.8000
            55       همه          6600          0.7475    0.8000
            70         7           840          0.8725    0.9143
            70        14          1680          0.8842    0.9571
            70        30          3600          0.8917    0.9857
            70        60          7200          0.8283    0.9857
            70       همه          8400          0.7800    0.8571

سه چیز در این جدول هست و هر سه خلافِ شهودند.

۱) در روزِ ۷۰، پنجرهٔ سی‌روزه ۰٫۸۹۱۷ می‌دهد و «همهٔ تاریخ» ۰٫۷۸۰۰ — با ۳۶۰۰ در برابرِ ۸۴۰۰ ردیف. دو برابر و نیم داده، یازده واحد بدتر. دلیلش ساده است: نصفِ آن تاریخ به قاعده‌ای مربوط است که دیگر وجود ندارد، و مدل با آن ردیف‌ها جدال می‌کند.

۲) ولی «هرچه کوتاه‌تر بهتر» هم غلط است: در همان روزِ ۷۰، پنجرهٔ هفت‌روزه ۰٫۸۷۲۵ می‌دهد، دو واحد کمتر از سی‌روزه. نمودارش یک کوهان است، نه یک شیب — و جای قله را باید اندازه گرفت.

۳) جای قله ثابت نیست: در روزِ ۴۳ بهترین پنجره هفت‌روزه است (۰٫۷۹۵۰) و در روزِ ۵۵ چهارده‌روزه (۰٫۸۸۶۷). هرچه از تغییر دورتر شوی، پنجرهٔ بهینه بلندتر می‌شود — چون دادهٔ تازه‌ای که با قاعدهٔ جدید سازگار است بیشتر انباشته شده.

۳. وسوسهٔ برچسبِ رایگان#

بازآموزی برچسب می‌خواهد و برچسب گران است. پس چرا از جوابِ خودِ مدل استفاده نکنیم؟

def free_labels(model, rows, floor=0.96):
    """برچسبِ رایگان: همان سیاستی که فصلِ ۵ نشانمان داد چه می‌کند."""
    texts = [normalise(r["text"]) for r in rows]
    said = model.predict(texts)
    probs = model.predict_proba(texts)
    return [{"text": r["text"], "category": str(a)}
            for r, a, p in zip(rows, said, probs) if max(p) >= floor]


RECENT = span(40, 70, "B")
PAID = fit_model(RECENT)
FREE_ROWS = free_labels(CHAMPION, RECENT)
FREE = fit_model(FREE_ROWS)
print(f"{'مدل':<26}{'ردیف':>8}{'برچسبِ انسانی':>16}{'مجموعهٔ صادق':>16}")
print(f"{'قهرمان':<26}{len(TRAIN):>8}{0:>16}{accuracy(CHAMPION, HONEST):>16.4f}")
print(f"{'بازآموزی با برچسبِ آدم':<26}{len(RECENT):>8}{len(RECENT):>16}"
      f"{accuracy(PAID, HONEST):>16.4f}")
print(f"{'بازآموزی با برچسبِ رایگان':<26}{len(FREE_ROWS):>8}{0:>16}"
      f"{accuracy(FREE, HONEST):>16.4f}")
مدل                           ردیف   برچسبِ انسانی    مجموعهٔ صادق
قهرمان                        3600               0          0.7492
بازآموزی با برچسبِ آدم        3600            3600          0.8917
بازآموزی با برچسبِ رایگان     1679               0          0.7408

۰٫۷۴۰۸ در برابرِ ۰٫۷۴۹۲. بازآموزی با برچسبِ رایگان بدتر از بازآموزی نکردن شد.

سازوکارش همان فصلِ ۵ است، فقط در یک نوبت به‌جای هشت نوبت: برچسبِ رایگان یعنی جوابِ خودِ قهرمان، پس مدلِ تازه فقط یک کپیِ کمی بدترِ همان قهرمان است — با ۱۶۷۹ ردیف به‌جای ۳۶۰۰ و بدونِ حتی یک نمونه از قاعدهٔ تازه.

و ردیفِ وسط قیمتِ واقعی را می‌گوید: ۳۶۰۰ برچسبِ انسانی، برای چهارده واحد بهبود. این عددی است که با آن سرِ بودجه چانه می‌زنی، نه با «مدل قدیمی شده».

۴. دروازه‌ای که خودش نشتی دارد#

حالا فرض کن نمی‌دانیم کدام مدعی خوب است. معقول‌ترین کارِ ممکن: هر دو مدل را روی دادهٔ اخیر بسنج و بهتر را بردار.

def naive_gate(challenger, champion, day, window=10):
    """دروازهٔ ساده‌لوح: روی «دادهٔ اخیر» مقایسه کن. اشکالش را همین‌جا می‌بینیم."""
    recent = span(day - window, day, "B")
    return accuracy(challenger, recent), accuracy(champion, recent)


print(f"{'روزِ بازآموزی':>14}{'مدعی روی اخیر':>16}{'قهرمان روی اخیر':>18}"
      f"{'حکم':>8}{'حقیقت روی صادق':>18}")
for day in (43, 47, 55, 70):
    challenger = fit_model(span(max(0, day - 30), day, "B"))
    new, old = naive_gate(challenger, CHAMPION, day)
    real = accuracy(challenger, HONEST)
    print(f"{day:>14}{new:>16.4f}{old:>18.4f}{'تأیید' if new > old else 'رد':>8}"
          f"{real:>18.4f}")
print("قهرمان روی مجموعهٔ صادق:", round(accuracy(CHAMPION, HONEST), 4))
 روزِ بازآموزی   مدعی روی اخیر   قهرمان روی اخیر     حکم    حقیقت روی صادق
            43          0.8558            0.8367   تأیید            0.7450
            47          0.8050            0.7817   تأیید            0.7467
            55          0.8692            0.7442   تأیید            0.8550
            70          0.9142            0.7675   تأیید            0.8917
قهرمان روی مجموعهٔ صادق: 0.7492

هر چهار مدعی تأیید شدند و دو تایشان بدتر از قهرمان بودند (۰٫۷۴۵۰ و ۰٫۷۴۶۷ در برابرِ ۰٫۷۴۹۲).

علتش یک نشتیِ تمام‌عیار است: مدعیِ روزِ ۴۳ روی روزهای ۱۳ تا ۴۲ آموزش دیده و دروازه رویش روزهای ۳۳ تا ۴۲ را می‌سنجد. ده روز از دادهٔ آزمون، دادهٔ آموزشِ خودِ مدعی است. پس مدعی روی آن ده روز عالی به‌نظر می‌رسد، بی‌آنکه چیزی دربارهٔ فردا فهمیده باشد.

این همان نشتیِ ترمِ ۲ فصلِ ۷ است، منتها این بار در ابزارِ سنجش نه در دادهٔ آموزش — و دقیقاً به همین دلیل سخت‌تر پیدا می‌شود: کد درست به‌نظر می‌رسد، مدل هم درست است، فقط داور رشوه گرفته.

⚠️ مواظب باش: این اشتباه در هر خطِ بازآموزیِ خودکاری که «دادهٔ اخیر» را هم آموزش می‌دهد و هم آزمون، حاضر است. نشانه‌اش این است که تقریباً هر مدعی تأیید می‌شود — و آن‌وقت به‌جای شک کردن به دروازه، خوشحال می‌شوی که بازآموزی همیشه جواب می‌دهد.

۵. دروازهٔ درست: تقسیمِ زمانی، و حاشیه‌ای بزرگ‌تر از نویز#

HOLDOUT = 3
MIN_SAMPLES = 300
MARGIN = 0.05                            # بزرگ‌تر از نویزِ ۳۶۰ نمونه، وگرنه به قرعه رأی می‌دهی


def build_and_gate(champion, day, window=30):
    """مدعی تا سه روز پیش آموزش می‌بیند و روی همان سه روزِ ندیده سنجیده می‌شود."""
    train_to = day - HOLDOUT
    challenger = fit_model(span(max(0, train_to - window), train_to, "B"))
    check = span(train_to, day, "B")
    if len(check) < MIN_SAMPLES:
        return challenger, False, "دادهٔ کافی نیست"
    new, old = accuracy(challenger, check), accuracy(champion, check)
    if new < old + MARGIN:
        return challenger, False, f"بهتر نشد: {new:.4f} در برابرِ {old:.4f}"
    sub = [r for r in check if r["channel"] == "حضوری"]
    if len(sub) >= 15 and accuracy(challenger, sub) < accuracy(champion, sub) - 0.02:
        return challenger, False, "زیرگروهِ حضوری بدتر شد"
    return challenger, True, f"تأیید: {new:.4f} در برابرِ {old:.4f}"


print(f"{'روز':>5}{'حکمِ دروازه':>44}{'حقیقت روی صادق':>18}{'درست بود؟':>12}")
for day in (43, 47, 55, 70):
    challenger, ok, why = build_and_gate(CHAMPION, day)
    real = accuracy(challenger, HONEST)
    right = ok == (real > accuracy(CHAMPION, HONEST))
    print(f"{day:>5}{why:>44}{real:>18.4f}{'بله' if right else 'خیر':>12}")
ahead = span(70, 73, "B")
print(f"مدعیِ برچسب‌رایگان روی سه روزِ ندیده: {accuracy(FREE, ahead):.4f}"
      f" در برابرِ قهرمان {accuracy(CHAMPION, ahead):.4f} → رد"
      f" · حقیقت روی صادق {accuracy(FREE, HONEST):.4f}")
  روز                                 حکمِ دروازه    حقیقت روی صادق   درست بود؟
   43           بهتر نشد: 0.7472 در برابرِ 0.7361            0.7433         بله
   47           بهتر نشد: 0.7222 در برابرِ 0.7250            0.7467         بله
   55           بهتر نشد: 0.7972 در برابرِ 0.7500            0.8008         خیر
   70              تأیید: 0.8889 در برابرِ 0.7444            0.8892         بله
مدعیِ برچسب‌رایگان روی سه روزِ ندیده: 0.6944 در برابرِ قهرمان 0.7111 → رد · حقیقت روی صادق 0.7408

سه از چهار درست، و آن یکی هم باید گفته شود.

دو تأییدِ غلطِ بخشِ قبل رفع شدند و مدعیِ برچسب‌رایگان هم رد شد. ولی مدعیِ روزِ ۵۵ که واقعاً بهتر بود (۰٫۸۰۰۸ در برابرِ ۰٫۷۴۹۲) اشتباهی رد شد، چون بهبودش روی سه روزِ آزمون ۰٫۰۴۷ بود و حاشیهٔ ما ۰٫۰۵.

این یک باگ نیست، قیمتِ همان حاشیه است. با ۳۶۰ نمونه، نوسانِ تصادفیِ اختلافِ دو مدل حدودِ دو تا سه واحد است؛ حاشیهٔ ۰٫۰۵ یعنی «تا وقتی بهبود دو برابرِ نویز نشده، حرفش را نزن». همان معامله‌ای که فصلِ ۴ روی هشدار داشت، این بار روی انتشار: حاشیهٔ کوچک‌تر مدعی‌های خوب را زودتر می‌پذیرد و مدعی‌های بد را هم راه می‌دهد.

سه قاعده که این دروازه رویشان ایستاده:

  • ۱) آزمون بعد از آموزش می‌آید، در زمان. هیچ ردیفی نباید در هر دو باشد.
  • ۲) کمینهٔ نمونه. بدونِ آن، دروازه به قرعه رأی می‌دهد — همان درسِ ترمِ ۴ فصلِ ۶.
  • ۳) مساوی یعنی نه. مدلِ زنده مزیتِ «شناخته‌شده بودن» دارد؛ برای عوض کردنش باید دلیلی بزرگ‌تر از نویز داشته باشی.

۶. راه‌انداز: کِی بازآموزی کنیم#

REF = [len(normalise(r["text"])) for r in span(30, 40, "B")]
EDGES = sorted(REF)[len(REF) // 6::len(REF) // 6][:5]


def shares(values):
    counts = [0] * (len(EDGES) + 1)
    for value in values:
        slot = 0
        while slot < len(EDGES) and value > EDGES[slot]:
            slot += 1
        counts[slot] += 1
    return [max(c, 1) / len(values) for c in counts]


REF_SHARE = shares(REF)


def psi_today(day):
    cur = [len(normalise(r["text"])) for r in span(day - 6, day + 1, "B")]
    return sum((q - p) * math.log(q / p) for p, q in zip(REF_SHARE, shares(cur)))


def simulate(trigger, use_gate=True):
    live, retrains, blocked, seen = CHAMPION, [], 0, []
    for day in range(40, 120):
        seen.append(accuracy(live, day_rows(day, "B")))
        if trigger(day, live):
            challenger, ok, _ = build_and_gate(live, day)
            if ok or not use_gate:
                live = challenger
                retrains.append(day)
            else:
                blocked += 1
    return {"retrains": retrains, "blocked": blocked,
            "bad_days": sum(a < BASE - 0.03 for a in seen),
            "mean": statistics.mean(seen), "final": accuracy(live, HONEST)}


TRIGGERS = {
    "هرگز": lambda day, live: False,
    "هر ۱۴ روز": lambda day, live: (day - 40) % 14 == 0 and day > 40,
    "رانشِ ورودی (PSI)": lambda day, live: psi_today(day) > 0.25,
    "کیفیت: ۳ از ۵ زیرِ ۰٫۸۵": lambda day, live: sum(
        sampled(live, d) < 0.85 for d in range(day - 4, day + 1)) >= 3,
}
RESULTS = {name: simulate(fn) for name, fn in TRIGGERS.items()}
print(f"{'راه‌انداز':<26}{'بازآموزی':>10}{'ردشده':>8}{'روزِ بد':>9}"
      f"{'میانگینِ سرو':>14}{'برچسبِ خریداری':>16}")
for name, res in RESULTS.items():
    labels = len(res["retrains"]) * 30 * DAY_SIZE + (80 * AUDIT if "کیفیت" in name else 0)
    print(f"{name:<26}{len(res['retrains']):>10}{res['blocked']:>8}{res['bad_days']:>9}"
          f"{res['mean']:>14.4f}{labels:>16}")
print("روزهای بازآموزی:")
for name, res in RESULTS.items():
    print(f"  {name:<26}{res['retrains']}")
راه‌انداز                   بازآموزی   ردشده  روزِ بد  میانگینِ سرو  برچسبِ خریداری
هرگز                               0       0       80        0.7491               0
هر ۱۴ روز                          1       4       35        0.8352            3600
رانشِ ورودی (PSI)                  0       0       80        0.7491               0
کیفیت: ۳ از ۵ زیرِ ۰٫۸۵            3      20       35        0.8391           15600
روزهای بازآموزی:
  هرگز                      []
  هر ۱۴ روز                 [68]
  رانشِ ورودی (PSI)         []
  کیفیت: ۳ از ۵ زیرِ ۰٫۸۵   [56, 60, 87]

سطرِ سوم را دو بار بخوان: راه‌اندازِ رانشِ ورودی در هشتاد روز صفر بار فعال شد.

این دقیقاً همان نتیجهٔ فصلِ ۲ است، حالا با قیمتش: هشتاد روزِ بد، دقیقاً به‌اندازهٔ «هرگز بازآموزی نکن». اگر سامانه‌ات فقط روی رانشِ ورودی بازآموزی می‌کند، در برابرِ رانشِ مفهوم هیچ سازوکاری ندارد — نه یک سازوکارِ ضعیف؛ هیچ.

و راه‌اندازِ ساعتی از راه‌اندازِ باهوش عقب نماند: «هر ۱۴ روز» با ۳۶۰۰ برچسب به میانگینِ ۰٫۸۳۵۲ رسید و «کیفیت» با ۱۵۶۰۰ برچسب به ۰٫۸۳۹۱. چهار برابر هزینه، چهل صدم واحد بهبود. ستونِ برچسب فقط بازآموزی‌های پذیرفته‌شده را می‌شمارد. مدعی پیش از دروازه ساخته می‌شود، پس اگر برچسبِ تلاش‌های ردشده را هم حساب کنی، عددها ۱۸۰۰۰ و ۸۷۶۰۰ می‌شوند و فاصله بیشتر هم می‌شود. اگر بودجهٔ برچسبت محدود است، این جدول می‌گوید سادگی را انتخاب کن.

ستونِ «ردشده» هم داستانِ خودش را دارد، و خواندنش یک جمع است: هر بار که راه‌انداز شلیک می‌کند، یا بازآموزی می‌شود یا دروازه ردش می‌کند. پس راه‌اندازِ کیفیت ۳ به‌علاوهٔ ۲۰ یعنی ۲۳ بار شلیک کرد و دروازه ۲۰ بارش را رد کرد؛ راه‌اندازِ ساعتی ۵ بار شلیک کرد و ۴ بارش رد شد. یعنی راه‌انداز خیلی بیشتر از آنچه لازم بود شلیک می‌کرد و دروازه جلویش را گرفت — و هر شلیک، هزینهٔ محاسبات و وقتِ آدم دارد حتی وقتی رد شود.

۷. دروازه چقدر می‌ارزد#

print(f"{'راه‌انداز':<26}{'دروازه':>10}{'بازآموزی':>10}{'روزِ بد':>9}"
      f"{'میانگینِ سرو':>14}{'دقتِ نهایی':>13}")
for name in ("هر ۱۴ روز", "کیفیت: ۳ از ۵ زیرِ ۰٫۸۵"):
    for use_gate in (True, False):
        res = RESULTS[name] if use_gate else simulate(TRIGGERS[name], use_gate=False)
        print(f"{name:<26}{'دارد' if use_gate else 'ندارد':>10}"
              f"{len(res['retrains']):>10}{res['bad_days']:>9}{res['mean']:>14.4f}"
              f"{res['final']:>13.4f}")
try:
    fit_model(span(70, 70, "B"))            # پنجره‌ای که مرزهایش را اشتباه حساب کرده‌ای
except ValueError as exc:
    print("ValueError:", exc)
راه‌انداز                     دروازه  بازآموزی  روزِ بد  میانگینِ سرو   دقتِ نهایی
هر ۱۴ روز                       دارد         1       35        0.8352       0.8908
هر ۱۴ روز                      ندارد         5       33        0.8354       0.8817
کیفیت: ۳ از ۵ زیرِ ۰٫۸۵         دارد         3       35        0.8391       0.8783
کیفیت: ۳ از ۵ زیرِ ۰٫۸۵        ندارد        18       27        0.8522       0.8900
ValueError: empty vocabulary; perhaps the documents only contain stop words

و اینجا یک نتیجهٔ ناخوشایند داریم که نباید پنهانش کرد: در این اجرا، دروازه ضرر داد.

راه‌اندازِ کیفیت بدونِ دروازه ۲۷ روزِ بد و میانگینِ ۰٫۸۵۲۲ داشت؛ با دروازه ۳۵ روزِ بد و ۰٫۸۳۹۱. دلیلش مدعیِ روزِ ۵۵ نیست، چون یک روز بعد مدعیِ روزِ ۵۶ تأیید گرفت. دلیلِ اصلی ردِ مدعیِ روزِ ۷۲ است: بدونِ دروازه مدل آنجا تازه شد، ولی با دروازه تا روزِ ۸۷ عوض نشد، و هفت روزِ بدی که فقط مسیرِ دروازه‌دار داشت (۷۴، ۷۵ و ۸۳ تا ۸۷) همان‌جا آمدند.

پس دروازه به چه درد می‌خورد؟ به همان دردی که هر بیمه‌نامه‌ای: در اجراهایی که همه‌چیز خوب پیش می‌رود، فقط حق‌بیمه‌اش را می‌بینی. در همین فصل سه مدعیِ بدتر ساختیم — دو تا از بازآموزیِ زودهنگام و یکی از برچسبِ رایگان — و دروازه هر سه را گرفت. بدونِ دروازه، آن مدعیِ برچسب‌رایگان مستقیم می‌رفت روی تولید.

ولی «بیمه» یک استعاره است، نه یک معیار — و این فصل حق ندارد با استعاره تمام شود. معیارِ عملی این است:

دروازه را وقتی نگه دار که هزینهٔ یک مدلِ بدِ منتشرشده از هزینهٔ چند روز تأخیر بزرگ‌تر باشد — و آن نسبت را با همان ماتریسِ هزینهٔ ترمِ ۳ فصلِ ۷ حساب کن، نه با حس.

و حساب کردنش سه عدد می‌خواهد، هر سه از جدولی که همین حالا داری. اول، هزینهٔ روزِ بد: در همان ماتریس، هر پیش‌بینیِ ازدست‌رفته MISS واحد خرج دارد و هر هشدارِ کاذب ALARM واحد، پس اختلافِ دو ردیفِ جدولِ بالا را می‌شود مستقیم به واحدِ هزینه ترجمه کرد. دوم، هزینهٔ تأخیر: چند روز طول می‌کشد تا یک مدعیِ ردشده دوباره ساخته و تأیید شود، ضربدرِ همان هزینهٔ روزانه. سوم، احتمال: از همین فصل داری که دروازه چند مدعی را درست رد کرد و چند تا را اشتباه.

اگر ضربِ اول از ضربِ دوم بزرگ‌تر شد، دروازه بماند؛ وگرنه برش دار و در عوض روی تشخیصِ سریع‌تر سرمایه‌گذاری کن. توجه کن که این عدد برای هر سرویسی فرق دارد و در یک سرویسِ پزشکی و یک سرویسِ پیشنهادِ فیلم دو جوابِ کاملاً متفاوت می‌دهد — که دقیقاً چیزی است که «بیمه» به تو نمی‌گفت.

قاعدهٔ صادقانه: اگر دروازه‌ات هیچ‌وقت چیزی را رد نکرده، یا خوش‌شانس بوده‌ای یا شل است؛ و اگر هر چیزی را رد می‌کند، حاشیه‌اش را باید با نویزِ نمونه‌ات دوباره حساب کنی. هر دو حالت با شمردن معلوم می‌شود، نه با بحث.

📏 اندازه بگیر: با چه چیزی مقایسه شد؟ با قهرمان — همان مدل، همان مجموعهٔ صادق — و با «هرگز بازآموزی نکن» به‌عنوان کفِ مقایسه. روی کدام داده؟ ۱۲۰۰ تیکت از روزهای ۱۱۰ تا ۱۱۹ که در هیچ پنجرهٔ آموزشی و هیچ دروازه‌ای استفاده نشدند. با چند seed؟ سه لحظهٔ بازآموزی × پنج پنجره = ۱۵ مدلِ مستقل در بخشِ ۲، و چهار راه‌انداز در بخشِ ۶، که دو تایشان در بخشِ ۷ با هر دو حالتِ دروازه اجرا شدند. قرعهٔ نمونهٔ روزانه از شمارهٔ روز می‌آید، پس همهٔ این عددها تکرارپذیرند.

✅ چک کن: برای خطِ بازآموزیِ خودت این سه سؤال را جواب بده و جواب‌ها را جایی بنویس: کدام داده در آموزشِ مدعی است؟ کدام داده در آزمونش؟ آیا این دو هیچ ردیفِ مشترکی دارند؟ اگر برای سؤالِ سوم مطمئن نیستی، جواب تقریباً همیشه «بله» است — و آن‌وقت هر عددی که دروازه‌ات می‌دهد، خوش‌بینانه است.

🔧 اگر کار نکرد: اگر مرزِ پنجره را اشتباه حساب کنی و پنجره خالی شود، این را می‌گیری: ValueError: empty vocabulary; perhaps the documents only contain stop words. پیام کاملاً گمراه‌کننده است و تو را دنبالِ ایست‌واژه‌ها می‌فرستد، در حالی که مسئله این است که هیچ سندی وجود ندارد. قبل از هر fit، len دادهٔ آموزش را چاپ کن — این ساده‌ترین محافظِ ممکن است و همان چیزی است که یک بازآموزیِ خودکارِ نیمه‌شب لازمش دارد.

🤖 از دستیارت بپرس: «online learning و incremental learning چه فرقی با بازآموزیِ دوره‌ای دارند و چه خطراتی اضافه می‌کنند؟» بعد این را بپرس: «اگر مدلم را هر شب بازآموزی کنم، چطور می‌فهمم افتِ فردا از دادهٔ تازه است یا از خودِ بازآموزی؟» — جوابِ درست به نگه‌داشتنِ مدلِ دیروز به‌عنوانِ قهرمان و مقایسهٔ روزانه می‌رسد.

واژه‌های تازهٔ این فصل#

کلمه تلفظ به حروف فارسی یعنی چه
retraining trigger ری‌ترینینگ تریگر شرطی که بازآموزی را شروع می‌کند
training window ترینینگ ویندو بازهٔ زمانیِ داده‌ای که مدلِ تازه رویش آموزش می‌بیند
champion / challenger چمپیون / چلنجر مدلِ زنده در برابرِ مدلِ تازه‌ای که می‌خواهد جایش را بگیرد
promotion gate پروموشن گیت شرطی که بدونِ برقراری‌اش مدلِ تازه زنده نمی‌شود
out-of-time split اوت‌آو‌تایم اسپلیت آزمون روی بازه‌ای که کاملاً بعد از بازهٔ آموزش است
stale data استیل دیتا دادهٔ کهنه‌ای که به قاعده‌ای مربوط است که دیگر برقرار نیست

تمرین‌ها

اول خودت فکر کن یا امتحان کن — بعد اینجا را باز کن.

در فصل بعد#

تا اینجا همه‌چیز آرام بود: می‌دیدیم، هشدار می‌گرفتیم، بازآموزی می‌کردیم. فصلِ بعد روزِ بد است.

یک حادثهٔ واقعی را با ساعتِ مجازی بازپخش می‌کنیم و خطِ زمانی‌اش را کد تولید می‌کند، نه حافظهٔ کسی. بعد دو استراتژی را می‌شماریم: اول مهار کن، یا اول بفهم چرا — و اختلافشان با کاربرِ آسیب‌دیده اندازه‌گیری می‌شود.

به آخر این فصل رسیدی!

اگر ساختی و جواب داد، این دکمه مال توست.