داربست — خودآموز MLOps و مهندسی سامانه‌های هوش مصنوعی (پیشرفته)

فصل ۵ از ۸

پیشرفت ترم
۰٪

در این فصل چه یاد می‌گیری#

دو پیکربندی که فقط در یک عدد فرق دارند. با seed=0 اولی ۰٫۷۱۲۶ و دومی ۰٫۷۰۴۵ می‌دهد — اولی برنده است. با ده seed، میانگینشان ۰٫۶۹۵۳ و ۰٫۶۹۸۷ می‌شود: دومی جلو افتاد، و آزمونِ جایگشت می‌گوید حتی همین هم معنادار نیست.

سه ابزار که این را ممکن می‌کنند و هر سه‌شان چند خط کدند:

  • جفت‌کردن، که بدونِ یک اجرای اضافه نویز را ۳٫۴ برابر کم می‌کند.
  • آزمونِ جایگشت، که با ۱۰۲۴ ترکیبِ علامت یک p دقیق می‌دهد.
  • و شمردنِ دامِ مقایسهٔ چندگانه: همین یک پیکربندی را بیست بار اجرا کن و بهترینش را گزارش کن — ۰٫۰۳۱ از عددِ واقعی‌اش جلو زده‌ای.

دو خط‌کش که یکی روی یک تختهٔ لرزان و دیگری روی یک تختهٔ محکم بسته شده

آخر این فصل می‌توانی:

  • آزمونِ جفت‌شده بنویسی و بگویی چرا از مقایسهٔ دو میانگین دقیق‌تر است
  • p را با آزمونِ جایگشت از صفر حساب کنی، بدونِ هیچ کتابخانهٔ آماری
  • بگویی یک تفاوت واقعی است یا نویز، و عددش را بدهی
  • سوگیریِ انتخاب را اندازه بگیری و نشان بدهی چه چیزی خنثایش می‌کند

قبل از شروع#

از فصلِ ۱ و ۴: نوسانِ seed روی این پیکره حدودِ ۰٫۰۳۷ است، و در فصلِ ۴ دو بار «این دو داخلِ نویزِ همدیگرند» را با چشم گفتیم.

از ژرفا ترمِ ۵: bootstrap — نمونه‌گیریِ مکررِ با جایگذاری برای تخمینِ نوسانِ یک عدد. همان‌جا هم eval نشان داد یک مجموعهٔ کوچک تفاوت‌های کوچک را نمی‌بیند. اینجا همان ایده روی اجراها به‌کار می‌رود، نه روی نمونه‌ها.

📓 نوت‌بوک: نوت‌بوک این فصل را در Colab باز کن — همهٔ کدهای این فصل آماده و به‌ترتیب داخلش هست.

اجرا زمانِ تقریبی
کلِ نوت‌بوک روی CPU یک تا دو دقیقه
GPU لازم نیست

۱. یک اجرا، یک نتیجه‌گیریِ غلط#

import statistics

A = {"features": "text+meta", "balance": "weight", "min_df": 1}
C = {"features": "text+meta", "balance": "weight", "min_df": 3}

print("با seed=0 :", run(A | {"seed": 0})["f1"], "در برابرِ", run(C | {"seed": 0})["f1"])
با seed=0 : 0.7126 در برابرِ 0.7045

۰٫۷۱۲۶ در برابرِ ۰٫۷۰۴۵. A هشت هزارمِ واحد جلوتر است. اگر همین‌جا تمامش کنی، در گزارش می‌نویسی «min_df=1 بهتر است».

SEEDS = list(range(10))
fa = [run(A | {"seed": s})["f1"] for s in SEEDS]
fc = [run(C | {"seed": s})["f1"] for s in SEEDS]
print(f"A (min_df=1): میانگین {statistics.mean(fa):.4f} · "
      f"دامنه [{min(fa):.4f}–{max(fa):.4f}]")
print(f"C (min_df=3): میانگین {statistics.mean(fc):.4f} · "
      f"دامنه [{min(fc):.4f}–{max(fc):.4f}]")
print("A چند بار از C جلو زد:", sum(1 for x, y in zip(fa, fc) if x > y), "از 10")
A (min_df=1): میانگین 0.6953 · دامنه [0.6570–0.7273]
C (min_df=3): میانگین 0.6987 · دامنه [0.6713–0.7402]
A چند بار از C جلو زد: 4 از 10

نتیجه برعکس شد، و A فقط در ۴ اجرا از ۱۰ اجرا جلو بود.

و به دامنه‌ها نگاه کن: ۰٫۶۵۷ تا ۰٫۷۲۷ در برابرِ ۰٫۶۷۱ تا ۰٫۷۴۰. تقریباً کاملاً روی هم افتاده‌اند. با این دو دامنه هیچ ادعایی نمی‌شود کرد — ولی دقیقاً همین‌جاست که بیشترِ گزارش‌ها متوقف می‌شوند و می‌نویسند «تفاوت معنادار نبود».

می‌شود بهتر از این عمل کرد، و بدونِ یک اجرای اضافه.

۲. جفت‌کردن: همان اجراها، نویزِ کمتر#

نکته این است که seed شمارهٔ ۳ برای هر دو پیکربندی همان تقسیمِ داده را می‌سازد. پس اگر آن تقسیم اتفاقاً سخت بوده، هر دو را با هم پایین برده. آن سختی یک عاملِ مشترک است و با تفریق حذف می‌شود.

import math

d = [x - y for x, y in zip(fa, fc)]
sd_a, sd_c, sd_d = (statistics.pstdev(v) for v in (fa, fc, d))
unpaired = math.sqrt(sd_a ** 2 + sd_c ** 2)
print(f"انحرافِ معیارِ A            : {sd_a:.4f}")
print(f"انحرافِ معیارِ C            : {sd_c:.4f}")
print(f"انحرافِ اختلاف، جفت‌نشده    : {unpaired:.4f}")
print(f"انحرافِ اختلافِ جفت‌شده      : {sd_d:.4f}")
print(f"جفت‌کردن نویز را چند برابر کم کرد: {unpaired / sd_d:.1f}")
انحرافِ معیارِ A            : 0.0189
انحرافِ معیارِ C            : 0.0186
انحرافِ اختلاف، جفت‌نشده    : 0.0265
انحرافِ اختلافِ جفت‌شده      : 0.0079
جفت‌کردن نویز را چند برابر کم کرد: 3.4

۰٫۰۲۶۵ شد ۰٫۰۰۷۹، با همان بیست اجرا.

این یعنی بخشِ بزرگی از پراکندگیِ هر دو ستون مالِ خودشان نبود، مالِ تقسیمِ داده بود — و چون هر دو یک تقسیم را دیدند، آن بخش با تفریق رفت.

🌱 ریشه‌اش کجاست: اینکه «میانگین به‌تنهایی هیچ نمی‌گوید و همیشه باید پراکندگی کنارش باشد» درسِ ریشه، ترم ۶ فصل ۶ — میانگین، میانه، پراکندگی است، و همان‌جا این جملهٔ دقیق آمده: «مقایسهٔ دو گروه فقط از روی میانگینشان، اگر پراکندگی‌ها متفاوت باشد، تقریباً بی‌معنی است.» آنچه اینجا اضافه می‌کنیم یک قدم جلوتر است: وقتی دو گروه یک عاملِ مشترک دارند، به‌جای مقایسهٔ دو میانگین، میانگینِ اختلاف‌ها را نگاه کن — و آن ۳٫۴ برابر دقیقاً همان چیزی است که این کار می‌خرد.

۳. p، بدونِ هیچ کتابخانهٔ آماری#

سؤالِ درست این است: اگر این دو پیکربندی واقعاً هیچ فرقی نداشته باشند، چقدر پیش می‌آید که اختلافی به بزرگیِ چیزی که دیدیم پیدا شود؟

اگر فرقی نباشد، علامتِ هر اختلاف تصادفی است — به‌همان اندازه ممکن بود مثبت باشد یا منفی. پس همهٔ ۱۰۲۴ ترکیبِ ممکنِ علامت را می‌سازیم و می‌شماریم چند تایشان به‌اندازهٔ مالِ ما یا بیشتر افراطی‌اند.

import itertools
import random


def sign_flip_p(diffs):
    """آزمونِ جایگشتِ دقیق: هر ۲ به توانِ n ترکیبِ علامت را می‌شمارد."""
    observed = abs(statistics.mean(diffs))
    total = extreme = 0
    for signs in itertools.product((1, -1), repeat=len(diffs)):
        total += 1
        if abs(statistics.mean([s * v for s, v in zip(signs, diffs)])) >= observed:
            extreme += 1
    return extreme / total


def paired_bootstrap(diffs, rounds=2000, seed=0):
    rng = random.Random(seed)
    n = len(diffs)
    means = sorted(statistics.mean([diffs[rng.randrange(n)] for _ in range(n)])
                   for _ in range(rounds))
    return means[int(0.05 * rounds)], means[int(0.95 * rounds)]


low, high = paired_bootstrap(d)
print(f"میانگینِ اختلافِ جفت‌شده : {statistics.mean(d):+.4f}")
print(f"بازهٔ ۹۰٪ با bootstrap  : {low:+.4f} تا {high:+.4f}")
print(f"p آزمونِ جایگشت        : {sign_flip_p(d):.4f}  (روی {2 ** len(d)} ترکیب)")
میانگینِ اختلافِ جفت‌شده : -0.0034
بازهٔ ۹۰٪ با bootstrap  : -0.0072 تا +0.0008
p آزمونِ جایگشت        : 0.2266  (روی 1024 ترکیب)

بازه صفر را در بر می‌گیرد و p برابرِ ۰٫۲۳ است. یعنی: نمی‌دانیم.

نه اینکه «فرقی ندارند» — این دو جمله یکی نیستند و خلطشان یکی از رایج‌ترین اشتباه‌هاست. چیزی که داریم می‌گوییم این است: با ده seed، اگر تفاوتی هم هست، آن‌قدر کوچک است که این اندازه‌گیری نمی‌بیندش.

🌱 ریشه‌اش کجاست: آن عددِ ۰٫۲۲۶۶ یک احتمال است، و «احتمال» اینجا دقیقاً همان معنایی را دارد که ریشه، ترم ۶ فصل ۲ — احتمال یعنی چه می‌سازد: نسبتِ بلندمدت. ما ۱۰۲۴ دنیای ممکن ساختیم و شمردیم در ۲۳۲تایشان اختلافی به این بزرگی یا بزرگ‌تر دیده می‌شود. این «شمردن» است، نه فرمول — و برای همین است که آزمونِ جایگشت را می‌شود در شش خط نوشت.

۴. جفت‌کردن هر دو طرف را می‌بُرد#

آن ابزار فقط ادعاهای پوچ را رد نمی‌کند؛ تفاوت‌های واقعیِ کوچک را هم پیدا می‌کند.

D = {"features": "text+meta", "balance": "weight", "min_df": 1, "C": 3.0}
fd = [run(D | {"seed": s})["f1"] for s in SEEDS]
d2 = [x - y for x, y in zip(fa, fd)]
low2, high2 = paired_bootstrap(d2)
print("با seed=0 اختلافِ A و D فقط:", round(fa[0] - fd[0], 4))
print(f"میانگینِ اختلافِ جفت‌شده : {statistics.mean(d2):+.4f}")
print(f"بازهٔ ۹۰٪ با bootstrap  : {low2:+.4f} تا {high2:+.4f}")
print(f"p آزمونِ جایگشت        : {sign_flip_p(d2):.4f}")
print("A چند بار از D جلو زد   :", sum(1 for v in d2 if v > 0), "از 10")
با seed=0 اختلافِ A و D فقط: 0.0063
میانگینِ اختلافِ جفت‌شده : +0.0159
بازهٔ ۹۰٪ با bootstrap  : +0.0109 تا +0.0213
p آزمونِ جایگشت        : 0.0020
A چند بار از D جلو زد   : 10 از 10

این دو نتیجه را کنارِ هم بگذار و کلِ فصل همین است:

  • A در برابرِ C: با یک seed اختلافِ ۰٫۰۰۸۱ — و واقعی نبود.
  • A در برابرِ D: با یک seed اختلافِ ۰٫۰۰۶۳ — یعنی حتی کوچک‌تر — و کاملاً واقعی است. ده از ده، با p برابرِ ۰٫۰۰۲.

پس بزرگیِ اختلاف در یک اجرا هیچ چیزی دربارهٔ واقعی بودنش نمی‌گوید. چیزی که می‌گوید، پایداریِ اختلاف روی seedهای مختلف است.

📏 اندازه بگیر: با چه چیزی مقایسه شد؟ هر پیکربندی با رقیبش، روی همان ده تقسیمِ داده — که همان چیزی است که جفت‌شدن یعنی. روی کدام داده؟ تقسیمِ تصادفیِ ۲۵ درصدی؛ برای ادعایی دربارهٔ مشتریِ تازه باید split="group" می‌شد و عددها کوچک‌تر می‌شدند. با چند seed؟ ده‌تا، و آزمونِ جایگشت روی همان ده‌تا دقیق است، نه تقریبی — چون هر ۱۰۲۴ ترکیب شمرده شد.

✅ چک کن: SEEDS را به پنج‌تا کم کن و همان مقایسهٔ A و D را بزن. p چه می‌شود؟ کمترین p ممکن با پنج جفت 2/32 = 0.0625 است — یعنی با پنج seed هیچ‌وقت نمی‌توانی به p کمتر از ۰٫۰۶ برسی، هر چقدر هم اختلاف بزرگ باشد. این سقف را قبل از طراحیِ آزمایش بدان، نه بعدش.

۵. دامِ مقایسهٔ چندگانه#

twenty = [run(A | {"seed": s})["f1"] for s in range(20)]
print(f"همان یک پیکربندی، ۲۰ اجرا: میانگین {statistics.mean(twenty):.4f}")
print(f"بهترینِ آن ۲۰ اجرا       : {max(twenty):.4f}")
print(f"تورمِ «بهترین را گزارش کن»: {max(twenty) - statistics.mean(twenty):+.4f}")
همان یک پیکربندی، ۲۰ اجرا: میانگین 0.6963
بهترینِ آن ۲۰ اجرا       : 0.7273
تورمِ «بهترین را گزارش کن»: +0.0310

یک پیکربندی. هیچ‌چیز عوض نشده. و «بهترین نتیجه‌ای که گرفتم» ۰٫۰۳۱ بالاتر از حقیقت است.

این عدد را با هر «بهبود»ی که در این ترم دیده‌ای مقایسه کن. بیشترشان از این کوچک‌ترند. یعنی صرفِ اجرا کردنِ چیزی بیست بار و گزارشِ بهترینش، بزرگ‌تر از اکثرِ پیشرفت‌های واقعی است.

حالا سؤالِ عملی: وقتی بیست پیکربندیِ متفاوت را مقایسه می‌کنی و برنده را برمی‌داری، چقدر از برتریِ برنده همین تورم است؟

CANDIDATES = [{"features": "text+meta", "balance": b, "min_df": m, "C": c}
              for b in ("weight", "oversample")
              for m in (1, 2, 3, 5)
              for c in (0.3, 1.0, 3.0)][:20]
FINAL = list(range(5, 10))
final = [statistics.mean([run(c | {"seed": s})["f1"] for s in FINAL])
         for c in CANDIDATES]


def selection_bias(pick_seeds):
    """چقدر از برتریِ برنده فقط از خودِ انتخاب کردن آمده، نه از خودِ پیکربندی."""
    pick = [statistics.mean([run(c | {"seed": s})["f1"] for s in pick_seeds])
            for c in CANDIDATES]
    best = max(range(len(CANDIDATES)), key=lambda i: pick[i])
    shift = statistics.mean([p - f for p, f in zip(pick, final)])
    return pick[best], final[best], shift, (pick[best] - final[best]) - shift


print(f"  {'انتخاب با':<12}{'برندهٔ انتخاب':>14}{'همان در نهایی':>15}"
      f"{'جابه‌جاییِ همه':>15}{'سوگیریِ انتخاب':>16}")
for name, seeds in (("یک seed", [0]), ("پنج seed", list(range(5)))):
    p_best, f_best, shift, bias = selection_bias(seeds)
    print(f"  {name:<12}{p_best:>14.4f}{f_best:>15.4f}{shift:>15.4f}{bias:>16.4f}")
print("بهترینِ ارزیابیِ نهایی:", round(max(final), 4))
  انتخاب با    برندهٔ انتخاب  همان در نهایی جابه‌جاییِ همه  سوگیریِ انتخاب
  یک seed             0.7126         0.6974         0.0096          0.0056
  پنج seed            0.6957         0.7018        -0.0062          0.0000
بهترینِ ارزیابیِ نهایی: 0.7018

ستونِ آخر جوابِ فصل است: با یک seed سوگیریِ انتخاب ۰٫۰۰۵۶ بود؛ با پنج seed صفر شد.

و ستونِ سومش را جدی بگیر، چون بدونش کلِ این اندازه‌گیری غلط می‌شد. «جابه‌جاییِ همه» می‌گوید مجموعهٔ seedهای ارزیابی به‌طورِ کلی از مجموعهٔ انتخاب آسان‌تر یا سخت‌تر بوده — و این جابه‌جایی روی هر بیست نامزد یکسان اثر می‌گذارد، پس ربطی به انتخاب ندارد و باید از افتِ برنده کم شود. اگر این تصحیح را نمی‌کردیم، ردیفِ دوم «افتِ منفی» نشان می‌داد و به نتیجهٔ بی‌معنیِ «انتخاب کردن نتیجه را بهتر می‌کند» می‌رسیدیم.

و نتیجهٔ منفیِ مهم‌تر: در ردیفِ دوم هیچ سوگیری‌ای پیدا نکردیم. یعنی مقایسهٔ چندگانه یک نفرین نیست که همیشه با تو باشد؛ یک مسئلهٔ اندازه‌گیری است که با میانگین‌گیری روی چند seed قابلِ حل است. ولی اگر بیست نامزد را با یک seed بسنجی، همان ۰٫۰۰۵۶ را در گزارشت داری و اسمش را می‌گذاری بهبود.

سه قاعدهٔ عملی که از این فصل بیرون می‌آید:

  • ۱) قبل از دیدنِ نتیجه بگو چه چیزی را با چه چیزی مقایسه می‌کنی. هر مقایسه‌ای که بعد از دیدنِ جدول به ذهنت رسیده، یک مقایسهٔ اضافه است و شانسِ خطا را بالا می‌برد.
  • ۲) برای انتخاب و برای گزارش، دو مجموعهٔ seed جدا به‌کار ببر. عددی که در گزارش می‌نویسی باید از seedهایی بیاید که در انتخاب دخالت نداشتند.
  • ۳) اگر با k مقایسه سروکار داری، آستانه‌ات را سخت‌تر کن. ساده‌ترین شکلش تقسیمِ آستانه بر k است: با بیست مقایسه، p کمتر از ۰٫۰۵ کافی نیست؛ ۰٫۰۰۲۵ لازم است.

🔧 اگر کار نکرد: اگر sign_flip_p را با seedهای زیاد صدا بزنی، زمان با هر seed اضافه دو برابر می‌شود: 2 ** 15 یعنی ۳۲۷۶۸ ترکیب و چند ثانیه صبر، 2 ** 20 یعنی بیش از یک میلیون ترکیب و حدودِ یک دقیقه، و با سی seed نوت‌بوک عملاً قفل می‌شود. علاجش این نیست که صبر کنی؛ این است که به‌جای شمردنِ همهٔ ترکیب‌ها، چند هزارتا از آن‌ها را تصادفی نمونه بگیری — یعنی [rng.choice((1, -1)) for _ in diffs] در یک حلقهٔ ۱۰۰۰۰تایی. جوابِ تقریبی در کمتر از یک ثانیه بهتر از جوابِ دقیقی است که هرگز نمی‌آید.

🤖 از دستیارت بپرس: «تفاوتِ آزمونِ جفت‌شده با آزمونِ مستقل چیست و چرا جفت‌شده توانِ بیشتری دارد؟» بعد این را هم بپرس: «اگر بخواهم سه مدل را با هم مقایسه کنم نه دوتا، چه چیزی عوض می‌شود؟» — جوابِ دوم دقیقاً همان دامِ مقایسهٔ چندگانه است، این بار از سمتِ تعدادِ مدل‌ها.

واژه‌های تازهٔ این فصل#

کلمه تلفظ به حروف فارسی یعنی چه
paired test پیرد تست مقایسهٔ دو گزینه روی همان شرایط، با تفریقِ نتیجه‌ها
permutation test پرمیوتیشن تست شمردنِ همهٔ ترتیب‌های ممکن برای گرفتنِ p
p-value پی-ولیو احتمالِ دیدنِ چنین اختلافی وقتی هیچ تفاوتی وجود ندارد
confidence interval کانفیدنس اینتروال بازه‌ای که مقدارِ واقعی محتمل است داخلش باشد
multiple comparisons مالتیپل کامپریزنز زیاد شدنِ شانسِ خطا وقتی مقایسه‌های زیادی می‌کنی
selection bias سلکشن بایاس تورمِ نتیجه فقط به‌خاطرِ اینکه بهترین را انتخاب کرده‌ای

تمرین‌ها

اول خودت فکر کن یا امتحان کن — بعد اینجا را باز کن.

در فصل بعد#

حالا می‌توانی برنده را صادقانه انتخاب کنی. مسئلهٔ بعدی نگه‌داشتنِ آن برنده است: فایلِ مدل کجا می‌رود، چطور به اجرایی که ساختش وصل می‌ماند، و چطور شش ماه بعد می‌فهمی مدلی که در تولید است دقیقاً از کدام داده و کدام کد درآمده. فصلِ بعد رجیستریِ مدل را می‌سازد — و اولین چیزی که ثابت می‌کنیم این است که مدلِ بارگذاری‌شده از رجیستری دقیقاً همان عددی را می‌دهد که موقعِ ثبت گزارش شده بود.

به آخر این فصل رسیدی!

اگر ساختی و جواب داد، این دکمه مال توست.