در این فصل چه یاد میگیری#
دو پیکربندی که فقط در یک عدد فرق دارند. با seed=0 اولی ۰٫۷۱۲۶ و دومی ۰٫۷۰۴۵ میدهد — اولی برنده است. با ده seed، میانگینشان ۰٫۶۹۵۳ و ۰٫۶۹۸۷ میشود: دومی جلو افتاد، و آزمونِ جایگشت میگوید حتی همین هم معنادار نیست.
سه ابزار که این را ممکن میکنند و هر سهشان چند خط کدند:
- جفتکردن، که بدونِ یک اجرای اضافه نویز را ۳٫۴ برابر کم میکند.
- آزمونِ جایگشت، که با ۱۰۲۴ ترکیبِ علامت یک
pدقیق میدهد. - و شمردنِ دامِ مقایسهٔ چندگانه: همین یک پیکربندی را بیست بار اجرا کن و بهترینش را گزارش کن — ۰٫۰۳۱ از عددِ واقعیاش جلو زدهای.

آخر این فصل میتوانی:
- آزمونِ جفتشده بنویسی و بگویی چرا از مقایسهٔ دو میانگین دقیقتر است
pرا با آزمونِ جایگشت از صفر حساب کنی، بدونِ هیچ کتابخانهٔ آماری- بگویی یک تفاوت واقعی است یا نویز، و عددش را بدهی
- سوگیریِ انتخاب را اندازه بگیری و نشان بدهی چه چیزی خنثایش میکند
قبل از شروع#
از فصلِ ۱ و ۴: نوسانِ seed روی این پیکره حدودِ ۰٫۰۳۷ است، و در فصلِ ۴ دو بار «این دو داخلِ نویزِ همدیگرند» را با چشم گفتیم.
از ژرفا ترمِ ۵: bootstrap — نمونهگیریِ مکررِ با جایگذاری برای تخمینِ نوسانِ یک عدد. همانجا هم eval نشان داد یک مجموعهٔ کوچک تفاوتهای کوچک را نمیبیند. اینجا همان ایده روی اجراها بهکار میرود، نه روی نمونهها.
📓 نوتبوک: نوتبوک این فصل را در Colab باز کن — همهٔ کدهای این فصل آماده و بهترتیب داخلش هست.
| اجرا | زمانِ تقریبی |
|---|---|
| کلِ نوتبوک روی CPU | یک تا دو دقیقه |
| GPU | لازم نیست |
۱. یک اجرا، یک نتیجهگیریِ غلط#
import statistics
A = {"features": "text+meta", "balance": "weight", "min_df": 1}
C = {"features": "text+meta", "balance": "weight", "min_df": 3}
print("با seed=0 :", run(A | {"seed": 0})["f1"], "در برابرِ", run(C | {"seed": 0})["f1"])
با seed=0 : 0.7126 در برابرِ 0.7045
۰٫۷۱۲۶ در برابرِ ۰٫۷۰۴۵. A هشت هزارمِ واحد جلوتر است. اگر همینجا تمامش کنی، در گزارش مینویسی «min_df=1 بهتر است».
SEEDS = list(range(10))
fa = [run(A | {"seed": s})["f1"] for s in SEEDS]
fc = [run(C | {"seed": s})["f1"] for s in SEEDS]
print(f"A (min_df=1): میانگین {statistics.mean(fa):.4f} · "
f"دامنه [{min(fa):.4f}–{max(fa):.4f}]")
print(f"C (min_df=3): میانگین {statistics.mean(fc):.4f} · "
f"دامنه [{min(fc):.4f}–{max(fc):.4f}]")
print("A چند بار از C جلو زد:", sum(1 for x, y in zip(fa, fc) if x > y), "از 10")
A (min_df=1): میانگین 0.6953 · دامنه [0.6570–0.7273]
C (min_df=3): میانگین 0.6987 · دامنه [0.6713–0.7402]
A چند بار از C جلو زد: 4 از 10
نتیجه برعکس شد، و A فقط در ۴ اجرا از ۱۰ اجرا جلو بود.
و به دامنهها نگاه کن: ۰٫۶۵۷ تا ۰٫۷۲۷ در برابرِ ۰٫۶۷۱ تا ۰٫۷۴۰. تقریباً کاملاً روی هم افتادهاند. با این دو دامنه هیچ ادعایی نمیشود کرد — ولی دقیقاً همینجاست که بیشترِ گزارشها متوقف میشوند و مینویسند «تفاوت معنادار نبود».
میشود بهتر از این عمل کرد، و بدونِ یک اجرای اضافه.
۲. جفتکردن: همان اجراها، نویزِ کمتر#
نکته این است که seed شمارهٔ ۳ برای هر دو پیکربندی همان تقسیمِ داده را میسازد. پس اگر آن تقسیم اتفاقاً سخت بوده، هر دو را با هم پایین برده. آن سختی یک عاملِ مشترک است و با تفریق حذف میشود.
import math
d = [x - y for x, y in zip(fa, fc)]
sd_a, sd_c, sd_d = (statistics.pstdev(v) for v in (fa, fc, d))
unpaired = math.sqrt(sd_a ** 2 + sd_c ** 2)
print(f"انحرافِ معیارِ A : {sd_a:.4f}")
print(f"انحرافِ معیارِ C : {sd_c:.4f}")
print(f"انحرافِ اختلاف، جفتنشده : {unpaired:.4f}")
print(f"انحرافِ اختلافِ جفتشده : {sd_d:.4f}")
print(f"جفتکردن نویز را چند برابر کم کرد: {unpaired / sd_d:.1f}")
انحرافِ معیارِ A : 0.0189
انحرافِ معیارِ C : 0.0186
انحرافِ اختلاف، جفتنشده : 0.0265
انحرافِ اختلافِ جفتشده : 0.0079
جفتکردن نویز را چند برابر کم کرد: 3.4
۰٫۰۲۶۵ شد ۰٫۰۰۷۹، با همان بیست اجرا.
این یعنی بخشِ بزرگی از پراکندگیِ هر دو ستون مالِ خودشان نبود، مالِ تقسیمِ داده بود — و چون هر دو یک تقسیم را دیدند، آن بخش با تفریق رفت.
🌱 ریشهاش کجاست: اینکه «میانگین بهتنهایی هیچ نمیگوید و همیشه باید پراکندگی کنارش باشد» درسِ ریشه، ترم ۶ فصل ۶ — میانگین، میانه، پراکندگی است، و همانجا این جملهٔ دقیق آمده: «مقایسهٔ دو گروه فقط از روی میانگینشان، اگر پراکندگیها متفاوت باشد، تقریباً بیمعنی است.» آنچه اینجا اضافه میکنیم یک قدم جلوتر است: وقتی دو گروه یک عاملِ مشترک دارند، بهجای مقایسهٔ دو میانگین، میانگینِ اختلافها را نگاه کن — و آن ۳٫۴ برابر دقیقاً همان چیزی است که این کار میخرد.
۳. p، بدونِ هیچ کتابخانهٔ آماری#
سؤالِ درست این است: اگر این دو پیکربندی واقعاً هیچ فرقی نداشته باشند، چقدر پیش میآید که اختلافی به بزرگیِ چیزی که دیدیم پیدا شود؟
اگر فرقی نباشد، علامتِ هر اختلاف تصادفی است — بههمان اندازه ممکن بود مثبت باشد یا منفی. پس همهٔ ۱۰۲۴ ترکیبِ ممکنِ علامت را میسازیم و میشماریم چند تایشان بهاندازهٔ مالِ ما یا بیشتر افراطیاند.
import itertools
import random
def sign_flip_p(diffs):
"""آزمونِ جایگشتِ دقیق: هر ۲ به توانِ n ترکیبِ علامت را میشمارد."""
observed = abs(statistics.mean(diffs))
total = extreme = 0
for signs in itertools.product((1, -1), repeat=len(diffs)):
total += 1
if abs(statistics.mean([s * v for s, v in zip(signs, diffs)])) >= observed:
extreme += 1
return extreme / total
def paired_bootstrap(diffs, rounds=2000, seed=0):
rng = random.Random(seed)
n = len(diffs)
means = sorted(statistics.mean([diffs[rng.randrange(n)] for _ in range(n)])
for _ in range(rounds))
return means[int(0.05 * rounds)], means[int(0.95 * rounds)]
low, high = paired_bootstrap(d)
print(f"میانگینِ اختلافِ جفتشده : {statistics.mean(d):+.4f}")
print(f"بازهٔ ۹۰٪ با bootstrap : {low:+.4f} تا {high:+.4f}")
print(f"p آزمونِ جایگشت : {sign_flip_p(d):.4f} (روی {2 ** len(d)} ترکیب)")
میانگینِ اختلافِ جفتشده : -0.0034
بازهٔ ۹۰٪ با bootstrap : -0.0072 تا +0.0008
p آزمونِ جایگشت : 0.2266 (روی 1024 ترکیب)
بازه صفر را در بر میگیرد و p برابرِ ۰٫۲۳ است. یعنی: نمیدانیم.
نه اینکه «فرقی ندارند» — این دو جمله یکی نیستند و خلطشان یکی از رایجترین اشتباههاست. چیزی که داریم میگوییم این است: با ده seed، اگر تفاوتی هم هست، آنقدر کوچک است که این اندازهگیری نمیبیندش.
🌱 ریشهاش کجاست: آن عددِ ۰٫۲۲۶۶ یک احتمال است، و «احتمال» اینجا دقیقاً همان معنایی را دارد که ریشه، ترم ۶ فصل ۲ — احتمال یعنی چه میسازد: نسبتِ بلندمدت. ما ۱۰۲۴ دنیای ممکن ساختیم و شمردیم در ۲۳۲تایشان اختلافی به این بزرگی یا بزرگتر دیده میشود. این «شمردن» است، نه فرمول — و برای همین است که آزمونِ جایگشت را میشود در شش خط نوشت.
۴. جفتکردن هر دو طرف را میبُرد#
آن ابزار فقط ادعاهای پوچ را رد نمیکند؛ تفاوتهای واقعیِ کوچک را هم پیدا میکند.
D = {"features": "text+meta", "balance": "weight", "min_df": 1, "C": 3.0}
fd = [run(D | {"seed": s})["f1"] for s in SEEDS]
d2 = [x - y for x, y in zip(fa, fd)]
low2, high2 = paired_bootstrap(d2)
print("با seed=0 اختلافِ A و D فقط:", round(fa[0] - fd[0], 4))
print(f"میانگینِ اختلافِ جفتشده : {statistics.mean(d2):+.4f}")
print(f"بازهٔ ۹۰٪ با bootstrap : {low2:+.4f} تا {high2:+.4f}")
print(f"p آزمونِ جایگشت : {sign_flip_p(d2):.4f}")
print("A چند بار از D جلو زد :", sum(1 for v in d2 if v > 0), "از 10")
با seed=0 اختلافِ A و D فقط: 0.0063
میانگینِ اختلافِ جفتشده : +0.0159
بازهٔ ۹۰٪ با bootstrap : +0.0109 تا +0.0213
p آزمونِ جایگشت : 0.0020
A چند بار از D جلو زد : 10 از 10
این دو نتیجه را کنارِ هم بگذار و کلِ فصل همین است:
Aدر برابرِC: با یکseedاختلافِ ۰٫۰۰۸۱ — و واقعی نبود.Aدر برابرِD: با یکseedاختلافِ ۰٫۰۰۶۳ — یعنی حتی کوچکتر — و کاملاً واقعی است. ده از ده، باpبرابرِ ۰٫۰۰۲.
پس بزرگیِ اختلاف در یک اجرا هیچ چیزی دربارهٔ واقعی بودنش نمیگوید. چیزی که میگوید، پایداریِ اختلاف روی seedهای مختلف است.
📏 اندازه بگیر: با چه چیزی مقایسه شد؟ هر پیکربندی با رقیبش، روی همان ده تقسیمِ داده — که همان چیزی است که جفتشدن یعنی. روی کدام داده؟ تقسیمِ تصادفیِ ۲۵ درصدی؛ برای ادعایی دربارهٔ مشتریِ تازه باید
split="group"میشد و عددها کوچکتر میشدند. با چندseed؟ دهتا، و آزمونِ جایگشت روی همان دهتا دقیق است، نه تقریبی — چون هر ۱۰۲۴ ترکیب شمرده شد.
✅ چک کن:
SEEDSرا به پنجتا کم کن و همان مقایسهٔAوDرا بزن.pچه میشود؟ کمترینpممکن با پنج جفت2/32 = 0.0625است — یعنی با پنجseedهیچوقت نمیتوانی بهpکمتر از ۰٫۰۶ برسی، هر چقدر هم اختلاف بزرگ باشد. این سقف را قبل از طراحیِ آزمایش بدان، نه بعدش.
۵. دامِ مقایسهٔ چندگانه#
twenty = [run(A | {"seed": s})["f1"] for s in range(20)]
print(f"همان یک پیکربندی، ۲۰ اجرا: میانگین {statistics.mean(twenty):.4f}")
print(f"بهترینِ آن ۲۰ اجرا : {max(twenty):.4f}")
print(f"تورمِ «بهترین را گزارش کن»: {max(twenty) - statistics.mean(twenty):+.4f}")
همان یک پیکربندی، ۲۰ اجرا: میانگین 0.6963
بهترینِ آن ۲۰ اجرا : 0.7273
تورمِ «بهترین را گزارش کن»: +0.0310
یک پیکربندی. هیچچیز عوض نشده. و «بهترین نتیجهای که گرفتم» ۰٫۰۳۱ بالاتر از حقیقت است.
این عدد را با هر «بهبود»ی که در این ترم دیدهای مقایسه کن. بیشترشان از این کوچکترند. یعنی صرفِ اجرا کردنِ چیزی بیست بار و گزارشِ بهترینش، بزرگتر از اکثرِ پیشرفتهای واقعی است.
حالا سؤالِ عملی: وقتی بیست پیکربندیِ متفاوت را مقایسه میکنی و برنده را برمیداری، چقدر از برتریِ برنده همین تورم است؟
CANDIDATES = [{"features": "text+meta", "balance": b, "min_df": m, "C": c}
for b in ("weight", "oversample")
for m in (1, 2, 3, 5)
for c in (0.3, 1.0, 3.0)][:20]
FINAL = list(range(5, 10))
final = [statistics.mean([run(c | {"seed": s})["f1"] for s in FINAL])
for c in CANDIDATES]
def selection_bias(pick_seeds):
"""چقدر از برتریِ برنده فقط از خودِ انتخاب کردن آمده، نه از خودِ پیکربندی."""
pick = [statistics.mean([run(c | {"seed": s})["f1"] for s in pick_seeds])
for c in CANDIDATES]
best = max(range(len(CANDIDATES)), key=lambda i: pick[i])
shift = statistics.mean([p - f for p, f in zip(pick, final)])
return pick[best], final[best], shift, (pick[best] - final[best]) - shift
print(f" {'انتخاب با':<12}{'برندهٔ انتخاب':>14}{'همان در نهایی':>15}"
f"{'جابهجاییِ همه':>15}{'سوگیریِ انتخاب':>16}")
for name, seeds in (("یک seed", [0]), ("پنج seed", list(range(5)))):
p_best, f_best, shift, bias = selection_bias(seeds)
print(f" {name:<12}{p_best:>14.4f}{f_best:>15.4f}{shift:>15.4f}{bias:>16.4f}")
print("بهترینِ ارزیابیِ نهایی:", round(max(final), 4))
انتخاب با برندهٔ انتخاب همان در نهایی جابهجاییِ همه سوگیریِ انتخاب
یک seed 0.7126 0.6974 0.0096 0.0056
پنج seed 0.6957 0.7018 -0.0062 0.0000
بهترینِ ارزیابیِ نهایی: 0.7018
ستونِ آخر جوابِ فصل است: با یک seed سوگیریِ انتخاب ۰٫۰۰۵۶ بود؛ با پنج seed صفر شد.
و ستونِ سومش را جدی بگیر، چون بدونش کلِ این اندازهگیری غلط میشد. «جابهجاییِ همه» میگوید مجموعهٔ seedهای ارزیابی بهطورِ کلی از مجموعهٔ انتخاب آسانتر یا سختتر بوده — و این جابهجایی روی هر بیست نامزد یکسان اثر میگذارد، پس ربطی به انتخاب ندارد و باید از افتِ برنده کم شود. اگر این تصحیح را نمیکردیم، ردیفِ دوم «افتِ منفی» نشان میداد و به نتیجهٔ بیمعنیِ «انتخاب کردن نتیجه را بهتر میکند» میرسیدیم.
و نتیجهٔ منفیِ مهمتر: در ردیفِ دوم هیچ سوگیریای پیدا نکردیم. یعنی مقایسهٔ چندگانه یک نفرین نیست که همیشه با تو باشد؛ یک مسئلهٔ اندازهگیری است که با میانگینگیری روی چند seed قابلِ حل است. ولی اگر بیست نامزد را با یک seed بسنجی، همان ۰٫۰۰۵۶ را در گزارشت داری و اسمش را میگذاری بهبود.
سه قاعدهٔ عملی که از این فصل بیرون میآید:
- ۱) قبل از دیدنِ نتیجه بگو چه چیزی را با چه چیزی مقایسه میکنی. هر مقایسهای که بعد از دیدنِ جدول به ذهنت رسیده، یک مقایسهٔ اضافه است و شانسِ خطا را بالا میبرد.
- ۲) برای انتخاب و برای گزارش، دو مجموعهٔ
seedجدا بهکار ببر. عددی که در گزارش مینویسی باید ازseedهایی بیاید که در انتخاب دخالت نداشتند. - ۳) اگر با
kمقایسه سروکار داری، آستانهات را سختتر کن. سادهترین شکلش تقسیمِ آستانه برkاست: با بیست مقایسه،pکمتر از ۰٫۰۵ کافی نیست؛ ۰٫۰۰۲۵ لازم است.
🔧 اگر کار نکرد: اگر
sign_flip_pرا باseedهای زیاد صدا بزنی، زمان با هرseedاضافه دو برابر میشود:2 ** 15یعنی ۳۲۷۶۸ ترکیب و چند ثانیه صبر،2 ** 20یعنی بیش از یک میلیون ترکیب و حدودِ یک دقیقه، و با سیseedنوتبوک عملاً قفل میشود. علاجش این نیست که صبر کنی؛ این است که بهجای شمردنِ همهٔ ترکیبها، چند هزارتا از آنها را تصادفی نمونه بگیری — یعنی[rng.choice((1, -1)) for _ in diffs]در یک حلقهٔ ۱۰۰۰۰تایی. جوابِ تقریبی در کمتر از یک ثانیه بهتر از جوابِ دقیقی است که هرگز نمیآید.
🤖 از دستیارت بپرس: «تفاوتِ آزمونِ جفتشده با آزمونِ مستقل چیست و چرا جفتشده توانِ بیشتری دارد؟» بعد این را هم بپرس: «اگر بخواهم سه مدل را با هم مقایسه کنم نه دوتا، چه چیزی عوض میشود؟» — جوابِ دوم دقیقاً همان دامِ مقایسهٔ چندگانه است، این بار از سمتِ تعدادِ مدلها.
واژههای تازهٔ این فصل#
| کلمه | تلفظ به حروف فارسی | یعنی چه |
|---|---|---|
| paired test | پیرد تست | مقایسهٔ دو گزینه روی همان شرایط، با تفریقِ نتیجهها |
| permutation test | پرمیوتیشن تست | شمردنِ همهٔ ترتیبهای ممکن برای گرفتنِ p |
| p-value | پی-ولیو | احتمالِ دیدنِ چنین اختلافی وقتی هیچ تفاوتی وجود ندارد |
| confidence interval | کانفیدنس اینتروال | بازهای که مقدارِ واقعی محتمل است داخلش باشد |
| multiple comparisons | مالتیپل کامپریزنز | زیاد شدنِ شانسِ خطا وقتی مقایسههای زیادی میکنی |
| selection bias | سلکشن بایاس | تورمِ نتیجه فقط بهخاطرِ اینکه بهترین را انتخاب کردهای |
تمرینها
اول خودت فکر کن یا امتحان کن — بعد اینجا را باز کن.
در فصل بعد#
حالا میتوانی برنده را صادقانه انتخاب کنی. مسئلهٔ بعدی نگهداشتنِ آن برنده است: فایلِ مدل کجا میرود، چطور به اجرایی که ساختش وصل میماند، و چطور شش ماه بعد میفهمی مدلی که در تولید است دقیقاً از کدام داده و کدام کد درآمده. فصلِ بعد رجیستریِ مدل را میسازد — و اولین چیزی که ثابت میکنیم این است که مدلِ بارگذاریشده از رجیستری دقیقاً همان عددی را میدهد که موقعِ ثبت گزارش شده بود.
به آخر این فصل رسیدی!
اگر ساختی و جواب داد، این دکمه مال توست.