در این فصل چه یاد میگیری#
شصت روزِ تولید میسازیم که در آن دقتِ واقعی از ۰٫۸۷۷۱ به ۰٫۷۴۰۴ میرود، و بعد چهار معیارِ جانشین را که هیچکدام برچسب لازم ندارند با همان دقت میسنجیم. اندازهگیریمان ضریبِ همبستگی است و نتیجهاش را کامل گزارش میکنیم، از جمله شکستها:
- میانگینِ اطمینان: ۰٫۲۱۳۴ — و در هر سه دوره روی ۰٫۸۹۶ ثابت ماند، در حالی که دقت چهارده واحد افتاد
- نرخِ زیرِ ۰٫۹: منفیِ ۰٫۰۰۲۰ — یعنی صفر. این متریک بهجای افتِ کیفیت، رانشِ بیضررِ فصلِ ۲ را دنبال میکند
- نرخِ بازگشاییِ تیکت: منفیِ ۰٫۴۹۰۵ — بهترینِ جمع، و منفی بودنش هم درست است: هرچه دقت پایینتر، بازگشایی بیشتر. ولی یک دامِ پنهان دارد
- و برای اینکه بدانیم «هیچ سیگنال» چه شکلی است، بیست سکهٔ تصادفی هم میاندازیم: بیشترین همبستگیِ یک سکه ۰٫۳۰۸۰ درآمد. یعنی سه تا از چهار جانشینِ ما از یک سکه بهتر نبودند.
بعد دامِ سیگنالِ رفتاری را پیدا میکنیم و رفعش میکنیم: همبستگی از ۰٫۴۹۰۵ به ۰٫۶۸۳۹ میرسد و هشدارهای کاذبش از ۴ به ۰.

آخر این فصل میتوانی:
- معیارِ جانشین بسازی و کیفیتش را با عدد بسنجی، نه با شهود
- همبستگی را با دست حساب کنی و بدانی چه چیزی را نمیگوید
- سیگنالِ رفتاریِ کاربر را از مخدوشکنندهاش جدا کنی
- بگویی برای رسیدن به یک بازهٔ مشخص، چند برچسبِ دستی لازم است
قبل از شروع#
از فصلِ ۲: تنها آشکارسازی که رانشِ مفهوم را دید، برچسب لازم داشت. این فصل میپرسد تا کجا میشود بدونِ برچسب پیش رفت.
از فصلِ ۱: میانگینِ اطمینان در حینِ افتِ دقت بالا رفت. اینجا آن مشاهده را به یک اندازهگیریِ نظاممند تبدیل میکنیم.
از ژرفا ترمِ ۵: bootstrap برای ساختنِ بازهٔ اطمینان. بخشِ ۷ عیناً همان را روی برآوردِ دقت میزند.
📓 نوتبوک: نوتبوک این فصل را در Colab باز کن — همهٔ کدهای این فصل آماده و بهترتیب داخلش هست.
| اجرا | زمانِ تقریبی |
|---|---|
| کلِ نوتبوک روی CPU | حدودِ یک دقیقه |
| GPU | لازم نیست |
۱. شصت روز، سه دوره#
برای اینکه بشود جانشینها را سنجید، به یک بازهٔ زمانی نیاز داریم که دقت در آن واقعاً بالا و پایین برود — وگرنه همبستگی روی یک خطِ صاف فقط نویز است.
import random
MODEL = fit_model(TRAIN)
CLASSES = list(MODEL.classes_)
# کاربرِ چت دکمهٔ «باز کردن دوباره» را جلوی چشمش دارد و راحت میزند؛ کسی که تلفن
# زده باید دوباره تماس بگیرد. پس نرخِ پایهٔ بازگشایی به کانال بستگی دارد — و این
# در بخشِ ۶ به یک دامِ تمامعیار تبدیل میشود.
BASE_REOPEN = {"چت": 0.22, "ایمیل": 0.04, "تلفن": 0.03, "حضوری": 0.03}
WRONG_REOPEN = 0.45 # اثرِ واقعیِ «به تیمِ اشتباه رفت»
def regime(day):
"""شصت روزِ تولید: بیست روز آرام، بیست روز رانشِ داده، بیست روز رانشِ مفهوم."""
if day < 50:
return "N"
return "A" if day < 70 else "B"
def day_events(day):
"""یک روزِ سروشده. جز truth، هیچ فیلدی به جوابِ درست نگاه نمیکند."""
rows = day_rows(day, regime(day))
probs = MODEL.predict_proba([normalise(r["text"]) for r in rows])
out = []
for row, p in zip(rows, probs):
best = max(range(len(CLASSES)), key=lambda i: p[i])
said = CLASSES[best]
wrong = said != row["category"]
chance = BASE_REOPEN[row["channel"]] + (WRONG_REOPEN if wrong else 0.0)
out.append({
"day": day,
"channel": row["channel"],
"said": said,
"truth": row["category"],
"conf": float(p[best]),
"reopened": random.Random(f"reopen:{row['ticket_id']}").random() < chance,
})
return out
DAYS = list(range(30, 90))
TIMELINE = {day: day_events(day) for day in DAYS}
print("روزها:", len(DAYS), "· درخواست در هر روز:", len(TIMELINE[30]))
print("دورهها:", [(d, regime(d)) for d in (30, 49, 50, 69, 70, 89)])
روزها: 60 · درخواست در هر روز: 120
دورهها: [(30, 'N'), (49, 'N'), (50, 'A'), (69, 'A'), (70, 'B'), (89, 'B')]
«نرخِ بازگشایی» تنها سیگنالی است که از خودِ کاربر میآید و نه از مدل: تیکتی که به تیمِ اشتباه برود، آن تیم پسش میفرستد یا کاربر دوباره بازش میکند. اینجا با یک قاعدهٔ صریح شبیهسازیاش کردیم — و آن قاعده عمداً یک مخدوشکننده دارد که بخشِ ۶ رویش میایستد.
۲. چهار جانشین، کنارِ حقیقت#
def true_accuracy(events):
return sum(e["said"] == e["truth"] for e in events) / len(events)
PROXIES = {
"میانگینِ اطمینان": lambda ev: sum(e["conf"] for e in ev) / len(ev),
"نرخِ زیرِ ۰٫۶": lambda ev: sum(e["conf"] < 0.60 for e in ev) / len(ev),
"نرخِ زیرِ ۰٫۹": lambda ev: sum(e["conf"] < 0.90 for e in ev) / len(ev),
"نرخِ بازگشایی": lambda ev: sum(e["reopened"] for e in ev) / len(ev),
}
NAMES = list(PROXIES)
TRUTH_SERIES = [true_accuracy(TIMELINE[d]) for d in DAYS]
SERIES = {name: [fn(TIMELINE[d]) for d in DAYS] for name, fn in PROXIES.items()}
print(f"{'دوره':<14}{'دقتِ واقعی':>12}" + "".join(f"{n:>18}" for n in NAMES))
for label, first, last in (("آرام", 30, 50), ("رانشِ داده", 50, 70), ("رانشِ مفهوم", 70, 90)):
idx = range(first - 30, last - 30)
row = "".join(f"{sum(SERIES[n][i] for i in idx) / len(idx):>18.4f}" for n in NAMES)
print(f"{label:<14}{sum(TRUTH_SERIES[i] for i in idx) / len(idx):>12.4f}{row}")
دوره دقتِ واقعی میانگینِ اطمینان نرخِ زیرِ ۰٫۶ نرخِ زیرِ ۰٫۹ نرخِ بازگشایی
آرام 0.8771 0.8964 0.0900 0.2046 0.1504
رانشِ داده 0.8821 0.8959 0.0829 0.2321 0.1783
رانشِ مفهوم 0.7404 0.8957 0.0912 0.2050 0.1963
ستونِ اطمینان را از بالا تا پایین بخوان: ۰٫۸۹۶۴ و ۰٫۸۹۵۹ و ۰٫۸۹۵۷. هفت دههزارم تغییر، در برابرِ چهارده واحد افتِ دقت.
و ستونِ «نرخِ زیرِ ۰٫۹» بدتر است: در دورهٔ رانشِ داده بالا رفت (۰٫۲۰۴۶ به ۰٫۲۳۲۱) جایی که دقت اصلاً نیفتاده بود، و در دورهٔ رانشِ مفهوم برگشت سرِ جای اولش (۰٫۲۰۵۰) جایی که دقت فروریخته بود. این متریک کیفیت را دنبال نمیکند، تازگیِ ورودی را دنبال میکند — دو چیزِ متفاوت که اتفاقی گاهی با هم میآیند.
فقط نرخِ بازگشایی در جهتِ درست حرکت کرد. حالا این «حرکت در جهتِ درست» را عدد کنیم.
۳. همبستگی، با پنج نقطه و دست#
import math
def correlation(xs, ys):
"""همبستگیِ پیرسون: چقدر دو سری با هم بالا و پایین میروند، بینِ -۱ و +۱."""
n = len(xs)
mx, my = sum(xs) / n, sum(ys) / n
top = sum((x - mx) * (y - my) for x, y in zip(xs, ys))
bottom = math.sqrt(sum((x - mx) ** 2 for x in xs) * sum((y - my) ** 2 for y in ys))
return top / bottom
SMALL_X = [1.0, 2.0, 3.0, 4.0, 5.0]
SMALL_Y = [2.0, 1.0, 4.0, 3.0, 5.0]
mx = sum(SMALL_X) / 5
my = sum(SMALL_Y) / 5
for x, y in zip(SMALL_X, SMALL_Y):
print(f" x={x:.1f} y={y:.1f} · فاصله از میانگین {x - mx:+.1f} و {y - my:+.1f}"
f" · حاصلضرب {(x - mx) * (y - my):+.2f}")
print("r =", round(correlation(SMALL_X, SMALL_Y), 4))
print("r با خودش:", round(correlation(SMALL_X, SMALL_X), 4),
"· با وارونهاش:", round(correlation(SMALL_X, SMALL_X[::-1]), 4))
x=1.0 y=2.0 · فاصله از میانگین -2.0 و -1.0 · حاصلضرب +2.00
x=2.0 y=1.0 · فاصله از میانگین -1.0 و -2.0 · حاصلضرب +2.00
x=3.0 y=4.0 · فاصله از میانگین +0.0 و +1.0 · حاصلضرب +0.00
x=4.0 y=3.0 · فاصله از میانگین +1.0 و +0.0 · حاصلضرب +0.00
x=5.0 y=5.0 · فاصله از میانگین +2.0 و +2.0 · حاصلضرب +4.00
r = 0.8
r با خودش: 1.0 · با وارونهاش: -1.0
ایده در یک جمله: هر نقطه را با فاصلهاش از میانگین بسنج. اگر هر دو سری همزمان بالای میانگینشان یا همزمان زیرِ آن باشند، حاصلضرب مثبت است و به همبستگی اضافه میکند؛ اگر یکی بالا و دیگری پایین باشد، منفی است.
فرمولش:
r = Σ (xᵢ − x̄)(yᵢ − ȳ) / sqrt( Σ (xᵢ − x̄)² × Σ (yᵢ − ȳ)² )
xᵢوyᵢمقدارِ دو سری در روزِix̄وȳمیانگینشان- مخرج فقط نقشِ مقیاسبندی دارد تا جواب همیشه بینِ ۱- و ۱+ بماند
۴. جدولی که دو شکست دارد#
CONCEPT_WIN = [i for i, d in enumerate(DAYS) if regime(d) == "B"] # فقط بیست روزِ آخر
print(f"{'جانشین':<20}{'همبستگی با دقت':>18}{'فقط روی رانشِ مفهوم':>22}")
for name in NAMES:
whole = correlation(SERIES[name], TRUTH_SERIES)
part = correlation([SERIES[name][i] for i in CONCEPT_WIN],
[TRUTH_SERIES[i] for i in CONCEPT_WIN])
print(f"{name:<20}{whole:>18.4f}{part:>22.4f}")
coins = sorted(abs(correlation([random.Random(f"coin:{s}:{d}").random() for d in DAYS],
TRUTH_SERIES)) for s in range(20))
print(f"بیست سکهٔ تصادفی — قدرِ مطلقِ همبستگی: کمینه {coins[0]:.4f}"
f" · میانه {(coins[9] + coins[10]) / 2:.4f} · بیشینه {coins[-1]:.4f}")
جانشین همبستگی با دقت فقط روی رانشِ مفهوم
میانگینِ اطمینان 0.2134 0.2628
نرخِ زیرِ ۰٫۶ -0.2314 -0.3723
نرخِ زیرِ ۰٫۹ -0.0020 0.0075
نرخِ بازگشایی -0.4905 -0.6526
بیست سکهٔ تصادفی — قدرِ مطلقِ همبستگی: کمینه 0.0161 · میانه 0.0918 · بیشینه 0.3080
خطِ آخر مهمترین خطِ جدول است. بیست سری از عددِ کاملاً تصادفی ساختیم و همبستگیشان را با دقت سنجیدیم. بیشترینشان ۰٫۳۰۸۰ شد. یعنی با شصت نقطه، هر همبستگیِ زیرِ حدودِ ۰٫۳ را باید «ممکن است فقط شانس باشد» خواند.
با این خطکش، ستونِ اول این میشود:
- ۱) میانگینِ اطمینان (۰٫۲۱۳۴) و نرخِ زیرِ ۰٫۶ (منفیِ ۰٫۲۳۱۴) از نظرِ قدرِ مطلق زیرِ سقفِ سکهاند — علامتشان اینجا مهم نیست، چون خطِ پایه هم قدرِ مطلق است. نه اینکه ضعیف باشند؛ از یک عددِ تصادفی قابلِ تفکیک نیستند.
- ۲) نرخِ زیرِ ۰٫۹ (منفیِ ۰٫۰۰۲۰) صفرِ تمامعیار است.
- ۳) نرخِ بازگشایی (منفیِ ۰٫۴۹۰۵) تنها چیزی است که واقعاً بیرونِ نویز ایستاده.
و ستونِ دوم — فقط بیست روزِ رانشِ مفهوم — همین نتیجه را تیزتر میکند: نرخِ بازگشایی به منفیِ ۰٫۶۵۲۶ میرود و نرخِ زیرِ ۰٫۹ به ۰٫۰۰۷۵ میافتد، یعنی روی همان دورهای که مدل واقعاً فروریخته، تنها چیزی که تکان میخورد سیگنالِ رفتاریِ کاربر است. ولی این ستون فقط بیست نقطه دارد، نه شصتتا، پس نویزش بزرگتر است و سقفِ سکهای که برایش حساب کردیم مالِ ستونِ اول است، نه این یکی — عددهایش را برای دیدنِ جهت بخوان، نه برای رتبهبندیِ دقیق.
🌱 ریشهاش کجاست: همینجا یک جملهٔ ریشه، ترم ۶ فصل ۸ — نمونهگیری، و چطور با آمار دروغ میگویند عیناً به کار میآید: «اگر بهاندازهٔ کافی جفت داده را بررسی کنی، بعضیشان اتفاقی همبسته در میآیند.» بیست سکهٔ بالا دقیقاً همین را ساختند. و همان فصل چهار توضیحِ ممکن برای هر همبستگی میشمارد — که یکیشان «عاملِ سومی باعثِ هر دو میشود» است. بخشِ ۶ نشان میدهد که بهترین جانشینِ ما دقیقاً همین بیماری را دارد.
۵. چرا اطمینان شکست خورد#
wallet = [(e["conf"], e["said"] == e["truth"])
for d in range(70, 90) for e in TIMELINE[d] if e["said"] == "پرداخت"]
bad = [c for c, ok in wallet if not ok]
good = [c for c, ok in wallet if ok]
print("تیکتهایی که مدل «پرداخت» گفت، در بیست روزِ رانشِ مفهوم:", len(wallet))
print(" دقتشان :", round(sum(ok for _, ok in wallet) / len(wallet), 4))
print(" میانگینِ اطمینان:", round(sum(c for c, _ in wallet) / len(wallet), 4))
print(" سهمِ اطمینانِ بالای ۰٫۹:", round(sum(c > 0.9 for c, _ in wallet) / len(wallet), 4))
print(" اطمینانِ غلطها :", round(sum(bad) / len(bad), 4),
"· اطمینانِ درستها:", round(sum(good) / len(good), 4))
تیکتهایی که مدل «پرداخت» گفت، در بیست روزِ رانشِ مفهوم: 870
دقتشان : 0.5057
میانگینِ اطمینان: 0.916
سهمِ اطمینانِ بالای ۰٫۹: 0.8322
اطمینانِ غلطها : 0.9188 · اطمینانِ درستها: 0.9132
اطمینانِ جوابهای غلط از اطمینانِ جوابهای درست بیشتر است. ۰٫۹۱۸۸ در برابرِ ۰٫۹۱۳۲.
دلیلش یک جملهٔ ساده است که ارزشِ حفظ کردن دارد: اطمینانِ مدل میگوید «چقدر مطمئنم که قاعدهای که یاد گرفتم این جواب را میدهد»، نه «چقدر مطمئنم که این جواب درست است». وقتی قاعده عوض شده، مدل با همان اطمینانِ قبلی، قاعدهٔ منسوخ را اجرا میکند.
پس اطمینان برای رانشِ مفهوم بیفایده است — ولی نه برای همهچیز. برای ورودیِ خارج از دامنه (متنی به زبانِ دیگر، فرمی که تا حالا نیامده) معمولاً واقعاً پایین میآید. قاعدهٔ درست این است که هیچ جانشینی را بدونِ اندازهگیری روی خرابیِ موردِ نظرِ خودت قبول نکنی.
✅ چک کن: به داشبوردِ خودت نگاه کن و برای هر متریکِ بینیاز از برچسب این سؤال را بپرس: «آخرین باری که این عدد را با دقتِ واقعی مقایسه کردم کِی بود، و آن مقایسه چه عددی داد؟» اگر جوابت «هیچوقت» است، آن متریک یک فرض است، نه یک اندازهگیری — و همانطور که این جدول نشان داد، فرضها اینجا معمولاً غلط از آب درمیآیند.
۶. سیگنالِ رفتاری، و مخدوشکنندهاش#
def rate(day, channel=None):
seen = [e for e in TIMELINE[day] if channel is None or e["channel"] == channel]
return sum(e["reopened"] for e in seen) / len(seen), len(seen)
def mean_rate(first, last, channel=None):
return sum(rate(d, channel)[0] for d in range(first, last)) / (last - first)
print(f"{'برش':<16}{'آرام':>10}{'رانشِ داده':>14}{'رانشِ مفهوم':>14}{'نمونه در روز':>14}")
for label, channel in (("همهٔ کانالها", None), ("فقط ایمیل", "ایمیل"), ("فقط چت", "چت")):
print(f"{label:<16}{mean_rate(30, 50, channel):>10.4f}{mean_rate(50, 70, channel):>14.4f}"
f"{mean_rate(70, 90, channel):>14.4f}{rate(75, channel)[1]:>14}")
base = mean_rate(30, 50)
print("قاعده: هر روزی که نرخِ کلِ بازگشایی پنج واحد بالاتر از دورانِ آرام برود، هشدار")
print(" هشدار در بیست روزِ رانشِ داده (دقت نیفتاده):",
sum(rate(d)[0] > base + 0.05 for d in range(50, 70)))
print(" هشدار در بیست روزِ رانشِ مفهوم (دقت افتاده):",
sum(rate(d)[0] > base + 0.05 for d in range(70, 90)))
CHANNEL_KEYS = ["تلفن", "ایمیل", "چت", "حضوری"]
REF_MIX = {c: sum(rate(d, c)[1] for d in range(30, 50)) /
sum(rate(d)[1] for d in range(30, 50)) for c in CHANNEL_KEYS}
def adjusted(day):
"""نرخِ بازگشایی اگر ترکیبِ کانالها همان ترکیبِ دورانِ آرام مانده بود."""
return sum(REF_MIX[c] * rate(day, c)[0] for c in CHANNEL_KEYS)
print("ترکیبِ کانالِ دورانِ آرام:", {c: round(w, 3) for c, w in REF_MIX.items()})
abase = sum(adjusted(d) for d in range(30, 50)) / 20
print(f"نرخِ تعدیلشده — آرام {abase:.4f}"
f" · رانشِ داده {sum(adjusted(d) for d in range(50, 70)) / 20:.4f}"
f" · رانشِ مفهوم {sum(adjusted(d) for d in range(70, 90)) / 20:.4f}")
print(" هشدار در رانشِ داده:", sum(adjusted(d) > abase + 0.05 for d in range(50, 70)),
"· در رانشِ مفهوم:", sum(adjusted(d) > abase + 0.05 for d in range(70, 90)))
print(" همبستگی با دقت — خام:",
round(correlation(SERIES["نرخِ بازگشایی"], TRUTH_SERIES), 4),
"· تعدیلشده:", round(correlation([adjusted(d) for d in DAYS], TRUTH_SERIES), 4))
برش آرام رانشِ داده رانشِ مفهوم نمونه در روز
همهٔ کانالها 0.1504 0.1783 0.1963 120
فقط ایمیل 0.1011 0.1072 0.1499 42
فقط چت 0.2942 0.2594 0.3398 28
قاعده: هر روزی که نرخِ کلِ بازگشایی پنج واحد بالاتر از دورانِ آرام برود، هشدار
هشدار در بیست روزِ رانشِ داده (دقت نیفتاده): 4
هشدار در بیست روزِ رانشِ مفهوم (دقت افتاده): 8
ترکیبِ کانالِ دورانِ آرام: {'تلفن': 0.363, 'ایمیل': 0.303, 'چت': 0.279, 'حضوری': 0.055}
نرخِ تعدیلشده — آرام 0.1503 · رانشِ داده 0.1332 · رانشِ مفهوم 0.1964
هشدار در رانشِ داده: 0 · در رانشِ مفهوم: 10
همبستگی با دقت — خام: -0.4905 · تعدیلشده: -0.6839
سطرِ اول جدول در دورهٔ رانشِ داده بالا رفت — از ۰٫۱۵۰۴ به ۰٫۱۷۸۳ — و دقت در همان دوره اصلاً نیفتاده بود. چهار روز هشدارِ کاذب داد.
دلیلش در دو سطرِ بعد است: نرخِ پایهٔ بازگشایی در کانالِ چت ۰٫۲۹۴۲ است و در ایمیل ۰٫۱۰۱۱. و فصلِ ۲ گفت که در رانشِ داده سهمِ چت از ۲۷ درصد به ۵۵ درصد رفت. پس عددِ کل بالا رفت بدونِ اینکه هیچ کاربری تجربهٔ بدتری داشته باشد — فقط ترکیبِ جمعیت عوض شد.
راهِ حل همان چیزی است که در آمار به آن «استانداردسازی» میگویند: نرخِ هر کانال را جداگانه بگیر، و بعد با وزنِ ترکیبِ دورانِ آرام جمعشان کن. با این کار میپرسی «اگر ترکیبِ کاربران همان قبلی مانده بود، نرخِ بازگشایی چقدر میشد؟»
نتیجه: هشدارهای کاذب از ۴ به ۰ رسید، هشدارهای درست از ۸ به ۱۰، و همبستگی از ۰٫۴۹۰۵ به ۰٫۶۸۳۹. و توجه کن که این کار نمونه را کم نکرد — هر روز هنوز هر ۱۲۰ تیکت را میبیند، برخلافِ راهِ سادهلوحانهترِ «فقط ایمیل را نگاه کن» که نمونه را به ۴۲ میرساند.
📏 اندازه بگیر: با چه چیزی مقایسه شد؟ با دقتِ واقعی — که چون آزمایشگاهیم داریمش — و با بیست سریِ کاملاً تصادفی بهعنوانِ خطِ پایهٔ «هیچ سیگنال». بدونِ آن خطِ پایه، ۰٫۲۱ شبیهِ «همبستگیِ ضعیف» بهنظر میرسید نه «هیچ». روی کدام داده؟ شصت روز، هر روز ۱۲۰ تیکت، سه دورهٔ متفاوت. با چند
seed؟ بیست، برای خطِ پایه — و همان بیست هستند که نشان دادند سقفِ شانس ۰٫۳۰۸۰ است.
۷. برچسبِ دستی: قیمتِ حقیقت#
هیچ جانشینی حقیقت نیست. دیر یا زود باید کسی تیکتها را بخواند.
def audit(day, size, seed=0):
rows = day_rows(day, regime(day))
picked = random.Random(f"audit:{seed}:{day}:{size}").sample(rows, size)
said = MODEL.predict([normalise(r["text"]) for r in picked])
return [a == r["category"] for a, r in zip(said, picked)]
def bootstrap_interval(hits, draws=2000, seed=7):
rng = random.Random(f"boot:{seed}:{len(hits)}")
means = sorted(sum(rng.choices(hits, k=len(hits))) / len(hits) for _ in range(draws))
return means[int(0.025 * draws)], means[int(0.975 * draws)]
print(f"{'برچسب در روز':>14}{'برآوردِ دقت':>14}{'بازهٔ ۹۵٪':>22}{'پهنا':>9}")
for size in (20, 60, 120):
hits = audit(75, size)
lo, hi = bootstrap_interval(hits)
print(f"{size:>14}{sum(hits) / len(hits):>14.4f}"
f"{f'{lo:.3f} تا {hi:.3f}':>22}{hi - lo:>9.3f}")
print("دقتِ واقعیِ همان روز:", round(true_accuracy(TIMELINE[75]), 4))
week = [h for d in range(70, 77) for h in audit(d, 60)]
lo, hi = bootstrap_interval(week)
print(f"هفتِ روز × ۶۰ برچسب = {len(week)} برچسب → {sum(week) / len(week):.4f}"
f" · بازهٔ {lo:.3f} تا {hi:.3f} · پهنا {hi - lo:.3f}")
try:
audit(75, 300)
except ValueError as exc:
print("ValueError:", exc)
برچسب در روز برآوردِ دقت بازهٔ ۹۵٪ پهنا
20 0.7500 0.550 تا 0.900 0.350
60 0.6833 0.567 تا 0.800 0.233
120 0.7250 0.642 تا 0.800 0.158
دقتِ واقعیِ همان روز: 0.725
هفتِ روز × ۶۰ برچسب = 420 برچسب → 0.7310 · بازهٔ 0.688 تا 0.776 · پهنا 0.088
ValueError: Sample larger than population or is negative
بیست برچسب در روز چیزی به تو نمیگوید: بازهاش از ۰٫۵۵ تا ۰٫۹۰ است، یعنی هم با «فاجعه» سازگار است و هم با «همهچیز عالی».
با شصت برچسب پهنا ۰٫۲۳۳ میشود و برآورد ۰٫۶۸۳۳ در حالی که حقیقت ۰٫۷۲۵ است — نمونهگیری چهار واحد خطا داد و بازهاش صادقانه اعتراف کرد. با ۱۲۰ برچسب یعنی خواندنِ کلِ ترافیکِ آن روز، پهنا ۰٫۱۵۸ میشود؛ پایینتر از این نمیرود، چون این دیگر خطای نمونهگیری نیست، خطای اندازهٔ خودِ روز است.
راهِ عملی: نمونه را در زمان جمع کن، نه در یک روز. هفت روز × ۶۰ برچسب پهنا را به ۰٫۰۸۸ میرساند — بهتر از خواندنِ کلِ یک روز، با نصفِ کارِ هر روز (ولی در جمع ۴۲۰ برچسب در برابرِ ۱۲۰ برچسب). قیمتش این است که جوابت مالِ «هفتهٔ گذشته» است نه «امروز»، و هر چه پنجره بلندتر باشد دیرتر میفهمی. همان معاملهٔ پنجرهٔ فصلِ ۲، این بار روی برچسب.
🔧 اگر کار نکرد: اگر اندازهٔ نمونه را از تعدادِ تیکتهای آن روز بزرگتر بگذاری، این را میگیری:
ValueError: Sample larger than population or is negative. و این خطا در واقع دوستِ توست. جایگزینِ وسوسهانگیزشrandom.choicesاست که با جایگذاری نمونه میگیرد و بیسروصدا ۳۰۰ ردیف از همان ۱۲۰ تیکت میسازد. آنوقت بازهٔ اطمینانت باریکتر میشود بیآنکه یک برچسبِ تازه در کار باشد — یک عددِ دقیقتر که هیچ اطلاعاتِ تازهای پشتش نیست. اگر نمونهات از جامعه بزرگتر است، مسئله اندازهٔ نمونه نیست، اندازهٔ روز است.
🤖 از دستیارت بپرس: «نمونهگیریِ لایهای چیست و چرا برای برآوردِ دقت روی زیرگروههای کوچک بهتر از نمونهگیریِ تصادفیِ ساده است؟» بعد این را بپرس: «اگر بخواهم زیرگروهی را که فقط پنج درصدِ ترافیک است با همان دقتِ کل بسنجم، نمونهٔ لازمم چند برابر میشود؟» — جوابش دلیلِ آن است که کانالِ حضوری در ترمِ ۴ اینقدر دیر پیدا شد.
واژههای تازهٔ این فصل#
| کلمه | تلفظ به حروف فارسی | یعنی چه |
|---|---|---|
| proxy metric | پراکسی متریک | معیاری که بهجای چیزِ اصلی سنجیده میشود چون ارزانتر یا زودتر در دسترس است |
| implicit feedback | ایمپلیسیت فیدبک | سیگنالی که از رفتارِ کاربر درمیآید، بدونِ اینکه نظری داده باشد |
| correlation | کرلیشن | عددِ بینِ ۱- و ۱+ که میگوید دو سری چقدر با هم حرکت میکنند |
| confounder | کانفاوندر | عاملِ سومی که هر دو سری را تکان میدهد و رابطهشان را جعلی نشان میدهد |
| standardisation | استانداردایزیشن | تعدیلِ یک نرخ به ترکیبِ جمعیتیِ مرجع، تا مقایسه معنا پیدا کند |
| abstention rate | ابستنشن ریت | سهمِ درخواستهایی که مدل جواب نمیدهد و به آدم میسپارد |
| label budget | لیبل باجت | تعدادِ برچسبی که در واحدِ زمان میتوانی بخری |
تمرینها
اول خودت فکر کن یا امتحان کن — بعد اینجا را باز کن.
در فصل بعد#
حالا چند سیگنال داریم که میشود پایششان کرد. فصلِ بعد سراغِ سؤالی میرود که همهجا اشتباه جواب داده میشود: کِی از این سیگنالها هشدار بسازیم؟
سه آشکارساز را روی ۹۰ روز اجرا میکنیم و هشدارهای کاذبِ هر کدام را در هفته میشماریم. یک آستانهٔ ظاهراً معقول هفتهای ۴٫۳۳ بار زنگ میزند و بیشترشان کاذباند — و بعد حساب میکنیم که وقتی خرابیِ واقعی رسید، آن هشدار شمارهٔ ۱۷ بود.
به آخر این فصل رسیدی!
اگر ساختی و جواب داد، این دکمه مال توست.