در این فصل چه یاد میگیری#
یک مدل. یک مجموعهٔ آزمون. و سه توصیفِ کاملاً درست که به سه تصمیمِ متفاوت میرسند.
اگر دقت را بهینه کنی، آستانه ۰٫۵۹ میشود و دقت ۰٫۸۴۰۰. اگر هزینهٔ ترمِ ۳ را بهینه کنی، آستانه ۰٫۱۷ میشود و دقت به ۰٫۷۶۱۷ میافتد — و هفتهای ۱۰٫۲ واحد هزینهٔ کمتر و ۴٫۵ تشدیدِ ازدسترفتهٔ کمتر دارد. یعنی انتخابِ «مدلِ دقیقتر» هفتهای چهار و نیم پروندهٔ واقعی را از دست میدهد و هیچجای گزارش این را نمیگوید.
بعد یاد میگیری «نمیدانم» را چطور با عدد بگویی. اختلافِ آن دو آستانه بازهٔ ۹۰٪ از ۳٫۲+ تا ۱۷٫۷+ دارد — قابلِ تصمیم. ولی اختلافِ دو آستانهٔ نزدیک بازهٔ ۲٫۵− تا ۴٫۵+ دارد، و جوابِ حرفهای این است: «با ۶۰۰ تیکت نمیشود تصمیم گرفت. حدودِ ۹۶۰۰ تیکت لازم است» — عددی که خودمان حسابش میکنیم.

آخر این فصل میتوانی:
- یک متریک را به تصمیم ترجمه کنی و نشان بدهی تصمیم با تغییرِ متریک عوض میشود
- عددِ مدل را به واحدی بگویی که ذینفع با آن کار میکند: پرونده در هفته
- «نمیدانم» را با یک بازه بگویی، نه با سکوت یا با یک عددِ ساختگی
- حساب کنی چقدر داده لازم است تا یک سؤال قابلِ جواب شود
قبل از شروع#
از ترمِ ۳ فصلِ ۷: ماتریسِ هزینه — نادیده گرفتنِ یک تشدید پنج برابرِ یک هشدارِ بیجا میارزد. همان دو عدد کلِ این فصل را میسازند.
از ژرفا ترمِ ۵: bootstrap و بازهٔ اطمینان. از ترمِ ۳ فصلِ ۵ همین دوره: آزمونِ جفتشده — مقایسهٔ دو گزینه روی همان نمونهها. اینجا هر دو ابزار، این بار روی یک تصمیمِ کاری.
💡 نکته: واحدِ هزینه در این فصل عمداً بینام است. نسبتِ ۵ به ۱ چیزی است که سرش بحث میکنی؛ واحدش را سازمانِ تو تعیین میکند.
📓 نوتبوک: نوتبوک این فصل را در Colab باز کن — همهٔ کدهای این فصل آماده و بهترتیب داخلش هست.
| اجرا | زمانِ تقریبی |
|---|---|
| کلِ نوتبوک روی CPU | حدودِ یک دقیقه |
| GPU | لازم نیست |
۱. یک مدل، و سه سؤالِ متفاوت#
مدل ثابت است. تنها چیزی که عوض میشود، آستانه است — همان اهرمِ پیکربندیِ ترمِ ۴ فصلِ ۱ — و اینکه با کدام معیار انتخابش کنیم.
import numpy as np
MISS, FALSE_ALARM = 5, 1 # ماتریسِ هزینهٔ ترمِ ۳ فصلِ ۷
WEEKS = len({t["week"] for t in TEST})
model = fit_model(TRAIN)
SCORE = model.predict_proba([normalise(t["text"]) for t in TEST])[:, 1]
TRUTH = np.array([t["escalated"] for t in TEST], dtype=bool)
def measure(threshold, scores=SCORE, truth=TRUTH, weeks=WEEKS):
"""یک آستانه، چهار زبانِ متفاوت برای گفتنِ نتیجهاش."""
flagged = scores >= threshold
return {"threshold": threshold,
"accuracy": float((flagged == truth).mean()),
"cost": float(MISS * (~flagged & truth).sum()
+ FALSE_ALARM * (flagged & ~truth).sum()) / weeks,
"cases": float(flagged.sum()) / weeks,
"missed": float((~flagged & truth).sum()) / weeks}
GRID = [round(0.05 + 0.01 * k, 2) for k in range(86)]
TABLE = [measure(t) for t in GRID]
print("مجموعهٔ آزمون:", len(TEST), "تیکت در", WEEKS, "هفته ·",
round(float(TRUTH.sum()) / WEEKS, 1), "تشدید در هفته")
مجموعهٔ آزمون: 600 تیکت در 6 هفته · 21.5 تشدید در هفته
اولین ترجمه همینجا انجام شد: «۶۰۰ تیکت» شد «هفتهای ۲۱٫۵ تشدید». کسی که بودجهٔ تیم را میبندد با عددِ دوم کار میکند، نه اولی.
۲. سه ذرهبین، سه آستانهٔ متفاوت#
CAPACITY = 18
best_accuracy = max(TABLE, key=lambda r: r["accuracy"])
best_cost = min(TABLE, key=lambda r: r["cost"])
fits_team = min((r for r in TABLE if r["cases"] <= CAPACITY), key=lambda r: r["cost"])
CHOICES = [("بیشترین دقت", best_accuracy), ("کمترین هزینه", best_cost),
(f"جا شدن در ظرفیتِ {CAPACITY} پرونده", fits_team)]
print(f"{'اگر این را بهینه کنی':<30}{'آستانه':>8}{'دقت':>8}"
f"{'هزینهٔ هفتگی':>14}{'پرونده در هفته':>16}{'تشدیدِ ازدسترفته':>18}")
for label, row in CHOICES:
print(f"{label:<30}{row['threshold']:>8.2f}{row['accuracy']:>8.4f}"
f"{row['cost']:>14.1f}{row['cases']:>16.1f}{row['missed']:>18.1f}")
اگر این را بهینه کنی آستانه دقت هزینهٔ هفتگی پرونده در هفته تشدیدِ ازدسترفته
بیشترین دقت 0.59 0.8400 60.7 15.2 11.2
کمترین هزینه 0.17 0.7617 50.5 32.0 6.7
جا شدن در ظرفیتِ 18 پرونده 0.44 0.8317 59.5 17.0 10.7
سه سطر، سه تصمیمِ متفاوت، و هر سه از یک مدل.
سطرِ اول همان چیزی است که در بیشترِ گزارشها میآید: بالاترین دقت. و بدترین ستونِ آخر را دارد — هفتهای ۱۱٫۲ تشدید از دستش میرود، در حالی که کلِ تشدیدهای هفته ۲۱٫۵ تاست. یعنی مدلِ «دقیقترین»، بیش از نیمی از پروندههای واقعی را رد میکند.
سطرِ دوم نزدیک به هشت واحد دقت کمتر دارد و نزدیک به دو برابر پرونده میفرستد: هفتهای ۳۲ پرونده بهجای ۱۵٫۲، و ۴٫۵ تشدیدِ ازدسترفتهٔ کمتر.
و سطرِ سوم چیزی است که هیچکدام از دو معیارِ قبلی نمیبیند: ظرفیت. اگر تیم هفتهای بیش از ۱۸ پرونده را نمیتواند بازبینی کند، آستانهٔ ۰٫۱۷ روی کاغذ بهترین است و در عمل صف میسازد.
۳. همان مدل، سه جمله#
for label, row in CHOICES:
print(f"{label}:")
print(f" «دقتِ مدل {row['accuracy']:.0%} است.»")
print(f" «هفتهای {row['cost']:.0f} واحد هزینه دارد.»")
print(f" «هفتهای {row['cases']:.0f} پرونده برای بازبینی میفرستد"
f" و {row['missed']:.1f} تشدید را از دست میدهد.»")
بیشترین دقت:
«دقتِ مدل 84% است.»
«هفتهای 61 واحد هزینه دارد.»
«هفتهای 15 پرونده برای بازبینی میفرستد و 11.2 تشدید را از دست میدهد.»
کمترین هزینه:
«دقتِ مدل 76% است.»
«هفتهای 50 واحد هزینه دارد.»
«هفتهای 32 پرونده برای بازبینی میفرستد و 6.7 تشدید را از دست میدهد.»
جا شدن در ظرفیتِ 18 پرونده:
«دقتِ مدل 83% است.»
«هفتهای 60 واحد هزینه دارد.»
«هفتهای 17 پرونده برای بازبینی میفرستد و 10.7 تشدید را از دست میدهد.»
هر نه جمله درستاند. و فقط سهتایشان قابلِ تصمیمگیریاند.
جملهٔ «دقتِ مدل ۸۴٪ است» به کسی که تیمِ پشتیبانی را میچرخاند هیچ چیزی نمیگوید. نه میداند این خوب است یا بد، نه میداند چه کاری باید بکند. بدتر: چون عددِ بزرگتری است، ناخودآگاه بهتر به نظر میرسد — و همان چیزی است که سطرِ اول را انتخاب میکند.
جملهٔ سوم واحدهایی دارد که در تقویمِ آن آدم وجود دارند: پرونده، هفته، تشدیدِ ازدسترفته. رویش میشود تصمیم گرفت، و مهمتر: رویش میشود مخالفت کرد — که علامتِ یک جملهٔ مفید است.
قاعدهٔ ترجمه: عددِ مدل را در سه چیز ضرب کن — حجمِ واقعی، بازهٔ زمانی، و واحدی که شنونده در آن کار میکند. «۸۴٪» بشود «هفتهای ۱۵ پرونده و ۱۱ ازدسترفته».
۴. قیمتِ ذرهبینِ اشتباه#
print(f"{'':<30}{'زیرِ ذرهبینِ دقت':>18}{'زیرِ ذرهبینِ هزینه':>20}"
f"{'زیرِ ذرهبینِ ظرفیت':>20}")
for label, row in CHOICES:
print(f"{label:<30}{row['accuracy']:>18.4f}{row['cost']:>20.1f}{row['cases']:>20.1f}")
print("اختلافِ هزینهٔ «بیشترین دقت» و «کمترین هزینه» در هفته:",
round(best_accuracy["cost"] - best_cost["cost"], 1))
print("اختلافِ تشدیدِ ازدسترفته در هفته:",
round(best_accuracy["missed"] - best_cost["missed"], 1))
زیرِ ذرهبینِ دقت زیرِ ذرهبینِ هزینه زیرِ ذرهبینِ ظرفیت
بیشترین دقت 0.8400 60.7 15.2
کمترین هزینه 0.7617 50.5 32.0
جا شدن در ظرفیتِ 18 پرونده 0.8317 59.5 17.0
اختلافِ هزینهٔ «بیشترین دقت» و «کمترین هزینه» در هفته: 10.2
اختلافِ تشدیدِ ازدسترفته در هفته: 4.5
۱۰٫۲ واحد در هفته، و ۴٫۵ پروندهٔ واقعی.
انتخابِ «بیشترین دقت» یک تصمیمِ اشتباه نیست؛ یک تصمیم است که کسی نگرفته. هیچکس ننشست بگوید «حاضریم هفتهای چهار و نیم تشدیدِ بیشتر را از دست بدهیم تا عددِ دقتمان هشت واحد بالاتر باشد». این تصمیم از دلِ انتخابِ متریک بیرون آمد، بیآنکه کسی بداند دارد تصمیم میگیرد.
✅ چک کن: به ستونِ وسطِ جدول نگاه کن. سطرِ سوم ۵۹٫۵ است و سطرِ اول ۶۰٫۷ — تقریباً یکی. یعنی قیدِ ظرفیت تقریباً رایگان بود، ولی فقط چون آن را در همان جدول دیدیم. هر قیدِ عملیاتی که در جدولت ستون ندارد، در جلسه بهشکلِ «ولی ما نمیتوانیم» ظاهر میشود — و آنوقت کلِ تحلیل باید از اول انجام شود.
۵. «نمیدانم»، با یک عدد کنارش#
سؤالِ بعدی که در جلسه میپرسند این است: «مطمئنی؟»
جوابِ «بله» دروغ است و جوابِ «نه» بیفایده. جوابِ درست یک بازه است — و آزمونِ جفتشده (ترمِ ۳ فصلِ ۵): اختلاف را روی همان نمونههای بازنمونهشده حساب میکنیم، نه دو بازهٔ جدا.
def bootstrap_gap(a, b, rounds=2000, seed=0, size=None):
"""اختلافِ هزینهٔ دو آستانه، روی همان نمونههای بازنمونهشده (آزمونِ جفتشده)."""
dice = np.random.default_rng(seed)
n = size or len(TRUTH)
weeks = n / (len(TRUTH) / WEEKS)
gaps = []
for start in range(0, rounds, 50): # تکهتکه، تا حافظه پر نشود
idx = dice.integers(0, len(TRUTH), size=(min(50, rounds - start), n))
scores, truth = SCORE[idx], TRUTH[idx]
cost = []
for threshold in (a, b):
flagged = scores >= threshold
cost.append((MISS * (~flagged & truth).sum(axis=1)
+ FALSE_ALARM * (flagged & ~truth).sum(axis=1)) / weeks)
gaps.extend(cost[0] - cost[1])
gaps.sort()
return gaps[int(0.05 * rounds)], gaps[int(0.95 * rounds)]
low, high = bootstrap_gap(best_accuracy["threshold"], best_cost["threshold"])
print(f"«بیشترین دقت» منهای «کمترین هزینه» — بازهٔ ۹۰٪: {low:+.1f} تا {high:+.1f} واحد در هفته")
print("قابلِ تصمیم است؟", low > 0)
near = min((r for r in TABLE if abs(r["threshold"] - best_cost["threshold"]) > 0.04),
key=lambda r: abs(r["cost"] - best_cost["cost"]))
low2, high2 = bootstrap_gap(near["threshold"], best_cost["threshold"])
print(f"آستانهٔ {near['threshold']:.2f} منهای {best_cost['threshold']:.2f}"
f" — بازهٔ ۹۰٪: {low2:+.1f} تا {high2:+.1f}")
print("قابلِ تصمیم است؟", low2 > 0)
«بیشترین دقت» منهای «کمترین هزینه» — بازهٔ ۹۰٪: +3.2 تا +17.7 واحد در هفته
قابلِ تصمیم است؟ True
آستانهٔ 0.13 منهای 0.17 — بازهٔ ۹۰٪: -2.5 تا +4.5
قابلِ تصمیم است؟ False
دو سؤالِ بهظاهر شبیه، دو وضعیتِ کاملاً متفاوت.
اولی: «آستانهٔ ۰٫۵۹ گرانتر از ۰٫۱۷ است؟» — بله، و کلِ بازه بالای صفر است. جوابِ حرفهای: «بین سه و هجده واحد در هفته گرانتر است؛ عددِ دقیقش را نمیدانم، ولی گرانتر بودنش قطعی است.»
دومی: «۰٫۱۳ بهتر است یا ۰٫۱۷؟» — بازه صفر را در بر میگیرد. جوابِ حرفهای: «با این داده نمیشود تصمیم گرفت.» نه «تقریباً یکیاند»، نه «حسم میگوید ۰٫۱۷»، و مطمئناً نه انداختنِ سکه و گفتنِ یک عدد با اطمینان.
و «نمیدانم» تمام نمیشود؛ سؤالِ بعدی دارد: چه چیزی لازم است تا بدانم؟
۶. چقدر داده کافی است؟#
print("برای جدا کردنِ همان دو آستانهٔ نزدیک، چند تیکت لازم است؟")
for n in (600, 2400, 9600, 38400):
lo, hi = bootstrap_gap(near["threshold"], best_cost["threshold"], rounds=600, size=n)
print(f" {n:>6} تیکت → بازهٔ ۹۰٪ {lo:+.2f} تا {hi:+.2f}"
f" {'جدا شد' if lo > 0 else 'هنوز نه'}")
برای جدا کردنِ همان دو آستانهٔ نزدیک، چند تیکت لازم است؟
600 تیکت → بازهٔ ۹۰٪ -2.50 تا +4.33 هنوز نه
2400 تیکت → بازهٔ ۹۰٪ -0.58 تا +2.88 هنوز نه
9600 تیکت → بازهٔ ۹۰٪ +0.30 تا +2.04 جدا شد
38400 تیکت → بازهٔ ۹۰٪ +0.69 تا +1.63 جدا شد
جملهٔ کاملِ حرفهای این است: «با ۶۰۰ تیکت نمیشود تصمیم گرفت. حدودِ ۹۶۰۰ تیکت لازم است — با نرخِ فعلی حدودِ نود و شش هفته.»
و همینجا جواب معمولاً عوض میشود. وقتی بشنوند که جدا کردنِ این دو گزینه دو سال داده میخواهد، دیگر کسی نمیپرسد کدام بهتر است؛ میپرسند «فرقشان چقدر است؟» — و جوابِ «حداکثر دو واحد در هفته» بحث را در یک دقیقه تمام میکند.
سه بندِ «نمیدانم»ِ حرفهای:
- ۱) چه چیزی را میدانم، با بازهاش. «گرانتر بودن قطعی است، مقدارش بین سه و هجده.»
- ۲) چه چیزی را نمیدانم، و چرا. «تفاوتِ این دو آستانه در نویزِ همین دادهٔ ۶۰۰تایی گم است.»
- ۳) چه چیزی لازم است تا بدانم، با عدد و زمان. «حدودِ ۹۶۰۰ تیکت، یعنی حدودِ نود و شش هفته.»
بندِ سوم است که «نمیدانم» را از طفره جدا میکند. بدونش، شنونده فکر میکند تو کارت را بلد نیستی؛ با آن، میفهمد که مسئله سخت است و تو اندازهاش را میدانی.
📏 اندازه بگیر: با چه چیزی مقایسه شد؟ هر آستانه با آستانههای دیگرِ همان مدل — نه دو مدلِ متفاوت. روی کدام داده؟ ۶۰۰ تیکتِ شش هفتهٔ آخر، یعنی برشِ زمانیِ بعدی و نه تقسیمِ تصادفی (ترمِ ۳ فصلِ ۷). با چند
seed؟ دو هزار بازنمونه برای دو بازهٔ بخشِ ۵ و ششصد بازنمونه برای هر سطرِ بخشِ ۶، و جفتشده — همان ریزهکاریای که اگر رعایت نشود، دو بازهٔ رویهمافتاده به تو میگویند «تفاوتی نیست» در حالی که هست. و یک صداقتِ لازم: بازنمونهگیری از همان ۶۰۰ تیکت، عدمِ قطعیتِ نمونه را میسنجد، نه عدمِ قطعیتِ آینده را. اگر رفتارِ مشتریها عوض شود، هیچکدام از این بازهها معتبر نمیمانند — و آن، موضوعِ ترمِ ۵ است.
🔧 اگر کار نکرد: اگر
measureباZeroDivisionError: float division by zeroایستاد،weeksصفر شده — یعنیTESTخالی است. اگرmin(...)رویfits_teamخطایValueError: min() iterable argument is emptyداد، هیچ آستانهای در شبکه زیرِ ظرفیت نیست:CAPACITYرا بالا ببر یا شبکه را تا آستانههای بالاتر ادامه بده — و همان خطا خودش یک یافته است: ظرفیتِ تیم برای این مدل کافی نیست. و اگر بازههایت با کتاب فرق داشت،seedتابعِbootstrap_gapرا عوض کردهای؛ عددها کمی جابهجا میشوند ولی نتیجهٔ «قابلِ تصمیم یا نه» نباید عوض شود — اگر شد، یعنی از اول هم لبِ مرز بوده.
🤖 از دستیارت بپرس: «چطور یک نتیجهٔ آماری را به کسی توضیح بدهم که آمار نخوانده؟» بعد این را بپرس: «سه جملهٔ من اینهاست [سه جملهٔ بخشِ ۳ را بده]. کدامشان میتواند شنونده را به تصمیمِ اشتباه ببرد و چرا؟» — جوابِ خوب باید به «عددِ درصدی بزرگتر، ناخودآگاه بهتر به نظر میرسد» برسد.
واژههای تازهٔ این فصل#
| کلمه | تلفظ به حروف فارسی | یعنی چه |
|---|---|---|
| stakeholder | استیکهولدر | کسی که تصمیمش به کارِ تو وابسته است ولی خودش آن را نمیسازد |
| decision threshold | دسیژن تِرشهولد | مرزی که نمرهٔ مدل را به «بله» یا «نه» تبدیل میکند |
| operating point | اپریتینگ پوینت | نقطهای از منحنیِ مدل که واقعاً در تولید استفاده میشود |
| capacity constraint | کپسیتی کانسترینت | سقفِ کاری که تیم در واحدِ زمان میتواند انجام دهد |
| confidence interval | کانفیدنس اینتروال | بازهای که «نمیدانم» را به یک عددِ قابلِ استفاده تبدیل میکند |
| paired comparison | پیرد کامپریزن | مقایسهٔ دو گزینه روی همان نمونهها، برای حذفِ نویزِ مشترک |
تمرینها
اول خودت فکر کن یا امتحان کن — بعد اینجا را باز کن.
در فصل بعد#
تا اینجا فرض کردهایم این سامانه را خودمان میسازیم. فصلِ بعد آن فرض را برمیدارد.
هزینهٔ کلِ مالکیت را بهشکلِ یک مدلِ کوچک حساب میکنیم — ساختن در برابرِ خریدن — با نگهداری بهعنوان جملهای که همیشه از قلم میافتد. نقطهٔ سربهسر را پیدا میکنیم و بعد میسنجیم که جواب به کدام فرض حساستر است. و نشان میدهیم حذفِ همان یک جمله، تصمیم را وارونه میکند.
به آخر این فصل رسیدی!
اگر ساختی و جواب داد، این دکمه مال توست.