در این فصل چه یاد میگیری#
فصلِ قبل مدلی دیدی که ۸۷ درصد درست بود و صفر موردِ مفید پیدا کرد. این فصل ابزارِ درستِ سنجش را میآورد: precision، recall و F1. ولی نکتهٔ اصلی فرمولها نیست — این است که انتخابِ معیار یک تصمیمِ مهندسی است که از روی هزینهٔ خطا گرفته میشود، نه یک عادت. و در پایان میبینی که این دقیقاً همان تلهٔ آماری است که یک آزمایشِ پزشکیِ ۹۹ درصد دقیق را هم بیفایده میکند.

آخر این فصل میتوانی:
precisionوrecallرا از رویconfusion matrixبخوانی و معنایشان را با کلمه بگویی- بگویی
F1چیست و کِی بهکارش ببری - از روی هزینهٔ خطا معیارِ درست را انتخاب کنی
- بگویی چرا یک آزمایشِ ۹۹ درصد دقیق میتواند عملاً بیفایده باشد
قبل از شروع#
از فصل ۵: confusion_matrix، predict_proba و آستانه.
از فصل ۳: DummyClassifier و اینکه accuracy بالا میتواند بیمعنا باشد.
📓 نوتبوک: نوتبوک این فصل را در Colab باز کن — همهٔ کدهای این فصل آماده و بهترتیب داخلش هست.
۱. یک مدل که واقعاً کار میکند#
برای فهمیدنِ معیارها به مدلی نیاز داریم که سیگنال داشته باشد. price را اضافه میکنیم:
import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import confusion_matrix, accuracy_score
df = pd.read_csv("laptops_clean.csv").dropna(subset=["ram_gb"]).reset_index(drop=True)
df["is_apple"] = (df["brand"] == "اپل").astype(int)
X = df[["year", "ram_gb", "price"]]
y = df["is_apple"]
X_train, X_test, y_train, y_test = train_test_split(
X, y, test_size=0.25, random_state=99, stratify=y
)
model = LogisticRegression(max_iter=2000).fit(X_train, y_train)
predictions = model.predict(X_test)
print("accuracy:", round(accuracy_score(y_test, predictions), 3))
print(confusion_matrix(y_test, predictions))
accuracy: 0.944
[[46 1]
[ 2 5]]
حالا مدل واقعاً کار میکند: از ۷ اپلِ واقعی، ۵ تا را پیدا کرد. دو تا را از دست داد و یک بار هم اشتباهی گفت اپل.
جدول را دوباره بخوان — چهار خانهاش چهار نام دارند که در همهٔ متونِ این حوزه دیده میشوند:
| پیشبینی: منفی | پیشبینی: مثبت | |
|---|---|---|
| واقعیت: منفی | ۴۶ — TN (درستِ منفی) |
۱ — FP (هشدارِ اشتباه) |
| واقعیت: مثبت | ۲ — FN (از دست رفته) |
۵ — TP (درستِ مثبت) |
دو خانهٔ پررنگ، دو نوعِ کاملاً متفاوتِ خطا هستند و کلِ این فصل دربارهٔ تفاوتشان است.
۲. precision و recall#
from sklearn.metrics import precision_score, recall_score, f1_score
print("precision:", round(precision_score(y_test, predictions), 3))
print("recall:", round(recall_score(y_test, predictions), 3))
print("F1:", round(f1_score(y_test, predictions), 3))
precision: 0.833
recall: 0.714
F1: 0.769
هر دو را با یک جملهٔ فارسی بهخاطر بسپار — این بهترین راهِ اشتباهنکردنشان است:
precision= «از آنهایی که گفتم مثبتاند، چند درصد واقعاً بودند؟» اینجا ۶ مورد را اپل نامید و ۵ تایش درست بود: ۵ تقسیم بر ۶ میشود ۰٫۸۳۳.recall= «از آنهایی که واقعاً مثبت بودند، چند درصد را پیدا کردم؟» ۷ اپلِ واقعی بود و ۵ تا را پیدا کرد: ۵ تقسیم بر ۷ میشود ۰٫۷۱۴.
پس precision دربارهٔ هشدارهای اشتباه است و recall دربارهٔ از دست رفتهها.
و F1 میانگینِ خاصی از این دوست (میانگینِ هارمونیک) که فقط وقتی بالا میرود که هر دو بالا باشند. اگر یکیشان صفر شود، F1 هم صفر میشود — که دقیقاً همان چیزی است که در فصلِ ۵ برای آن مدلِ بیفایده اتفاق افتاد.
✅ چک کن: هر دو عدد را با دست از روی
confusion_matrixحساب کن:precision = TP / (TP + FP)وrecall = TP / (TP + FN). اگر عددهایت با خروجی نخواند، احتمالاً ردیف و ستونِ جدول را جابهجا خواندهای — که رایجترین اشتباهِ خواندنِ این جدول است.
۳. آن دو خطا، دو هزینهٔ کاملاً متفاوت#
حالا مهمترین بخشِ فصل. کدامیک از این دو معیار مهمتر است؟ بستگی دارد به اینکه اشتباه چقدر برایت خرج دارد.
| کاربرد | خطای گرانتر | معیارِ اصلی |
|---|---|---|
| غربالگریِ یک بیماریِ جدی | از دست دادنِ بیمار (FN) |
recall |
| فیلترِ اسپم | دور انداختنِ ایمیلِ مهم (FP) |
precision |
| پیشنهادِ محصول در فروشگاه | هر دو ملایماند | F1 |
| تشخیصِ تقلبِ بانکی | بستگی به مبلغ دارد | هزینهٔ پولی، نه هیچکدام |
ردیفِ اول و دوم عمداً کنارِ هماند چون جوابشان برعکسِ هم است. در غربالگری، از دست دادنِ یک بیمار فاجعه است و یک هشدارِ اشتباه فقط یک آزمایشِ اضافه؛ پس recall را بالا میبری حتی به قیمتِ precision پایین. در فیلترِ اسپم برعکس: یک اسپم که رد شود آزاردهنده است، ولی یک ایمیلِ کاریِ مهم که به زبالهدان برود میتواند خیلی گران باشد.
پس هیچ معیارِ «بهترینی» وجود ندارد. اولین سؤالِ هر پروژهٔ طبقهبندی این است: کدام خطا گرانتر است، و چقدر؟
📏 اندازه بگیر: و قدمِ بعدی که خیلیها برنمیدارند: هزینه را عدد کن. اگر یک
FNبرایت ده برابرِ یکFPخرج دارد، بهجای بحث دربارهٔ اینکه کدام معیار بهتر است، مستقیم هزینهٔ کل را حساب کن:10 × FN + 1 × FP. آنوقت انتخابِ آستانه از یک سلیقه به یک بهینهسازیِ روشن تبدیل میشود، و میتوانی به هر کسی توضیحش بدهی.
۴. همان مدل، با آستانهٔ متفاوت#
یک نکتهٔ فنیِ کوچک قبل از کد: confusion_matrix(...) یک جدولِ ۲×۲ میدهد و متدِ .ravel() آن را صاف میکند به یک ردیفِ چهارتایی — ردیفبهردیف، از بالا-چپ به پایین-راست. یعنی ترتیبش دقیقاً همان جدولِ بخشِ ۱ است: tn, fp, fn, tp. این ترتیب را حفظ کن؛ جابهجا خواندنش رایجترین راهِ گزارشِ عددِ غلط است.
probabilities = model.predict_proba(X_test)[:, 1]
for threshold in [0.9, 0.5, 0.05, 0.005]:
guess = (probabilities >= threshold).astype(int)
tn, fp, fn, tp = confusion_matrix(y_test, guess).ravel()
print(
f"آستانه {threshold}: از دست رفته={fn} هشدار اشتباه={fp} |"
f" precision={round(precision_score(y_test, guess, zero_division=0), 2)}"
f" recall={round(recall_score(y_test, guess), 2)}"
)
آستانه 0.9: از دست رفته=2 هشدار اشتباه=0 | precision=1.0 recall=0.71
آستانه 0.5: از دست رفته=2 هشدار اشتباه=1 | precision=0.83 recall=0.71
آستانه 0.05: از دست رفته=2 هشدار اشتباه=2 | precision=0.71 recall=0.71
آستانه 0.005: از دست رفته=1 هشدار اشتباه=2 | precision=0.75 recall=0.86
الگو را ببین: با پایینآمدنِ آستانه، از دست رفتهها کم میشوند و هشدارهای اشتباه زیاد. در آستانهٔ ۰٫۹ هیچ هشدارِ اشتباهی نداری (precision کامل) ولی دو مورد را از دست میدهی؛ در ۰٫۰۰۵ فقط یکی را از دست میدهی ولی دو هشدارِ اشتباه میگیری.
توجه کن که آستانهها اینجا خیلی تندند (۰٫۹ تا ۰٫۰۰۵) چون این مدل بسیار مطمئن است: احتمالهایش یا نزدیکِ صفرند یا نزدیکِ یک، و وسطِ میدان تقریباً خالی است. برای چنین مدلی، تغییرِ آستانه از ۰٫۳ به ۰٫۷ هیچ اثری ندارد. قبل از تنظیمِ آستانه، اول توزیعِ predict_proba را نگاه کن تا بدانی کدام بازه اصلاً معنا دارد.
این بدهبستان همیشه برقرار است و راهِ فرار ندارد. تنها کاری که میشود کرد این است که آگاهانه انتخاب کنی کجای این طیف بایستی — و انتخابت را از روی هزینهٔ خطا توجیه کنی، نه از روی عددی که قشنگتر است.
۵. چرا یک آزمایشِ ۹۹ درصد دقیق میتواند بیفایده باشد#
این معروفترین تلهٔ این حوزه است و ارزشِ حسابکردن دارد.
population = 100_000
prevalence = 0.001 # یک نفر از هر هزار نفر واقعاً بیمار است
sensitivity = 0.99 # آزمایش ۹۹٪ بیمارها را درست تشخیص میدهد
false_positive_rate = 0.01 # و برای ۱٪ سالمها هم اشتباهی مثبت میدهد
sick = population * prevalence
healthy = population - sick
true_positive = sick * sensitivity
false_positive = healthy * false_positive_rate
print("بیمارِ واقعی:", int(sick))
print("مثبتِ درست:", int(true_positive))
print("مثبتِ اشتباه:", int(false_positive))
print("precision:", round(true_positive / (true_positive + false_positive), 3))
بیمارِ واقعی: 100
مثبتِ درست: 99
مثبتِ اشتباه: 999
precision: 0.09
اگر جوابِ آزمایشت مثبت باشد، فقط ۹ درصد احتمال دارد واقعاً بیمار باشی.
آزمایش واقعاً ۹۹ درصد دقیق است و هیچچیز غلطی در آن نیست. مشکل این است که بیمارها نادرند: ۹۹ مثبتِ درست در برابرِ ۹۹۹ مثبتِ اشتباه، چون یک درصدِ نودونههزار نفرِ سالم عددِ بزرگی است.
این دقیقاً همان چیزی است که در فصلِ ۵ دیدی، فقط از طرفِ دیگرش: وقتی یک دسته نادر است، شهود دربارهٔ درصدها کاملاً خطا میکند.
🌱 ریشهاش کجاست: اسمِ این پدیده خطای نرخِ پایه است و یکی از مستندترین سوگیریهای شناختیِ انسان. ریشه، ترم ۶ فصل ۴ — احتمالِ شرطی و بزرگترین دامِ ریاضی دقیقاً همین مثال را از پایهٔ احتمال میسازد و نشان میدهد چرا مغز این را همیشه اشتباه حساب میکند. اگر میخواهی این را عمیقاً بفهمی — و ارزشش را دارد — آن فصل جای درستش است.
۶. classification_report: همهچیز یکجا#
from sklearn.metrics import classification_report
print(classification_report(y_test, predictions, target_names=["غیراپل", "اپل"]))
precision recall f1-score support
غیراپل 0.96 0.98 0.97 47
اپل 0.83 0.71 0.77 7
accuracy 0.94 54
macro avg 0.90 0.85 0.87 54
weighted avg 0.94 0.94 0.94 54
این گزارش را عادت کن همیشه چاپ کنی. سه چیزِ مهم در آن هست:
- برای هر دسته جداگانه معیار میدهد. ببین که برای «غیراپل» همهچیز عالی است (۰٫۹۶ و ۰٫۹۸) و برای «اپل» خیلی ضعیفتر.
accuracyکلی این تفاوت را کاملاً پنهان میکرد. supportتعدادِ نمونهٔ واقعیِ هر دسته است. اپل فقط ۷ نمونه دارد، پس هر عددی که برایش میبینی بیثبات است: یک نمونهٔ کمتر یا بیشتر،recallرا ۱۴ درصد جابهجا میکند.macro avgدر برابرِweighted avg— اولی به هر دسته وزنِ برابر میدهد و دومی بهنسبتِ تعدادشان. برای دادهٔ نامتوازن،macroصادقانهتر است چون نمیگذارد دستهٔ بزرگ همهچیز را بپوشاند. تفاوتِ ۰٫۸۷ و ۰٫۹۴ در همین خروجی، دقیقاً همان چیزی است که پنهان میشد.
⚠️ مواظب باش: با
supportبرابرِ ۷، هیچکدام از عددهای ردیفِ «اپل» را نباید با اطمینان گزارش کنی. قبل از تفسیرِ هر معیاری،supportآن دسته را نگاه کن — این همان درسِcountدرgroupbyاست که از ترمِ ۲ میآید، در لباسِ تازه.
۷. یک خطای واقعی: معیار بدونِ دستهٔ مثبت#
from sklearn.metrics import precision_score
zero_predictions = [0] * len(y_test)
precision_score(y_test, zero_predictions)
UndefinedMetricWarning: Precision is ill-defined and being set to 0.0 due to
no predicted samples.
وقتی مدل هیچ موردِ مثبتی پیشبینی نکند، precision تقسیم بر صفر میشود. scikit-learn بهجای خطا، هشدار میدهد و صفر برمیگرداند.
و این خطرناک است: هشدار در خروجیِ شلوغِ یک نوتبوک راحت گم میشود، و صفرِ برگشتی مثلِ یک نتیجهٔ واقعی بهنظر میرسد.
🔧 اگر کار نکرد: اگر
precisionیاF1صفرِ دقیق شد، اولpredictions.sum()را چاپ کن. اگر صفر بود، مدلت هیچ مثبتی نساخته و مسئله معیار نیست — همان چیزی است که در فصلِ ۵ دیدیم.zero_division=0هشدار را ساکت میکند ولی مشکل را حل نمیکند؛ فقط وقتی بهکارش ببر که بدانی چرا صفر شده.
🤖 از دستیارت بپرس: «برای یک سامانهٔ تشخیصِ تقلبِ بانکی، آیا precision مهمتر است یا recall؟ استدلال کن و بگو چه اطلاعاتِ اضافهای لازم داری تا مطمئن جواب بدهی.» بخشِ دوم مهمتر است: جوابِ درست بدونِ دانستنِ هزینهٔ هر خطا ممکن نیست، و دستیاری که بدونِ آن قاطع جواب بدهد، دارد حدس میزند.
واژههای تازهٔ این فصل#
| کلمه | تلفظ به حروف فارسی | یعنی چه |
|---|---|---|
| precision | پریسیژِن | از آنهایی که گفتم مثبتاند، چند درصد واقعاً بودند |
| recall | ریکال | از آنهایی که واقعاً مثبت بودند، چند درصد را پیدا کردم |
| F1 | اِفوان | میانگینِ هارمونیکِ آن دو؛ فقط با بالا بودنِ هر دو بالا میرود |
| TP / FP / FN / TN | تیپی / افپی / افان / تیان | چهار خانهٔ جدولِ درهمریختگی |
| support | ساپورت | تعدادِ نمونهٔ واقعیِ هر دسته |
تمرینها
اول خودت فکر کن یا امتحان کن — بعد اینجا را باز کن.
در فصل بعد#
حالا میتوانی یک مدل را درست بسنجی. ولی هنوز یک قدمِ ناتمام از فصلِ ۴ مانده: پیشپردازش را دستی انجام میدادیم و باید مواظب میبودیم که قبل از split نباشد. فصلِ بعد ابزاری میآورد که این را ساختاراً غیرممکن میکند — Pipeline — و از آنجا به بعد، هیچ پیشپردازشی در این دوره بیرونِ آن نوشته نمیشود.
به آخر این فصل رسیدی!
اگر ساختی و جواب داد، این دکمه مال توست.