سرنخ — خودآموز پایتون و برنامه‌نویسی برای هوش مصنوعی (مقدماتی)

فصل ۶ از ۱۲

پیشرفت ترم
۰٪

در این فصل چه یاد می‌گیری#

فصلِ قبل مدلی دیدی که ۸۷ درصد درست بود و صفر موردِ مفید پیدا کرد. این فصل ابزارِ درستِ سنجش را می‌آورد: precision، recall و F1. ولی نکتهٔ اصلی فرمول‌ها نیست — این است که انتخابِ معیار یک تصمیمِ مهندسی است که از روی هزینهٔ خطا گرفته می‌شود، نه یک عادت. و در پایان می‌بینی که این دقیقاً همان تلهٔ آماری است که یک آزمایشِ پزشکیِ ۹۹ درصد دقیق را هم بی‌فایده می‌کند.

دو ترازوی جدا که یکی سنگینیِ خطای «از دست دادن» و دیگری سنگینیِ خطای «هشدارِ اشتباه» را می‌سنجد

آخر این فصل می‌توانی:

  • precision و recall را از روی confusion matrix بخوانی و معنایشان را با کلمه بگویی
  • بگویی F1 چیست و کِی به‌کارش ببری
  • از روی هزینهٔ خطا معیارِ درست را انتخاب کنی
  • بگویی چرا یک آزمایشِ ۹۹ درصد دقیق می‌تواند عملاً بی‌فایده باشد

قبل از شروع#

از فصل ۵: confusion_matrix، predict_proba و آستانه.

از فصل ۳: DummyClassifier و اینکه accuracy بالا می‌تواند بی‌معنا باشد.

📓 نوت‌بوک: نوت‌بوک این فصل را در Colab باز کن — همهٔ کدهای این فصل آماده و به‌ترتیب داخلش هست.

۱. یک مدل که واقعاً کار می‌کند#

برای فهمیدنِ معیارها به مدلی نیاز داریم که سیگنال داشته باشد. price را اضافه می‌کنیم:

import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import confusion_matrix, accuracy_score

df = pd.read_csv("laptops_clean.csv").dropna(subset=["ram_gb"]).reset_index(drop=True)
df["is_apple"] = (df["brand"] == "اپل").astype(int)

X = df[["year", "ram_gb", "price"]]
y = df["is_apple"]

X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=0.25, random_state=99, stratify=y
)

model = LogisticRegression(max_iter=2000).fit(X_train, y_train)
predictions = model.predict(X_test)

print("accuracy:", round(accuracy_score(y_test, predictions), 3))
print(confusion_matrix(y_test, predictions))
accuracy: 0.944
[[46  1]
 [ 2  5]]

حالا مدل واقعاً کار می‌کند: از ۷ اپلِ واقعی، ۵ تا را پیدا کرد. دو تا را از دست داد و یک بار هم اشتباهی گفت اپل.

جدول را دوباره بخوان — چهار خانه‌اش چهار نام دارند که در همهٔ متونِ این حوزه دیده می‌شوند:

پیش‌بینی: منفی پیش‌بینی: مثبت
واقعیت: منفی ۴۶ — TN (درستِ منفی) ۱ — FP (هشدارِ اشتباه)
واقعیت: مثبت ۲ — FN (از دست رفته) ۵ — TP (درستِ مثبت)

دو خانهٔ پررنگ، دو نوعِ کاملاً متفاوتِ خطا هستند و کلِ این فصل دربارهٔ تفاوتشان است.

۲. precision و recall#

from sklearn.metrics import precision_score, recall_score, f1_score

print("precision:", round(precision_score(y_test, predictions), 3))
print("recall:", round(recall_score(y_test, predictions), 3))
print("F1:", round(f1_score(y_test, predictions), 3))
precision: 0.833
recall: 0.714
F1: 0.769

هر دو را با یک جملهٔ فارسی به‌خاطر بسپار — این بهترین راهِ اشتباه‌نکردنشان است:

  • precision = «از آن‌هایی که گفتم مثبت‌اند، چند درصد واقعاً بودند؟» اینجا ۶ مورد را اپل نامید و ۵ تایش درست بود: ۵ تقسیم بر ۶ می‌شود ۰٫۸۳۳.
  • recall = «از آن‌هایی که واقعاً مثبت بودند، چند درصد را پیدا کردم؟» ۷ اپلِ واقعی بود و ۵ تا را پیدا کرد: ۵ تقسیم بر ۷ می‌شود ۰٫۷۱۴.

پس precision دربارهٔ هشدارهای اشتباه است و recall دربارهٔ از دست رفته‌ها.

و F1 میانگینِ خاصی از این دوست (میانگینِ هارمونیک) که فقط وقتی بالا می‌رود که هر دو بالا باشند. اگر یکی‌شان صفر شود، F1 هم صفر می‌شود — که دقیقاً همان چیزی است که در فصلِ ۵ برای آن مدلِ بی‌فایده اتفاق افتاد.

✅ چک کن: هر دو عدد را با دست از روی confusion_matrix حساب کن: precision = TP / (TP + FP) و recall = TP / (TP + FN). اگر عددهایت با خروجی نخواند، احتمالاً ردیف و ستونِ جدول را جابه‌جا خوانده‌ای — که رایج‌ترین اشتباهِ خواندنِ این جدول است.

۳. آن دو خطا، دو هزینهٔ کاملاً متفاوت#

حالا مهم‌ترین بخشِ فصل. کدام‌یک از این دو معیار مهم‌تر است؟ بستگی دارد به اینکه اشتباه چقدر برایت خرج دارد.

کاربرد خطای گران‌تر معیارِ اصلی
غربالگریِ یک بیماریِ جدی از دست دادنِ بیمار (FN) recall
فیلترِ اسپم دور انداختنِ ایمیلِ مهم (FP) precision
پیشنهادِ محصول در فروشگاه هر دو ملایم‌اند F1
تشخیصِ تقلبِ بانکی بستگی به مبلغ دارد هزینهٔ پولی، نه هیچ‌کدام

ردیفِ اول و دوم عمداً کنارِ هم‌اند چون جوابشان برعکسِ هم است. در غربالگری، از دست دادنِ یک بیمار فاجعه است و یک هشدارِ اشتباه فقط یک آزمایشِ اضافه؛ پس recall را بالا می‌بری حتی به قیمتِ precision پایین. در فیلترِ اسپم برعکس: یک اسپم که رد شود آزاردهنده است، ولی یک ایمیلِ کاریِ مهم که به زباله‌دان برود می‌تواند خیلی گران باشد.

پس هیچ معیارِ «بهترینی» وجود ندارد. اولین سؤالِ هر پروژهٔ طبقه‌بندی این است: کدام خطا گران‌تر است، و چقدر؟

📏 اندازه بگیر: و قدمِ بعدی که خیلی‌ها برنمی‌دارند: هزینه را عدد کن. اگر یک FN برایت ده برابرِ یک FP خرج دارد، به‌جای بحث دربارهٔ اینکه کدام معیار بهتر است، مستقیم هزینهٔ کل را حساب کن: 10 × FN + 1 × FP. آن‌وقت انتخابِ آستانه از یک سلیقه به یک بهینه‌سازیِ روشن تبدیل می‌شود، و می‌توانی به هر کسی توضیحش بدهی.

۴. همان مدل، با آستانهٔ متفاوت#

یک نکتهٔ فنیِ کوچک قبل از کد: confusion_matrix(...) یک جدولِ ⁦۲×۲⁩ می‌دهد و متدِ .ravel() آن را صاف می‌کند به یک ردیفِ چهارتایی — ردیف‌به‌ردیف، از بالا-چپ به پایین-راست. یعنی ترتیبش دقیقاً همان جدولِ بخشِ ۱ است: tn, fp, fn, tp. این ترتیب را حفظ کن؛ جابه‌جا خواندنش رایج‌ترین راهِ گزارشِ عددِ غلط است.

probabilities = model.predict_proba(X_test)[:, 1]

for threshold in [0.9, 0.5, 0.05, 0.005]:
    guess = (probabilities >= threshold).astype(int)
    tn, fp, fn, tp = confusion_matrix(y_test, guess).ravel()
    print(
        f"آستانه {threshold}: از دست رفته={fn} هشدار اشتباه={fp} |"
        f" precision={round(precision_score(y_test, guess, zero_division=0), 2)}"
        f" recall={round(recall_score(y_test, guess), 2)}"
    )
آستانه 0.9: از دست رفته=2 هشدار اشتباه=0 | precision=1.0 recall=0.71
آستانه 0.5: از دست رفته=2 هشدار اشتباه=1 | precision=0.83 recall=0.71
آستانه 0.05: از دست رفته=2 هشدار اشتباه=2 | precision=0.71 recall=0.71
آستانه 0.005: از دست رفته=1 هشدار اشتباه=2 | precision=0.75 recall=0.86

الگو را ببین: با پایین‌آمدنِ آستانه، از دست رفته‌ها کم می‌شوند و هشدارهای اشتباه زیاد. در آستانهٔ ۰٫۹ هیچ هشدارِ اشتباهی نداری (precision کامل) ولی دو مورد را از دست می‌دهی؛ در ۰٫۰۰۵ فقط یکی را از دست می‌دهی ولی دو هشدارِ اشتباه می‌گیری.

توجه کن که آستانه‌ها اینجا خیلی تندند (۰٫۹ تا ۰٫۰۰۵) چون این مدل بسیار مطمئن است: احتمال‌هایش یا نزدیکِ صفرند یا نزدیکِ یک، و وسطِ میدان تقریباً خالی است. برای چنین مدلی، تغییرِ آستانه از ۰٫۳ به ۰٫۷ هیچ اثری ندارد. قبل از تنظیمِ آستانه، اول توزیعِ predict_proba را نگاه کن تا بدانی کدام بازه اصلاً معنا دارد.

این بده‌بستان همیشه برقرار است و راهِ فرار ندارد. تنها کاری که می‌شود کرد این است که آگاهانه انتخاب کنی کجای این طیف بایستی — و انتخابت را از روی هزینهٔ خطا توجیه کنی، نه از روی عددی که قشنگ‌تر است.

۵. چرا یک آزمایشِ ۹۹ درصد دقیق می‌تواند بی‌فایده باشد#

این معروف‌ترین تلهٔ این حوزه است و ارزشِ حساب‌کردن دارد.

population = 100_000
prevalence = 0.001          # یک نفر از هر هزار نفر واقعاً بیمار است
sensitivity = 0.99          # آزمایش ۹۹٪ بیمارها را درست تشخیص می‌دهد
false_positive_rate = 0.01  # و برای ۱٪ سالم‌ها هم اشتباهی مثبت می‌دهد

sick = population * prevalence
healthy = population - sick

true_positive = sick * sensitivity
false_positive = healthy * false_positive_rate

print("بیمارِ واقعی:", int(sick))
print("مثبتِ درست:", int(true_positive))
print("مثبتِ اشتباه:", int(false_positive))
print("precision:", round(true_positive / (true_positive + false_positive), 3))
بیمارِ واقعی: 100
مثبتِ درست: 99
مثبتِ اشتباه: 999
precision: 0.09

اگر جوابِ آزمایشت مثبت باشد، فقط ۹ درصد احتمال دارد واقعاً بیمار باشی.

آزمایش واقعاً ۹۹ درصد دقیق است و هیچ‌چیز غلطی در آن نیست. مشکل این است که بیمارها نادرند: ۹۹ مثبتِ درست در برابرِ ۹۹۹ مثبتِ اشتباه، چون یک درصدِ نودونه‌هزار نفرِ سالم عددِ بزرگی است.

این دقیقاً همان چیزی است که در فصلِ ۵ دیدی، فقط از طرفِ دیگرش: وقتی یک دسته نادر است، شهود دربارهٔ درصدها کاملاً خطا می‌کند.

🌱 ریشه‌اش کجاست: اسمِ این پدیده خطای نرخِ پایه است و یکی از مستندترین سوگیری‌های شناختیِ انسان. ریشه، ترم ۶ فصل ۴ — احتمالِ شرطی و بزرگ‌ترین دامِ ریاضی دقیقاً همین مثال را از پایهٔ احتمال می‌سازد و نشان می‌دهد چرا مغز این را همیشه اشتباه حساب می‌کند. اگر می‌خواهی این را عمیقاً بفهمی — و ارزشش را دارد — آن فصل جای درستش است.

۶. classification_report: همه‌چیز یکجا#

from sklearn.metrics import classification_report

print(classification_report(y_test, predictions, target_names=["غیراپل", "اپل"]))
              precision    recall  f1-score   support

      غیراپل       0.96      0.98      0.97        47
         اپل       0.83      0.71      0.77         7

    accuracy                           0.94        54
   macro avg       0.90      0.85      0.87        54
weighted avg       0.94      0.94      0.94        54

این گزارش را عادت کن همیشه چاپ کنی. سه چیزِ مهم در آن هست:

  • برای هر دسته جداگانه معیار می‌دهد. ببین که برای «غیراپل» همه‌چیز عالی است (۰٫۹۶ و ۰٫۹۸) و برای «اپل» خیلی ضعیف‌تر. accuracy کلی این تفاوت را کاملاً پنهان می‌کرد.
  • support تعدادِ نمونهٔ واقعیِ هر دسته است. اپل فقط ۷ نمونه دارد، پس هر عددی که برایش می‌بینی بی‌ثبات است: یک نمونهٔ کمتر یا بیشتر، recall را ۱۴ درصد جابه‌جا می‌کند.
  • macro avg در برابرِ weighted avg — اولی به هر دسته وزنِ برابر می‌دهد و دومی به‌نسبتِ تعدادشان. برای دادهٔ نامتوازن، macro صادقانه‌تر است چون نمی‌گذارد دستهٔ بزرگ همه‌چیز را بپوشاند. تفاوتِ ۰٫۸۷ و ۰٫۹۴ در همین خروجی، دقیقاً همان چیزی است که پنهان می‌شد.

⚠️ مواظب باش: با support برابرِ ۷، هیچ‌کدام از عددهای ردیفِ «اپل» را نباید با اطمینان گزارش کنی. قبل از تفسیرِ هر معیاری، support آن دسته را نگاه کن — این همان درسِ count در groupby است که از ترمِ ۲ می‌آید، در لباسِ تازه.

۷. یک خطای واقعی: معیار بدونِ دستهٔ مثبت#

from sklearn.metrics import precision_score

zero_predictions = [0] * len(y_test)
precision_score(y_test, zero_predictions)
UndefinedMetricWarning: Precision is ill-defined and being set to 0.0 due to
no predicted samples.

وقتی مدل هیچ موردِ مثبتی پیش‌بینی نکند، precision تقسیم بر صفر می‌شود. scikit-learn به‌جای خطا، هشدار می‌دهد و صفر برمی‌گرداند.

و این خطرناک است: هشدار در خروجیِ شلوغِ یک نوت‌بوک راحت گم می‌شود، و صفرِ برگشتی مثلِ یک نتیجهٔ واقعی به‌نظر می‌رسد.

🔧 اگر کار نکرد: اگر precision یا F1 صفرِ دقیق شد، اول predictions.sum() را چاپ کن. اگر صفر بود، مدلت هیچ مثبتی نساخته و مسئله معیار نیست — همان چیزی است که در فصلِ ۵ دیدیم. zero_division=0 هشدار را ساکت می‌کند ولی مشکل را حل نمی‌کند؛ فقط وقتی به‌کارش ببر که بدانی چرا صفر شده.

🤖 از دستیارت بپرس: «برای یک سامانهٔ تشخیصِ تقلبِ بانکی، آیا precision مهم‌تر است یا recall؟ استدلال کن و بگو چه اطلاعاتِ اضافه‌ای لازم داری تا مطمئن جواب بدهی.» بخشِ دوم مهم‌تر است: جوابِ درست بدونِ دانستنِ هزینهٔ هر خطا ممکن نیست، و دستیاری که بدونِ آن قاطع جواب بدهد، دارد حدس می‌زند.

واژه‌های تازهٔ این فصل#

کلمه تلفظ به حروف فارسی یعنی چه
precision پریسیژِن از آن‌هایی که گفتم مثبت‌اند، چند درصد واقعاً بودند
recall ریکال از آن‌هایی که واقعاً مثبت بودند، چند درصد را پیدا کردم
F1 اِف‌وان میانگینِ هارمونیکِ آن دو؛ فقط با بالا بودنِ هر دو بالا می‌رود
TP / FP / FN / TN تی‌پی / اف‌پی / اف‌ان / تی‌ان چهار خانهٔ جدولِ درهم‌ریختگی
support ساپورت تعدادِ نمونهٔ واقعیِ هر دسته

تمرین‌ها

اول خودت فکر کن یا امتحان کن — بعد اینجا را باز کن.

در فصل بعد#

حالا می‌توانی یک مدل را درست بسنجی. ولی هنوز یک قدمِ ناتمام از فصلِ ۴ مانده: پیش‌پردازش را دستی انجام می‌دادیم و باید مواظب می‌بودیم که قبل از split نباشد. فصلِ بعد ابزاری می‌آورد که این را ساختاراً غیرممکن می‌کند — Pipeline — و از آنجا به بعد، هیچ پیش‌پردازشی در این دوره بیرونِ آن نوشته نمی‌شود.

به آخر این فصل رسیدی!

اگر ساختی و جواب داد، این دکمه مال توست.