# فصل ۰۶ — `accuracy` دروغ می‌گوید

<div dir="rtl">

# فصل ۰۶ — `accuracy` دروغ می‌گوید

## در این فصل چه یاد می‌گیری

فصلِ قبل مدلی دیدی که ۸۷ درصد درست بود و صفر موردِ مفید پیدا کرد. این فصل ابزارِ درستِ سنجش را می‌آورد: `precision`، `recall` و `F1`. ولی نکتهٔ اصلی فرمول‌ها نیست — این است که **انتخابِ معیار یک تصمیمِ مهندسی است که از روی هزینهٔ خطا گرفته می‌شود، نه یک عادت.** و در پایان می‌بینی که این دقیقاً همان تلهٔ آماری است که یک آزمایشِ پزشکیِ ۹۹ درصد دقیق را هم بی‌فایده می‌کند.

![دو ترازوی جدا که یکی سنگینیِ خطای «از دست دادن» و دیگری سنگینیِ خطای «هشدارِ اشتباه» را می‌سنجد](/lesson-assets/t3-s06-metrics/prompt/01-image-two-error-costs.png)

آخر این فصل می‌توانی:

- `precision` و `recall` را از روی `confusion matrix` بخوانی و معنایشان را با کلمه بگویی
- بگویی `F1` چیست و کِی به‌کارش ببری
- از روی **هزینهٔ خطا** معیارِ درست را انتخاب کنی
- بگویی چرا یک آزمایشِ ۹۹ درصد دقیق می‌تواند عملاً بی‌فایده باشد

## قبل از شروع

**از فصل ۵:** `confusion_matrix`، `predict_proba` و آستانه.

**از فصل ۳:** `DummyClassifier` و اینکه `accuracy` بالا می‌تواند بی‌معنا باشد.

> 📓 **نوت‌بوک:** [نوت‌بوک این فصل را در Colab باز کن](/notebooks/sarnakh/term-3-machine-learning/session-06-metrics.ipynb) — همهٔ کدهای این فصل آماده و به‌ترتیب داخلش هست.

## ۱. یک مدل که واقعاً کار می‌کند

برای فهمیدنِ معیارها به مدلی نیاز داریم که سیگنال داشته باشد. `price` را اضافه می‌کنیم:

</div>

```python
import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import confusion_matrix, accuracy_score

df = pd.read_csv("laptops_clean.csv").dropna(subset=["ram_gb"]).reset_index(drop=True)
df["is_apple"] = (df["brand"] == "اپل").astype(int)

X = df[["year", "ram_gb", "price"]]
y = df["is_apple"]

X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=0.25, random_state=99, stratify=y
)

model = LogisticRegression(max_iter=2000).fit(X_train, y_train)
predictions = model.predict(X_test)

print("accuracy:", round(accuracy_score(y_test, predictions), 3))
print(confusion_matrix(y_test, predictions))
```

<div dir="rtl">

</div>

```text
accuracy: 0.944
[[46  1]
 [ 2  5]]
```

<div dir="rtl">

حالا مدل واقعاً کار می‌کند: از ۷ اپلِ واقعی، **۵ تا** را پیدا کرد. دو تا را از دست داد و یک بار هم اشتباهی گفت اپل.

جدول را دوباره بخوان — چهار خانه‌اش چهار **نام** دارند که در همهٔ متونِ این حوزه دیده می‌شوند:

</div>

| | پیش‌بینی: منفی | پیش‌بینی: مثبت |
|---|---|---|
| **واقعیت: منفی** | ۴۶ — `TN` (درستِ منفی) | ۱ — `FP` (**هشدارِ اشتباه**) |
| **واقعیت: مثبت** | ۲ — `FN` (**از دست رفته**) | ۵ — `TP` (درستِ مثبت) |

<div dir="rtl">

دو خانهٔ پررنگ، دو **نوعِ کاملاً متفاوتِ خطا** هستند و کلِ این فصل دربارهٔ تفاوتشان است.

## ۲. `precision` و `recall`

</div>

```python
from sklearn.metrics import precision_score, recall_score, f1_score

print("precision:", round(precision_score(y_test, predictions), 3))
print("recall:", round(recall_score(y_test, predictions), 3))
print("F1:", round(f1_score(y_test, predictions), 3))
```

<div dir="rtl">

</div>

```text
precision: 0.833
recall: 0.714
F1: 0.769
```

<div dir="rtl">

هر دو را با یک جملهٔ فارسی به‌خاطر بسپار — این بهترین راهِ اشتباه‌نکردنشان است:

- **`precision` = «از آن‌هایی که گفتم مثبت‌اند، چند درصد واقعاً بودند؟»** اینجا ۶ مورد را اپل نامید و ۵ تایش درست بود: ۵ تقسیم بر ۶ می‌شود ۰٫۸۳۳.
- **`recall` = «از آن‌هایی که واقعاً مثبت بودند، چند درصد را پیدا کردم؟»** ۷ اپلِ واقعی بود و ۵ تا را پیدا کرد: ۵ تقسیم بر ۷ می‌شود ۰٫۷۱۴.

پس **`precision` دربارهٔ هشدارهای اشتباه است و `recall` دربارهٔ از دست رفته‌ها.**

و **`F1`** میانگینِ خاصی از این دوست (میانگینِ هارمونیک) که فقط وقتی بالا می‌رود که **هر دو** بالا باشند. اگر یکی‌شان صفر شود، `F1` هم صفر می‌شود — که دقیقاً همان چیزی است که در فصلِ ۵ برای آن مدلِ بی‌فایده اتفاق افتاد.

> ✅ **چک کن:** هر دو عدد را با دست از روی `confusion_matrix` حساب کن: `precision = TP / (TP + FP)` و `recall = TP / (TP + FN)`. اگر عددهایت با خروجی نخواند، احتمالاً ردیف و ستونِ جدول را جابه‌جا خوانده‌ای — که رایج‌ترین اشتباهِ خواندنِ این جدول است.

## ۳. آن دو خطا، دو هزینهٔ کاملاً متفاوت

حالا مهم‌ترین بخشِ فصل. کدام‌یک از این دو معیار مهم‌تر است؟ **بستگی دارد به اینکه اشتباه چقدر برایت خرج دارد.**

</div>

| کاربرد | خطای گران‌تر | معیارِ اصلی |
|---|---|---|
| غربالگریِ یک بیماریِ جدی | از دست دادنِ بیمار (`FN`) | **`recall`** |
| فیلترِ اسپم | دور انداختنِ ایمیلِ مهم (`FP`) | **`precision`** |
| پیشنهادِ محصول در فروشگاه | هر دو ملایم‌اند | **`F1`** |
| تشخیصِ تقلبِ بانکی | بستگی به مبلغ دارد | هزینهٔ پولی، نه هیچ‌کدام |

<div dir="rtl">

ردیفِ اول و دوم عمداً کنارِ هم‌اند چون **جوابشان برعکسِ هم است**. در غربالگری، از دست دادنِ یک بیمار فاجعه است و یک هشدارِ اشتباه فقط یک آزمایشِ اضافه؛ پس `recall` را بالا می‌بری حتی به قیمتِ `precision` پایین. در فیلترِ اسپم برعکس: یک اسپم که رد شود آزاردهنده است، ولی یک ایمیلِ کاریِ مهم که به زباله‌دان برود می‌تواند خیلی گران باشد.

**پس هیچ معیارِ «بهترینی» وجود ندارد.** اولین سؤالِ هر پروژهٔ طبقه‌بندی این است: **کدام خطا گران‌تر است، و چقدر؟**

> 📏 **اندازه بگیر:** و قدمِ بعدی که خیلی‌ها برنمی‌دارند: **هزینه را عدد کن.** اگر یک `FN` برایت ده برابرِ یک `FP` خرج دارد، به‌جای بحث دربارهٔ اینکه کدام معیار بهتر است، مستقیم هزینهٔ کل را حساب کن: `10 × FN + 1 × FP`. آن‌وقت انتخابِ آستانه از یک سلیقه به یک بهینه‌سازیِ روشن تبدیل می‌شود، و می‌توانی به هر کسی توضیحش بدهی.

## ۴. همان مدل، با آستانهٔ متفاوت

یک نکتهٔ فنیِ کوچک قبل از کد: `confusion_matrix(...)` یک جدولِ ۲×۲ می‌دهد و متدِ `.ravel()` آن را **صاف می‌کند** به یک ردیفِ چهارتایی — ردیف‌به‌ردیف، از بالا-چپ به پایین-راست. یعنی ترتیبش دقیقاً همان جدولِ بخشِ ۱ است: `tn, fp, fn, tp`. **این ترتیب را حفظ کن**؛ جابه‌جا خواندنش رایج‌ترین راهِ گزارشِ عددِ غلط است.

</div>

```python
probabilities = model.predict_proba(X_test)[:, 1]

for threshold in [0.9, 0.5, 0.05, 0.005]:
    guess = (probabilities >= threshold).astype(int)
    tn, fp, fn, tp = confusion_matrix(y_test, guess).ravel()
    print(
        f"آستانه {threshold}: از دست رفته={fn} هشدار اشتباه={fp} |"
        f" precision={round(precision_score(y_test, guess, zero_division=0), 2)}"
        f" recall={round(recall_score(y_test, guess), 2)}"
    )
```

<div dir="rtl">

</div>

```text
آستانه 0.9: از دست رفته=2 هشدار اشتباه=0 | precision=1.0 recall=0.71
آستانه 0.5: از دست رفته=2 هشدار اشتباه=1 | precision=0.83 recall=0.71
آستانه 0.05: از دست رفته=2 هشدار اشتباه=2 | precision=0.71 recall=0.71
آستانه 0.005: از دست رفته=1 هشدار اشتباه=2 | precision=0.75 recall=0.86
```

<div dir="rtl">

الگو را ببین: **با پایین‌آمدنِ آستانه، از دست رفته‌ها کم می‌شوند و هشدارهای اشتباه زیاد.** در آستانهٔ ۰٫۹ هیچ هشدارِ اشتباهی نداری (`precision` کامل) ولی دو مورد را از دست می‌دهی؛ در ۰٫۰۰۵ فقط یکی را از دست می‌دهی ولی دو هشدارِ اشتباه می‌گیری.

توجه کن که آستانه‌ها اینجا خیلی تندند (۰٫۹ تا ۰٫۰۰۵) چون این مدل **بسیار مطمئن** است: احتمال‌هایش یا نزدیکِ صفرند یا نزدیکِ یک، و وسطِ میدان تقریباً خالی است. برای چنین مدلی، تغییرِ آستانه از ۰٫۳ به ۰٫۷ هیچ اثری ندارد. **قبل از تنظیمِ آستانه، اول توزیعِ `predict_proba` را نگاه کن** تا بدانی کدام بازه اصلاً معنا دارد.

این بده‌بستان **همیشه** برقرار است و راهِ فرار ندارد. تنها کاری که می‌شود کرد این است که آگاهانه انتخاب کنی کجای این طیف بایستی — و انتخابت را از روی هزینهٔ خطا توجیه کنی، نه از روی عددی که قشنگ‌تر است.

## ۵. چرا یک آزمایشِ ۹۹ درصد دقیق می‌تواند بی‌فایده باشد

این معروف‌ترین تلهٔ این حوزه است و ارزشِ حساب‌کردن دارد.

</div>

```python
population = 100_000
prevalence = 0.001          # یک نفر از هر هزار نفر واقعاً بیمار است
sensitivity = 0.99          # آزمایش ۹۹٪ بیمارها را درست تشخیص می‌دهد
false_positive_rate = 0.01  # و برای ۱٪ سالم‌ها هم اشتباهی مثبت می‌دهد

sick = population * prevalence
healthy = population - sick

true_positive = sick * sensitivity
false_positive = healthy * false_positive_rate

print("بیمارِ واقعی:", int(sick))
print("مثبتِ درست:", int(true_positive))
print("مثبتِ اشتباه:", int(false_positive))
print("precision:", round(true_positive / (true_positive + false_positive), 3))
```

<div dir="rtl">

</div>

```text
بیمارِ واقعی: 100
مثبتِ درست: 99
مثبتِ اشتباه: 999
precision: 0.09
```

<div dir="rtl">

**اگر جوابِ آزمایشت مثبت باشد، فقط ۹ درصد احتمال دارد واقعاً بیمار باشی.**

آزمایش واقعاً ۹۹ درصد دقیق است و هیچ‌چیز غلطی در آن نیست. مشکل این است که بیمارها **نادرند**: ۹۹ مثبتِ درست در برابرِ ۹۹۹ مثبتِ اشتباه، چون یک درصدِ نودونه‌هزار نفرِ سالم عددِ بزرگی است.

این دقیقاً همان چیزی است که در فصلِ ۵ دیدی، فقط از طرفِ دیگرش: **وقتی یک دسته نادر است، شهود دربارهٔ درصدها کاملاً خطا می‌کند.**

> 🌱 **ریشه‌اش کجاست:** اسمِ این پدیده **خطای نرخِ پایه** است و یکی از مستندترین سوگیری‌های شناختیِ انسان. [ریشه، ترم ۶ فصل ۴ — احتمالِ شرطی و بزرگ‌ترین دامِ ریاضی](/courses/risheh/lessons/term-6-probability-statistics/session-04-conditional) دقیقاً همین مثال را از پایهٔ احتمال می‌سازد و نشان می‌دهد چرا مغز این را همیشه اشتباه حساب می‌کند. اگر می‌خواهی این را عمیقاً بفهمی — و ارزشش را دارد — آن فصل جای درستش است.

## ۶. `classification_report`: همه‌چیز یکجا

</div>

```python
from sklearn.metrics import classification_report

print(classification_report(y_test, predictions, target_names=["غیراپل", "اپل"]))
```

<div dir="rtl">

</div>

```text
              precision    recall  f1-score   support

      غیراپل       0.96      0.98      0.97        47
         اپل       0.83      0.71      0.77         7

    accuracy                           0.94        54
   macro avg       0.90      0.85      0.87        54
weighted avg       0.94      0.94      0.94        54
```

<div dir="rtl">

این گزارش را عادت کن همیشه چاپ کنی. سه چیزِ مهم در آن هست:

- **برای هر دسته جداگانه** معیار می‌دهد. ببین که برای «غیراپل» همه‌چیز عالی است (۰٫۹۶ و ۰٫۹۸) و برای «اپل» خیلی ضعیف‌تر. `accuracy` کلی این تفاوت را کاملاً پنهان می‌کرد.
- **`support`** تعدادِ نمونهٔ واقعیِ هر دسته است. اپل فقط ۷ نمونه دارد، پس هر عددی که برایش می‌بینی **بی‌ثبات** است: یک نمونهٔ کمتر یا بیشتر، `recall` را ۱۴ درصد جابه‌جا می‌کند.
- **`macro avg` در برابرِ `weighted avg`** — اولی به هر دسته وزنِ برابر می‌دهد و دومی به‌نسبتِ تعدادشان. برای دادهٔ نامتوازن، `macro` صادقانه‌تر است چون نمی‌گذارد دستهٔ بزرگ همه‌چیز را بپوشاند. تفاوتِ ۰٫۸۷ و ۰٫۹۴ در همین خروجی، دقیقاً همان چیزی است که پنهان می‌شد.

> ⚠️ **مواظب باش:** با `support` برابرِ ۷، هیچ‌کدام از عددهای ردیفِ «اپل» را نباید با اطمینان گزارش کنی. **قبل از تفسیرِ هر معیاری، `support` آن دسته را نگاه کن** — این همان درسِ `count` در `groupby` است که از ترمِ ۲ می‌آید، در لباسِ تازه.

## ۷. یک خطای واقعی: معیار بدونِ دستهٔ مثبت

</div>

```python-broken
from sklearn.metrics import precision_score

zero_predictions = [0] * len(y_test)
precision_score(y_test, zero_predictions)
```

<div dir="rtl">

</div>

```text
UndefinedMetricWarning: Precision is ill-defined and being set to 0.0 due to
no predicted samples.
```

<div dir="rtl">

وقتی مدل هیچ موردِ مثبتی پیش‌بینی نکند، `precision` تقسیم بر صفر می‌شود. `scikit-learn` به‌جای خطا، **هشدار** می‌دهد و صفر برمی‌گرداند.

و این خطرناک است: هشدار در خروجیِ شلوغِ یک نوت‌بوک راحت گم می‌شود، و صفرِ برگشتی مثلِ یک نتیجهٔ واقعی به‌نظر می‌رسد.

> 🔧 **اگر کار نکرد:** اگر `precision` یا `F1` صفرِ دقیق شد، اول `predictions.sum()` را چاپ کن. اگر صفر بود، مدلت هیچ مثبتی نساخته و مسئله معیار نیست — همان چیزی است که در فصلِ ۵ دیدیم. `zero_division=0` هشدار را ساکت می‌کند ولی مشکل را حل نمی‌کند؛ **فقط وقتی به‌کارش ببر که بدانی چرا صفر شده.**

> 🤖 **از دستیارت بپرس:** «برای یک سامانهٔ تشخیصِ تقلبِ بانکی، آیا precision مهم‌تر است یا recall؟ استدلال کن و بگو چه اطلاعاتِ اضافه‌ای لازم داری تا مطمئن جواب بدهی.» بخشِ دوم مهم‌تر است: جوابِ درست بدونِ دانستنِ هزینهٔ هر خطا ممکن نیست، و دستیاری که بدونِ آن قاطع جواب بدهد، دارد حدس می‌زند.

## واژه‌های تازهٔ این فصل

</div>

| کلمه | تلفظ به حروف فارسی | یعنی چه |
|---|---|---|
| precision | پریسیژِن | از آن‌هایی که گفتم مثبت‌اند، چند درصد واقعاً بودند |
| recall | ریکال | از آن‌هایی که واقعاً مثبت بودند، چند درصد را پیدا کردم |
| F1 | اِف‌وان | میانگینِ هارمونیکِ آن دو؛ فقط با بالا بودنِ هر دو بالا می‌رود |
| TP / FP / FN / TN | تی‌پی / اف‌پی / اف‌ان / تی‌ان | چهار خانهٔ جدولِ درهم‌ریختگی |
| support | ساپورت | تعدادِ نمونهٔ واقعیِ هر دسته |

<div dir="rtl">

## تمرین‌ها

قبل از تمرین، بدونِ نگاه به بالا جواب بده: `precision` و `recall` کدام دربارهٔ «از دست رفته‌ها»ست و کدام دربارهٔ «هشدارهای اشتباه»؟

**تمرینِ اجباری:** برای هفت آستانهٔ مختلف بینِ ۰٫۱ و ۰٫۹، `precision` و `recall` را حساب کن و در یک جدول بگذار. حالا فرض کن این مدل قرار است آگهی‌های اپل را برای یک خریدار پیدا کند که وقتش محدود است و فقط ۱۰ آگهی می‌تواند ببیند. کدام آستانه را انتخاب می‌کنی و چرا؟ **انتخابت را با عدد توجیه کن، نه با حس.**

**تمرینِ ستاره‌دار ⭐:** محاسبهٔ بخشِ ۵ را به یک تابع تبدیل کن که `prevalence` را پارامتر بگیرد. حالا `precision` را برای شیوعِ ۰٫۱٪، ۱٪، ۱۰٪ و ۵۰٪ حساب کن و نمودارش را بکش. در چه شیوعی `precision` از ۵۰ درصد رد می‌شود؟ حالا این را بنویس: **اگر همین آزمایش را به‌جای غربالگریِ عمومی، فقط روی کسانی به‌کار ببری که علامتِ بیماری دارند، چه چیزی عوض می‌شود؟** جوابِ این سؤال، کلِ منطقِ غربالگریِ پزشکی است.

## در فصل بعد

حالا می‌توانی یک مدل را درست بسنجی. ولی هنوز یک قدمِ ناتمام از فصلِ ۴ مانده: پیش‌پردازش را دستی انجام می‌دادیم و باید مواظب می‌بودیم که قبل از `split` نباشد. فصلِ بعد ابزاری می‌آورد که این را **ساختاراً** غیرممکن می‌کند — `Pipeline` — و از آنجا به بعد، هیچ پیش‌پردازشی در این دوره بیرونِ آن نوشته نمی‌شود.

</div>

---
Source: https://yaadestan.com/courses/sarnakh/lessons/t3/s06-metrics (یادستان, Yaadestan)
