# فصل ۰۵ — طبقه‌بندی: جوابِ بله-خیر

<div dir="rtl">

# فصل ۰۵ — طبقه‌بندی: جوابِ بله-خیر

## در این فصل چه یاد می‌گیری

تا اینجا عدد پیش‌بینی کردی. حالا **دسته** پیش‌بینی می‌کنی: این آگهی اپل است یا نه؟ این ایمیل اسپم است یا نه؟ کدش تقریباً همان است — سه خطِ آشنا. ولی در همین فصل با چیزی روبه‌رو می‌شوی که کلِ فصلِ بعد به آن اختصاص دارد: مدلی می‌سازی که **۸۷ درصد درست** است و **هیچ‌کدام** از چیزهایی را که دنبالشان بودی پیدا نمی‌کند.

![یک دستگاهِ برش‌خورده که هر قطعه را به یکی از دو سبد می‌اندازد و یک عقربهٔ درجه‌بندی‌شده مرزِ تصمیم را نشان می‌دهد](/lesson-assets/t3-s05-classification/prompt/01-image-decision-threshold.png)

آخر این فصل می‌توانی:

- با `LogisticRegression` یک طبقه‌بند بسازی
- با `predict_proba` احتمالِ هر دسته را بگیری و تفاوتش با `predict` را بگویی
- `confusion matrix` را بخوانی و بگویی هر خانه‌اش چیست
- آستانهٔ تصمیم را عوض کنی و اثرش را ببینی

## قبل از شروع

**از فصل ۴:** `train_test_split`، خطای آموزش در برابرِ آزمون، و سه نوع نشتی.

**از فصل ۳:** `DummyClassifier` و اینکه یک مدلِ بی‌سواد هم می‌تواند `accuracy` بالا بگیرد.

> 📓 **نوت‌بوک:** [نوت‌بوک این فصل را در Colab باز کن](/notebooks/sarnakh/term-3-machine-learning/session-05-classification.ipynb) — همهٔ کدهای این فصل آماده و به‌ترتیب داخلش هست.

## ۱. ساختنِ مسئله

</div>

```python
import pandas as pd
from sklearn.model_selection import train_test_split

df = pd.read_csv("laptops_clean.csv").dropna(subset=["ram_gb"]).reset_index(drop=True)
df["is_apple"] = (df["brand"] == "اپل").astype(int)

X = df[["year", "ram_gb"]]
y = df["is_apple"]

X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=0.25, random_state=42, stratify=y
)

print("نسبت اپل در کل داده:", round(y.mean(), 3))
print("نسبت اپل در آزمون:", round(y_test.mean(), 3))
print("اندازه‌ها:", X_train.shape, X_test.shape)
```

<div dir="rtl">

</div>

```text
نسبت اپل در کل داده: 0.127
نسبت اپل در آزمون: 0.13
اندازه‌ها: (159, 2) (54, 2)
```

<div dir="rtl">

سؤال: **از روی سال و حافظه، بگو این لپ‌تاپ اپل است یا نه.**

آن `stratify=y` تازه است و مهم: به `train_test_split` می‌گوید نسبتِ دسته‌ها را در هر دو تکه **حفظ کن**. بدونِ آن، با فقط ۲۷ اپل در کلِ داده، ممکن بود تقسیمِ تصادفی همه یا هیچ‌کدام را در یک طرف بیندازد.

> ⚠️ **مواظب باش:** `stratify` را در هر مسئلهٔ طبقه‌بندی به‌کار ببر، مخصوصاً وقتی دسته‌ها نامتوازن‌اند. فراموش‌کردنش باعث می‌شود عددهایت بین اجراها بی‌دلیل بالا و پایین بروند، و بدترین حالتش این است که یک دسته اصلاً در دادهٔ آزمون نباشد و متریک‌هایت بی‌معنا شوند.

## ۲. مدل

</div>

```python
from sklearn.linear_model import LogisticRegression
from sklearn.dummy import DummyClassifier
from sklearn.metrics import accuracy_score

model = LogisticRegression(max_iter=1000).fit(X_train, y_train)
predictions = model.predict(X_test)

baseline = DummyClassifier(strategy="most_frequent").fit(X_train, y_train)

print("accuracy مدل:", round(accuracy_score(y_test, predictions), 3))
print("accuracy خط پایه:", round(accuracy_score(y_test, baseline.predict(X_test)), 3))
```

<div dir="rtl">

</div>

```text
accuracy مدل: 0.87
accuracy خط پایه: 0.87
```

<div dir="rtl">

**دقیقاً برابر.**

مدل با تمامِ آموزشش، ذره‌ای از یک مدلِ بی‌سواد که همیشه «اپل نیست» می‌گوید بهتر نیست. اگر فصلِ ۳ را نخوانده بودی و فقط عددِ `0.87` را می‌دیدی، احتمالاً خوشحال می‌شدی.

`LogisticRegression` برخلافِ نامش برای **طبقه‌بندی** است، نه رگرسیون. آن `max_iter=1000` هم فقط به الگوریتمِ درونی وقتِ بیشتری می‌دهد تا همگرا شود؛ بدونش گاهی هشدار می‌دهد.

## ۳. `confusion matrix`: دقیقاً چه شد

`accuracy` یک عدد است و همه‌چیز را در خودش می‌بلعد. برای دیدنِ اینکه واقعاً چه اتفاقی افتاده، به جدولِ درهم‌ریختگی نگاه کن:

</div>

```python
from sklearn.metrics import confusion_matrix

cm = confusion_matrix(y_test, predictions)
print(cm)
print("تعداد اپل‌های واقعی در آزمون:", int(y_test.sum()))
print("تعداد اپل‌هایی که مدل پیدا کرد:", int(predictions.sum()))
```

<div dir="rtl">

</div>

```text
[[47  0]
 [ 7  0]]
تعداد اپل‌های واقعی در آزمون: 7
تعداد اپل‌هایی که مدل پیدا کرد: 0
```

<div dir="rtl">

**مدل صفر تا اپل پیدا کرد.**

جدول را بخوان — چهار خانه دارد و ردیف‌ها **واقعیت**‌اند و ستون‌ها **پیش‌بینی**:

</div>

| | پیش‌بینی: اپل نیست | پیش‌بینی: اپل |
|---|---|---|
| **واقعیت: اپل نیست** | ۴۷ (درستِ منفی) | ۰ (هشدارِ اشتباه) |
| **واقعیت: اپل** | ۷ (**از دست رفته**) | ۰ (درستِ مثبت) |

<div dir="rtl">

ستونِ دوم کاملاً صفر است: مدل **هیچ‌وقت** نگفت «اپل». ۴۷ تا را درست گفت «اپل نیست» و ۷ تا را از دست داد. جمعِ درست‌ها ۴۷ از ۵۴ می‌شود ۰٫۸۷.

پس آن ۸۷ درصد کاملاً واقعی است **و کاملاً بی‌فایده**. اگر این مدل را برای پیدا کردنِ آگهی‌های اپل به‌کار می‌بردی، هیچ آگهی‌ای پیدا نمی‌کرد.

> 📏 **اندازه بگیر:** **بعد از هر طبقه‌بندی، اول `confusion_matrix` را چاپ کن، بعد `accuracy` را.** یک عددِ تکی نمی‌تواند تفاوتِ «۷ تا را از دست دادم» و «۷ بارِ اشتباه هشدار دادم» را بگوید، در حالی که این دو در دنیای واقعی هزینه‌های کاملاً متفاوتی دارند. فصلِ بعد کاملاً همین است.

## ۴. `predict_proba`: زیرِ تصمیم چه می‌گذرد

مدل در واقع «بله/خیر» تولید نمی‌کند؛ یک **احتمال** می‌دهد و بعد از یک آستانه ردش می‌کند.

</div>

```python
probabilities = model.predict_proba(X_test)[:, 1]

print("پنج احتمال اول:", probabilities[:5].round(3))
print("بیشترین احتمالی که مدل داد:", round(probabilities.max(), 3))
print("آستانهٔ پیش‌فرض: 0.5")
```

<div dir="rtl">

</div>

```text
پنج احتمال اول: [0.121 0.121 0.121 0.121 0.121]
بیشترین احتمالی که مدل داد: 0.147
آستانهٔ پیش‌فرض: 0.5
```

<div dir="rtl">

**حالا معما حل شد.** بیشترین احتمالی که مدل به هر ردیفی داد ۰٫۱۴۷ بود — و آستانهٔ پیش‌فرضِ `predict` نیم است. هیچ ردیفی از نیم رد نشد، پس هیچ‌کدام «اپل» برچسب نخوردند.

`predict_proba` دو ستون می‌دهد: احتمالِ دستهٔ صفر و احتمالِ دستهٔ یک. آن `[:, 1]` ستونِ دوم را برمی‌دارد — همان چیزی که معمولاً می‌خواهی. و چون دو دسته بیشتر نیست، جمعِ هر ردیف همیشه دقیقاً ۱ است.

> 🌱 **ریشه‌اش کجاست:** عددی که `predict_proba` می‌دهد ادعا می‌کند یک **احتمال** است — و احتمال معنای دقیقی دارد که با «اطمینانِ مدل» یکی نیست. [ریشه، ترم ۶ فصل ۲ — احتمال یعنی چه](/courses/risheh/lessons/term-6-probability-statistics/session-02-probability) نشان می‌دهد «احتمالِ ۷۰ درصد» دقیقاً چه ادعایی می‌کند و چرا یک پیش‌بینیِ ۷۰ درصدی که محقق نشد، لزوماً غلط نبوده. بدونِ این تمایز، هر تفسیری از خروجیِ این تابع حدس است.

## ۵. آستانه یک تصمیم است، نه یک ثابت

در جدولِ زیر دو عدد کنارِ هر آستانه می‌آید: «از میانِ آن‌هایی که مثبت خواندم چند درصد واقعاً بودند» و «از کلِ مثبت‌های واقعی چند درصد را پیدا کردم». **نامِ رسمی‌شان `precision` و `recall` است و فصلِ بعد کاملاً بازشان می‌کند**؛ فعلاً همان دو جملهٔ فارسی کافی است.

</div>

```python
from sklearn.metrics import precision_score, recall_score

for threshold in [0.5, 0.13, 0.125, 0.11]:
    guess = (probabilities >= threshold).astype(int)
    found = int(guess.sum())
    print(
        f"آستانه {threshold}: {found} پیش‌بینی مثبت |"
        f" درست از میان آن‌ها: {round(precision_score(y_test, guess, zero_division=0), 2)} |"
        f" از کل اپل‌ها پیدا شد: {round(recall_score(y_test, guess), 2)}"
    )
```

<div dir="rtl">

</div>

```text
آستانه 0.5: 0 پیش‌بینی مثبت | درست از میان آن‌ها: 0.0 | از کل اپل‌ها پیدا شد: 0.0
آستانه 0.13: 2 پیش‌بینی مثبت | درست از میان آن‌ها: 0.0 | از کل اپل‌ها پیدا شد: 0.0
آستانه 0.125: 18 پیش‌بینی مثبت | درست از میان آن‌ها: 0.11 | از کل اپل‌ها پیدا شد: 0.29
آستانه 0.11: 54 پیش‌بینی مثبت | درست از میان آن‌ها: 0.13 | از کل اپل‌ها پیدا شد: 1.0
```

<div dir="rtl">

پایین‌آوردنِ آستانه واقعاً مدل را وادار می‌کند «اپل» بگوید — ولی نتیجه‌اش را ببین. در آستانهٔ ۰٫۱۲۵، هجده آگهی را اپل می‌نامد و فقط دو تایشان درست است. در آستانهٔ ۰٫۱۱ همه را اپل می‌نامد: هر هفت اپل پیدا می‌شوند و ۴۷ هشدارِ اشتباه هم می‌گیری.

**و این مهم‌ترین چیزی است که این جدول می‌گوید: هیچ آستانه‌ای این مدل را نجات نمی‌دهد.** بالاترین دقتی که در هر آستانه‌ای می‌گیری ۰٫۱۳ است — دقیقاً همان نسبتِ اپل در داده. یعنی مدل عملاً دارد **تصادفی** انتخاب می‌کند. `year` و `ram_gb` سیگنالی دربارهٔ برند ندارند، و تنظیمِ آستانه نمی‌تواند سیگنالی بسازد که وجود ندارد.

با این حال قاعدهٔ آستانه خودش درست و مهم است — فقط وقتی به‌کار می‌آید که مدل **سیگنال داشته باشد**. آن‌وقت آستانه یک انتخابِ مهندسی است، نه یک عددِ طبیعی، و بستگی دارد به اینکه کدام خطا گران‌تر است:

- **از دست دادنِ یک موردِ واقعی گران است** (تشخیصِ بیماری، تشخیصِ تقلب) ← آستانه را پایین بیاور.
- **هشدارِ اشتباه گران است** (فیلترِ اسپم که ایمیلِ مهم را دور می‌اندازد) ← آستانه را بالا ببر.

> ✅ **چک کن:** ستونِ «پیش‌بینی مثبت» باید با پایین‌آمدنِ آستانه **همیشه** زیاد شود، هرگز کم. اگر جز این دیدی، جایی علامتِ مقایسه را برعکس نوشته‌ای.

## ۶. راهِ درست: feature بهتر، نه آستانهٔ بهتر

وقتی مدل سیگنال ندارد، جواب در تنظیمِ پارامتر نیست — در **داده** است. `price` را اضافه کنیم:

</div>

```python
X_full = df[["year", "ram_gb", "price"]]
Xf_train, Xf_test, yf_train, yf_test = train_test_split(
    X_full, y, test_size=0.25, random_state=42, stratify=y
)

full_model = LogisticRegression(max_iter=1000).fit(Xf_train, yf_train)
print("accuracy با قیمت:", round(accuracy_score(yf_test, full_model.predict(Xf_test)), 3))
print(confusion_matrix(yf_test, full_model.predict(Xf_test)))
```

<div dir="rtl">

</div>

```text
accuracy با قیمت: 1.0
[[47  0]
 [ 0  7]]
```

<div dir="rtl">

**صد درصد.** و طبقِ قاعدهٔ فصلِ ۴، اولین واکنشت باید **شک** باشد، نه ذوق.

پس بررسی می‌کنیم — آیا نشتی است؟

</div>

```python
ranges = df.groupby("is_apple")["price"].agg(["min", "max", "count"])
print(ranges)

low, high = ranges.loc[1, "min"], ranges.loc[0, "max"]
overlap = df[(df["price"] >= low) & (df["price"] <= high)]

print("بازهٔ همپوشان:", low, "تا", high)
print("ردیف‌های داخل این بازه:", len(overlap))
print("در همین بازه — غیراپل و اپل:", overlap["is_apple"].value_counts().to_dict())
```

<div dir="rtl">

</div>

```text
               min       max  count
is_apple
0          9000000  44600000    186
1         30700000  59800000     27
بازهٔ همپوشان: 30700000 تا 44600000
ردیف‌های داخل این بازه: 51
در همین بازه — غیراپل و اپل: {0: 38, 1: 13}
```

<div dir="rtl">

جواب: **نشتی نیست — ولی صد درصد هم واقعی نیست.**

اول نشتی را رد کنیم: `price` نشتیِ برچسب نیست. اگر آگهی‌ای ببینی که برندش ننوشته، قیمتش را **داری**. پس این feature در زمانِ پیش‌بینی واقعاً در دسترس است.

حالا به بازه‌ها دقت کن: اپل از ۳۰٫۷ میلیون شروع می‌شود و غیراپل تا ۴۴٫۶ میلیون می‌رود، پس یک **بازهٔ همپوشانِ چهارده‌میلیونی** وجود دارد — و همان دو خطِ آخر شمردندش: ۵۱ ردیف در آن بازه‌اند، ۳۸ غیراپل و ۱۳ اپل. برای این ۵۱ ردیف، قیمت به‌تنهایی جواب را لو نمی‌دهد. یعنی قیمت مسئله را **آسان** می‌کند، نه بدیهی.

پس آن ۱۰۰ درصد از کجا آمد؟ دو چیز را بشمار:

</div>

```python
hard = (Xf_test["price"] >= low) & (Xf_test["price"] <= high)
print("ردیف‌های آزمون داخلِ بازهٔ همپوشان:", int(hard.sum()), "از", len(Xf_test))

scores = []
for seed in range(20):
    a, b, c, d = train_test_split(X_full, y, test_size=0.25, random_state=seed, stratify=y)
    other = LogisticRegression(max_iter=1000).fit(a, c)
    scores.append(accuracy_score(d, other.predict(b)))

print("accuracy در بیست تقسیم، کمینه و بیشینه:", round(min(scores), 3), round(max(scores), 3))
print("میانگین:", round(sum(scores) / 20, 3))
```

<div dir="rtl">

</div>

```text
ردیف‌های آزمون داخلِ بازهٔ همپوشان: 14 از 54
accuracy در بیست تقسیم، کمینه و بیشینه: 0.926 1.0
میانگین: 0.972
```

<div dir="rtl">

۱۴ تا از ۵۴ ردیفِ آزمون داخلِ همان بازهٔ سخت‌اند و مدل همه را درست زد. پس ردیفِ سخت کم نبود؛ مدل فقط قیمت را نمی‌بیند و قیمت کنارِ سال و حافظه خیلی بیشتر می‌گوید. **این توضیحِ دوم است: مسئله با این سه ستون واقعاً آسان است.** ولی صد درصد هم خوش‌شانسی بود: در بیست تقسیم، `accuracy` از ۰٫۹۲۶ تا ۱٫۰ جابه‌جا شد و میانگینش ۰٫۹۷۲ است. **این توضیحِ سوم است: نمونهٔ آزمونِ کوچک.** با `random_state` دیگری همین مدل معمولاً خطا می‌کند — همان تمرینِ اجباریِ فصلِ ۴.

> 📏 **اندازه بگیر:** پس نتیجهٔ عالی همیشه بد نیست — ولی همیشه باید **توضیح** داشته باشد. سه توضیحِ ممکن برای یک نتیجهٔ مشکوکاً عالی: (۱) نشتی، (۲) مسئله واقعاً ساده است، (۳) دادهٔ آزمون خیلی کوچک است. اینجا ترکیبی از دومی و سومی بود، و هر دو را با **شمردن** نشان دادیم، نه با حدس. **هر بار که نتیجه‌ات عالی شد، بنویس کدام‌یک از این سه است** — و اگر نتوانستی بنویسی، هنوز نمی‌دانی.

## ۷. یک خطای واقعی: `predict_proba` روی مدلی که ندارد

</div>

```python-broken
from sklearn.svm import LinearSVC

svc = LinearSVC().fit(X_train, y_train)
svc.predict_proba(X_test)
```

<div dir="rtl">

</div>

```text
AttributeError: 'LinearSVC' object has no attribute 'predict_proba'
```

<div dir="rtl">

همهٔ طبقه‌بندها احتمال نمی‌دهند. بعضی‌شان فقط یک «امتیاز» می‌دهند که ترتیبش معنادار است ولی عددش احتمال نیست.

> 🔧 **اگر کار نکرد:** اگر مدلی `predict_proba` ندارد، `decision_function` را امتحان کن — عددی می‌دهد که هرچه بزرگ‌تر باشد، مدل مطمئن‌تر است. برای رتبه‌بندی و انتخابِ آستانه همان‌قدر خوب است؛ فقط عددش را نمی‌شود «احتمال» خواند.

> 🤖 **از دستیارت بپرس:** «در فیلترِ اسپمِ ایمیل، کدام خطا گران‌تر است و آستانه باید بالا باشد یا پایین؟ حالا همین را برای تشخیصِ سرطان از عکسِ پزشکی جواب بده.» جوابش را با معیارِ بخشِ ۵ بسنج. این سؤال عمداً دو حوزه را کنارِ هم می‌گذارد چون **جوابشان برعکسِ هم است** — و همین نشان می‌دهد چرا آستانه هیچ‌وقت یک عددِ فنی نیست.

## واژه‌های تازهٔ این فصل

</div>

| کلمه | تلفظ به حروف فارسی | یعنی چه |
|---|---|---|
| LogisticRegression | لجستیک رگرسیون | مدلِ پایهٔ طبقه‌بندی، با وجودِ نامش |
| predict_proba | پریدیکت پروبا | احتمالِ هر دسته، به‌جای خودِ دسته |
| threshold | تِرِش‌هولد | آستانهٔ تصمیم؛ پیش‌فرض ۰٫۵ ولی یک انتخاب است |
| confusion matrix | کانفیوژن ماتریکس | جدولِ چهارخانه‌ای: واقعیت در برابرِ پیش‌بینی |
| stratify | استرَتیفای | حفظِ نسبتِ دسته‌ها هنگامِ تقسیمِ داده |

<div dir="rtl">

## تمرین‌ها

قبل از تمرین، بدونِ نگاه به بالا جواب بده: مدلی ۸۷ درصد `accuracy` دارد و صفر موردِ مثبت پیدا کرده. چطور هر دو می‌توانند هم‌زمان درست باشند؟

**تمرینِ اجباری:** همان مدلِ بخشِ ۲ را بردار و برای ده آستانهٔ مختلف بینِ ۰٫۰۵ و ۰٫۵، تعدادِ پیش‌بینیِ مثبت و `confusion_matrix` را حساب کن. کدام آستانه بهترین توازن را می‌دهد؟ «بهترین» را خودت تعریف کن و **تعریفت را بنویس** — چون بدونِ آن، سؤال جواب ندارد.

**تمرینِ ستاره‌دار ⭐:** یک مسئلهٔ طبقه‌بندیِ **متوازن** بساز: `is_expensive` (قیمت بالای میانه) را از روی `year` و `ram_gb` پیش‌بینی کن. `accuracy` و `confusion_matrix` بگیر. حالا مقایسه کن با مسئلهٔ اپل: در کدام‌یک `accuracy` عددِ معناداری است و چرا؟ در یک جمله بنویس چه چیزی تعیین می‌کند که `accuracy` قابلِ‌اعتماد باشد یا نه.

## در فصل بعد

دیدی که یک عدد می‌تواند هم‌زمان درست و بی‌فایده باشد. فصلِ بعد یک فصلِ ⚠️ است و کاملاً به همین می‌پردازد: معیارهایی که به‌جای `accuracy` باید به‌کار ببری، چطور از روی **هزینهٔ خطا** معیار را انتخاب کنی، و چرا این دقیقاً همان تلهٔ آماری است که در یک آزمایشِ پزشکیِ ۹۹ درصد دقیق هم گرفتار می‌شوی.

</div>

---
Source: https://yaadestan.com/courses/sarnakh/lessons/t3/s05-classification (یادستان, Yaadestan)
