سرنخ — خودآموز پایتون و برنامه‌نویسی برای هوش مصنوعی (مقدماتی)

فصل ۵ از ۱۲

پیشرفت ترم
۰٪

در این فصل چه یاد می‌گیری#

تا اینجا عدد پیش‌بینی کردی. حالا دسته پیش‌بینی می‌کنی: این آگهی اپل است یا نه؟ این ایمیل اسپم است یا نه؟ کدش تقریباً همان است — سه خطِ آشنا. ولی در همین فصل با چیزی روبه‌رو می‌شوی که کلِ فصلِ بعد به آن اختصاص دارد: مدلی می‌سازی که ۸۷ درصد درست است و هیچ‌کدام از چیزهایی را که دنبالشان بودی پیدا نمی‌کند.

یک دستگاهِ برش‌خورده که هر قطعه را به یکی از دو سبد می‌اندازد و یک عقربهٔ درجه‌بندی‌شده مرزِ تصمیم را نشان می‌دهد

آخر این فصل می‌توانی:

  • با LogisticRegression یک طبقه‌بند بسازی
  • با predict_proba احتمالِ هر دسته را بگیری و تفاوتش با predict را بگویی
  • confusion matrix را بخوانی و بگویی هر خانه‌اش چیست
  • آستانهٔ تصمیم را عوض کنی و اثرش را ببینی

قبل از شروع#

از فصل ۴: train_test_split، خطای آموزش در برابرِ آزمون، و سه نوع نشتی.

از فصل ۳: DummyClassifier و اینکه یک مدلِ بی‌سواد هم می‌تواند accuracy بالا بگیرد.

📓 نوت‌بوک: نوت‌بوک این فصل را در Colab باز کن — همهٔ کدهای این فصل آماده و به‌ترتیب داخلش هست.

۱. ساختنِ مسئله#

import pandas as pd
from sklearn.model_selection import train_test_split

df = pd.read_csv("laptops_clean.csv").dropna(subset=["ram_gb"]).reset_index(drop=True)
df["is_apple"] = (df["brand"] == "اپل").astype(int)

X = df[["year", "ram_gb"]]
y = df["is_apple"]

X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=0.25, random_state=42, stratify=y
)

print("نسبت اپل در کل داده:", round(y.mean(), 3))
print("نسبت اپل در آزمون:", round(y_test.mean(), 3))
print("اندازه‌ها:", X_train.shape, X_test.shape)
نسبت اپل در کل داده: 0.127
نسبت اپل در آزمون: 0.13
اندازه‌ها: (159, 2) (54, 2)

سؤال: از روی سال و حافظه، بگو این لپ‌تاپ اپل است یا نه.

آن stratify=y تازه است و مهم: به train_test_split می‌گوید نسبتِ دسته‌ها را در هر دو تکه حفظ کن. بدونِ آن، با فقط ۲۷ اپل در کلِ داده، ممکن بود تقسیمِ تصادفی همه یا هیچ‌کدام را در یک طرف بیندازد.

⚠️ مواظب باش: stratify را در هر مسئلهٔ طبقه‌بندی به‌کار ببر، مخصوصاً وقتی دسته‌ها نامتوازن‌اند. فراموش‌کردنش باعث می‌شود عددهایت بین اجراها بی‌دلیل بالا و پایین بروند، و بدترین حالتش این است که یک دسته اصلاً در دادهٔ آزمون نباشد و متریک‌هایت بی‌معنا شوند.

۲. مدل#

from sklearn.linear_model import LogisticRegression
from sklearn.dummy import DummyClassifier
from sklearn.metrics import accuracy_score

model = LogisticRegression(max_iter=1000).fit(X_train, y_train)
predictions = model.predict(X_test)

baseline = DummyClassifier(strategy="most_frequent").fit(X_train, y_train)

print("accuracy مدل:", round(accuracy_score(y_test, predictions), 3))
print("accuracy خط پایه:", round(accuracy_score(y_test, baseline.predict(X_test)), 3))
accuracy مدل: 0.87
accuracy خط پایه: 0.87

دقیقاً برابر.

مدل با تمامِ آموزشش، ذره‌ای از یک مدلِ بی‌سواد که همیشه «اپل نیست» می‌گوید بهتر نیست. اگر فصلِ ۳ را نخوانده بودی و فقط عددِ 0.87 را می‌دیدی، احتمالاً خوشحال می‌شدی.

LogisticRegression برخلافِ نامش برای طبقه‌بندی است، نه رگرسیون. آن max_iter=1000 هم فقط به الگوریتمِ درونی وقتِ بیشتری می‌دهد تا همگرا شود؛ بدونش گاهی هشدار می‌دهد.

۳. confusion matrix: دقیقاً چه شد#

accuracy یک عدد است و همه‌چیز را در خودش می‌بلعد. برای دیدنِ اینکه واقعاً چه اتفاقی افتاده، به جدولِ درهم‌ریختگی نگاه کن:

from sklearn.metrics import confusion_matrix

cm = confusion_matrix(y_test, predictions)
print(cm)
print("تعداد اپل‌های واقعی در آزمون:", int(y_test.sum()))
print("تعداد اپل‌هایی که مدل پیدا کرد:", int(predictions.sum()))
[[47  0]
 [ 7  0]]
تعداد اپل‌های واقعی در آزمون: 7
تعداد اپل‌هایی که مدل پیدا کرد: 0

مدل صفر تا اپل پیدا کرد.

جدول را بخوان — چهار خانه دارد و ردیف‌ها واقعیت‌اند و ستون‌ها پیش‌بینی:

پیش‌بینی: اپل نیست پیش‌بینی: اپل
واقعیت: اپل نیست ۴۷ (درستِ منفی) ۰ (هشدارِ اشتباه)
واقعیت: اپل ۷ (از دست رفته) ۰ (درستِ مثبت)

ستونِ دوم کاملاً صفر است: مدل هیچ‌وقت نگفت «اپل». ۴۷ تا را درست گفت «اپل نیست» و ۷ تا را از دست داد. جمعِ درست‌ها ۴۷ از ۵۴ می‌شود ۰٫۸۷.

پس آن ۸۷ درصد کاملاً واقعی است و کاملاً بی‌فایده. اگر این مدل را برای پیدا کردنِ آگهی‌های اپل به‌کار می‌بردی، هیچ آگهی‌ای پیدا نمی‌کرد.

📏 اندازه بگیر: بعد از هر طبقه‌بندی، اول confusion_matrix را چاپ کن، بعد accuracy را. یک عددِ تکی نمی‌تواند تفاوتِ «۷ تا را از دست دادم» و «۷ بارِ اشتباه هشدار دادم» را بگوید، در حالی که این دو در دنیای واقعی هزینه‌های کاملاً متفاوتی دارند. فصلِ بعد کاملاً همین است.

۴. predict_proba: زیرِ تصمیم چه می‌گذرد#

مدل در واقع «بله/خیر» تولید نمی‌کند؛ یک احتمال می‌دهد و بعد از یک آستانه ردش می‌کند.

probabilities = model.predict_proba(X_test)[:, 1]

print("پنج احتمال اول:", probabilities[:5].round(3))
print("بیشترین احتمالی که مدل داد:", round(probabilities.max(), 3))
print("آستانهٔ پیش‌فرض: 0.5")
پنج احتمال اول: [0.121 0.121 0.121 0.121 0.121]
بیشترین احتمالی که مدل داد: 0.147
آستانهٔ پیش‌فرض: 0.5

حالا معما حل شد. بیشترین احتمالی که مدل به هر ردیفی داد ۰٫۱۴۷ بود — و آستانهٔ پیش‌فرضِ predict نیم است. هیچ ردیفی از نیم رد نشد، پس هیچ‌کدام «اپل» برچسب نخوردند.

predict_proba دو ستون می‌دهد: احتمالِ دستهٔ صفر و احتمالِ دستهٔ یک. آن [:, 1] ستونِ دوم را برمی‌دارد — همان چیزی که معمولاً می‌خواهی. و چون دو دسته بیشتر نیست، جمعِ هر ردیف همیشه دقیقاً ۱ است.

🌱 ریشه‌اش کجاست: عددی که predict_proba می‌دهد ادعا می‌کند یک احتمال است — و احتمال معنای دقیقی دارد که با «اطمینانِ مدل» یکی نیست. ریشه، ترم ۶ فصل ۲ — احتمال یعنی چه نشان می‌دهد «احتمالِ ۷۰ درصد» دقیقاً چه ادعایی می‌کند و چرا یک پیش‌بینیِ ۷۰ درصدی که محقق نشد، لزوماً غلط نبوده. بدونِ این تمایز، هر تفسیری از خروجیِ این تابع حدس است.

۵. آستانه یک تصمیم است، نه یک ثابت#

در جدولِ زیر دو عدد کنارِ هر آستانه می‌آید: «از میانِ آن‌هایی که مثبت خواندم چند درصد واقعاً بودند» و «از کلِ مثبت‌های واقعی چند درصد را پیدا کردم». نامِ رسمی‌شان precision و recall است و فصلِ بعد کاملاً بازشان می‌کند؛ فعلاً همان دو جملهٔ فارسی کافی است.

from sklearn.metrics import precision_score, recall_score

for threshold in [0.5, 0.13, 0.125, 0.11]:
    guess = (probabilities >= threshold).astype(int)
    found = int(guess.sum())
    print(
        f"آستانه {threshold}: {found} پیش‌بینی مثبت |"
        f" درست از میان آن‌ها: {round(precision_score(y_test, guess, zero_division=0), 2)} |"
        f" از کل اپل‌ها پیدا شد: {round(recall_score(y_test, guess), 2)}"
    )
آستانه 0.5: 0 پیش‌بینی مثبت | درست از میان آن‌ها: 0.0 | از کل اپل‌ها پیدا شد: 0.0
آستانه 0.13: 2 پیش‌بینی مثبت | درست از میان آن‌ها: 0.0 | از کل اپل‌ها پیدا شد: 0.0
آستانه 0.125: 18 پیش‌بینی مثبت | درست از میان آن‌ها: 0.11 | از کل اپل‌ها پیدا شد: 0.29
آستانه 0.11: 54 پیش‌بینی مثبت | درست از میان آن‌ها: 0.13 | از کل اپل‌ها پیدا شد: 1.0

پایین‌آوردنِ آستانه واقعاً مدل را وادار می‌کند «اپل» بگوید — ولی نتیجه‌اش را ببین. در آستانهٔ ۰٫۱۲۵، هجده آگهی را اپل می‌نامد و فقط دو تایشان درست است. در آستانهٔ ۰٫۱۱ همه را اپل می‌نامد: هر هفت اپل پیدا می‌شوند و ۴۷ هشدارِ اشتباه هم می‌گیری.

و این مهم‌ترین چیزی است که این جدول می‌گوید: هیچ آستانه‌ای این مدل را نجات نمی‌دهد. بالاترین دقتی که در هر آستانه‌ای می‌گیری ۰٫۱۳ است — دقیقاً همان نسبتِ اپل در داده. یعنی مدل عملاً دارد تصادفی انتخاب می‌کند. year و ram_gb سیگنالی دربارهٔ برند ندارند، و تنظیمِ آستانه نمی‌تواند سیگنالی بسازد که وجود ندارد.

با این حال قاعدهٔ آستانه خودش درست و مهم است — فقط وقتی به‌کار می‌آید که مدل سیگنال داشته باشد. آن‌وقت آستانه یک انتخابِ مهندسی است، نه یک عددِ طبیعی، و بستگی دارد به اینکه کدام خطا گران‌تر است:

  • از دست دادنِ یک موردِ واقعی گران است (تشخیصِ بیماری، تشخیصِ تقلب) ← آستانه را پایین بیاور.
  • هشدارِ اشتباه گران است (فیلترِ اسپم که ایمیلِ مهم را دور می‌اندازد) ← آستانه را بالا ببر.

✅ چک کن: ستونِ «پیش‌بینی مثبت» باید با پایین‌آمدنِ آستانه همیشه زیاد شود، هرگز کم. اگر جز این دیدی، جایی علامتِ مقایسه را برعکس نوشته‌ای.

۶. راهِ درست: feature بهتر، نه آستانهٔ بهتر#

وقتی مدل سیگنال ندارد، جواب در تنظیمِ پارامتر نیست — در داده است. price را اضافه کنیم:

X_full = df[["year", "ram_gb", "price"]]
Xf_train, Xf_test, yf_train, yf_test = train_test_split(
    X_full, y, test_size=0.25, random_state=42, stratify=y
)

full_model = LogisticRegression(max_iter=1000).fit(Xf_train, yf_train)
print("accuracy با قیمت:", round(accuracy_score(yf_test, full_model.predict(Xf_test)), 3))
print(confusion_matrix(yf_test, full_model.predict(Xf_test)))
accuracy با قیمت: 1.0
[[47  0]
 [ 0  7]]

صد درصد. و طبقِ قاعدهٔ فصلِ ۴، اولین واکنشت باید شک باشد، نه ذوق.

پس بررسی می‌کنیم — آیا نشتی است؟

ranges = df.groupby("is_apple")["price"].agg(["min", "max", "count"])
print(ranges)

low, high = ranges.loc[1, "min"], ranges.loc[0, "max"]
overlap = df[(df["price"] >= low) & (df["price"] <= high)]

print("بازهٔ همپوشان:", low, "تا", high)
print("ردیف‌های داخل این بازه:", len(overlap))
print("در همین بازه — غیراپل و اپل:", overlap["is_apple"].value_counts().to_dict())
               min       max  count
is_apple
0          9000000  44600000    186
1         30700000  59800000     27
بازهٔ همپوشان: 30700000 تا 44600000
ردیف‌های داخل این بازه: 51
در همین بازه — غیراپل و اپل: {0: 38, 1: 13}

جواب: نشتی نیست — ولی صد درصد هم واقعی نیست.

اول نشتی را رد کنیم: price نشتیِ برچسب نیست. اگر آگهی‌ای ببینی که برندش ننوشته، قیمتش را داری. پس این feature در زمانِ پیش‌بینی واقعاً در دسترس است.

حالا به بازه‌ها دقت کن: اپل از ۳۰٫۷ میلیون شروع می‌شود و غیراپل تا ۴۴٫۶ میلیون می‌رود، پس یک بازهٔ همپوشانِ چهارده‌میلیونی وجود دارد — و همان دو خطِ آخر شمردندش: ۵۱ ردیف در آن بازه‌اند، ۳۸ غیراپل و ۱۳ اپل. برای این ۵۱ ردیف، قیمت به‌تنهایی جواب را لو نمی‌دهد. یعنی قیمت مسئله را آسان می‌کند، نه بدیهی.

پس آن ۱۰۰ درصد از کجا آمد؟ دو چیز را بشمار:

hard = (Xf_test["price"] >= low) & (Xf_test["price"] <= high)
print("ردیف‌های آزمون داخلِ بازهٔ همپوشان:", int(hard.sum()), "از", len(Xf_test))

scores = []
for seed in range(20):
    a, b, c, d = train_test_split(X_full, y, test_size=0.25, random_state=seed, stratify=y)
    other = LogisticRegression(max_iter=1000).fit(a, c)
    scores.append(accuracy_score(d, other.predict(b)))

print("accuracy در بیست تقسیم، کمینه و بیشینه:", round(min(scores), 3), round(max(scores), 3))
print("میانگین:", round(sum(scores) / 20, 3))
ردیف‌های آزمون داخلِ بازهٔ همپوشان: 14 از 54
accuracy در بیست تقسیم، کمینه و بیشینه: 0.926 1.0
میانگین: 0.972

۱۴ تا از ۵۴ ردیفِ آزمون داخلِ همان بازهٔ سخت‌اند و مدل همه را درست زد. پس ردیفِ سخت کم نبود؛ مدل فقط قیمت را نمی‌بیند و قیمت کنارِ سال و حافظه خیلی بیشتر می‌گوید. این توضیحِ دوم است: مسئله با این سه ستون واقعاً آسان است. ولی صد درصد هم خوش‌شانسی بود: در بیست تقسیم، accuracy از ۰٫۹۲۶ تا ۱٫۰ جابه‌جا شد و میانگینش ۰٫۹۷۲ است. این توضیحِ سوم است: نمونهٔ آزمونِ کوچک. با random_state دیگری همین مدل معمولاً خطا می‌کند — همان تمرینِ اجباریِ فصلِ ۴.

📏 اندازه بگیر: پس نتیجهٔ عالی همیشه بد نیست — ولی همیشه باید توضیح داشته باشد. سه توضیحِ ممکن برای یک نتیجهٔ مشکوکاً عالی: (۱) نشتی، (۲) مسئله واقعاً ساده است، (۳) دادهٔ آزمون خیلی کوچک است. اینجا ترکیبی از دومی و سومی بود، و هر دو را با شمردن نشان دادیم، نه با حدس. هر بار که نتیجه‌ات عالی شد، بنویس کدام‌یک از این سه است — و اگر نتوانستی بنویسی، هنوز نمی‌دانی.

۷. یک خطای واقعی: predict_proba روی مدلی که ندارد#

from sklearn.svm import LinearSVC

svc = LinearSVC().fit(X_train, y_train)
svc.predict_proba(X_test)
AttributeError: 'LinearSVC' object has no attribute 'predict_proba'

همهٔ طبقه‌بندها احتمال نمی‌دهند. بعضی‌شان فقط یک «امتیاز» می‌دهند که ترتیبش معنادار است ولی عددش احتمال نیست.

🔧 اگر کار نکرد: اگر مدلی predict_proba ندارد، decision_function را امتحان کن — عددی می‌دهد که هرچه بزرگ‌تر باشد، مدل مطمئن‌تر است. برای رتبه‌بندی و انتخابِ آستانه همان‌قدر خوب است؛ فقط عددش را نمی‌شود «احتمال» خواند.

🤖 از دستیارت بپرس: «در فیلترِ اسپمِ ایمیل، کدام خطا گران‌تر است و آستانه باید بالا باشد یا پایین؟ حالا همین را برای تشخیصِ سرطان از عکسِ پزشکی جواب بده.» جوابش را با معیارِ بخشِ ۵ بسنج. این سؤال عمداً دو حوزه را کنارِ هم می‌گذارد چون جوابشان برعکسِ هم است — و همین نشان می‌دهد چرا آستانه هیچ‌وقت یک عددِ فنی نیست.

واژه‌های تازهٔ این فصل#

کلمه تلفظ به حروف فارسی یعنی چه
LogisticRegression لجستیک رگرسیون مدلِ پایهٔ طبقه‌بندی، با وجودِ نامش
predict_proba پریدیکت پروبا احتمالِ هر دسته، به‌جای خودِ دسته
threshold تِرِش‌هولد آستانهٔ تصمیم؛ پیش‌فرض ۰٫۵ ولی یک انتخاب است
confusion matrix کانفیوژن ماتریکس جدولِ چهارخانه‌ای: واقعیت در برابرِ پیش‌بینی
stratify استرَتیفای حفظِ نسبتِ دسته‌ها هنگامِ تقسیمِ داده

تمرین‌ها

اول خودت فکر کن یا امتحان کن — بعد اینجا را باز کن.

در فصل بعد#

دیدی که یک عدد می‌تواند هم‌زمان درست و بی‌فایده باشد. فصلِ بعد یک فصلِ ⚠️ است و کاملاً به همین می‌پردازد: معیارهایی که به‌جای accuracy باید به‌کار ببری، چطور از روی هزینهٔ خطا معیار را انتخاب کنی، و چرا این دقیقاً همان تلهٔ آماری است که در یک آزمایشِ پزشکیِ ۹۹ درصد دقیق هم گرفتار می‌شوی.

به آخر این فصل رسیدی!

اگر ساختی و جواب داد، این دکمه مال توست.