سرنخ — خودآموز پایتون و برنامه‌نویسی برای هوش مصنوعی (مقدماتی)

فصل ۳ از ۱۲

پیشرفت ترم
۰٪

در این فصل چه یاد می‌گیری#

فصلِ قبل یک مدل ساختی و خطایش ۵٫۱ میلیون شد. عددِ خوبی است یا بد؟ تا وقتی ندانی یک حدسِ کاملاً بی‌فکر چقدر خطا می‌دهد، هیچ جوابی نداری. در این فصل ساده‌ترین و پرارزش‌ترین کارِ کلِ ترم را انجام می‌دهی: یک خطِ پایه می‌سازی — مدلی آن‌قدر ساده که هیچ‌چیز یاد نمی‌گیرد — و مدلت را در برابرش می‌سنجی. این قانونِ دومِ دوره است و پنج دقیقه وقت می‌گیرد؛ نبودش ماه‌ها وقت هدر می‌دهد.

یک ترازوی دوکفه‌ای که در یک کفه‌اش یک وزنهٔ سادهٔ استاندارد و در کفهٔ دیگر یک دستگاهِ پیچیده است

آخر این فصل می‌توانی:

  • با DummyRegressor یک خطِ پایه بسازی
  • بگویی چرا مقایسه با خطِ پایه اجباری است، نه اختیاری
  • بهبودِ مدلت را به‌صورتِ درصد بیان کنی
  • برای هر نوع مسئله‌ای خطِ پایهٔ مناسبش را انتخاب کنی

قبل از شروع#

از فصل ۲: fit، predict، MAE و RMSE.

از فصل ۱: پنج سؤالی که «مدل خوب است» را بی‌معنا می‌کنند — این فصل سؤالِ چهارم را جواب می‌دهد.

📓 نوت‌بوک: نوت‌بوک این فصل را در Colab باز کن — همهٔ کدهای این فصل آماده و به‌ترتیب داخلش هست.

۱. احمق‌ترین مدلِ ممکن#

ساده‌ترین «پیش‌بینی»ای که می‌شود کرد این است: برای هر ردیف، میانگینِ همه را بگو. هیچ نگاهی به featureها نمی‌کند و همیشه یک عدد می‌دهد.

import pandas as pd
from sklearn.dummy import DummyRegressor
from sklearn.metrics import mean_absolute_error, root_mean_squared_error

df = pd.read_csv("laptops_clean.csv").dropna(subset=["ram_gb"]).reset_index(drop=True)
X = df[["year", "ram_gb"]]
y = df["price"]

baseline = DummyRegressor(strategy="mean")
baseline.fit(X, y)
baseline_pred = baseline.predict(X)

print("پیش‌بینی خط پایه برای سه ردیف اول:", baseline_pred[:3].round(0))
print("MAE خط پایه:", round(mean_absolute_error(y, baseline_pred)))
print("RMSE خط پایه:", round(root_mean_squared_error(y, baseline_pred)))
پیش‌بینی خط پایه برای سه ردیف اول: [26791549. 26791549. 26791549.]
MAE خط پایه: 8221781
RMSE خط پایه: 10539861

هر سه ردیف همان یک عدد را گرفتند، چون DummyRegressor واقعاً هیچ‌چیز یاد نمی‌گیرد. X را می‌گیرد و کاملاً نادیده‌اش می‌گیرد.

و همین که هیچ‌چیز یاد نمی‌گیرد، دقیقاً نکته‌اش است: عددی که می‌دهد، «هزینهٔ ندانستن» است.

۲. مقایسه#

from sklearn.linear_model import LinearRegression

model = LinearRegression().fit(X, y)
model_mae = mean_absolute_error(y, model.predict(X))
base_mae = mean_absolute_error(y, baseline_pred)

print("MAE مدل:", round(model_mae))
print("MAE خط پایه:", round(base_mae))
print("بهبود:", round((1 - model_mae / base_mae) * 100, 1), "درصد")
MAE مدل: 5132224
MAE خط پایه: 8221781
بهبود: 37.6 درصد

حالا آن عددِ ۵٫۱ میلیون معنا دارد. مدل خطا را نسبت به «هیچ‌چیز ندانستن» حدودِ ۳۸ درصد کم کرده.

این نه فوق‌العاده است و نه بی‌ارزش — یک نتیجهٔ واقعی است، و مهم‌تر اینکه حالا یک عددِ مرجع داری: هر تغییری که از این به بعد بدهی، می‌توانی بگویی چقدر جلو یا عقب رفتی.

📏 اندازه بگیر: درصدِ بهبود را گزارش کن، نه خطای خام را. «MAE برابرِ ۵٫۱ میلیون» به کسی که داده را نمی‌شناسد هیچ نمی‌گوید. «۳۸ درصد بهتر از حدسِ میانگین» بلافاصله فهمیده می‌شود و در هر حوزه و هر واحدی قابلِ‌مقایسه است. این تنها شکلِ درستِ گزارشِ عملکردِ یک مدل است.

۳. خطِ پایه‌های دیگر#

strategy="mean" تنها گزینه نیست:

for strategy in ["mean", "median"]:
    dummy = DummyRegressor(strategy=strategy).fit(X, y)
    mae = mean_absolute_error(y, dummy.predict(X))
    print(f"{strategy}: MAE = {round(mae)}")
mean: MAE = 8221781
median: MAE = 8175117

میانه کمی بهتر است، و دلیلش را از ترمِ ۲ می‌دانی: توزیعِ قیمت چوله به راست است و چند لپ‌تاپِ خیلی گران، میانگین را بالا کشیده‌اند. میانه به آن‌ها بی‌اعتناست.

نکتهٔ ظریف: MAE ذاتاً با میانه سازگارتر است و RMSE با میانگین. اگر معیارت را عوض کنی، خطِ پایهٔ بهترت هم عوض می‌شود.

🌱 ریشه‌اش کجاست: اینکه چرا میانه در برابرِ چند مقدارِ خیلی بزرگ تکان نمی‌خورد ولی میانگین می‌خورد — و چرا همین باعث می‌شود میانه خطِ پایهٔ بهتری برای MAE باشد — دقیقاً موضوعِ ریشه، ترم ۶ فصل ۶ — میانگین، میانه، پراکندگی است.

قبل از ادامه، جواب بده: کدام خطِ پایه را باید گزارش کنی؟ جواب: سخت‌گیرانه‌ترین‌شان. اگر میانه بهتر است، مدلت را با میانه مقایسه کن، نه با میانگین. انتخابِ خطِ پایهٔ ضعیف‌تر، عددِ بهبودت را بی‌خود بزرگ می‌کند — و این همان جایی است که یک گزارش از صادق به فریبنده تبدیل می‌شود، بدونِ اینکه هیچ عددی غلط باشد.

۴. خطِ پایه برای مسئله‌های دیگر#

نوعِ مسئله خطِ پایهٔ درست چرا
regression میانگین یا میانهٔ y ساده‌ترین حدسِ ممکن
classification همیشه پرتکرارترین دسته را بگو اگر ۹۵٪ داده یک دسته باشد، این ۹۵٪ درست است
سریِ زمانی «فردا مثلِ امروز است» شگفت‌آور قوی؛ خیلی از مدل‌ها شکستش نمی‌دهند
متن شمارشِ کلمهٔ ساده + مدلِ خطی قبل از هر مدلِ زبانیِ سنگین

ردیفِ دوم مهم‌ترینشان است و در فصلِ ۶ کاملاً بازش می‌کنیم. یک نمونه‌اش را همین‌جا ببین:

from sklearn.dummy import DummyClassifier
from sklearn.metrics import accuracy_score

df["is_apple"] = df["brand"] == "اپل"
y_class = df["is_apple"]

clf_baseline = DummyClassifier(strategy="most_frequent").fit(X, y_class)
print("نسبت اپل در داده:", round(y_class.mean(), 3))
print("accuracy خط پایه:", round(accuracy_score(y_class, clf_baseline.predict(X)), 3))
نسبت اپل در داده: 0.127
accuracy خط پایه: 0.873

یک مدل که همیشه می‌گوید «اپل نیست»، ۸۷٫۳ درصد درست است.

حالا تصور کن کسی مدلی بسازد و با افتخار بگوید «۸۷ درصد دقت گرفتم». آن مدل هیچ‌چیز یاد نگرفته و دقیقاً به‌اندازهٔ یک جملهٔ ثابت خوب است. بدونِ خطِ پایه، هیچ راهی نداشتی که بفهمی.

⚠️ مواظب باش: این پرتکرارترین راهی است که یک نتیجهٔ یادگیری ماشین دروغ می‌گوید، و تقریباً همیشه بی‌قصد اتفاق می‌افتد. هر جا دسته‌ها نامتوازن‌اند — تشخیصِ تقلب، بیماریِ نادر، خرابیِ دستگاه — عددِ accuracy به‌تنهایی تقریباً همیشه بی‌معناست. فصلِ ۶ کاملاً به همین اختصاص دارد.

۵. خطِ پایه فقط یک عدد نیست، یک عادت است#

خطِ پایه در دو لحظه به‌کار می‌آید و هر دو مهم‌اند:

اول پروژه. قبل از هر مدلی، خطِ پایه بگیر. اگر مدلِ پیچیده‌ات از خطِ پایه بهتر نیست، مسئله‌ات یا داده‌ات مشکل دارد، نه انتخابِ الگوریتمت. این پنج دقیقه، هفته‌ها وقت نجات می‌دهد.

وسطِ پروژه. هر تغییری که می‌دهی — feature تازه، الگوریتمِ دیگر، تنظیمِ پارامتر — باید در برابرِ همان مرجع سنجیده شود. بدونِ آن، فقط داری عددها را جابه‌جا می‌کنی.

results = {
    "خط پایه (میانه)": mean_absolute_error(y, DummyRegressor(strategy="median").fit(X, y).predict(X)),
    "فقط سال": mean_absolute_error(y, LinearRegression().fit(df[["year"]], y).predict(df[["year"]])),
    "سال + حافظه": model_mae,
}
best_base = results["خط پایه (میانه)"]
for name in results:
    gain = (1 - results[name] / best_base) * 100
    print(f"{name}: MAE = {round(results[name])} | بهبود = {round(gain, 1)}٪")
خط پایه (میانه): MAE = 8175117 | بهبود = 0.0٪
فقط سال: MAE = 5779912 | بهبود = 29.3٪
سال + حافظه: MAE = 5132224 | بهبود = 37.2٪

این جدول همان چیزی است که باید در هر پروژه داشته باشی. حالا می‌بینی که بیشترِ کار را year انجام داده (۲۹ درصد از ۳۷) و ram_gb حدودِ هشت درصد اضافه کرده.

این یک اطلاعاتِ گران‌بهاست: اگر جمع‌آوریِ ram_gb هزینه‌بر باشد، شاید اصلاً نیارزد.

✅ چک کن: ردیفِ اول باید دقیقاً 0.0 بهبود بدهد — خطِ پایه در برابرِ خودش. اگر عددِ دیگری دیدی، دو معیارِ متفاوت را قاطی کرده‌ای.

۶. یک خطای واقعی: خطِ پایه روی y اشتباه#

آخرین دام، و از همه موذی‌تر: خطِ پایهٔ رگرسیون را روی یک y دسته‌ای بگذاری.

from sklearn.metrics import accuracy_score

wrong = DummyRegressor(strategy="mean").fit(X, y_class)

print("خروجی DummyRegressor روی y دسته‌ای:", wrong.predict(X)[:3].round(4))
print("نسبت واقعی اپل در داده:", round(float(y_class.mean()), 4))
خروجی DummyRegressor روی y دسته‌ای: [0.1268 0.1268 0.1268]
نسبت واقعی اپل در داده: 0.1268

هیچ خطایی نگرفتی — و همین بدترین بخشش است. DummyRegressor مقدارهای True/False را مثلِ ۱ و ۰ حساب کرد و میانگینشان را داد: 0.1268، که همان نسبتِ اپل در داده است، نه یک دسته. عددی گرفتی که هیچ‌وقت نمی‌تواند جوابِ «اپل هست یا نه» باشد.

خطا وقتی بیرون می‌زند که بخواهی این عدد را مثلِ یک پیش‌بینیِ دسته‌ای بسنجی:

accuracy_score(y_class, wrong.predict(X))
ValueError: Classification metrics can't handle a mix of binary and continuous targets

پیام دقیقاً همان چیزی را می‌گوید که اتفاق افتاد: یک طرف دسته‌ای است و طرفِ دیگر عددِ پیوسته. برای مسئلهٔ دسته‌ای باید از همان اول DummyClassifier به‌کار می‌بردی.

🔧 اگر کار نکرد: قاعده ساده است: y عددیِ پیوسته ← Regressor؛ y دسته‌ای ← Classifier. و همین دوگانگی در همهٔ scikit-learn تکرار می‌شود. قبل از انتخابِ خطِ پایه، y.dtype و y.nunique() را چاپ کن — دو عدد که در پنج ثانیه می‌گویند با کدام نوع مسئله طرفی.

🤖 از دستیارت بپرس: «برای پیش‌بینیِ تعدادِ فروشِ فردای یک فروشگاه، سه خطِ پایهٔ متفاوت پیشنهاد بده و بگو هرکدام چه فرضی دربارهٔ داده می‌کنند.» جوابش احتمالاً «میانگینِ کل»، «فروشِ دیروز» و «میانگینِ همین روزِ هفته در هفته‌های قبل» را می‌آورد. سومی معمولاً از هر دوی دیگر بهتر است — و همان چیزی است که خیلی‌ها فراموش می‌کنند خطِ پایه هم می‌تواند هوشمند باشد.

واژه‌های تازهٔ این فصل#

کلمه تلفظ به حروف فارسی یعنی چه
baseline بِیس‌لاین ساده‌ترین پیش‌بینیِ ممکن؛ مرجعِ سنجشِ هر مدل
DummyRegressor / DummyClassifier دامی رگرسور / کلسیفایر مدل‌های عمداً بی‌سواد برای ساختنِ خطِ پایه
accuracy اَکیوراسی نسبتِ پیش‌بینی‌های درست در مسئلهٔ دسته‌ای

تمرین‌ها

اول خودت فکر کن یا امتحان کن — بعد اینجا را باز کن.

در فصل بعد#

حالا می‌دانی مدلت ۳۷ درصد از حدسِ ساده بهتر است. ولی هر دو عدد — هم مالِ مدل و هم مالِ خطِ پایه — روی همان داده‌ای گرفته شده‌اند که مدل با آن ساخته شد.

فصلِ بعد یک فصلِ ⚠️ است و ستونِ کلِ این دوره. آنجا می‌بینی چرا این کار مثلِ دادنِ سؤال‌های امتحان به کسی قبل از امتحان و بعد نتیجه‌گیری از نمره‌اش است، سه راهِ متفاوت را می‌بینی که یک نتیجه را بی‌سروصدا بهتر از واقعیت نشان می‌دهند، و یک قاعده یاد می‌گیری که تا آخرِ عمرِ حرفه‌ای‌ات با تو می‌ماند.

به آخر این فصل رسیدی!

اگر ساختی و جواب داد، این دکمه مال توست.