سرنخ — خودآموز پایتون و برنامه‌نویسی برای هوش مصنوعی (مقدماتی)

فصل ۱۰ از ۱۲

پیشرفت ترم
۰٪

در این فصل چه یاد می‌گیری#

تا اینجا با دو مدل کار کردی. این فصل خانوادهٔ درختی را کامل می‌کند: RandomForest و gradient boosting — که در صنعت پرکاربردترین ابزارِ دادهٔ جدولی‌اند و در بیشترِ مسابقه‌های داده برنده می‌شوند. یاد می‌گیری هرکدام چطور کار می‌کنند و feature importance را چطور بخوانی. و یک نتیجهٔ غافلگیرکننده هم می‌گیری که ارزشش از خودِ الگوریتم‌ها بیشتر است.

چند درختِ کوچکِ هم‌شکل کنارِ هم که رأیشان به یک ترازوی مشترک می‌رسد

آخر این فصل می‌توانی:

  • بگویی درخت، جنگل و boosting چطور کار می‌کنند و چه فرقی دارند
  • feature_importances_ را بخوانی و محدودیتش را بگویی
  • چهار خانوادهٔ مدل را روی یک داده منصفانه مقایسه کنی
  • بگویی چرا «مدلِ پیشرفته‌تر» خودبه‌خود بهتر نیست

قبل از شروع#

از فصل ۸: درختِ تصمیم، max_depth و overfitting.

از فصل ۸: cross_val_score و اینکه مقایسه باید با نوسان سنجیده شود.

📓 نوت‌بوک: نوت‌بوک این فصل را در Colab باز کن — همهٔ کدهای این فصل آماده و به‌ترتیب داخلش هست.

۱. یک درخت چه می‌کند#

درختِ تصمیم مجموعه‌ای از سؤال‌های تودرتوست: «سالش بالای ۲۰۲۱ است؟ اگر بله، برندش اپل است؟ اگر بله، قیمت را ۴۵ میلیون بگو».

هر گره یک سؤال است و هر برگ یک جواب. مدل خودش تصمیم می‌گیرد کدام سؤال، در چه ترتیبی، با چه مرزی — و همان است که «آموزش» می‌نامیمش.

سه خاصیتِ درخت که در عمل خیلی مهم‌اند:

  • مقیاس‌بندی لازم ندارد. «سال بالای ۲۰۲۱؟» با هر واحدی همان جواب را می‌دهد. (ما StandardScaler را در زنجیره نگه می‌داریم چون همان زنجیره برای مدل‌های خطی هم به‌کار می‌رود، ولی برای درخت بی‌اثر است.)
  • رابطهٔ غیرخطی را می‌گیرد. مدلِ خطی مجبور است یک خطِ صاف بکشد؛ درخت می‌تواند بگوید «تا ۲۰۲۰ کم، بعد ناگهان زیاد».
  • برهم‌کنش را می‌گیرد. «اگر اپل و جدید» یک شاخهٔ جداست، بدونِ اینکه تو چیزی بسازی.

۲. جنگل: رأی‌گیریِ چند درخت#

import pandas as pd
from sklearn.model_selection import train_test_split, cross_val_score, KFold
from sklearn.pipeline import Pipeline
from sklearn.compose import ColumnTransformer
from sklearn.preprocessing import StandardScaler, OneHotEncoder
from sklearn.impute import SimpleImputer
from sklearn.ensemble import RandomForestRegressor
from sklearn.metrics import mean_absolute_error

df = pd.read_csv("laptops_clean.csv")
X = df[["year", "ram_gb", "brand", "city"]]
y = df["price"]
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

preprocess = ColumnTransformer([
    ("num", Pipeline([("fill", SimpleImputer(strategy="median")), ("scale", StandardScaler())]),
     ["year", "ram_gb"]),
    ("cat", OneHotEncoder(handle_unknown="ignore"), ["brand", "city"]),
])

forest = Pipeline([
    ("prepare", preprocess),
    ("model", RandomForestRegressor(n_estimators=200, random_state=0)),
]).fit(X_train, y_train)

print("MAE جنگل روی آزمون:", round(mean_absolute_error(y_test, forest.predict(X_test))))
MAE جنگل روی آزمون: 1980696

RandomForest دویست درخت می‌سازد، هر کدام روی نمونهٔ تصادفیِ متفاوتی از داده و با زیرمجموعهٔ تصادفیِ متفاوتی از featureها، و بعد میانگینِ پیش‌بینی‌شان را می‌دهد.

ایده‌اش ساده و قوی است: هر درختِ تنها به‌شدت overfit می‌کند، ولی هر کدام به شکلِ متفاوتی اشتباه می‌کنند. میانگین‌گیری خطاهای تصادفی را خنثی می‌کند و الگوی مشترک را نگه می‌دارد.

✅ چک کن: MAE جنگل باید حدودِ ۱٫۹۸ میلیون باشد. اگر عددت خیلی فرق دارد، random_state=0 را جا انداخته‌ای — جنگل ذاتاً تصادفی است و بدونِ آن هر اجرا نتیجهٔ متفاوتی می‌دهد.

اسمِ عمومیِ این ایده ensemble است و یکی از پرقدرت‌ترین ایده‌های کلِ یادگیری ماشین: چند مدلِ متوسط که اشتباهاتِ متفاوتی می‌کنند، از یک مدلِ خوبِ تنها بهترند.

۳. boosting: هر درخت خطای قبلی را جبران می‌کند#

from sklearn.ensemble import HistGradientBoostingRegressor

boosted = Pipeline([
    ("prepare", preprocess),
    ("model", HistGradientBoostingRegressor(random_state=0)),
]).fit(X_train, y_train)

print("MAE boosting روی آزمون:", round(mean_absolute_error(y_test, boosted.predict(X_test))))
MAE boosting روی آزمون: 2052144

boosting استراتژیِ کاملاً متفاوتی دارد. به‌جای ساختنِ درخت‌های مستقل و میانگین‌گیری، درخت‌ها را پشتِ سرِ هم می‌سازد و هر درختِ تازه روی خطای باقی‌ماندهٔ درخت‌های قبلی آموزش می‌بیند.

RandomForest boosting
ساختنِ درخت‌ها مستقل و موازی پشتِ سرِ هم، هر یک روی خطای قبلی
ترکیب میانگینِ رأی‌ها جمعِ اصلاح‌های پیاپی
تنظیمِ پارامتر ساده، پیش‌فرض‌ها معمولاً خوب‌اند حساس‌تر، تنظیم می‌خواهد
خطرِ overfitting کم بیشتر — اگر درخت‌ها زیاد شوند

در عمل، gradient boosting (با پیاده‌سازی‌هایی مثلِ XGBoost و LightGBM و همین HistGradientBoosting) روی دادهٔ جدولیِ بزرگ معمولاً بهترین نتیجه را می‌دهد. اینجا اما بدتر از جنگل شد — و بخشِ بعد می‌گوید چرا.

۴. مقایسهٔ منصفانه#

from sklearn.linear_model import LinearRegression
from sklearn.tree import DecisionTreeRegressor

folds = KFold(5, shuffle=True, random_state=0)
candidates = {
    "خطی": LinearRegression(),
    "درخت (عمق ۵)": DecisionTreeRegressor(max_depth=5, random_state=0),
    "جنگل": RandomForestRegressor(n_estimators=200, random_state=0),
    "boosting": HistGradientBoostingRegressor(random_state=0),
}

for name in candidates:
    pipe = Pipeline([("prepare", preprocess), ("model", candidates[name])])
    cv = -cross_val_score(pipe, X, y, cv=folds, scoring="neg_mean_absolute_error")
    print(f"{name:>14}: {round(cv.mean()):>8} ± {round(cv.std()):>6}")
           خطی:  1514784 ± 103651
  درخت (عمق ۵):  2216130 ± 170375
          جنگل:  1922591 ±  55487
      boosting:  2358585 ± 295097

و اینجا غافلگیریِ فصل است: ساده‌ترین مدل برنده شد.

LinearRegression — همان مدلِ سه‌خطیِ فصلِ ۲ — از جنگل و boosting بهتر است، و فاصله‌اش هم از نوسان‌ها بیشتر است، پس واقعی است.

چرا؟ سه دلیل، و هر سه در دنیای واقعی هم تکرار می‌شوند:

  • رابطه واقعاً تقریباً خطی است. قیمت با سال و حافظه تقریباً یکنواخت بالا می‌رود و برند یک جهشِ ثابت اضافه می‌کند. این دقیقاً همان چیزی است که یک مدلِ خطی برایش ساخته شده.
  • داده کوچک است. ۲۳۸ ردیف برای مدل‌های درختی خیلی کم است؛ آن‌ها به داده‌ای نیاز دارند که الگوهای پیچیده در آن دیده شود، نه حدس زده.
  • feature کم است. فقط چهار ستون. برتریِ درخت‌ها وقتی ظاهر می‌شود که ده‌ها ستون با برهم‌کنش‌های پیچیده داشته باشی.

📏 اندازه بگیر: این مهم‌ترین درسِ فصل است و ربطی به درخت ندارد: مدلِ پیشرفته‌تر خودبه‌خود بهتر نیست. همیشه سه چیز را با هم بسنج — خطِ پایه، یک مدلِ ساده، و یک مدلِ پیچیده — و برنده را با عدد انتخاب کن. مدلِ ساده مزیت‌های واقعی دارد که در عدد دیده نمی‌شوند: سریع‌تر است، قابلِ‌توضیح‌تر، و کمتر خراب می‌شود. مدلِ پیچیده باید برتری‌اش را ثابت کند، نه اینکه پیش‌فرض باشد.

و به std جنگل نگاه کن: ۵۵ هزار، پایدارترین در کلِ جدول. اگر پایداری برایت از دقتِ مطلق مهم‌تر بود، آن انتخابِ خوبی است.

۵. feature_importances_#

names = forest.named_steps["prepare"].get_feature_names_out()
importance = pd.Series(
    forest.named_steps["model"].feature_importances_, index=names
).sort_values(ascending=False)

print(importance.round(3).head(6).to_string())
cat__brand_اپل      0.519
num__year           0.399
num__ram_gb         0.058
cat__brand_ایسوس    0.004
cat__brand_دل       0.004
cat__city_مشهد      0.004

مدل‌های درختی می‌گویند هر feature چقدر در تصمیم‌هایشان نقش داشته. اینجا «اپل بودن» بیش از نیمیِ کل و year حدودِ ۴۰ درصد. حافظه ۶ درصد و شهر تقریباً هیچ.

این با همهٔ یافته‌های ترمِ ۲ و ۳ می‌خواند — و همین هم‌خوانی ارزشش را دارد: وقتی چند روشِ مستقل یک چیز می‌گویند، می‌توانی به آن تکیه کنی.

⚠️ مواظب باش: feature_importances_ سه محدودیتِ جدی دارد که کمتر گفته می‌شود. اول، «اهمیت» یعنی «چقدر در تصمیم‌های این مدل نقش داشت»، نه «چقدر علّی است» — همان تفاوتِ همبستگی و علیت. دوم، اگر دو feature همبستهٔ قوی باشند، مدل دلبخواهی یکی را انتخاب می‌کند و دیگری تقریباً صفر می‌شود، در حالی که هر دو به‌یک‌اندازه مهم‌اند. سوم، این روش به featureهای با مقادیرِ متنوع‌تر سوگیریِ ذاتی دارد. برای تصمیم‌های جدی، permutation_importance روشِ قابلِ‌اعتمادتری است.

💡 نکته: HistGradientBoosting یک مزیتِ عملیِ خوب دارد: خودش مقدارِ خالی را می‌پذیرد و به SimpleImputer نیاز ندارد. اگر داده‌ات پُر از خانهٔ خالی است، این به‌تنهایی می‌تواند دلیلِ انتخابش باشد.

۶. یک خطای واقعی: جنگل روی دادهٔ متنیِ خام#

RandomForestRegressor().fit(X_train, y_train)
ValueError: could not convert string to float: 'لنوو'

نامِ برندی که در پیام می‌بینی، اولین مقدارِ متنی‌ای است که scikit-learn به آن برخورده — یعنی به تقسیمِ تصادفی بستگی دارد و ممکن است روی دستگاهِ تو برندِ دیگری باشد. چیزی که ثابت است، خودِ خطاست: درخت‌ها هم مثلِ بقیهٔ مدل‌های scikit-learn فقط عدد می‌پذیرند. همان Pipeline فصلِ ۷ لازم است — این یکی از دلایلی است که از آن فصل به بعد هیچ مدلی را بدونِ زنجیره نمی‌سازیم.

🔧 اگر کار نکرد: یک تلهٔ رایج‌تر: RandomForest روی دادهٔ بزرگ کند است و ممکن است سلولِ Colab را دقایقی مشغول کند. اگر آموزش طول کشید، n_estimators را موقتاً به ۵۰ کم کن و n_jobs=-1 بگذار تا از همهٔ هسته‌ها استفاده کند. نتیجه کمی بی‌ثبات‌تر می‌شود ولی برای آزمایشِ اولیه کافی است.

🤖 از دستیارت بپرس: «چرا XGBoost و LightGBM در مسابقه‌های دادهٔ جدولی این‌قدر برنده می‌شوند؟ و در چه شرایطی یک مدلِ خطی از آن‌ها بهتر است؟» بخشِ دوم مهم‌تر است و معمولاً کوتاه جواب داده می‌شود. جوابش را با سه دلیلِ بخشِ ۴ مقایسه کن — اگر همه‌شان را نگفت، خودت کاملش کن.

واژه‌های تازهٔ این فصل#

کلمه تلفظ به حروف فارسی یعنی چه
ensemble آنسامبل ترکیبِ چند مدل برای نتیجهٔ بهتر از هرکدام
RandomForest رندوم فارست میانگینِ ده‌ها درختِ مستقل روی نمونه‌های تصادفی
gradient boosting گرِیدیانت بوستینگ درخت‌های پیاپی که هر یک خطای قبلی را جبران می‌کند
feature importance فیچر ایمپورتنس سهمِ هر ستون در تصمیم‌های مدل — نه علیت

تمرین‌ها

اول خودت فکر کن یا امتحان کن — بعد اینجا را باز کن.

در فصل بعد#

مدل‌ها را داری و می‌دانی کدام بهتر است. فصلِ بعد کارِ متفاوتی می‌کند: به‌جای عوض‌کردنِ مدل، به ردیف‌هایی که مدل اشتباه کرده نگاه می‌کند. این آخرین مهارتِ ترم است و در عمل بیشترین بازده را دارد — چون تقریباً همیشه، بهترین راهِ بهبودِ یک مدل، بهبودِ داده است، نه الگوریتم.

به آخر این فصل رسیدی!

اگر ساختی و جواب داد، این دکمه مال توست.