# فصل ۱۰ — درخت، جنگل، boosting

<div dir="rtl">

# فصل ۱۰ — درخت، جنگل، boosting

## در این فصل چه یاد می‌گیری

تا اینجا با دو مدل کار کردی. این فصل خانوادهٔ درختی را کامل می‌کند: `RandomForest` و `gradient boosting` — که در صنعت پرکاربردترین ابزارِ دادهٔ جدولی‌اند و در بیشترِ مسابقه‌های داده برنده می‌شوند. یاد می‌گیری هرکدام چطور کار می‌کنند و `feature importance` را چطور بخوانی. و یک نتیجهٔ غافلگیرکننده هم می‌گیری که ارزشش از خودِ الگوریتم‌ها بیشتر است.

![چند درختِ کوچکِ هم‌شکل کنارِ هم که رأیشان به یک ترازوی مشترک می‌رسد](/lesson-assets/t3-s10-trees/prompt/01-image-forest-vote.png)

آخر این فصل می‌توانی:

- بگویی درخت، جنگل و boosting چطور کار می‌کنند و چه فرقی دارند
- `feature_importances_` را بخوانی و محدودیتش را بگویی
- چهار خانوادهٔ مدل را روی یک داده منصفانه مقایسه کنی
- بگویی چرا «مدلِ پیشرفته‌تر» خودبه‌خود بهتر نیست

## قبل از شروع

**از فصل ۸:** درختِ تصمیم، `max_depth` و `overfitting`.

**از فصل ۸:** `cross_val_score` و اینکه مقایسه باید با نوسان سنجیده شود.

> 📓 **نوت‌بوک:** [نوت‌بوک این فصل را در Colab باز کن](/notebooks/sarnakh/term-3-machine-learning/session-10-trees.ipynb) — همهٔ کدهای این فصل آماده و به‌ترتیب داخلش هست.

## ۱. یک درخت چه می‌کند

درختِ تصمیم مجموعه‌ای از سؤال‌های تودرتوست: «سالش بالای ۲۰۲۱ است؟ اگر بله، برندش اپل است؟ اگر بله، قیمت را ۴۵ میلیون بگو».

هر گره یک سؤال است و هر برگ یک جواب. مدل خودش تصمیم می‌گیرد **کدام سؤال، در چه ترتیبی، با چه مرزی** — و همان است که «آموزش» می‌نامیمش.

سه خاصیتِ درخت که در عمل خیلی مهم‌اند:

- **مقیاس‌بندی لازم ندارد.** «سال بالای ۲۰۲۱؟» با هر واحدی همان جواب را می‌دهد. (ما `StandardScaler` را در زنجیره نگه می‌داریم چون همان زنجیره برای مدل‌های خطی هم به‌کار می‌رود، ولی برای درخت بی‌اثر است.)
- **رابطهٔ غیرخطی را می‌گیرد.** مدلِ خطی مجبور است یک خطِ صاف بکشد؛ درخت می‌تواند بگوید «تا ۲۰۲۰ کم، بعد ناگهان زیاد».
- **برهم‌کنش را می‌گیرد.** «اگر اپل **و** جدید» یک شاخهٔ جداست، بدونِ اینکه تو چیزی بسازی.

## ۲. جنگل: رأی‌گیریِ چند درخت

</div>

```python
import pandas as pd
from sklearn.model_selection import train_test_split, cross_val_score, KFold
from sklearn.pipeline import Pipeline
from sklearn.compose import ColumnTransformer
from sklearn.preprocessing import StandardScaler, OneHotEncoder
from sklearn.impute import SimpleImputer
from sklearn.ensemble import RandomForestRegressor
from sklearn.metrics import mean_absolute_error

df = pd.read_csv("laptops_clean.csv")
X = df[["year", "ram_gb", "brand", "city"]]
y = df["price"]
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

preprocess = ColumnTransformer([
    ("num", Pipeline([("fill", SimpleImputer(strategy="median")), ("scale", StandardScaler())]),
     ["year", "ram_gb"]),
    ("cat", OneHotEncoder(handle_unknown="ignore"), ["brand", "city"]),
])

forest = Pipeline([
    ("prepare", preprocess),
    ("model", RandomForestRegressor(n_estimators=200, random_state=0)),
]).fit(X_train, y_train)

print("MAE جنگل روی آزمون:", round(mean_absolute_error(y_test, forest.predict(X_test))))
```

<div dir="rtl">

</div>

```text
MAE جنگل روی آزمون: 1980696
```

<div dir="rtl">

`RandomForest` دویست درخت می‌سازد، هر کدام روی نمونهٔ تصادفیِ متفاوتی از داده و با زیرمجموعهٔ تصادفیِ متفاوتی از featureها، و بعد **میانگینِ پیش‌بینی‌شان** را می‌دهد.

ایده‌اش ساده و قوی است: هر درختِ تنها به‌شدت `overfit` می‌کند، ولی هر کدام به شکلِ **متفاوتی** اشتباه می‌کنند. میانگین‌گیری خطاهای تصادفی را خنثی می‌کند و الگوی مشترک را نگه می‌دارد.

> ✅ **چک کن:** `MAE` جنگل باید حدودِ ۱٫۹۸ میلیون باشد. اگر عددت خیلی فرق دارد، `random_state=0` را جا انداخته‌ای — جنگل ذاتاً تصادفی است و بدونِ آن هر اجرا نتیجهٔ متفاوتی می‌دهد.

**اسمِ عمومیِ این ایده `ensemble` است** و یکی از پرقدرت‌ترین ایده‌های کلِ یادگیری ماشین: چند مدلِ متوسط که اشتباهاتِ متفاوتی می‌کنند، از یک مدلِ خوبِ تنها بهترند.

## ۳. `boosting`: هر درخت خطای قبلی را جبران می‌کند

</div>

```python
from sklearn.ensemble import HistGradientBoostingRegressor

boosted = Pipeline([
    ("prepare", preprocess),
    ("model", HistGradientBoostingRegressor(random_state=0)),
]).fit(X_train, y_train)

print("MAE boosting روی آزمون:", round(mean_absolute_error(y_test, boosted.predict(X_test))))
```

<div dir="rtl">

</div>

```text
MAE boosting روی آزمون: 2052144
```

<div dir="rtl">

`boosting` استراتژیِ کاملاً متفاوتی دارد. به‌جای ساختنِ درخت‌های مستقل و میانگین‌گیری، درخت‌ها را **پشتِ سرِ هم** می‌سازد و هر درختِ تازه روی **خطای باقی‌ماندهٔ** درخت‌های قبلی آموزش می‌بیند.

</div>

| | `RandomForest` | `boosting` |
|---|---|---|
| ساختنِ درخت‌ها | مستقل و موازی | پشتِ سرِ هم، هر یک روی خطای قبلی |
| ترکیب | میانگینِ رأی‌ها | جمعِ اصلاح‌های پیاپی |
| تنظیمِ پارامتر | ساده، پیش‌فرض‌ها معمولاً خوب‌اند | حساس‌تر، تنظیم می‌خواهد |
| خطرِ `overfitting` | کم | بیشتر — اگر درخت‌ها زیاد شوند |

<div dir="rtl">

در عمل، `gradient boosting` (با پیاده‌سازی‌هایی مثلِ `XGBoost` و `LightGBM` و همین `HistGradientBoosting`) روی دادهٔ جدولیِ بزرگ معمولاً بهترین نتیجه را می‌دهد. اینجا اما بدتر از جنگل شد — و بخشِ بعد می‌گوید چرا.

## ۴. مقایسهٔ منصفانه

</div>

```python
from sklearn.linear_model import LinearRegression
from sklearn.tree import DecisionTreeRegressor

folds = KFold(5, shuffle=True, random_state=0)
candidates = {
    "خطی": LinearRegression(),
    "درخت (عمق ۵)": DecisionTreeRegressor(max_depth=5, random_state=0),
    "جنگل": RandomForestRegressor(n_estimators=200, random_state=0),
    "boosting": HistGradientBoostingRegressor(random_state=0),
}

for name in candidates:
    pipe = Pipeline([("prepare", preprocess), ("model", candidates[name])])
    cv = -cross_val_score(pipe, X, y, cv=folds, scoring="neg_mean_absolute_error")
    print(f"{name:>14}: {round(cv.mean()):>8} ± {round(cv.std()):>6}")
```

<div dir="rtl">

</div>

```text
           خطی:  1514784 ± 103651
  درخت (عمق ۵):  2216130 ± 170375
          جنگل:  1922591 ±  55487
      boosting:  2358585 ± 295097
```

<div dir="rtl">

**و اینجا غافلگیریِ فصل است: ساده‌ترین مدل برنده شد.**

`LinearRegression` — همان مدلِ سه‌خطیِ فصلِ ۲ — از جنگل و boosting بهتر است، و فاصله‌اش هم از نوسان‌ها بیشتر است، پس واقعی است.

چرا؟ سه دلیل، و هر سه در دنیای واقعی هم تکرار می‌شوند:

- **رابطه واقعاً تقریباً خطی است.** قیمت با سال و حافظه تقریباً یکنواخت بالا می‌رود و برند یک جهشِ ثابت اضافه می‌کند. این دقیقاً همان چیزی است که یک مدلِ خطی برایش ساخته شده.
- **داده کوچک است.** ۲۳۸ ردیف برای مدل‌های درختی خیلی کم است؛ آن‌ها به داده‌ای نیاز دارند که الگوهای پیچیده در آن **دیده** شود، نه حدس زده.
- **`feature` کم است.** فقط چهار ستون. برتریِ درخت‌ها وقتی ظاهر می‌شود که ده‌ها ستون با برهم‌کنش‌های پیچیده داشته باشی.

> 📏 **اندازه بگیر:** **این مهم‌ترین درسِ فصل است و ربطی به درخت ندارد: مدلِ پیشرفته‌تر خودبه‌خود بهتر نیست.** همیشه سه چیز را با هم بسنج — خطِ پایه، یک مدلِ ساده، و یک مدلِ پیچیده — و برنده را با عدد انتخاب کن. مدلِ ساده مزیت‌های واقعی دارد که در عدد دیده نمی‌شوند: سریع‌تر است، قابلِ‌توضیح‌تر، و کمتر خراب می‌شود. **مدلِ پیچیده باید برتری‌اش را ثابت کند، نه اینکه پیش‌فرض باشد.**

و به `std` جنگل نگاه کن: ۵۵ هزار، پایدارترین در کلِ جدول. اگر پایداری برایت از دقتِ مطلق مهم‌تر بود، آن انتخابِ خوبی است.

## ۵. `feature_importances_`

</div>

```python
names = forest.named_steps["prepare"].get_feature_names_out()
importance = pd.Series(
    forest.named_steps["model"].feature_importances_, index=names
).sort_values(ascending=False)

print(importance.round(3).head(6).to_string())
```

<div dir="rtl">

</div>

```text
cat__brand_اپل      0.519
num__year           0.399
num__ram_gb         0.058
cat__brand_ایسوس    0.004
cat__brand_دل       0.004
cat__city_مشهد      0.004
```

<div dir="rtl">

مدل‌های درختی می‌گویند هر `feature` چقدر در تصمیم‌هایشان نقش داشته. اینجا **«اپل بودن» بیش از نیمیِ کل** و `year` حدودِ ۴۰ درصد. حافظه ۶ درصد و شهر تقریباً هیچ.

این با همهٔ یافته‌های ترمِ ۲ و ۳ می‌خواند — و همین **هم‌خوانی** ارزشش را دارد: وقتی چند روشِ مستقل یک چیز می‌گویند، می‌توانی به آن تکیه کنی.

> ⚠️ **مواظب باش:** `feature_importances_` سه محدودیتِ جدی دارد که کمتر گفته می‌شود. **اول**، «اهمیت» یعنی «چقدر در تصمیم‌های این مدل نقش داشت»، نه «چقدر علّی است» — همان تفاوتِ همبستگی و علیت. **دوم**، اگر دو feature همبستهٔ قوی باشند، مدل دلبخواهی یکی را انتخاب می‌کند و دیگری تقریباً صفر می‌شود، در حالی که هر دو به‌یک‌اندازه مهم‌اند. **سوم**، این روش به featureهای با مقادیرِ متنوع‌تر سوگیریِ ذاتی دارد. برای تصمیم‌های جدی، `permutation_importance` روشِ قابلِ‌اعتمادتری است.

> 💡 **نکته:** `HistGradientBoosting` یک مزیتِ عملیِ خوب دارد: **خودش مقدارِ خالی را می‌پذیرد** و به `SimpleImputer` نیاز ندارد. اگر داده‌ات پُر از خانهٔ خالی است، این به‌تنهایی می‌تواند دلیلِ انتخابش باشد.

## ۶. یک خطای واقعی: جنگل روی دادهٔ متنیِ خام

</div>

```python-broken
RandomForestRegressor().fit(X_train, y_train)
```

<div dir="rtl">

</div>

```text
ValueError: could not convert string to float: 'لنوو'
```

<div dir="rtl">

نامِ برندی که در پیام می‌بینی، **اولین مقدارِ متنی‌ای است که `scikit-learn` به آن برخورده** — یعنی به تقسیمِ تصادفی بستگی دارد و ممکن است روی دستگاهِ تو برندِ دیگری باشد. چیزی که ثابت است، خودِ خطاست: درخت‌ها هم مثلِ بقیهٔ مدل‌های `scikit-learn` فقط عدد می‌پذیرند. همان `Pipeline` فصلِ ۷ لازم است — این یکی از دلایلی است که از آن فصل به بعد هیچ مدلی را بدونِ زنجیره نمی‌سازیم.

> 🔧 **اگر کار نکرد:** یک تلهٔ رایج‌تر: `RandomForest` روی دادهٔ بزرگ **کند** است و ممکن است سلولِ Colab را دقایقی مشغول کند. اگر آموزش طول کشید، `n_estimators` را موقتاً به ۵۰ کم کن و `n_jobs=-1` بگذار تا از همهٔ هسته‌ها استفاده کند. نتیجه کمی بی‌ثبات‌تر می‌شود ولی برای آزمایشِ اولیه کافی است.

> 🤖 **از دستیارت بپرس:** «چرا XGBoost و LightGBM در مسابقه‌های دادهٔ جدولی این‌قدر برنده می‌شوند؟ و در چه شرایطی یک مدلِ خطی از آن‌ها بهتر است؟» بخشِ دوم مهم‌تر است و معمولاً کوتاه جواب داده می‌شود. جوابش را با سه دلیلِ بخشِ ۴ مقایسه کن — اگر همه‌شان را نگفت، خودت کاملش کن.

## واژه‌های تازهٔ این فصل

</div>

| کلمه | تلفظ به حروف فارسی | یعنی چه |
|---|---|---|
| ensemble | آنسامبل | ترکیبِ چند مدل برای نتیجهٔ بهتر از هرکدام |
| RandomForest | رندوم فارست | میانگینِ ده‌ها درختِ مستقل روی نمونه‌های تصادفی |
| gradient boosting | گرِیدیانت بوستینگ | درخت‌های پیاپی که هر یک خطای قبلی را جبران می‌کند |
| feature importance | فیچر ایمپورتنس | سهمِ هر ستون در تصمیم‌های مدل — نه علیت |

<div dir="rtl">

## تمرین‌ها

قبل از تمرین، بدونِ نگاه به بالا جواب بده: چرا میانگین‌گرفتن از دویست درختِ `overfit`‌شده، نتیجه‌ای بهتر از یک درختِ تنها می‌دهد؟

**تمرینِ اجباری:** `n_estimators` جنگل را روی ۱۰، ۵۰، ۱۰۰، ۲۰۰ و ۵۰۰ امتحان کن و برای هرکدام `MAE` و **زمانِ اجرا** را ثبت کن. از کجا به بعد افزایشِ درخت‌ها دیگر کمکی نمی‌کند؟ در یک جمله بنویس بده‌بستانِ این پارامتر چیست.

**تمرینِ ستاره‌دار ⭐:** فرضیهٔ بخشِ ۴ را بسنج. یک ستونِ **غیرخطی** به داده اضافه کن — مثلاً `year_squared` — و مدلِ خطی را با و بدونِ آن مقایسه کن. اگر مدلِ خطی با این ستون بهتر شد، یعنی رابطه واقعاً کاملاً خطی نبود. حالا همان مقایسهٔ چهارتاییِ بخشِ ۴ را با featureهای بیشتر تکرار کن (`year_squared` و `ram_gb × is_apple`). **آیا با featureهای بیشتر، ترتیبِ برنده‌ها عوض می‌شود؟** جوابِ این سؤال دقیقاً همان چیزی است که تصمیمِ «کدام مدل» را در پروژه‌های واقعی می‌سازد.

## در فصل بعد

مدل‌ها را داری و می‌دانی کدام بهتر است. فصلِ بعد کارِ متفاوتی می‌کند: به‌جای عوض‌کردنِ مدل، به **ردیف‌هایی که مدل اشتباه کرده** نگاه می‌کند. این آخرین مهارتِ ترم است و در عمل بیشترین بازده را دارد — چون تقریباً همیشه، بهترین راهِ بهبودِ یک مدل، بهبودِ **داده** است، نه الگوریتم.

</div>

---
Source: https://yaadestan.com/courses/sarnakh/lessons/t3/s10-trees (یادستان, Yaadestan)
