# فصل ۰۷ — پیش‌پردازش بدونِ نشتی: `Pipeline`

<div dir="rtl">

# فصل ۰۷ — پیش‌پردازش بدونِ نشتی: `Pipeline`

## در این فصل چه یاد می‌گیری

فصلِ ۴ نشان داد که پیش‌پردازش قبل از `split` نشتی می‌سازد، و گفتیم نگه‌داشتنِ ترتیبِ درست به‌صورتِ دستی در یک پروژهٔ واقعی تقریباً محال است. این فصل ابزارش را می‌آورد: **`Pipeline`** — که کلِ زنجیره را در یک شیء می‌بندد و آن نشتی را **ساختاراً** غیرممکن می‌کند. و در همین مسیر دو مشکلِ باقی‌مانده هم حل می‌شوند: ستون‌های متنی که مدل نمی‌پذیرفت، و آن ۲۵ ردیفی که به‌خاطرِ خانهٔ خالی دور انداختیم.

![یک لولهٔ بستهٔ برش‌خورده با سه ایستگاه در طولش که ورودی از یک سر و خروجی از سرِ دیگر می‌رود و هیچ راهِ نفوذی از بیرون ندارد](/lesson-assets/t3-s07-pipeline/prompt/01-image-sealed-pipeline.png)

آخر این فصل می‌توانی:

- یک `Pipeline` بسازی و بگویی چرا نشتی را غیرممکن می‌کند
- با `ColumnTransformer` روی ستون‌های عددی و متنی رفتارِ متفاوت اعمال کنی
- ستونِ دسته‌ای را با `OneHotEncoder` وارد مدل کنی
- خانه‌های خالی را با `SimpleImputer` داخلِ زنجیره پُر کنی، بدونِ نشتی

## قبل از شروع

**از فصل ۴:** نشتیِ پیش‌پردازش و اینکه `StandardScaler` باید فقط روی آموزش `fit` شود.

**از فصل ۲:** `dropna` و اینکه ۲۵ ردیف را دور انداختیم.

**از ترمِ ۲:** ستونِ `brand` و `city` که متن‌اند و تا حالا استفاده نشده‌اند.

> 📓 **نوت‌بوک:** [نوت‌بوک این فصل را در Colab باز کن](/notebooks/sarnakh/term-3-machine-learning/session-07-pipeline.ipynb) — همهٔ کدهای این فصل آماده و به‌ترتیب داخلش هست.

## ۱. مشکل: سه کار که باید به‌ترتیب انجام شوند

برای استفاده از کلِ داده، سه کار لازم است و هر سه **از داده یاد می‌گیرند**:

1. **پُرکردنِ خانه‌های خالیِ `ram_gb`** — میانه را از داده یاد می‌گیرد.
2. **مقیاس‌بندیِ ستون‌های عددی** — میانگین و انحراف را از داده یاد می‌گیرد.
3. **تبدیلِ `brand` و `city` به عدد** — فهرستِ دسته‌ها را از داده یاد می‌گیرد.

هر سه باید **فقط روی دادهٔ آموزش** یاد بگیرند و بعد **همان یادگرفته** روی آزمون اعمال شود. انجامِ دستی‌اش شش خط کد و شش فرصت برای اشتباه است.

> 🌱 **ریشه‌اش کجاست:** کاری که `StandardScaler` می‌کند در یک جمله این است: از هر مقدار میانگین را کم کن و بر انحرافِ معیار تقسیم کن، تا همهٔ ستون‌ها یک واحدِ مشترک پیدا کنند — «چند انحرافِ معیار از مرکز». اگر می‌خواهی بدانی انحرافِ معیار دقیقاً چه چیزی را می‌سنجد و چرا واحدِ طبیعیِ پراکندگی است، [ریشه، ترم ۶ فصل ۶ — میانگین، میانه، پراکندگی](/courses/risheh/lessons/term-6-probability-statistics/session-06-center-spread) همین را از پایه می‌سازد.

## ۲. `Pipeline`: زنجیره در یک شیء

</div>

```python
import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.pipeline import Pipeline
from sklearn.compose import ColumnTransformer
from sklearn.preprocessing import StandardScaler, OneHotEncoder
from sklearn.impute import SimpleImputer
from sklearn.linear_model import LinearRegression
from sklearn.metrics import mean_absolute_error

df = pd.read_csv("laptops_clean.csv")
X = df[["year", "ram_gb", "brand", "city"]]
y = df["price"]

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

numeric = ["year", "ram_gb"]
categorical = ["brand", "city"]

preprocess = ColumnTransformer([
    ("num", Pipeline([
        ("fill", SimpleImputer(strategy="median")),
        ("scale", StandardScaler()),
    ]), numeric),
    ("cat", OneHotEncoder(handle_unknown="ignore"), categorical),
])

pipe = Pipeline([
    ("prepare", preprocess),
    ("model", LinearRegression()),
])

pipe.fit(X_train, y_train)
print("تعداد ردیف‌های استفاده‌شده:", len(df))
print("MAE آزمون:", round(mean_absolute_error(y_test, pipe.predict(X_test))))
```

<div dir="rtl">

</div>

```text
تعداد ردیف‌های استفاده‌شده: 238
MAE آزمون: 1443649
```

<div dir="rtl">

در فصلِ ۴ بهترین عددِ صادقانه‌مان ۴٫۶ میلیون بود؛ اینجا **۱٫۴۴ میلیون** است. ولی آن دو عدد روی دو مجموعهٔ آزمونِ متفاوت گرفته شده‌اند (آنجا ۲۱۳ ردیف بعد از `dropna`، اینجا هر ۲۳۸ ردیف)، پس هنوز حقِ مقایسهٔ مستقیم نداریم — **مقایسهٔ هم‌شرایط را در بخشِ ۵ می‌گیریم و همان‌جا معلوم می‌شود عدد واقعاً چقدر بهتر شده.**

سه چیز هم‌زمان اتفاق افتاد:

- **هیچ ردیفی دور انداخته نشد** — هر ۲۳۸ ردیف استفاده شدند، چون `SimpleImputer` خالی‌ها را پُر کرد به‌جای اینکه حذفشان کنیم.
- **`brand` و `city` وارد مدل شدند** — و همان‌طور که از ترمِ ۲ می‌دانستیم، برند اطلاعاتِ زیادی دارد.
- **هیچ نشتی‌ای رخ نداد** — و این مهم‌ترینش است.

## ۳. چرا نشتی غیرممکن شد

اینجا نکتهٔ اصلیِ فصل است. وقتی `pipe.fit(X_train, y_train)` را صدا می‌زنی:

1. `SimpleImputer` میانه را **فقط از `X_train`** حساب می‌کند.
2. `StandardScaler` میانگین و انحراف را **فقط از `X_train`** یاد می‌گیرد.
3. `OneHotEncoder` فهرستِ دسته‌ها را **فقط از `X_train`** برمی‌دارد.
4. مدل روی نتیجه آموزش می‌بیند.

و وقتی `pipe.predict(X_test)` را صدا می‌زنی، هر سه مرحله **همان مقادیرِ یادگرفته‌شده** را اعمال می‌کنند و دوباره چیزی یاد نمی‌گیرند.

**تو نمی‌توانی این ترتیب را خراب کنی، حتی اگر بخواهی.** `Pipeline` آن را در خودش بسته و این تفاوتِ بنیادیِ آن با نوشتنِ دستی است: **از انضباطِ فردی به تضمینِ ساختاری تبدیل می‌شود.**

> 📏 **اندازه بگیر:** **از این فصل به بعد، در این دوره هیچ پیش‌پردازشی بیرونِ `Pipeline` نوشته نمی‌شود.** نه به‌خاطرِ زیبایی — به‌خاطرِ اینکه تنها راهِ قابلِ‌اعتمادِ جلوگیری از نشتی است. اگر کدی دیدی که `scaler.fit_transform(X)` را قبل از `train_test_split` صدا می‌زند، همان‌جا می‌دانی نتیجه‌اش خوش‌بینانه است.

## ۴. `OneHotEncoder`: متن به عدد، بدونِ ترتیبِ ساختگی

</div>

```python
encoder = OneHotEncoder(handle_unknown="ignore", sparse_output=False)
sample = df[["brand"]].head(4)
encoded = encoder.fit_transform(sample)

print(sample["brand"].tolist())
print(list(encoder.get_feature_names_out()))
print(encoded)
```

<div dir="rtl">

</div>

```text
['اپل', 'لنوو', 'اپل', 'ایسوس']
['brand_اپل', 'brand_ایسوس', 'brand_لنوو']
[[1. 0. 0.]
 [0. 0. 1.]
 [1. 0. 0.]
 [0. 1. 0.]]
```

<div dir="rtl">

هر دسته یک **ستونِ صفر-و-یکِ جدا** می‌گیرد. سه برند شد سه ستون، و هر ردیف دقیقاً در یکی‌شان `1` دارد.

چرا این‌طوری و نه ساده‌تر؟ در تمرینِ ستاره‌دارِ فصلِ ۲ پرسیدیم: اگر پنج برند داشتیم، آیا `brand` را به صفر تا چهار تبدیل می‌کردی؟ **جواب: نه، و دلیلش مهم است.** اگر اپل صفر باشد و لنوو یک و ایسوس دو، به مدل گفته‌ای که ایسوس «دو برابرِ» لنوو است و بینِ اپل و ایسوس «فاصلهٔ دو» هست. این یک **ترتیبِ ساختگی** است که در واقعیت وجود ندارد، و مدلِ خطی جدی می‌گیردش.

`OneHotEncoder` این را حل می‌کند: هیچ دسته‌ای از دیگری بزرگ‌تر نیست.

> ⚠️ **مواظب باش:** آن `handle_unknown="ignore"` را حتماً بگذار. بدونش، اگر در دادهٔ آزمون (یا در تولید) برندی بیاید که در آموزش نبوده، `ValueError` می‌گیری و کلِ پیش‌بینی می‌ایستد. با آن، ردیفِ ناشناخته همهٔ ستون‌هایش صفر می‌شود — نتیجه‌اش دقیق نیست، ولی سامانه‌ات نمی‌ایستد. **در تولید، خرابیِ ملایم تقریباً همیشه بهتر از توقفِ کامل است.**

## ۵. `SimpleImputer` داخلِ زنجیره

</div>

```python
X_only_numeric = df[["year", "ram_gb"]]
xn_train, xn_test, yn_train, yn_test = train_test_split(
    X_only_numeric, y, test_size=0.2, random_state=42
)

no_cat = Pipeline([
    ("fill", SimpleImputer(strategy="median")),
    ("scale", StandardScaler()),
    ("model", LinearRegression()),
]).fit(xn_train, yn_train)

print("MAE فقط با سال و حافظه:", round(mean_absolute_error(yn_test, no_cat.predict(xn_test))))
print("MAE با برند و شهر هم:", round(mean_absolute_error(y_test, pipe.predict(X_test))))
```

<div dir="rtl">

</div>

```text
MAE فقط با سال و حافظه: 4685205
MAE با برند و شهر هم: 1443649
```

<div dir="rtl">

**بیش از سه برابر تفاوت، فقط از دو ستونی که تا حالا کنار گذاشته بودیم.**

این بزرگ‌ترین جهشِ کلِ ترم بود و هیچ ربطی به الگوریتم نداشت. همان `LinearRegression` سادهٔ فصلِ ۲ است. **بهترین سرمایه‌گذاری در یادگیری ماشین تقریباً همیشه دادهٔ بهتر است، نه مدلِ پیچیده‌تر.**

و توجه کن: `SimpleImputer` را داخلِ زنجیره گذاشتیم، پس میانه‌ای که برای پُرکردن به‌کار می‌رود از دادهٔ **آموزش** حساب می‌شود. اگر دستی و روی کلِ داده انجامش می‌دادی، دقیقاً همان نشتیِ نوعِ سومِ فصلِ ۴ بود.

> ✅ **چک کن:** هر دو خط باید بدونِ `dropna` اجرا شوند. اگر `ValueError: Input X contains NaN` گرفتی، یعنی `SimpleImputer` در زنجیره نیست. اگر هم آن را **بعد از** مدل گذاشته باشی، `TypeError: All intermediate steps should be transformers` می‌گیری، چون ترتیبِ داخلِ `Pipeline` معنا دارد، از بالا به پایین اجرا می‌شود و فقط آخرین مرحله می‌تواند مدل باشد.

## ۶. نگاه‌کردن به داخلِ زنجیره

</div>

```python
model_step = pipe.named_steps["model"]
feature_names = pipe.named_steps["prepare"].get_feature_names_out()

coefficients = pd.Series(model_step.coef_, index=feature_names).sort_values()
print(coefficients.round(0).head(3))
print(coefficients.round(0).tail(3))
```

<div dir="rtl">

</div>

```text
cat__brand_اچ پی   -4800314.0
cat__brand_لنوو    -4551445.0
cat__brand_دل      -4500011.0
dtype: float64
num__ram_gb        2748741.0
num__year          6466831.0
cat__brand_اپل    18014441.0
dtype: float64
```

<div dir="rtl">

`Pipeline` جعبهٔ سیاه نیست — می‌توانی هر مرحله‌اش را با نامش بیرون بکشی و نگاهش کنی.

و ضریب‌ها دقیقاً همان چیزی را می‌گویند که ترمِ ۲ نشان داده بود: **بودنِ برندِ اپل حدودِ هجده میلیون بالاتر از میانگینِ برندها می‌نشیند** و برندهای دیگر همه منفی‌اند (حدودِ منفیِ ۴٫۵ میلیون)، پس فاصلهٔ اپل با هر برندِ دیگر حدودِ ۲۲ میلیون است. `year` هم بعد از مقیاس‌بندی قوی‌ترین عاملِ عددی است.

> 💡 **نکته:** ضریبِ `num__year` را نمی‌شود مستقیم «به‌ازای هر سال» خواند، چون `StandardScaler` واحدش را عوض کرده — حالا «به‌ازای هر یک انحرافِ معیار» است. **بعد از مقیاس‌بندی، ضریب‌ها با هم قابلِ مقایسه‌اند ولی دیگر واحدِ اصلی را ندارند.** این یک بده‌بستانِ آگاهانه است، نه یک اشکال.

## ۷. یک خطای واقعی: ستونی که در `ColumnTransformer` نیست

این بخش دو رفتارِ کاملاً متفاوت را نشان می‌دهد، و **آنکه خطا نمی‌دهد خطرناک‌تر است.**

</div>

```python
partial = ColumnTransformer([
    ("num", StandardScaler(), ["year"]),
])
partial_pipe = Pipeline([("prepare", partial), ("model", LinearRegression())]).fit(X_train, y_train)

print("ستون‌هایی که واقعاً به مدل رسیدند:", list(partial_pipe.named_steps["prepare"].get_feature_names_out()))
print("MAE این مدل:", round(mean_absolute_error(y_test, partial_pipe.predict(X_test))))
print("MAE زنجیرهٔ کامل:", round(mean_absolute_error(y_test, pipe.predict(X_test))))
```

<div dir="rtl">

</div>

```text
ستون‌هایی که واقعاً به مدل رسیدند: ['num__year']
MAE این مدل: 4966994
MAE زنجیرهٔ کامل: 1443649
```

<div dir="rtl">

**هیچ خطایی نگرفتیم و مدل ساخته شد** — ولی `ColumnTransformer` هر ستونی را که نام نبرده بودیم **بی‌سروصدا دور انداخت**. `ram_gb` و `brand` و `city` هیچ‌وقت به مدل نرسیدند، و خطا از ۱٫۴۴ به ۴٫۹۷ میلیون پرید: سه‌ونیم برابر بدتر، بدونِ یک کلمه هشدار.

**این رفتارِ پیش‌فرض است و اسمش `remainder="drop"` است.** تنها راهِ فهمیدنش هم همان خطِ اول است: `get_feature_names_out()` بگیر و بشمار چند ستون واقعاً وارد شده.

حالا همان اشتباه، با پیکربندیِ دیگری که این بار **صریح شکست می‌خورد**:

</div>

```python-broken
through = ColumnTransformer(
    [("num", StandardScaler(), ["year"])],
    remainder="passthrough",
)
Pipeline([("prepare", through), ("model", LinearRegression())]).fit(X_train, y_train)
```

<div dir="rtl">

</div>

```text
ValueError: could not convert string to float: 'لنوو'
```

<div dir="rtl">

با `remainder="passthrough"` ستون‌های نام‌برده‌نشده **بدونِ تبدیل** رد می‌شوند و به مدل می‌رسند — و مدل با متنِ «لنوو» کاری نمی‌تواند بکند. (نامِ برندی که در پیام می‌بینی به تقسیمِ تصادفی بستگی دارد.)

قاعده: **هر ستونی که در `X` هست باید یا در یکی از تبدیل‌ها نام برده شود، یا آگاهانه کنار گذاشته شود.** و «آگاهانه» یعنی خودت بدانی، نه اینکه `ColumnTransformer` بی‌صدا برایت تصمیم بگیرد.

> 🔧 **اگر کار نکرد:** پارامترِ `remainder` رفتارِ ستون‌های نام‌برده‌نشده را تعیین می‌کند: `"drop"` (پیش‌فرض) بی‌صدا دورشان می‌اندازد و `"passthrough"` بدونِ تغییر ردشان می‌کند. **بعد از ساختنِ هر `ColumnTransformer`، یک بار `get_feature_names_out()` را چاپ کن و تعدادش را با انتظارت مقایسه کن** — این ده ثانیه، تنها چیزی است که جلوی «ستونِ گم‌شدهٔ خاموش» را می‌گیرد.

> 🤖 **از دستیارت بپرس:** «چه زمانی `OneHotEncoder` انتخابِ بدی است و چه جایگزین‌هایی وجود دارد؟» جوابش احتمالاً «وقتی دسته‌ها خیلی زیادند» را می‌آورد و نام‌هایی مثلِ `TargetEncoder` می‌برد. **قبل از به‌کار بردنِ هر جایگزینی که پیشنهاد داد، بپرس آیا آن روش از `y` استفاده می‌کند** — اگر بله، بیرونِ `Pipeline` به‌کار بردنش مستقیماً نشتی می‌سازد.

## واژه‌های تازهٔ این فصل

</div>

| کلمه | تلفظ به حروف فارسی | یعنی چه |
|---|---|---|
| Pipeline | پایپ‌لاین | زنجیرهٔ پیش‌پردازش و مدل در یک شیء |
| ColumnTransformer | کالم ترنسفورمر | اعمالِ تبدیل‌های متفاوت روی گروه‌های متفاوتِ ستون |
| OneHotEncoder | وان‌هات اِنکودر | هر دسته یک ستونِ صفر-و-یکِ جدا |
| SimpleImputer | سیمپل ایمپیوتر | پُرکردنِ خانه‌های خالی با یک قاعدهٔ ثابت |

<div dir="rtl">

## تمرین‌ها

قبل از تمرین، بدونِ نگاه به بالا جواب بده: چرا تبدیلِ پنج برند به اعدادِ صفر تا چهار برای یک مدلِ خطی اشتباه است؟

**تمرینِ اجباری:** `Pipeline` را با `strategy="mean"` به‌جای `"median"` در `SimpleImputer` اجرا کن و `MAE` را مقایسه کن. بعد یک بار هم `StandardScaler` را کاملاً از زنجیره بردار. کدام تغییر اثرِ بیشتری داشت؟ نتیجه‌ات را با آنچه در ترمِ ۲ فصلِ ۵ دربارهٔ میانه و میانگین گفتیم مقایسه کن.

**تمرینِ ستاره‌دار ⭐:** نشتی را با دست بساز و اندازه بگیر. یک بار `SimpleImputer` و `StandardScaler` را **بیرون از `Pipeline` و روی کلِ `X`** اعمال کن، بعد `train_test_split` بزن و مدل بساز. `MAE` آزمون را با عددِ درستِ این فصل مقایسه کن. تفاوت چقدر است؟ حالا همین را با `test_size=0.5` تکرار کن. **آیا اثرِ نشتی با بزرگ‌تر شدنِ نسبتِ آزمون بیشتر می‌شود یا کمتر؟** جوابت را قبل از اجرا حدس بزن.

## در فصل بعد

مدلت حالا خیلی بهتر است و پیش‌پردازشش امن. ولی هنوز همهٔ عددهایت از **یک** تقسیمِ تصادفی می‌آیند، و در فصلِ ۴ دیدی که یک تقسیمِ کوچک خودش تصادفی است. فصلِ بعد این را حل می‌کند و هم‌زمان مهم‌ترین بیماریِ مدل‌ها را نشان می‌دهد: **`overfitting`** — وقتی مدل به‌جای یاد گرفتن، حفظ می‌کند. و می‌بینی که یک مدل می‌تواند روی دادهٔ آموزش تقریباً بی‌خطا باشد و در دنیای واقعی بی‌فایده.

</div>

---
Source: https://yaadestan.com/courses/sarnakh/lessons/t3/s07-pipeline (یادستان, Yaadestan)
