در این فصل چه یاد میگیری#
فصلِ ۴ نشان داد که پیشپردازش قبل از split نشتی میسازد، و گفتیم نگهداشتنِ ترتیبِ درست بهصورتِ دستی در یک پروژهٔ واقعی تقریباً محال است. این فصل ابزارش را میآورد: Pipeline — که کلِ زنجیره را در یک شیء میبندد و آن نشتی را ساختاراً غیرممکن میکند. و در همین مسیر دو مشکلِ باقیمانده هم حل میشوند: ستونهای متنی که مدل نمیپذیرفت، و آن ۲۵ ردیفی که بهخاطرِ خانهٔ خالی دور انداختیم.

آخر این فصل میتوانی:
- یک
Pipelineبسازی و بگویی چرا نشتی را غیرممکن میکند - با
ColumnTransformerروی ستونهای عددی و متنی رفتارِ متفاوت اعمال کنی - ستونِ دستهای را با
OneHotEncoderوارد مدل کنی - خانههای خالی را با
SimpleImputerداخلِ زنجیره پُر کنی، بدونِ نشتی
قبل از شروع#
از فصل ۴: نشتیِ پیشپردازش و اینکه StandardScaler باید فقط روی آموزش fit شود.
از فصل ۲: dropna و اینکه ۲۵ ردیف را دور انداختیم.
از ترمِ ۲: ستونِ brand و city که متناند و تا حالا استفاده نشدهاند.
📓 نوتبوک: نوتبوک این فصل را در Colab باز کن — همهٔ کدهای این فصل آماده و بهترتیب داخلش هست.
۱. مشکل: سه کار که باید بهترتیب انجام شوند#
برای استفاده از کلِ داده، سه کار لازم است و هر سه از داده یاد میگیرند:
- پُرکردنِ خانههای خالیِ
ram_gb— میانه را از داده یاد میگیرد. - مقیاسبندیِ ستونهای عددی — میانگین و انحراف را از داده یاد میگیرد.
- تبدیلِ
brandوcityبه عدد — فهرستِ دستهها را از داده یاد میگیرد.
هر سه باید فقط روی دادهٔ آموزش یاد بگیرند و بعد همان یادگرفته روی آزمون اعمال شود. انجامِ دستیاش شش خط کد و شش فرصت برای اشتباه است.
🌱 ریشهاش کجاست: کاری که
StandardScalerمیکند در یک جمله این است: از هر مقدار میانگین را کم کن و بر انحرافِ معیار تقسیم کن، تا همهٔ ستونها یک واحدِ مشترک پیدا کنند — «چند انحرافِ معیار از مرکز». اگر میخواهی بدانی انحرافِ معیار دقیقاً چه چیزی را میسنجد و چرا واحدِ طبیعیِ پراکندگی است، ریشه، ترم ۶ فصل ۶ — میانگین، میانه، پراکندگی همین را از پایه میسازد.
۲. Pipeline: زنجیره در یک شیء#
import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.pipeline import Pipeline
from sklearn.compose import ColumnTransformer
from sklearn.preprocessing import StandardScaler, OneHotEncoder
from sklearn.impute import SimpleImputer
from sklearn.linear_model import LinearRegression
from sklearn.metrics import mean_absolute_error
df = pd.read_csv("laptops_clean.csv")
X = df[["year", "ram_gb", "brand", "city"]]
y = df["price"]
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
numeric = ["year", "ram_gb"]
categorical = ["brand", "city"]
preprocess = ColumnTransformer([
("num", Pipeline([
("fill", SimpleImputer(strategy="median")),
("scale", StandardScaler()),
]), numeric),
("cat", OneHotEncoder(handle_unknown="ignore"), categorical),
])
pipe = Pipeline([
("prepare", preprocess),
("model", LinearRegression()),
])
pipe.fit(X_train, y_train)
print("تعداد ردیفهای استفادهشده:", len(df))
print("MAE آزمون:", round(mean_absolute_error(y_test, pipe.predict(X_test))))
تعداد ردیفهای استفادهشده: 238
MAE آزمون: 1443649
در فصلِ ۴ بهترین عددِ صادقانهمان ۴٫۶ میلیون بود؛ اینجا ۱٫۴۴ میلیون است. ولی آن دو عدد روی دو مجموعهٔ آزمونِ متفاوت گرفته شدهاند (آنجا ۲۱۳ ردیف بعد از dropna، اینجا هر ۲۳۸ ردیف)، پس هنوز حقِ مقایسهٔ مستقیم نداریم — مقایسهٔ همشرایط را در بخشِ ۵ میگیریم و همانجا معلوم میشود عدد واقعاً چقدر بهتر شده.
سه چیز همزمان اتفاق افتاد:
- هیچ ردیفی دور انداخته نشد — هر ۲۳۸ ردیف استفاده شدند، چون
SimpleImputerخالیها را پُر کرد بهجای اینکه حذفشان کنیم. brandوcityوارد مدل شدند — و همانطور که از ترمِ ۲ میدانستیم، برند اطلاعاتِ زیادی دارد.- هیچ نشتیای رخ نداد — و این مهمترینش است.
۳. چرا نشتی غیرممکن شد#
اینجا نکتهٔ اصلیِ فصل است. وقتی pipe.fit(X_train, y_train) را صدا میزنی:
SimpleImputerمیانه را فقط ازX_trainحساب میکند.StandardScalerمیانگین و انحراف را فقط ازX_trainیاد میگیرد.OneHotEncoderفهرستِ دستهها را فقط ازX_trainبرمیدارد.- مدل روی نتیجه آموزش میبیند.
و وقتی pipe.predict(X_test) را صدا میزنی، هر سه مرحله همان مقادیرِ یادگرفتهشده را اعمال میکنند و دوباره چیزی یاد نمیگیرند.
تو نمیتوانی این ترتیب را خراب کنی، حتی اگر بخواهی. Pipeline آن را در خودش بسته و این تفاوتِ بنیادیِ آن با نوشتنِ دستی است: از انضباطِ فردی به تضمینِ ساختاری تبدیل میشود.
📏 اندازه بگیر: از این فصل به بعد، در این دوره هیچ پیشپردازشی بیرونِ
Pipelineنوشته نمیشود. نه بهخاطرِ زیبایی — بهخاطرِ اینکه تنها راهِ قابلِاعتمادِ جلوگیری از نشتی است. اگر کدی دیدی کهscaler.fit_transform(X)را قبل ازtrain_test_splitصدا میزند، همانجا میدانی نتیجهاش خوشبینانه است.
۴. OneHotEncoder: متن به عدد، بدونِ ترتیبِ ساختگی#
encoder = OneHotEncoder(handle_unknown="ignore", sparse_output=False)
sample = df[["brand"]].head(4)
encoded = encoder.fit_transform(sample)
print(sample["brand"].tolist())
print(list(encoder.get_feature_names_out()))
print(encoded)
['اپل', 'لنوو', 'اپل', 'ایسوس']
['brand_اپل', 'brand_ایسوس', 'brand_لنوو']
[[1. 0. 0.]
[0. 0. 1.]
[1. 0. 0.]
[0. 1. 0.]]
هر دسته یک ستونِ صفر-و-یکِ جدا میگیرد. سه برند شد سه ستون، و هر ردیف دقیقاً در یکیشان 1 دارد.
چرا اینطوری و نه سادهتر؟ در تمرینِ ستارهدارِ فصلِ ۲ پرسیدیم: اگر پنج برند داشتیم، آیا brand را به صفر تا چهار تبدیل میکردی؟ جواب: نه، و دلیلش مهم است. اگر اپل صفر باشد و لنوو یک و ایسوس دو، به مدل گفتهای که ایسوس «دو برابرِ» لنوو است و بینِ اپل و ایسوس «فاصلهٔ دو» هست. این یک ترتیبِ ساختگی است که در واقعیت وجود ندارد، و مدلِ خطی جدی میگیردش.
OneHotEncoder این را حل میکند: هیچ دستهای از دیگری بزرگتر نیست.
⚠️ مواظب باش: آن
handle_unknown="ignore"را حتماً بگذار. بدونش، اگر در دادهٔ آزمون (یا در تولید) برندی بیاید که در آموزش نبوده،ValueErrorمیگیری و کلِ پیشبینی میایستد. با آن، ردیفِ ناشناخته همهٔ ستونهایش صفر میشود — نتیجهاش دقیق نیست، ولی سامانهات نمیایستد. در تولید، خرابیِ ملایم تقریباً همیشه بهتر از توقفِ کامل است.
۵. SimpleImputer داخلِ زنجیره#
X_only_numeric = df[["year", "ram_gb"]]
xn_train, xn_test, yn_train, yn_test = train_test_split(
X_only_numeric, y, test_size=0.2, random_state=42
)
no_cat = Pipeline([
("fill", SimpleImputer(strategy="median")),
("scale", StandardScaler()),
("model", LinearRegression()),
]).fit(xn_train, yn_train)
print("MAE فقط با سال و حافظه:", round(mean_absolute_error(yn_test, no_cat.predict(xn_test))))
print("MAE با برند و شهر هم:", round(mean_absolute_error(y_test, pipe.predict(X_test))))
MAE فقط با سال و حافظه: 4685205
MAE با برند و شهر هم: 1443649
بیش از سه برابر تفاوت، فقط از دو ستونی که تا حالا کنار گذاشته بودیم.
این بزرگترین جهشِ کلِ ترم بود و هیچ ربطی به الگوریتم نداشت. همان LinearRegression سادهٔ فصلِ ۲ است. بهترین سرمایهگذاری در یادگیری ماشین تقریباً همیشه دادهٔ بهتر است، نه مدلِ پیچیدهتر.
و توجه کن: SimpleImputer را داخلِ زنجیره گذاشتیم، پس میانهای که برای پُرکردن بهکار میرود از دادهٔ آموزش حساب میشود. اگر دستی و روی کلِ داده انجامش میدادی، دقیقاً همان نشتیِ نوعِ سومِ فصلِ ۴ بود.
✅ چک کن: هر دو خط باید بدونِ
dropnaاجرا شوند. اگرValueError: Input X contains NaNگرفتی، یعنیSimpleImputerدر زنجیره نیست. اگر هم آن را بعد از مدل گذاشته باشی،TypeError: All intermediate steps should be transformersمیگیری، چون ترتیبِ داخلِPipelineمعنا دارد، از بالا به پایین اجرا میشود و فقط آخرین مرحله میتواند مدل باشد.
۶. نگاهکردن به داخلِ زنجیره#
model_step = pipe.named_steps["model"]
feature_names = pipe.named_steps["prepare"].get_feature_names_out()
coefficients = pd.Series(model_step.coef_, index=feature_names).sort_values()
print(coefficients.round(0).head(3))
print(coefficients.round(0).tail(3))
cat__brand_اچ پی -4800314.0
cat__brand_لنوو -4551445.0
cat__brand_دل -4500011.0
dtype: float64
num__ram_gb 2748741.0
num__year 6466831.0
cat__brand_اپل 18014441.0
dtype: float64
Pipeline جعبهٔ سیاه نیست — میتوانی هر مرحلهاش را با نامش بیرون بکشی و نگاهش کنی.
و ضریبها دقیقاً همان چیزی را میگویند که ترمِ ۲ نشان داده بود: بودنِ برندِ اپل حدودِ هجده میلیون بالاتر از میانگینِ برندها مینشیند و برندهای دیگر همه منفیاند (حدودِ منفیِ ۴٫۵ میلیون)، پس فاصلهٔ اپل با هر برندِ دیگر حدودِ ۲۲ میلیون است. year هم بعد از مقیاسبندی قویترین عاملِ عددی است.
💡 نکته: ضریبِ
num__yearرا نمیشود مستقیم «بهازای هر سال» خواند، چونStandardScalerواحدش را عوض کرده — حالا «بهازای هر یک انحرافِ معیار» است. بعد از مقیاسبندی، ضریبها با هم قابلِ مقایسهاند ولی دیگر واحدِ اصلی را ندارند. این یک بدهبستانِ آگاهانه است، نه یک اشکال.
۷. یک خطای واقعی: ستونی که در ColumnTransformer نیست#
این بخش دو رفتارِ کاملاً متفاوت را نشان میدهد، و آنکه خطا نمیدهد خطرناکتر است.
partial = ColumnTransformer([
("num", StandardScaler(), ["year"]),
])
partial_pipe = Pipeline([("prepare", partial), ("model", LinearRegression())]).fit(X_train, y_train)
print("ستونهایی که واقعاً به مدل رسیدند:", list(partial_pipe.named_steps["prepare"].get_feature_names_out()))
print("MAE این مدل:", round(mean_absolute_error(y_test, partial_pipe.predict(X_test))))
print("MAE زنجیرهٔ کامل:", round(mean_absolute_error(y_test, pipe.predict(X_test))))
ستونهایی که واقعاً به مدل رسیدند: ['num__year']
MAE این مدل: 4966994
MAE زنجیرهٔ کامل: 1443649
هیچ خطایی نگرفتیم و مدل ساخته شد — ولی ColumnTransformer هر ستونی را که نام نبرده بودیم بیسروصدا دور انداخت. ram_gb و brand و city هیچوقت به مدل نرسیدند، و خطا از ۱٫۴۴ به ۴٫۹۷ میلیون پرید: سهونیم برابر بدتر، بدونِ یک کلمه هشدار.
این رفتارِ پیشفرض است و اسمش remainder="drop" است. تنها راهِ فهمیدنش هم همان خطِ اول است: get_feature_names_out() بگیر و بشمار چند ستون واقعاً وارد شده.
حالا همان اشتباه، با پیکربندیِ دیگری که این بار صریح شکست میخورد:
through = ColumnTransformer(
[("num", StandardScaler(), ["year"])],
remainder="passthrough",
)
Pipeline([("prepare", through), ("model", LinearRegression())]).fit(X_train, y_train)
ValueError: could not convert string to float: 'لنوو'
با remainder="passthrough" ستونهای نامبردهنشده بدونِ تبدیل رد میشوند و به مدل میرسند — و مدل با متنِ «لنوو» کاری نمیتواند بکند. (نامِ برندی که در پیام میبینی به تقسیمِ تصادفی بستگی دارد.)
قاعده: هر ستونی که در X هست باید یا در یکی از تبدیلها نام برده شود، یا آگاهانه کنار گذاشته شود. و «آگاهانه» یعنی خودت بدانی، نه اینکه ColumnTransformer بیصدا برایت تصمیم بگیرد.
🔧 اگر کار نکرد: پارامترِ
remainderرفتارِ ستونهای نامبردهنشده را تعیین میکند:"drop"(پیشفرض) بیصدا دورشان میاندازد و"passthrough"بدونِ تغییر ردشان میکند. بعد از ساختنِ هرColumnTransformer، یک بارget_feature_names_out()را چاپ کن و تعدادش را با انتظارت مقایسه کن — این ده ثانیه، تنها چیزی است که جلوی «ستونِ گمشدهٔ خاموش» را میگیرد.
🤖 از دستیارت بپرس: «چه زمانی
OneHotEncoderانتخابِ بدی است و چه جایگزینهایی وجود دارد؟» جوابش احتمالاً «وقتی دستهها خیلی زیادند» را میآورد و نامهایی مثلِTargetEncoderمیبرد. قبل از بهکار بردنِ هر جایگزینی که پیشنهاد داد، بپرس آیا آن روش ازyاستفاده میکند — اگر بله، بیرونِPipelineبهکار بردنش مستقیماً نشتی میسازد.
واژههای تازهٔ این فصل#
| کلمه | تلفظ به حروف فارسی | یعنی چه |
|---|---|---|
| Pipeline | پایپلاین | زنجیرهٔ پیشپردازش و مدل در یک شیء |
| ColumnTransformer | کالم ترنسفورمر | اعمالِ تبدیلهای متفاوت روی گروههای متفاوتِ ستون |
| OneHotEncoder | وانهات اِنکودر | هر دسته یک ستونِ صفر-و-یکِ جدا |
| SimpleImputer | سیمپل ایمپیوتر | پُرکردنِ خانههای خالی با یک قاعدهٔ ثابت |
تمرینها
اول خودت فکر کن یا امتحان کن — بعد اینجا را باز کن.
در فصل بعد#
مدلت حالا خیلی بهتر است و پیشپردازشش امن. ولی هنوز همهٔ عددهایت از یک تقسیمِ تصادفی میآیند، و در فصلِ ۴ دیدی که یک تقسیمِ کوچک خودش تصادفی است. فصلِ بعد این را حل میکند و همزمان مهمترین بیماریِ مدلها را نشان میدهد: overfitting — وقتی مدل بهجای یاد گرفتن، حفظ میکند. و میبینی که یک مدل میتواند روی دادهٔ آموزش تقریباً بیخطا باشد و در دنیای واقعی بیفایده.
به آخر این فصل رسیدی!
اگر ساختی و جواب داد، این دکمه مال توست.