سرنخ — خودآموز پایتون و برنامه‌نویسی برای هوش مصنوعی (مقدماتی)

فصل ۷ از ۱۲

پیشرفت ترم
۰٪

در این فصل چه یاد می‌گیری#

فصلِ ۴ نشان داد که پیش‌پردازش قبل از split نشتی می‌سازد، و گفتیم نگه‌داشتنِ ترتیبِ درست به‌صورتِ دستی در یک پروژهٔ واقعی تقریباً محال است. این فصل ابزارش را می‌آورد: Pipeline — که کلِ زنجیره را در یک شیء می‌بندد و آن نشتی را ساختاراً غیرممکن می‌کند. و در همین مسیر دو مشکلِ باقی‌مانده هم حل می‌شوند: ستون‌های متنی که مدل نمی‌پذیرفت، و آن ۲۵ ردیفی که به‌خاطرِ خانهٔ خالی دور انداختیم.

یک لولهٔ بستهٔ برش‌خورده با سه ایستگاه در طولش که ورودی از یک سر و خروجی از سرِ دیگر می‌رود و هیچ راهِ نفوذی از بیرون ندارد

آخر این فصل می‌توانی:

  • یک Pipeline بسازی و بگویی چرا نشتی را غیرممکن می‌کند
  • با ColumnTransformer روی ستون‌های عددی و متنی رفتارِ متفاوت اعمال کنی
  • ستونِ دسته‌ای را با OneHotEncoder وارد مدل کنی
  • خانه‌های خالی را با SimpleImputer داخلِ زنجیره پُر کنی، بدونِ نشتی

قبل از شروع#

از فصل ۴: نشتیِ پیش‌پردازش و اینکه StandardScaler باید فقط روی آموزش fit شود.

از فصل ۲: dropna و اینکه ۲۵ ردیف را دور انداختیم.

از ترمِ ۲: ستونِ brand و city که متن‌اند و تا حالا استفاده نشده‌اند.

📓 نوت‌بوک: نوت‌بوک این فصل را در Colab باز کن — همهٔ کدهای این فصل آماده و به‌ترتیب داخلش هست.

۱. مشکل: سه کار که باید به‌ترتیب انجام شوند#

برای استفاده از کلِ داده، سه کار لازم است و هر سه از داده یاد می‌گیرند:

  1. پُرکردنِ خانه‌های خالیِ ram_gb — میانه را از داده یاد می‌گیرد.
  2. مقیاس‌بندیِ ستون‌های عددی — میانگین و انحراف را از داده یاد می‌گیرد.
  3. تبدیلِ brand و city به عدد — فهرستِ دسته‌ها را از داده یاد می‌گیرد.

هر سه باید فقط روی دادهٔ آموزش یاد بگیرند و بعد همان یادگرفته روی آزمون اعمال شود. انجامِ دستی‌اش شش خط کد و شش فرصت برای اشتباه است.

🌱 ریشه‌اش کجاست: کاری که StandardScaler می‌کند در یک جمله این است: از هر مقدار میانگین را کم کن و بر انحرافِ معیار تقسیم کن، تا همهٔ ستون‌ها یک واحدِ مشترک پیدا کنند — «چند انحرافِ معیار از مرکز». اگر می‌خواهی بدانی انحرافِ معیار دقیقاً چه چیزی را می‌سنجد و چرا واحدِ طبیعیِ پراکندگی است، ریشه، ترم ۶ فصل ۶ — میانگین، میانه، پراکندگی همین را از پایه می‌سازد.

۲. Pipeline: زنجیره در یک شیء#

import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.pipeline import Pipeline
from sklearn.compose import ColumnTransformer
from sklearn.preprocessing import StandardScaler, OneHotEncoder
from sklearn.impute import SimpleImputer
from sklearn.linear_model import LinearRegression
from sklearn.metrics import mean_absolute_error

df = pd.read_csv("laptops_clean.csv")
X = df[["year", "ram_gb", "brand", "city"]]
y = df["price"]

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

numeric = ["year", "ram_gb"]
categorical = ["brand", "city"]

preprocess = ColumnTransformer([
    ("num", Pipeline([
        ("fill", SimpleImputer(strategy="median")),
        ("scale", StandardScaler()),
    ]), numeric),
    ("cat", OneHotEncoder(handle_unknown="ignore"), categorical),
])

pipe = Pipeline([
    ("prepare", preprocess),
    ("model", LinearRegression()),
])

pipe.fit(X_train, y_train)
print("تعداد ردیف‌های استفاده‌شده:", len(df))
print("MAE آزمون:", round(mean_absolute_error(y_test, pipe.predict(X_test))))
تعداد ردیف‌های استفاده‌شده: 238
MAE آزمون: 1443649

در فصلِ ۴ بهترین عددِ صادقانه‌مان ۴٫۶ میلیون بود؛ اینجا ۱٫۴۴ میلیون است. ولی آن دو عدد روی دو مجموعهٔ آزمونِ متفاوت گرفته شده‌اند (آنجا ۲۱۳ ردیف بعد از dropna، اینجا هر ۲۳۸ ردیف)، پس هنوز حقِ مقایسهٔ مستقیم نداریم — مقایسهٔ هم‌شرایط را در بخشِ ۵ می‌گیریم و همان‌جا معلوم می‌شود عدد واقعاً چقدر بهتر شده.

سه چیز هم‌زمان اتفاق افتاد:

  • هیچ ردیفی دور انداخته نشد — هر ۲۳۸ ردیف استفاده شدند، چون SimpleImputer خالی‌ها را پُر کرد به‌جای اینکه حذفشان کنیم.
  • brand و city وارد مدل شدند — و همان‌طور که از ترمِ ۲ می‌دانستیم، برند اطلاعاتِ زیادی دارد.
  • هیچ نشتی‌ای رخ نداد — و این مهم‌ترینش است.

۳. چرا نشتی غیرممکن شد#

اینجا نکتهٔ اصلیِ فصل است. وقتی pipe.fit(X_train, y_train) را صدا می‌زنی:

  1. SimpleImputer میانه را فقط از X_train حساب می‌کند.
  2. StandardScaler میانگین و انحراف را فقط از X_train یاد می‌گیرد.
  3. OneHotEncoder فهرستِ دسته‌ها را فقط از X_train برمی‌دارد.
  4. مدل روی نتیجه آموزش می‌بیند.

و وقتی pipe.predict(X_test) را صدا می‌زنی، هر سه مرحله همان مقادیرِ یادگرفته‌شده را اعمال می‌کنند و دوباره چیزی یاد نمی‌گیرند.

تو نمی‌توانی این ترتیب را خراب کنی، حتی اگر بخواهی. Pipeline آن را در خودش بسته و این تفاوتِ بنیادیِ آن با نوشتنِ دستی است: از انضباطِ فردی به تضمینِ ساختاری تبدیل می‌شود.

📏 اندازه بگیر: از این فصل به بعد، در این دوره هیچ پیش‌پردازشی بیرونِ Pipeline نوشته نمی‌شود. نه به‌خاطرِ زیبایی — به‌خاطرِ اینکه تنها راهِ قابلِ‌اعتمادِ جلوگیری از نشتی است. اگر کدی دیدی که scaler.fit_transform(X) را قبل از train_test_split صدا می‌زند، همان‌جا می‌دانی نتیجه‌اش خوش‌بینانه است.

۴. OneHotEncoder: متن به عدد، بدونِ ترتیبِ ساختگی#

encoder = OneHotEncoder(handle_unknown="ignore", sparse_output=False)
sample = df[["brand"]].head(4)
encoded = encoder.fit_transform(sample)

print(sample["brand"].tolist())
print(list(encoder.get_feature_names_out()))
print(encoded)
['اپل', 'لنوو', 'اپل', 'ایسوس']
['brand_اپل', 'brand_ایسوس', 'brand_لنوو']
[[1. 0. 0.]
 [0. 0. 1.]
 [1. 0. 0.]
 [0. 1. 0.]]

هر دسته یک ستونِ صفر-و-یکِ جدا می‌گیرد. سه برند شد سه ستون، و هر ردیف دقیقاً در یکی‌شان 1 دارد.

چرا این‌طوری و نه ساده‌تر؟ در تمرینِ ستاره‌دارِ فصلِ ۲ پرسیدیم: اگر پنج برند داشتیم، آیا brand را به صفر تا چهار تبدیل می‌کردی؟ جواب: نه، و دلیلش مهم است. اگر اپل صفر باشد و لنوو یک و ایسوس دو، به مدل گفته‌ای که ایسوس «دو برابرِ» لنوو است و بینِ اپل و ایسوس «فاصلهٔ دو» هست. این یک ترتیبِ ساختگی است که در واقعیت وجود ندارد، و مدلِ خطی جدی می‌گیردش.

OneHotEncoder این را حل می‌کند: هیچ دسته‌ای از دیگری بزرگ‌تر نیست.

⚠️ مواظب باش: آن handle_unknown="ignore" را حتماً بگذار. بدونش، اگر در دادهٔ آزمون (یا در تولید) برندی بیاید که در آموزش نبوده، ValueError می‌گیری و کلِ پیش‌بینی می‌ایستد. با آن، ردیفِ ناشناخته همهٔ ستون‌هایش صفر می‌شود — نتیجه‌اش دقیق نیست، ولی سامانه‌ات نمی‌ایستد. در تولید، خرابیِ ملایم تقریباً همیشه بهتر از توقفِ کامل است.

۵. SimpleImputer داخلِ زنجیره#

X_only_numeric = df[["year", "ram_gb"]]
xn_train, xn_test, yn_train, yn_test = train_test_split(
    X_only_numeric, y, test_size=0.2, random_state=42
)

no_cat = Pipeline([
    ("fill", SimpleImputer(strategy="median")),
    ("scale", StandardScaler()),
    ("model", LinearRegression()),
]).fit(xn_train, yn_train)

print("MAE فقط با سال و حافظه:", round(mean_absolute_error(yn_test, no_cat.predict(xn_test))))
print("MAE با برند و شهر هم:", round(mean_absolute_error(y_test, pipe.predict(X_test))))
MAE فقط با سال و حافظه: 4685205
MAE با برند و شهر هم: 1443649

بیش از سه برابر تفاوت، فقط از دو ستونی که تا حالا کنار گذاشته بودیم.

این بزرگ‌ترین جهشِ کلِ ترم بود و هیچ ربطی به الگوریتم نداشت. همان LinearRegression سادهٔ فصلِ ۲ است. بهترین سرمایه‌گذاری در یادگیری ماشین تقریباً همیشه دادهٔ بهتر است، نه مدلِ پیچیده‌تر.

و توجه کن: SimpleImputer را داخلِ زنجیره گذاشتیم، پس میانه‌ای که برای پُرکردن به‌کار می‌رود از دادهٔ آموزش حساب می‌شود. اگر دستی و روی کلِ داده انجامش می‌دادی، دقیقاً همان نشتیِ نوعِ سومِ فصلِ ۴ بود.

✅ چک کن: هر دو خط باید بدونِ dropna اجرا شوند. اگر ValueError: Input X contains NaN گرفتی، یعنی SimpleImputer در زنجیره نیست. اگر هم آن را بعد از مدل گذاشته باشی، TypeError: All intermediate steps should be transformers می‌گیری، چون ترتیبِ داخلِ Pipeline معنا دارد، از بالا به پایین اجرا می‌شود و فقط آخرین مرحله می‌تواند مدل باشد.

۶. نگاه‌کردن به داخلِ زنجیره#

model_step = pipe.named_steps["model"]
feature_names = pipe.named_steps["prepare"].get_feature_names_out()

coefficients = pd.Series(model_step.coef_, index=feature_names).sort_values()
print(coefficients.round(0).head(3))
print(coefficients.round(0).tail(3))
cat__brand_اچ پی   -4800314.0
cat__brand_لنوو    -4551445.0
cat__brand_دل      -4500011.0
dtype: float64
num__ram_gb        2748741.0
num__year          6466831.0
cat__brand_اپل    18014441.0
dtype: float64

Pipeline جعبهٔ سیاه نیست — می‌توانی هر مرحله‌اش را با نامش بیرون بکشی و نگاهش کنی.

و ضریب‌ها دقیقاً همان چیزی را می‌گویند که ترمِ ۲ نشان داده بود: بودنِ برندِ اپل حدودِ هجده میلیون بالاتر از میانگینِ برندها می‌نشیند و برندهای دیگر همه منفی‌اند (حدودِ منفیِ ۴٫۵ میلیون)، پس فاصلهٔ اپل با هر برندِ دیگر حدودِ ۲۲ میلیون است. year هم بعد از مقیاس‌بندی قوی‌ترین عاملِ عددی است.

💡 نکته: ضریبِ num__year را نمی‌شود مستقیم «به‌ازای هر سال» خواند، چون StandardScaler واحدش را عوض کرده — حالا «به‌ازای هر یک انحرافِ معیار» است. بعد از مقیاس‌بندی، ضریب‌ها با هم قابلِ مقایسه‌اند ولی دیگر واحدِ اصلی را ندارند. این یک بده‌بستانِ آگاهانه است، نه یک اشکال.

۷. یک خطای واقعی: ستونی که در ColumnTransformer نیست#

این بخش دو رفتارِ کاملاً متفاوت را نشان می‌دهد، و آنکه خطا نمی‌دهد خطرناک‌تر است.

partial = ColumnTransformer([
    ("num", StandardScaler(), ["year"]),
])
partial_pipe = Pipeline([("prepare", partial), ("model", LinearRegression())]).fit(X_train, y_train)

print("ستون‌هایی که واقعاً به مدل رسیدند:", list(partial_pipe.named_steps["prepare"].get_feature_names_out()))
print("MAE این مدل:", round(mean_absolute_error(y_test, partial_pipe.predict(X_test))))
print("MAE زنجیرهٔ کامل:", round(mean_absolute_error(y_test, pipe.predict(X_test))))
ستون‌هایی که واقعاً به مدل رسیدند: ['num__year']
MAE این مدل: 4966994
MAE زنجیرهٔ کامل: 1443649

هیچ خطایی نگرفتیم و مدل ساخته شد — ولی ColumnTransformer هر ستونی را که نام نبرده بودیم بی‌سروصدا دور انداخت. ram_gb و brand و city هیچ‌وقت به مدل نرسیدند، و خطا از ۱٫۴۴ به ۴٫۹۷ میلیون پرید: سه‌ونیم برابر بدتر، بدونِ یک کلمه هشدار.

این رفتارِ پیش‌فرض است و اسمش remainder="drop" است. تنها راهِ فهمیدنش هم همان خطِ اول است: get_feature_names_out() بگیر و بشمار چند ستون واقعاً وارد شده.

حالا همان اشتباه، با پیکربندیِ دیگری که این بار صریح شکست می‌خورد:

through = ColumnTransformer(
    [("num", StandardScaler(), ["year"])],
    remainder="passthrough",
)
Pipeline([("prepare", through), ("model", LinearRegression())]).fit(X_train, y_train)
ValueError: could not convert string to float: 'لنوو'

با remainder="passthrough" ستون‌های نام‌برده‌نشده بدونِ تبدیل رد می‌شوند و به مدل می‌رسند — و مدل با متنِ «لنوو» کاری نمی‌تواند بکند. (نامِ برندی که در پیام می‌بینی به تقسیمِ تصادفی بستگی دارد.)

قاعده: هر ستونی که در X هست باید یا در یکی از تبدیل‌ها نام برده شود، یا آگاهانه کنار گذاشته شود. و «آگاهانه» یعنی خودت بدانی، نه اینکه ColumnTransformer بی‌صدا برایت تصمیم بگیرد.

🔧 اگر کار نکرد: پارامترِ remainder رفتارِ ستون‌های نام‌برده‌نشده را تعیین می‌کند: "drop" (پیش‌فرض) بی‌صدا دورشان می‌اندازد و "passthrough" بدونِ تغییر ردشان می‌کند. بعد از ساختنِ هر ColumnTransformer، یک بار get_feature_names_out() را چاپ کن و تعدادش را با انتظارت مقایسه کن — این ده ثانیه، تنها چیزی است که جلوی «ستونِ گم‌شدهٔ خاموش» را می‌گیرد.

🤖 از دستیارت بپرس: «چه زمانی OneHotEncoder انتخابِ بدی است و چه جایگزین‌هایی وجود دارد؟» جوابش احتمالاً «وقتی دسته‌ها خیلی زیادند» را می‌آورد و نام‌هایی مثلِ TargetEncoder می‌برد. قبل از به‌کار بردنِ هر جایگزینی که پیشنهاد داد، بپرس آیا آن روش از y استفاده می‌کند — اگر بله، بیرونِ Pipeline به‌کار بردنش مستقیماً نشتی می‌سازد.

واژه‌های تازهٔ این فصل#

کلمه تلفظ به حروف فارسی یعنی چه
Pipeline پایپ‌لاین زنجیرهٔ پیش‌پردازش و مدل در یک شیء
ColumnTransformer کالم ترنسفورمر اعمالِ تبدیل‌های متفاوت روی گروه‌های متفاوتِ ستون
OneHotEncoder وان‌هات اِنکودر هر دسته یک ستونِ صفر-و-یکِ جدا
SimpleImputer سیمپل ایمپیوتر پُرکردنِ خانه‌های خالی با یک قاعدهٔ ثابت

تمرین‌ها

اول خودت فکر کن یا امتحان کن — بعد اینجا را باز کن.

در فصل بعد#

مدلت حالا خیلی بهتر است و پیش‌پردازشش امن. ولی هنوز همهٔ عددهایت از یک تقسیمِ تصادفی می‌آیند، و در فصلِ ۴ دیدی که یک تقسیمِ کوچک خودش تصادفی است. فصلِ بعد این را حل می‌کند و هم‌زمان مهم‌ترین بیماریِ مدل‌ها را نشان می‌دهد: overfitting — وقتی مدل به‌جای یاد گرفتن، حفظ می‌کند. و می‌بینی که یک مدل می‌تواند روی دادهٔ آموزش تقریباً بی‌خطا باشد و در دنیای واقعی بی‌فایده.

به آخر این فصل رسیدی!

اگر ساختی و جواب داد، این دکمه مال توست.