در این فصل چه یاد میگیری#
این ستونِ کلِ دوره است. تا اینجا هر عددی که گرفتی، روی همان دادهای بود که مدل با آن ساخته شد — مثلِ دادنِ سؤالهای امتحان به کسی قبل از امتحان و بعد نتیجهگیری از نمرهاش دربارهٔ اینکه چقدر بلد است. در این فصل اول این را رفع میکنی، و بعد سه راهِ متفاوت را میبینی که یک نتیجه را بیسروصدا بهتر از واقعیت نشان میدهند. پژوهش این را «یکی از رایجترین و بحرانیترین خطاهای کاربردِ یادگیری ماشین» مینامد — و صریح میگوید در خودِ آموزشها و پروژههای مبتدی بهطرزِ شگفتآوری رایج است.

آخر این فصل میتوانی:
- داده را با
train_test_splitجدا کنی و بگویی چرا این اولین کارِ هر پروژه است - تفاوتِ خطای آموزش و خطای آزمون را بخوانی و تفسیر کنی
- سه نوعِ نشتی را روی داده بسازی و اثرشان را اندازه بگیری
- قاعدهای بگویی که تا آخرِ کارِ حرفهایات با تو میماند
قبل از شروع#
از فصل ۳: خطِ پایه و اینکه هر عدد باید مرجعِ مقایسه داشته باشد.
از فصل ۲: MAE و اینکه عددِ ۵٫۱ میلیون را روی دادهٔ آموزشی گرفتیم.
📓 نوتبوک: نوتبوک این فصل را در Colab باز کن — همهٔ کدهای این فصل آماده و بهترتیب داخلش هست.
۱. جداکردنِ داده#
import pandas as pd
from sklearn.model_selection import train_test_split
df = pd.read_csv("laptops_clean.csv").dropna(subset=["ram_gb"]).reset_index(drop=True)
X = df[["year", "ram_gb"]]
y = df["price"]
X_train, X_test, y_train, y_test = train_test_split(
X, y, test_size=0.2, random_state=42
)
print("آموزش:", X_train.shape, "| آزمون:", X_test.shape)
آموزش: (170, 2) | آزمون: (43, 2)
train_test_split داده را تصادفی به دو تکه میکند. سه چیزِ کلیدی:
test_size=0.2یعنی بیست درصد برای آزمون. بینِ ۲۰ تا ۳۰ درصد متعارف است.random_state=42تصادف را تکرارپذیر میکند. بدونِ آن، هر بار اجرا کنی تقسیمِ متفاوتی میگیری و عددهایت هر بار فرق میکنند. (عددِ ۴۲ هیچ خاصیتی ندارد؛ فقط یک قرارداد است.)- ترتیبِ خروجی همیشه همین است:
X_train, X_test, y_train, y_test. جابهجا گرفتنشان یکی از رایجترین اشتباهاتِ تازهکارهاست و خطا هم نمیدهد.
⚠️ مواظب باش: این باید اولین کارِ بعد از خواندنِ داده باشد، نه آخرین. هر کاری که قبل از این خط روی کلِ داده انجام بدهی — پُرکردنِ خالی، نرمالسازی، انتخابِ ستون — اطلاعاتی از دادهٔ آزمون را وارد آموزش میکند. بخشِ ۴ نشانت میدهد چطور.
۲. حالا عددِ واقعی#
from sklearn.linear_model import LinearRegression
from sklearn.dummy import DummyRegressor
from sklearn.metrics import mean_absolute_error
model = LinearRegression().fit(X_train, y_train)
train_mae = mean_absolute_error(y_train, model.predict(X_train))
test_mae = mean_absolute_error(y_test, model.predict(X_test))
base_mae = mean_absolute_error(
y_test, DummyRegressor(strategy="median").fit(X_train, y_train).predict(X_test)
)
print("MAE روی دادهای که دیده:", round(train_mae))
print("MAE روی دادهای که ندیده:", round(test_mae))
print("MAE خط پایه روی همان آزمون:", round(base_mae))
print("بهبود واقعی:", round((1 - test_mae / base_mae) * 100, 1), "درصد")
MAE روی دادهای که دیده: 5573037
MAE روی دادهای که ندیده: 4588771
MAE خط پایه روی همان آزمون: 6882558
بهبود واقعی: 33.3 درصد
سه نکتهٔ مهم در این خروجی هست.
اول: خطای آزمون اینبار از خطای آموزش کمتر شد. غافلگیرکننده است ولی کاملاً ممکن — با ۴۳ ردیفِ آزمون، شانس نقش دارد و ممکن است تصادفاً ردیفهای آسانتری در آزمون افتاده باشند. این خودش یک درس است: نتیجهٔ یک تقسیمِ تصادفیِ کوچک، خودش تصادفی است. فصلِ ۸ راهِ درستش را نشان میدهد.
دوم: خطِ پایه هم روی همان دادهٔ آزمون حساب شد و روی X_train آموزش دید. مقایسهٔ منصفانه یعنی هر دو طرف با یک شرایط سنجیده شوند.
سوم: بهبودِ واقعی ۳۳٪ است، نه آن ۳۸٪ فصلِ قبل. عددِ قبلی خوشبینانه بود.
📏 اندازه بگیر: الگوی گزارشِ درست از حالا به بعد همیشه این چهار عدد است، با هم: خطای آموزش، خطای آزمون، خطِ پایه روی آزمون، و درصدِ بهبود. هر گزارشی که فقط یکی از اینها را بدهد، ناقص است — و معمولاً همان یکی را میدهند که بهترین بهنظر میرسد.
۳. نشتیِ نوعِ اول: ویژگیای که از جواب ساخته شده#
حالا برویم سراغِ چیزی که واقعاً خطرناک است. فرض کن کسی این feature را «مفید» میبیند و اضافهاش میکند.
آن df.copy() در خطِ اول لازم است: بدونش ستونِ تازه به خودِ df اضافه میشد و بقیهٔ فصل با جدولی آلوده ادامه پیدا میکرد. این همان برچسبِ دومِ ترمِ ۱ فصلِ ۳ است (b = a کپی نمیسازد) — و در فصلی که موضوعش نشتی است، آلودهکردنِ ناخواستهٔ جدولِ اصلی دقیقاً همان اشتباهی است که میخواهیم نکنیم.
leaky = df.copy()
leaky["price_per_gb"] = leaky["price"] / leaky["ram_gb"]
Xl = leaky[["year", "ram_gb", "price_per_gb"]]
Xl_train, Xl_test, yl_train, yl_test = train_test_split(
Xl, y, test_size=0.2, random_state=42
)
leaky_mae = mean_absolute_error(
yl_test, LinearRegression().fit(Xl_train, yl_train).predict(Xl_test)
)
print("MAE با ویژگی نشتیدار:", round(leaky_mae))
print("MAE صادقانه:", round(test_mae))
print("«بهبود» ظاهری:", round((1 - leaky_mae / test_mae) * 100, 1), "درصد")
MAE با ویژگی نشتیدار: 3378819
MAE صادقانه: 4588771
«بهبود» ظاهری: 26.4 درصد
بیستوشش درصد بهتر، فقط با افزودنِ یک ستون. هیچ خطایی، هیچ هشداری.
و کاملاً بیارزش است، چون price_per_gb از خودِ price ساخته شده — همان چیزی که قرار است پیشبینی کنیم. در دنیای واقعی، لحظهای که میخواهی قیمتِ یک لپتاپِ تازه را حدس بزنی، price_per_gb را نداری؛ اگر داشتی، قیمت را هم داشتی.
این را نشتیِ برچسب میگویند و در پروژههای واقعی معمولاً اینقدر آشکار نیست:
- «تاریخِ لغوِ اشتراک» برای پیشبینیِ لغوِ اشتراک
- «مبلغِ بازپرداختِ خسارت» برای پیشبینیِ تقلب
- «مدتِ بستریِ بیمار» برای پیشبینیِ وخامتِ بیماری
هر سه بهنظرِ ستونی در جدول میآیند و هر سه فقط بعد از وقوعِ جواب وجود دارند.
✅ چک کن: آزمونِ سادهای که هر بار جواب میدهد: برای هر
featureبپرس «لحظهای که میخواهم پیشبینی کنم، این را دارم؟» اگر جواب نه است، یا شک داری، بیرونش بگذار. این دقیقاً همان فهرستی است که در تمرینِ ستارهدارِ فصلِ ۱ نوشتی.
۴. نشتیِ نوعِ دوم: ردیفِ تکراری در دو طرف#
from sklearn.neighbors import KNeighborsRegressor
duplicated = pd.concat([df, df], ignore_index=True)
Xd, yd = duplicated[["year", "ram_gb"]], duplicated["price"]
Xd_train, Xd_test, yd_train, yd_test = train_test_split(
Xd, yd, test_size=0.2, random_state=42
)
dup_mae = mean_absolute_error(
yd_test, KNeighborsRegressor(n_neighbors=1).fit(Xd_train, yd_train).predict(Xd_test)
)
clean_mae = mean_absolute_error(
y_test, KNeighborsRegressor(n_neighbors=1).fit(X_train, y_train).predict(X_test)
)
print("MAE با ردیف تکراری:", round(dup_mae))
print("MAE بدون تکراری:", round(clean_mae))
print("«بهبود» ظاهری:", round((1 - dup_mae / clean_mae) * 100, 1), "درصد")
MAE با ردیف تکراری: 5470930
MAE بدون تکراری: 7695349
«بهبود» ظاهری: 28.9 درصد
هر ردیف را دو بار کردیم و مدل ۲۹ درصد «بهتر» شد. هیچ اطلاعاتِ تازهای اضافه نشد.
چرا؟ چون train_test_split تصادفی جدا میکند، پس نسخهٔ اولِ بیشترِ ردیفها در آموزش میافتد و نسخهٔ دومشان در آزمون. مدلِ KNeighborsRegressor با یک همسایه، قیمتِ نزدیکترین ردیفی را که در حافظه دارد برمیگرداند، و حالا آن ردیف خیلی وقتها دوقلوی خودِ ردیفِ آزمون است. این حفظکردن است، نه یادگیری.
در دنیای واقعی این خیلی رایجتر از آن است که بهنظر میرسد و اغلب هم به این آشکاری نیست:
- ردیفِ عیناً تکراری — همان چیزی که در ترمِ ۲ فصلِ ۵ چهارتایش را حذف کردیم.
- چند ردیف از یک موجودیت — پنج عکس از یک بیمار، ده آگهی از یک فروشنده. مدل بیماری را یاد نمیگیرد؛ آن بیمار را حفظ میکند.
- دادهٔ زمانی با تقسیمِ تصادفی — مدل «گذشته را با دانشِ آینده» پیشبینی میکند.
راهِ حلِ هر سه یکی است: تقسیم را بر اساسِ موجودیت انجام بده، نه ردیف. همهٔ عکسهای یک بیمار در یک طرف؛ همهٔ دادهٔ قبل از یک تاریخ در آموزش و بعدش در آزمون.
۵. نشتیِ نوعِ سوم: پیشپردازش قبل از تقسیم#
سومی ظریفترین است و رایجترین.
from sklearn.preprocessing import StandardScaler
# راه غلط: مقیاسبندی روی کل داده، بعد تقسیم
scaler_wrong = StandardScaler().fit(X)
print("میانگین یادگرفتهشده از کل داده:", scaler_wrong.mean_.round(2))
# راه درست: تقسیم، بعد مقیاسبندی فقط روی آموزش
scaler_right = StandardScaler().fit(X_train)
print("میانگین یادگرفتهشده فقط از آموزش:", scaler_right.mean_.round(2))
میانگین یادگرفتهشده از کل داده: [2019.99 11.98]
میانگین یادگرفتهشده فقط از آموزش: [2020.01 12.05]
دو عددِ نزدیک، ولی متفاوت. و همین تفاوت، تمامِ مسئله است.
StandardScaler میانگین و انحرافِ معیار را از داده یاد میگیرد. اگر روی کلِ داده fit کنی، آن میانگین شاملِ دادهٔ آزمون هم هست — یعنی مدلت غیرمستقیم چیزی دربارهٔ دادهٔ آزمون میداند که نباید بداند. عددِ نهاییات کمی خوشبینانه میشود، و هیچ راهی هم نداری بفهمی چقدر.
روی این دیتاستِ کوچک اثرش ناچیز است. روی دادهٔ واقعی — با مقدارِ پرت، توزیعِ نامتقارن، یا نمونهٔ کوچک — میتواند بزرگ باشد.
قبل از ادامه، جواب بده: کدام کارها «از داده یاد میگیرند» و باید فقط روی آموزش انجام شوند؟ جواب: هر چیزی که یک عدد را از داده حساب میکند و بعد بهکارش میبرد. مقیاسبندی (میانگین و انحراف)، پُرکردنِ خالی با میانه، OneHotEncoder (فهرستِ دستهها)، انتخابِ ویژگی بر اساسِ همبستگی. در برابرش، کارهایی که به داده نگاه نمیکنند بیخطرند: تقسیم بر ۱۰۰۰، گرفتنِ لگاریتم، حذفِ یک ستونِ بیربط.
🔧 اگر کار نکرد: نگهداشتنِ ترتیبِ درست بهصورتِ دستی، در یک پروژهٔ واقعی با پنج مرحلهٔ پیشپردازش، تقریباً محال است — دیر یا زود یکی جا میافتد.
scikit-learnابزارِ دقیقی برای این دارد که کلِ زنجیره را در یک شیء میبندد و ساختاراً جلوی این نشتی را میگیرد:Pipeline. فصلِ ۷ کاملاً همان است، و از آنجا به بعد در این دوره هیچ پیشپردازشی بیرونِPipelineنوشته نمیشود.
۶. قاعدهای که با تو میماند#
| نوعِ نشتی | نشانه | راهِ حل |
|---|---|---|
| برچسب | نتیجه مشکوکاً عالی است | برای هر feature بپرس «لحظهٔ پیشبینی این را دارم؟» |
| ردیفِ تکراری | مدلِ ساده هم عالی جواب میدهد | تقسیم بر اساسِ موجودیت، نه ردیف |
| پیشپردازش | تفاوتِ کوچک ولی همیشگیِ خوشبینانه | Pipeline (فصلِ ۷) |
| زمانی | آینده را عالی پیشبینی میکند | تقسیم بر اساسِ تاریخ، نه تصادفی |
و یک نشانهٔ کلی که همهٔ اینها را میگیرد:
وقتی نتیجهات مشکوکاً خوب است، اول به نشتی شک کن، نه به نبوغِ خودت.
در یادگیری ماشین، نتیجهای که خیلی بهتر از انتظار است، تقریباً همیشه یعنی جایی از دادهٔ آزمون به آموزش نشت کرده. این جمله را نگه دار؛ در ژرفا با نامِ «وقتی کار کرد، اول شک کن» دوباره میبینیاش.
🤖 از دستیارت بپرس: یک مسئلهٔ واقعیِ خودت را توصیف کن و بپرس: «کدامیک از این ستونها ممکن است نشتیِ برچسب باشند؟ برای هرکدام بگو چرا و کِی در دنیای واقعی در دسترس قرار میگیرد.» بخشِ دوم مهمتر است — «کِی در دسترس است» دقیقاً همان سؤالی است که نشتی را لو میدهد، و دستیار در پیدا کردنِ حالتهایی که ندیدهای واقعاً کمک میکند.
واژههای تازهٔ این فصل#
| کلمه | تلفظ به حروف فارسی | یعنی چه |
|---|---|---|
| train / test | تِرِین / تست | دادهٔ آموزش (مدل میبیند) / دادهٔ آزمون (نمیبیند) |
| train_test_split | تِرِین تست اسپلیت | تقسیمِ تصادفیِ داده به آموزش و آزمون |
| random_state | رندوم استِیت | بذرِ تصادف؛ نتیجه را تکرارپذیر میکند |
| data leakage | دیتا لیکیج | رسیدنِ اطلاعاتی به مدل که در زمانِ پیشبینی نباید داشته باشد |
تمرینها
اول خودت فکر کن یا امتحان کن — بعد اینجا را باز کن.
در فصل بعد#
حالا میتوانی یک مدلِ regression را صادقانه بسنجی. فصلِ بعد نوعِ دیگرِ مسئله را میآورد: classification — پیشبینیِ یک دسته بهجای یک عدد. مدلش تقریباً همانقدر ساده است، ولی سنجشش داستانِ کاملاً متفاوتی دارد: آنجا مدلی میسازی که ۸۷ درصد درست است و صفر موردِ مفید پیدا میکند — هر دو همزمان و هر دو واقعی.
به آخر این فصل رسیدی!
اگر ساختی و جواب داد، این دکمه مال توست.