# فصل ۰۴ — نشتیِ داده: چرا عددت دروغ می‌گوید

<div dir="rtl">

# فصل ۰۴ — نشتیِ داده: چرا عددت دروغ می‌گوید

## در این فصل چه یاد می‌گیری

این ستونِ کلِ دوره است. تا اینجا هر عددی که گرفتی، روی **همان داده‌ای** بود که مدل با آن ساخته شد — مثلِ دادنِ سؤال‌های امتحان به کسی قبل از امتحان و بعد نتیجه‌گیری از نمره‌اش دربارهٔ اینکه چقدر بلد است. در این فصل اول این را رفع می‌کنی، و بعد سه راهِ متفاوت را می‌بینی که یک نتیجه را بی‌سروصدا بهتر از واقعیت نشان می‌دهند. پژوهش این را «یکی از رایج‌ترین و بحرانی‌ترین خطاهای کاربردِ یادگیری ماشین» می‌نامد — و صریح می‌گوید **در خودِ آموزش‌ها و پروژه‌های مبتدی به‌طرزِ شگفت‌آوری رایج است**.

![یک دیوارِ جداکنندهٔ برش‌خورده با یک درزِ باریک که ذره‌های ریز از یک طرف به طرفِ دیگر عبور می‌کنند](/lesson-assets/t3-s04-split-leakage/prompt/01-image-leak-through-wall.png)

آخر این فصل می‌توانی:

- داده را با `train_test_split` جدا کنی و بگویی چرا این اولین کارِ هر پروژه است
- تفاوتِ خطای آموزش و خطای آزمون را بخوانی و تفسیر کنی
- سه نوعِ نشتی را روی داده **بسازی** و اثرشان را اندازه بگیری
- قاعده‌ای بگویی که تا آخرِ کارِ حرفه‌ای‌ات با تو می‌ماند

## قبل از شروع

**از فصل ۳:** خطِ پایه و اینکه هر عدد باید مرجعِ مقایسه داشته باشد.

**از فصل ۲:** `MAE` و اینکه عددِ ۵٫۱ میلیون را روی دادهٔ آموزشی گرفتیم.

> 📓 **نوت‌بوک:** [نوت‌بوک این فصل را در Colab باز کن](/notebooks/sarnakh/term-3-machine-learning/session-04-split-leakage.ipynb) — همهٔ کدهای این فصل آماده و به‌ترتیب داخلش هست.

## ۱. جداکردنِ داده

</div>

```python
import pandas as pd
from sklearn.model_selection import train_test_split

df = pd.read_csv("laptops_clean.csv").dropna(subset=["ram_gb"]).reset_index(drop=True)
X = df[["year", "ram_gb"]]
y = df["price"]

X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=0.2, random_state=42
)

print("آموزش:", X_train.shape, "| آزمون:", X_test.shape)
```

<div dir="rtl">

</div>

```text
آموزش: (170, 2) | آزمون: (43, 2)
```

<div dir="rtl">

`train_test_split` داده را تصادفی به دو تکه می‌کند. سه چیزِ کلیدی:

- **`test_size=0.2`** یعنی بیست درصد برای آزمون. بینِ ۲۰ تا ۳۰ درصد متعارف است.
- **`random_state=42`** تصادف را **تکرارپذیر** می‌کند. بدونِ آن، هر بار اجرا کنی تقسیمِ متفاوتی می‌گیری و عددهایت هر بار فرق می‌کنند. (عددِ ۴۲ هیچ خاصیتی ندارد؛ فقط یک قرارداد است.)
- **ترتیبِ خروجی** همیشه همین است: `X_train, X_test, y_train, y_test`. جابه‌جا گرفتنشان یکی از رایج‌ترین اشتباهاتِ تازه‌کارهاست و خطا هم نمی‌دهد.

> ⚠️ **مواظب باش:** این باید **اولین** کارِ بعد از خواندنِ داده باشد، نه آخرین. هر کاری که **قبل از** این خط روی کلِ داده انجام بدهی — پُرکردنِ خالی، نرمال‌سازی، انتخابِ ستون — اطلاعاتی از دادهٔ آزمون را وارد آموزش می‌کند. بخشِ ۴ نشانت می‌دهد چطور.

## ۲. حالا عددِ واقعی

</div>

```python
from sklearn.linear_model import LinearRegression
from sklearn.dummy import DummyRegressor
from sklearn.metrics import mean_absolute_error

model = LinearRegression().fit(X_train, y_train)

train_mae = mean_absolute_error(y_train, model.predict(X_train))
test_mae = mean_absolute_error(y_test, model.predict(X_test))
base_mae = mean_absolute_error(
    y_test, DummyRegressor(strategy="median").fit(X_train, y_train).predict(X_test)
)

print("MAE روی داده‌ای که دیده:", round(train_mae))
print("MAE روی داده‌ای که ندیده:", round(test_mae))
print("MAE خط پایه روی همان آزمون:", round(base_mae))
print("بهبود واقعی:", round((1 - test_mae / base_mae) * 100, 1), "درصد")
```

<div dir="rtl">

</div>

```text
MAE روی داده‌ای که دیده: 5573037
MAE روی داده‌ای که ندیده: 4588771
MAE خط پایه روی همان آزمون: 6882558
بهبود واقعی: 33.3 درصد
```

<div dir="rtl">

سه نکتهٔ مهم در این خروجی هست.

**اول:** خطای آزمون این‌بار از خطای آموزش **کمتر** شد. غافلگیرکننده است ولی کاملاً ممکن — با ۴۳ ردیفِ آزمون، شانس نقش دارد و ممکن است تصادفاً ردیف‌های آسان‌تری در آزمون افتاده باشند. **این خودش یک درس است: نتیجهٔ یک تقسیمِ تصادفیِ کوچک، خودش تصادفی است.** فصلِ ۸ راهِ درستش را نشان می‌دهد.

**دوم:** خطِ پایه هم روی **همان دادهٔ آزمون** حساب شد و روی `X_train` آموزش دید. مقایسهٔ منصفانه یعنی هر دو طرف با یک شرایط سنجیده شوند.

**سوم:** بهبودِ واقعی ۳۳٪ است، نه آن ۳۸٪ فصلِ قبل. عددِ قبلی خوش‌بینانه بود.

> 📏 **اندازه بگیر:** الگوی گزارشِ درست از حالا به بعد همیشه این چهار عدد است، با هم: **خطای آموزش، خطای آزمون، خطِ پایه روی آزمون، و درصدِ بهبود.** هر گزارشی که فقط یکی از این‌ها را بدهد، ناقص است — و معمولاً همان یکی را می‌دهند که بهترین به‌نظر می‌رسد.

## ۳. نشتیِ نوعِ اول: ویژگی‌ای که از جواب ساخته شده

حالا برویم سراغِ چیزی که واقعاً خطرناک است. فرض کن کسی این `feature` را «مفید» می‌بیند و اضافه‌اش می‌کند.

آن `df.copy()` در خطِ اول لازم است: بدونش ستونِ تازه به **خودِ `df`** اضافه می‌شد و بقیهٔ فصل با جدولی آلوده ادامه پیدا می‌کرد. **این همان برچسبِ دومِ ترمِ ۱ فصلِ ۳ است** (`b = a` کپی نمی‌سازد) — و در فصلی که موضوعش نشتی است، آلوده‌کردنِ ناخواستهٔ جدولِ اصلی دقیقاً همان اشتباهی است که می‌خواهیم نکنیم.

</div>

```python
leaky = df.copy()
leaky["price_per_gb"] = leaky["price"] / leaky["ram_gb"]

Xl = leaky[["year", "ram_gb", "price_per_gb"]]
Xl_train, Xl_test, yl_train, yl_test = train_test_split(
    Xl, y, test_size=0.2, random_state=42
)

leaky_mae = mean_absolute_error(
    yl_test, LinearRegression().fit(Xl_train, yl_train).predict(Xl_test)
)

print("MAE با ویژگی نشتی‌دار:", round(leaky_mae))
print("MAE صادقانه:", round(test_mae))
print("«بهبود» ظاهری:", round((1 - leaky_mae / test_mae) * 100, 1), "درصد")
```

<div dir="rtl">

</div>

```text
MAE با ویژگی نشتی‌دار: 3378819
MAE صادقانه: 4588771
«بهبود» ظاهری: 26.4 درصد
```

<div dir="rtl">

بیست‌وشش درصد بهتر، فقط با افزودنِ یک ستون. هیچ خطایی، هیچ هشداری.

و کاملاً بی‌ارزش است، چون `price_per_gb` از **خودِ `price`** ساخته شده — همان چیزی که قرار است پیش‌بینی کنیم. در دنیای واقعی، لحظه‌ای که می‌خواهی قیمتِ یک لپ‌تاپِ تازه را حدس بزنی، `price_per_gb` را **نداری**؛ اگر داشتی، قیمت را هم داشتی.

این را **نشتیِ برچسب** می‌گویند و در پروژه‌های واقعی معمولاً این‌قدر آشکار نیست:

- «تاریخِ لغوِ اشتراک» برای پیش‌بینیِ لغوِ اشتراک
- «مبلغِ بازپرداختِ خسارت» برای پیش‌بینیِ تقلب
- «مدتِ بستریِ بیمار» برای پیش‌بینیِ وخامتِ بیماری

هر سه به‌نظرِ ستونی در جدول می‌آیند و هر سه فقط **بعد از** وقوعِ جواب وجود دارند.

> ✅ **چک کن:** آزمونِ ساده‌ای که هر بار جواب می‌دهد: برای هر `feature` بپرس **«لحظه‌ای که می‌خواهم پیش‌بینی کنم، این را دارم؟»** اگر جواب نه است، یا شک داری، بیرونش بگذار. این دقیقاً همان فهرستی است که در تمرینِ ستاره‌دارِ فصلِ ۱ نوشتی.

## ۴. نشتیِ نوعِ دوم: ردیفِ تکراری در دو طرف

</div>

```python
from sklearn.neighbors import KNeighborsRegressor

duplicated = pd.concat([df, df], ignore_index=True)
Xd, yd = duplicated[["year", "ram_gb"]], duplicated["price"]
Xd_train, Xd_test, yd_train, yd_test = train_test_split(
    Xd, yd, test_size=0.2, random_state=42
)

dup_mae = mean_absolute_error(
    yd_test, KNeighborsRegressor(n_neighbors=1).fit(Xd_train, yd_train).predict(Xd_test)
)
clean_mae = mean_absolute_error(
    y_test, KNeighborsRegressor(n_neighbors=1).fit(X_train, y_train).predict(X_test)
)

print("MAE با ردیف تکراری:", round(dup_mae))
print("MAE بدون تکراری:", round(clean_mae))
print("«بهبود» ظاهری:", round((1 - dup_mae / clean_mae) * 100, 1), "درصد")
```

<div dir="rtl">

</div>

```text
MAE با ردیف تکراری: 5470930
MAE بدون تکراری: 7695349
«بهبود» ظاهری: 28.9 درصد
```

<div dir="rtl">

هر ردیف را دو بار کردیم و مدل ۲۹ درصد «بهتر» شد. هیچ اطلاعاتِ تازه‌ای اضافه نشد.

چرا؟ چون `train_test_split` تصادفی جدا می‌کند، پس نسخهٔ اولِ بیشترِ ردیف‌ها در آموزش می‌افتد و نسخهٔ دومشان در آزمون. مدلِ `KNeighborsRegressor` با یک همسایه، قیمتِ نزدیک‌ترین ردیفی را که در حافظه دارد برمی‌گرداند، و حالا آن ردیف خیلی وقت‌ها دوقلوی خودِ ردیفِ آزمون است. **این حفظ‌کردن است، نه یادگیری.**

در دنیای واقعی این خیلی رایج‌تر از آن است که به‌نظر می‌رسد و اغلب هم به این آشکاری نیست:

- **ردیفِ عیناً تکراری** — همان چیزی که در ترمِ ۲ فصلِ ۵ چهارتایش را حذف کردیم.
- **چند ردیف از یک موجودیت** — پنج عکس از یک بیمار، ده آگهی از یک فروشنده. مدل بیماری را یاد نمی‌گیرد؛ **آن بیمار** را حفظ می‌کند.
- **دادهٔ زمانی با تقسیمِ تصادفی** — مدل «گذشته را با دانشِ آینده» پیش‌بینی می‌کند.

راهِ حلِ هر سه یکی است: **تقسیم را بر اساسِ موجودیت انجام بده، نه ردیف.** همهٔ عکس‌های یک بیمار در یک طرف؛ همهٔ دادهٔ قبل از یک تاریخ در آموزش و بعدش در آزمون.

## ۵. نشتیِ نوعِ سوم: پیش‌پردازش قبل از تقسیم

سومی ظریف‌ترین است و رایج‌ترین.

</div>

```python
from sklearn.preprocessing import StandardScaler

# راه غلط: مقیاس‌بندی روی کل داده، بعد تقسیم
scaler_wrong = StandardScaler().fit(X)
print("میانگین یادگرفته‌شده از کل داده:", scaler_wrong.mean_.round(2))

# راه درست: تقسیم، بعد مقیاس‌بندی فقط روی آموزش
scaler_right = StandardScaler().fit(X_train)
print("میانگین یادگرفته‌شده فقط از آموزش:", scaler_right.mean_.round(2))
```

<div dir="rtl">

</div>

```text
میانگین یادگرفته‌شده از کل داده: [2019.99   11.98]
میانگین یادگرفته‌شده فقط از آموزش: [2020.01   12.05]
```

<div dir="rtl">

دو عددِ نزدیک، ولی **متفاوت**. و همین تفاوت، تمامِ مسئله است.

`StandardScaler` میانگین و انحرافِ معیار را از داده **یاد می‌گیرد**. اگر روی کلِ داده `fit` کنی، آن میانگین شاملِ دادهٔ آزمون هم هست — یعنی مدلت غیرمستقیم چیزی دربارهٔ دادهٔ آزمون می‌داند که نباید بداند. عددِ نهایی‌ات کمی خوش‌بینانه می‌شود، و هیچ راهی هم نداری بفهمی چقدر.

روی این دیتاستِ کوچک اثرش ناچیز است. روی دادهٔ واقعی — با مقدارِ پرت، توزیعِ نامتقارن، یا نمونهٔ کوچک — می‌تواند بزرگ باشد.

**قبل از ادامه، جواب بده:** کدام کارها «از داده یاد می‌گیرند» و باید فقط روی آموزش انجام شوند؟ جواب: **هر چیزی که یک عدد را از داده حساب می‌کند و بعد به‌کارش می‌برد.** مقیاس‌بندی (میانگین و انحراف)، پُرکردنِ خالی با میانه، `OneHotEncoder` (فهرستِ دسته‌ها)، انتخابِ ویژگی بر اساسِ همبستگی. **در برابرش**، کارهایی که به داده نگاه نمی‌کنند بی‌خطرند: تقسیم بر ۱۰۰۰، گرفتنِ لگاریتم، حذفِ یک ستونِ بی‌ربط.

> 🔧 **اگر کار نکرد:** نگه‌داشتنِ ترتیبِ درست به‌صورتِ دستی، در یک پروژهٔ واقعی با پنج مرحلهٔ پیش‌پردازش، تقریباً محال است — دیر یا زود یکی جا می‌افتد. `scikit-learn` ابزارِ دقیقی برای این دارد که کلِ زنجیره را در یک شیء می‌بندد و **ساختاراً** جلوی این نشتی را می‌گیرد: `Pipeline`. فصلِ ۷ کاملاً همان است، و از آنجا به بعد در این دوره هیچ پیش‌پردازشی بیرونِ `Pipeline` نوشته نمی‌شود.

## ۶. قاعده‌ای که با تو می‌ماند

</div>

| نوعِ نشتی | نشانه | راهِ حل |
|---|---|---|
| برچسب | نتیجه مشکوکاً عالی است | برای هر feature بپرس «لحظهٔ پیش‌بینی این را دارم؟» |
| ردیفِ تکراری | مدلِ ساده هم عالی جواب می‌دهد | تقسیم بر اساسِ موجودیت، نه ردیف |
| پیش‌پردازش | تفاوتِ کوچک ولی همیشگیِ خوش‌بینانه | `Pipeline` (فصلِ ۷) |
| زمانی | آینده را عالی پیش‌بینی می‌کند | تقسیم بر اساسِ تاریخ، نه تصادفی |

<div dir="rtl">

و یک نشانهٔ کلی که همهٔ این‌ها را می‌گیرد:

> **وقتی نتیجه‌ات مشکوکاً خوب است، اول به نشتی شک کن، نه به نبوغِ خودت.**

در یادگیری ماشین، نتیجه‌ای که خیلی بهتر از انتظار است، تقریباً همیشه یعنی جایی از دادهٔ آزمون به آموزش نشت کرده. این جمله را نگه دار؛ در ژرفا با نامِ «وقتی کار کرد، اول شک کن» دوباره می‌بینی‌اش.

> 🤖 **از دستیارت بپرس:** یک مسئلهٔ واقعیِ خودت را توصیف کن و بپرس: «کدام‌یک از این ستون‌ها ممکن است نشتیِ برچسب باشند؟ برای هرکدام بگو چرا و کِی در دنیای واقعی در دسترس قرار می‌گیرد.» بخشِ دوم مهم‌تر است — **«کِی در دسترس است»** دقیقاً همان سؤالی است که نشتی را لو می‌دهد، و دستیار در پیدا کردنِ حالت‌هایی که ندیده‌ای واقعاً کمک می‌کند.

## واژه‌های تازهٔ این فصل

</div>

| کلمه | تلفظ به حروف فارسی | یعنی چه |
|---|---|---|
| train / test | تِرِین / تست | دادهٔ آموزش (مدل می‌بیند) / دادهٔ آزمون (نمی‌بیند) |
| train_test_split | تِرِین تست اسپلیت | تقسیمِ تصادفیِ داده به آموزش و آزمون |
| random_state | رندوم استِیت | بذرِ تصادف؛ نتیجه را تکرارپذیر می‌کند |
| data leakage | دیتا لیکیج | رسیدنِ اطلاعاتی به مدل که در زمانِ پیش‌بینی نباید داشته باشد |

<div dir="rtl">

## تمرین‌ها

قبل از تمرین، بدونِ نگاه به بالا جواب بده: چرا `StandardScaler` را باید فقط روی دادهٔ آموزش `fit` کرد، ولی تقسیم بر ۱۰۰۰ را می‌شود روی کل انجام داد؟

**تمرینِ اجباری:** همان مدلِ بخشِ ۲ را با پنج مقدارِ متفاوتِ `random_state` (مثلاً ۰، ۱، ۷، ۴۲، ۱۲۳) اجرا کن و هر بار `MAE` آزمون را یادداشت کن. کمینه و بیشینه‌اش چقدر فرق دارند؟ حالا جواب بده: اگر کسی فقط یکی از این عددها را گزارش کند، چقدر می‌تواند بی‌خود خوش‌بین یا بدبین باشد؟

**تمرینِ ستاره‌دار ⭐:** یک نشتیِ **زمانی** بساز و اندازه بگیر. جدول را بر اساسِ `year` مرتب کن و به‌جای تقسیمِ تصادفی، **چهار سالِ آخر را به‌عنوان آزمون** جدا کن و بقیه را آموزش. حالا `MAE` را با عددِ تقسیمِ تصادفی مقایسه کن. کدام بدتر است و چرا؟ بعد این سؤال را جواب بده: **کدام‌یک واقع‌بینانه‌تر است** اگر بخواهی این مدل را برای قیمت‌گذاریِ آگهی‌های سالِ آینده به‌کار ببری؟

## در فصل بعد

حالا می‌توانی یک مدلِ `regression` را صادقانه بسنجی. فصلِ بعد نوعِ دیگرِ مسئله را می‌آورد: **`classification`** — پیش‌بینیِ یک دسته به‌جای یک عدد. مدلش تقریباً همان‌قدر ساده است، ولی سنجشش داستانِ کاملاً متفاوتی دارد: آنجا مدلی می‌سازی که **۸۷ درصد درست است و صفر موردِ مفید پیدا می‌کند** — هر دو هم‌زمان و هر دو واقعی.

</div>

---
Source: https://yaadestan.com/courses/sarnakh/lessons/t3/s04-split-leakage (یادستان, Yaadestan)
