# فصل ۱۱ — تحلیلِ خطا: به ردیف‌های غلط نگاه کن

<div dir="rtl">

# فصل ۱۱ — تحلیلِ خطا: به ردیف‌های غلط نگاه کن

## در این فصل چه یاد می‌گیری

تا اینجا برای بهبودِ مدل، **مدل** را عوض کردی: الگوریتمِ دیگر، پارامترِ دیگر. این فصل کارِ کاملاً متفاوتی می‌کند و در عمل بیشترین بازده را دارد: به **ردیف‌هایی که مدل اشتباه کرده** نگاه می‌کند. جنبشِ `data-centric AI` یک جملهٔ ساده دارد که کلِ این فصل است: **بیشترِ شکست‌های یادگیری ماشین در دنیای واقعی به مشکلاتِ داده برمی‌گردند، نه مشکلاتِ مدل.**

![یک ذره‌بین روی چند ردیفِ برجسته‌شدهٔ یک جدولِ بلند، و یک نمودارِ باقی‌مانده در کنارش](/lesson-assets/t3-s11-error-analysis/prompt/01-image-error-inspection.png)

آخر این فصل می‌توانی:

- جدولِ خطاها را بسازی و بدترین پیش‌بینی‌ها را ببینی
- خطا را گروه‌به‌گروه بشکنی و بگویی مدل کجا ضعیف است
- تفاوتِ خطای مطلق و خطای علامت‌دار را بگویی و **سوگیریِ** مدل را پیدا کنی
- تصمیم بگیری که مشکل از مدل است یا از داده

## قبل از شروع

**از فصل ۱۰:** مقایسهٔ خانواده‌های مدل و اینکه مدلِ خطی اینجا برنده شد.

**از ترمِ ۲ فصل ۶ و ۸:** `groupby` و تحلیلِ اکتشافی — همان ابزارها، این بار روی خطا.

> 📓 **نوت‌بوک:** [نوت‌بوک این فصل را در Colab باز کن](/notebooks/sarnakh/term-3-machine-learning/session-11-error-analysis.ipynb) — همهٔ کدهای این فصل آماده و به‌ترتیب داخلش هست.

## ۱. جدولِ خطا

اولین قدم همیشه یکی است: **یک `DataFrame` بساز که پیش‌بینی، واقعیت، و خطا را کنارِ featureها بگذارد.**

</div>

```python
import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.pipeline import Pipeline
from sklearn.compose import ColumnTransformer
from sklearn.preprocessing import StandardScaler, OneHotEncoder
from sklearn.impute import SimpleImputer
from sklearn.linear_model import LinearRegression
from sklearn.metrics import mean_absolute_error

df = pd.read_csv("laptops_clean.csv")
X = df[["year", "ram_gb", "brand", "city"]]
y = df["price"]
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

preprocess = ColumnTransformer([
    ("num", Pipeline([("fill", SimpleImputer(strategy="median")), ("scale", StandardScaler())]),
     ["year", "ram_gb"]),
    ("cat", OneHotEncoder(handle_unknown="ignore"), ["brand", "city"]),
])
model = Pipeline([("prepare", preprocess), ("model", LinearRegression())]).fit(X_train, y_train)

predicted = model.predict(X_test)
errors = X_test.copy()
errors["actual"] = y_test
errors["predicted"] = predicted.round(0)
errors["error"] = (predicted - y_test).round(0)
errors["abs_error"] = errors["error"].abs()

print("MAE:", round(errors["abs_error"].mean()))
print("تعداد ردیف آزمون:", len(errors))
```

<div dir="rtl">

</div>

```text
MAE: 1443649
تعداد ردیف آزمون: 48
```

<div dir="rtl">

ستونِ `error` را با علامت نگه داشتیم (پیش‌بینی منهای واقعیت)، نه فقط قدرِمطلقش. **این تصمیم مهم است و در بخشِ ۴ می‌فهمی چرا.**

## ۲. بدترین پیش‌بینی‌ها

</div>

```python
worst = errors.sort_values("abs_error", ascending=False).head(5)
print(worst[["brand", "city", "year", "ram_gb", "actual", "predicted", "error"]].to_string(index=False))
```

<div dir="rtl">

</div>

```text
brand   city  year  ram_gb   actual  predicted      error
ایسوس  شیراز  2017    16.0 12900000 17999859.0  5099859.0
اچ پی  شیراز  2023     NaN 34000000 29650605.0 -4349395.0
 لنوو  تهران  2024    16.0 39800000 35606261.0 -4193739.0
ایسوس   مشهد  2022     8.0 24700000 28112855.0  3412855.0
 لنوو اصفهان  2024    16.0 32900000 36086759.0  3186759.0
```

<div dir="rtl">

**پنج ردیف را با چشمِ خودت نگاه کن — این کارِ اصلیِ فصل است و هیچ ابزاری جایش را نمی‌گیرد.** (هر چهار ستونِ ورودیِ مدل را عمداً چاپ کردیم، نه فقط آن‌هایی را که به‌نظرمان مهم‌اند؛ ستونی که نبینی، در قضاوتت هم نیست.)

سه چیز بلافاصله دیده می‌شود:

- **ردیفِ اول:** یک ایسوسِ ۲۰۱۷ با ۱۶ گیگ که فقط ۱۲٫۹ میلیون قیمت خورده، در حالی که مدل ۱۸ میلیون حدس زده. برای این مشخصات، ۱۲٫۹ میلیون **غیرعادی ارزان** است. شاید آگهی مشکلی داشته که ستون‌های ما نشانش نمی‌دهند — خرابی، بدنهٔ آسیب‌دیده.
- **ردیفِ دوم:** یک اچ‌پیِ ۲۰۲۳ که `ram_gb` آن **خالی** است. مدل مجبور شد میانه را جایش بگذارد و ۴٫۳ میلیون اشتباه کرد.
- **ردیفِ سوم و پنجم:** دو لنووی ۲۰۲۴ با ۱۶ گیگ که فقط در **شهر** فرق دارند — یکی تهران، یکی اصفهان. قیمتشان ۳۹٫۸ و ۳۲٫۹ میلیون است، یعنی ۷ میلیون اختلاف؛ ولی مدل برای هر دو تقریباً یک عدد داد (۳۵٫۶ و ۳۶٫۱). این تصادفی نیست: در ترمِ ۲ اندازه گرفتیم که **شهر تقریباً بی‌اثر است**، پس مدل هم عملاً از آن چشم‌پوشی می‌کند. یعنی برای هر چیزی که مدل واقعاً به آن نگاه می‌کند، این دو ردیف یکی‌اند و دو جوابِ متفاوت دارند.

> 📏 **اندازه بگیر:** آن موردِ آخر مهم‌ترینِ این سه است، چون یک **سقف** نشان می‌دهد. اگر دو ردیف برای مدل تفکیک‌ناپذیر باشند و دو قیمتِ متفاوت داشته باشند، هیچ مدلی — هیچ‌کدام — نمی‌تواند هر دو را درست بزند. بهترین کاری که می‌شود کرد میانگین‌شان است، با خطای نصفِ فاصله. **قبل از تلاش برای بهبودِ مدل، بپرس آیا اصلاً جای بهبود هست.** و راهِ سنجیدنش هم دستوری است، نه چشمی: ردیف‌ها را بر اساسِ همهٔ featureها `groupby` کن و ببین کدام گروه‌ها بیش از یک ردیف دارند و پراکندگیِ `y` در آن گروه‌ها چقدر است. آن پراکندگی، **کفِ خطایی** است که هیچ مدلی از آن پایین‌تر نمی‌رود.

## ۳. خطا، گروه‌به‌گروه

</div>

```python
by_brand = errors.groupby("brand")["abs_error"].agg(["count", "mean"]).round(0)
print(by_brand.sort_values("mean", ascending=False).to_string())
```

<div dir="rtl">

</div>

```text
       count       mean
brand
ایسوس     10  2146410.0
لنوو      13  1651428.0
اچ پی     12  1206532.0
دل         9  1055132.0
اپل        4   596979.0
```

<div dir="rtl">

مدل روی برندهای مختلف **خیلی** متفاوت عمل می‌کند: خطای ایسوس بیش از سه‌ونیم برابرِ اپل است.

این یک یافتهٔ عملی است. اگر این مدل در یک سامانهٔ واقعی به‌کار برود، پیش‌بینی‌اش برای اپل قابلِ‌اتکاست و برای ایسوس نه — و کاربر باید این را بداند.

ولی به `count` هم نگاه کن: اپل فقط ۴ ردیف در آزمون دارد. **آن عددِ ۵۹۷ هزار روی چهار نمونه حساب شده و بی‌ثبات است.** همان درسِ ترمِ ۲ که هر بار برمی‌گردد.

</div>

```python
errors["ram_missing"] = errors["ram_gb"].isna()
print(errors.groupby("ram_missing")["abs_error"].agg(["count", "mean"]).round(0).to_string())
```

<div dir="rtl">

</div>

```text
             count       mean
ram_missing
False           43  1418080.0
True             5  1663543.0
```

<div dir="rtl">

ردیف‌هایی که `ram_gb` نداشتند حدودِ **۱۷ درصد** خطای بیشتری دارند. منطقی است — مدل برایشان یک عددِ ساختگی داشت.

پس تصمیمِ «پُرکردن با میانه» که در فصلِ ۷ گرفتیم، هزینه‌اش را حالا می‌بینیم: قابلِ تحمل، ولی نه رایگان. **این دقیقاً همان بلوکِ 📏 ترمِ ۲ فصلِ ۵ است که گفت تحلیل را با و بدونِ پُرکردن مقایسه کن** — و اینجا عددش را داریم.

## ۴. سوگیری: خطای علامت‌دار

حالا آن ستونِ `error` که علامتش را نگه داشتیم به‌کار می‌آید.

</div>

```python
print("میانگین خطای علامت‌دار (کل):", round(errors["error"].mean()))
print(errors.groupby("brand")["error"].mean().round(0).to_string())
```

<div dir="rtl">

</div>

```text
میانگین خطای علامت‌دار (کل): 344682
brand
اپل       550387.0
اچ پی    -863283.0
ایسوس    1855773.0
دل        204080.0
لنوو      331395.0
```

<div dir="rtl">

**این جدول چیزی می‌گوید که `MAE` هرگز نمی‌توانست.**

خطای مطلق فقط می‌گفت «چقدر اشتباه»؛ خطای علامت‌دار می‌گوید **«در کدام جهت»**:

- برای **ایسوس**، میانگینِ خطا `+1,855,773` است — یعنی مدل به‌طورِ **سیستماتیک** قیمتِ ایسوس را **گران‌تر از واقعیت** حدس می‌زند، تقریباً ۱٫۹ میلیون در هر آگهی.
- برای **اچ پی** برعکس: `-863,283`، یعنی به‌طورِ میانگین ارزان‌تر حدس می‌زند (نه همیشه: از ۱۲ ردیفِ اچ پی، ۷ تا منفی و ۵ تا مثبت‌اند).

این **سوگیری** است، نه نویز. اگر خطا تصادفی بود، میانگینِ علامت‌دارش نزدیکِ صفر می‌شد — همان‌طور که برای «دل» تقریباً هست.

و راهِ حلش هم روشن است: مدلِ خطی برای هر برند یک ضریبِ ثابت دارد، ولی شاید **شیبِ سال** هم برای برندها متفاوت باشد. آن یک **برهم‌کنش** است که مدلِ خطیِ ساده نمی‌گیردش و درخت‌ها می‌گیرند.

> ✅ **چک کن:** میانگینِ کلِ خطای علامت‌دار باید نزدیکِ صفر باشد. اینجا ۳۴۵ هزار است در برابرِ MAE برابرِ ۱٫۴۴ میلیون — یعنی حدودِ ۲۴ درصد، که قابلِ توجه است ولی فاجعه نیست. **اگر این عدد به `MAE` نزدیک شود، مدلت یک سوگیریِ کلیِ جدی دارد** و اولین کاری که باید بکنی نگاه‌کردن به این جدول است، نه عوض‌کردنِ الگوریتم.

## ۵. حالا چه کار کنیم؟

تحلیلِ خطا وقتی ارزش دارد که به **تصمیم** ختم شود. از آنچه دیدیم:

</div>

| یافته | اقدامِ ممکن | جنس |
|---|---|---|
| دو ردیفِ تفکیک‌ناپذیر با ۷ میلیون تفاوت | `feature` تازه لازم است (وضعیتِ ظاهری، پردازنده) | **داده** |
| ردیف‌های بدونِ `ram_gb` بدترند | جمع‌آوریِ بهترِ همان ستون | **داده** |
| ایسوس سوگیریِ سیستماتیک دارد | مدلی که برهم‌کنشِ برند و سال را بگیرد | **مدل** |
| اپل فقط ۴ نمونه در آزمون دارد | دادهٔ بیشتر، یا تقسیمِ `stratify` بر اساسِ برند | **ارزیابی** |

<div dir="rtl">

فقط یکی از چهار مورد به **مدل** برمی‌گردد: دو تا به داده و یکی به ارزیابی. و این تصادفی نیست — همان چیزی است که جنبشِ `data-centric` می‌گوید و در جدولِ بالا خودت دیدی‌اش.

> 💡 **نکته:** ترتیبِ درستِ کار در هر پروژه‌ای همین است: **خطِ پایه ← مدلِ ساده ← تحلیلِ خطا ← تصمیم**. اکثرِ آدم‌ها قدمِ سوم را رد می‌کنند و مستقیم از قدمِ دو به «مدلِ پیچیده‌تر» می‌پرند. تحلیلِ خطا نیم ساعت وقت می‌گیرد و معمولاً می‌گوید که مدلِ پیچیده‌تر جوابِ سؤال نیست.

## ۶. یک خطای واقعی: اندیس‌های ناهماهنگ

</div>

```python-broken
errors["error"] = model.predict(X_test) - df["price"]
```

<div dir="rtl">

</div>

```text
ValueError: operands could not be broadcast together with shapes (48,) (238,)
```

<div dir="rtl">

`predict` یک آرایهٔ `numpy` با ۴۸ عنصر می‌دهد، ولی `df["price"]` هر ۲۳۸ ردیف را دارد. اینجا **خوش‌شانس بودیم**: طول‌ها نمی‌خواندند و خطا گرفتیم.

**حالت خطرناک وقتی است که طول‌ها بخوانند ولی اندیس‌ها نه.** چون آن‌وقت `pandas` به‌جای خطا، بر اساسِ **برچسبِ ردیف** هم‌ترازشان می‌کند:

</div>

```python
misaligned = pd.Series(predicted) - y_test

print("تعداد ردیف‌های آزمون:", len(y_test))
print("طول نتیجه:", len(misaligned), "| ردیف‌های NaN:", int(misaligned.isna().sum()))
```

<div dir="rtl">

</div>

```text
تعداد ردیف‌های آزمون: 48
طول نتیجه: 84 | ردیف‌های NaN: 72
```

<div dir="rtl">

**هیچ خطایی نگرفتیم و نتیجه فاجعه است.** `pd.Series(predicted)` اندیسِ `0..47` گرفت، ولی `y_test` برچسب‌های پراکندهٔ اصلی را دارد. `pandas` **اجتماعِ** دو مجموعه برچسب را ساخت — ۸۴ ردیف به‌جای ۴۸ — و هر جا فقط یک طرف مقدار داشت `NaN` گذاشت. از ۸۴ ردیف، ۷۲ تا `NaN` است و آن ۱۲ ردیفِ باقی‌مانده **دو چیزِ بی‌ربط را از هم کم کرده‌اند**.

اگر بعدش `MAE` می‌گرفتی، `pandas` بی‌صدا `NaN`ها را نادیده می‌گرفت و عددی روی همان ۱۲ ردیفِ غلط به تو می‌داد.

> 🔧 **اگر کار نکرد:** قاعدهٔ امن: در محاسبهٔ خطا **همیشه از `y_test` استفاده کن، نه از ستونِ اصلی و نه از یک `Series` تازه‌ساخته**، چون اندیسِ `y_test` دقیقاً با `X_test` می‌خواند. و هر وقت دو `Series` را از هم کم کردی، **طولِ نتیجه را با طولِ ورودی مقایسه کن** — اگر بلندتر شد، اندیس‌ها هم‌تراز نبوده‌اند.

> 🤖 **از دستیارت بپرس:** جدولِ بخشِ ۴ (خطای علامت‌دار به‌تفکیکِ برند) را برایش بگذار و بپرس: «چه توضیح‌هایی برای این سوگیریِ سیستماتیک ممکن است، و هرکدام را چطور می‌شود با داده آزمود؟» بخشِ دوم مهم‌تر است — یک فرضیه بدونِ راهِ آزمودنش فقط یک حدس است، و تشخیصِ همین تفاوت کارِ توست.

## واژه‌های تازهٔ این فصل

</div>

| کلمه | تلفظ به حروف فارسی | یعنی چه |
|---|---|---|
| error analysis | اِرور آنالیزیس | نگاه‌کردن به ردیف‌هایی که مدل اشتباه کرده |
| residual | رزیجوال | خطای علامت‌دار؛ در تعریفِ رایج واقعیت منهای پیش‌بینی، و ستونِ `error` ما برعکسِ آن است |
| bias | بایاس | خطای سیستماتیک در یک جهت، نه تصادفی |
| data-centric | دیتا-سنتریک | بهبودِ داده به‌جای بهبودِ مدل |

<div dir="rtl">

## تمرین‌ها

قبل از تمرین، بدونِ نگاه به بالا جواب بده: چرا خطای علامت‌دار چیزی می‌گوید که `MAE` نمی‌تواند؟

**تمرینِ اجباری:** نمودارِ باقی‌مانده بکش: محورِ افقی `predicted` و محورِ عمودی `error`، به‌علاوهٔ یک خطِ افقی روی صفر. اگر مدل سالم باشد، نقطه‌ها باید **بی‌الگو** حولِ صفر پخش باشند. آیا الگویی می‌بینی؟ (مثلاً خطا برای قیمت‌های بالا سیستماتیک منفی باشد.) هر الگویی که ببینی، یک سرنخِ مستقیم است.

**تمرینِ ستاره‌دار ⭐:** فرضیهٔ بخشِ ۴ را بسنج. یک ستونِ برهم‌کنش بساز — `year_x_apple` که حاصل‌ضربِ سال (منهای ۲۰۱۶) در «اپل بودن» است — و به مدل اضافه‌اش کن. حالا جدولِ خطای علامت‌دار به‌تفکیکِ برند را دوباره بگیر. آیا سوگیریِ ایسوس کم شد؟ آیا `MAE` کل بهتر شد؟ **اگر یکی بهتر شد و دیگری نه، در یک جمله بنویس این چه معنایی دارد** — و این دقیقاً همان قضاوتی است که یک پروژهٔ واقعی از تو می‌خواهد.

## در فصل بعد

این آخرین فصلِ مفهومیِ ترمِ ۳ بود. حالا کلِ چرخه را بلدی: از سؤال تا داده، از داده تا مدل، از مدل تا ارزیابیِ صادقانه، و از خطا تا تصمیم. فصلِ بعد پروژه است — همهٔ این‌ها را در یک مسیرِ پیوسته روی یک مسئلهٔ واقعی می‌چینی و یک گزارشِ کامل تحویل می‌دهی که کسِ دیگری بتواند به آن اعتماد کند.

</div>

---
Source: https://yaadestan.com/courses/sarnakh/lessons/t3/s11-error-analysis (یادستان, Yaadestan)
