سرنخ — خودآموز پایتون و برنامه‌نویسی برای هوش مصنوعی (مقدماتی)

فصل ۱۱ از ۱۲

پیشرفت ترم
۰٪

در این فصل چه یاد می‌گیری#

تا اینجا برای بهبودِ مدل، مدل را عوض کردی: الگوریتمِ دیگر، پارامترِ دیگر. این فصل کارِ کاملاً متفاوتی می‌کند و در عمل بیشترین بازده را دارد: به ردیف‌هایی که مدل اشتباه کرده نگاه می‌کند. جنبشِ data-centric AI یک جملهٔ ساده دارد که کلِ این فصل است: بیشترِ شکست‌های یادگیری ماشین در دنیای واقعی به مشکلاتِ داده برمی‌گردند، نه مشکلاتِ مدل.

یک ذره‌بین روی چند ردیفِ برجسته‌شدهٔ یک جدولِ بلند، و یک نمودارِ باقی‌مانده در کنارش

آخر این فصل می‌توانی:

  • جدولِ خطاها را بسازی و بدترین پیش‌بینی‌ها را ببینی
  • خطا را گروه‌به‌گروه بشکنی و بگویی مدل کجا ضعیف است
  • تفاوتِ خطای مطلق و خطای علامت‌دار را بگویی و سوگیریِ مدل را پیدا کنی
  • تصمیم بگیری که مشکل از مدل است یا از داده

قبل از شروع#

از فصل ۱۰: مقایسهٔ خانواده‌های مدل و اینکه مدلِ خطی اینجا برنده شد.

از ترمِ ۲ فصل ۶ و ۸: groupby و تحلیلِ اکتشافی — همان ابزارها، این بار روی خطا.

📓 نوت‌بوک: نوت‌بوک این فصل را در Colab باز کن — همهٔ کدهای این فصل آماده و به‌ترتیب داخلش هست.

۱. جدولِ خطا#

اولین قدم همیشه یکی است: یک DataFrame بساز که پیش‌بینی، واقعیت، و خطا را کنارِ featureها بگذارد.

import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.pipeline import Pipeline
from sklearn.compose import ColumnTransformer
from sklearn.preprocessing import StandardScaler, OneHotEncoder
from sklearn.impute import SimpleImputer
from sklearn.linear_model import LinearRegression
from sklearn.metrics import mean_absolute_error

df = pd.read_csv("laptops_clean.csv")
X = df[["year", "ram_gb", "brand", "city"]]
y = df["price"]
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

preprocess = ColumnTransformer([
    ("num", Pipeline([("fill", SimpleImputer(strategy="median")), ("scale", StandardScaler())]),
     ["year", "ram_gb"]),
    ("cat", OneHotEncoder(handle_unknown="ignore"), ["brand", "city"]),
])
model = Pipeline([("prepare", preprocess), ("model", LinearRegression())]).fit(X_train, y_train)

predicted = model.predict(X_test)
errors = X_test.copy()
errors["actual"] = y_test
errors["predicted"] = predicted.round(0)
errors["error"] = (predicted - y_test).round(0)
errors["abs_error"] = errors["error"].abs()

print("MAE:", round(errors["abs_error"].mean()))
print("تعداد ردیف آزمون:", len(errors))
MAE: 1443649
تعداد ردیف آزمون: 48

ستونِ error را با علامت نگه داشتیم (پیش‌بینی منهای واقعیت)، نه فقط قدرِمطلقش. این تصمیم مهم است و در بخشِ ۴ می‌فهمی چرا.

۲. بدترین پیش‌بینی‌ها#

worst = errors.sort_values("abs_error", ascending=False).head(5)
print(worst[["brand", "city", "year", "ram_gb", "actual", "predicted", "error"]].to_string(index=False))
brand   city  year  ram_gb   actual  predicted      error
ایسوس  شیراز  2017    16.0 12900000 17999859.0  5099859.0
اچ پی  شیراز  2023     NaN 34000000 29650605.0 -4349395.0
 لنوو  تهران  2024    16.0 39800000 35606261.0 -4193739.0
ایسوس   مشهد  2022     8.0 24700000 28112855.0  3412855.0
 لنوو اصفهان  2024    16.0 32900000 36086759.0  3186759.0

پنج ردیف را با چشمِ خودت نگاه کن — این کارِ اصلیِ فصل است و هیچ ابزاری جایش را نمی‌گیرد. (هر چهار ستونِ ورودیِ مدل را عمداً چاپ کردیم، نه فقط آن‌هایی را که به‌نظرمان مهم‌اند؛ ستونی که نبینی، در قضاوتت هم نیست.)

سه چیز بلافاصله دیده می‌شود:

  • ردیفِ اول: یک ایسوسِ ۲۰۱۷ با ۱۶ گیگ که فقط ۱۲٫۹ میلیون قیمت خورده، در حالی که مدل ۱۸ میلیون حدس زده. برای این مشخصات، ۱۲٫۹ میلیون غیرعادی ارزان است. شاید آگهی مشکلی داشته که ستون‌های ما نشانش نمی‌دهند — خرابی، بدنهٔ آسیب‌دیده.
  • ردیفِ دوم: یک اچ‌پیِ ۲۰۲۳ که ram_gb آن خالی است. مدل مجبور شد میانه را جایش بگذارد و ۴٫۳ میلیون اشتباه کرد.
  • ردیفِ سوم و پنجم: دو لنووی ۲۰۲۴ با ۱۶ گیگ که فقط در شهر فرق دارند — یکی تهران، یکی اصفهان. قیمتشان ۳۹٫۸ و ۳۲٫۹ میلیون است، یعنی ۷ میلیون اختلاف؛ ولی مدل برای هر دو تقریباً یک عدد داد (۳۵٫۶ و ۳۶٫۱). این تصادفی نیست: در ترمِ ۲ اندازه گرفتیم که شهر تقریباً بی‌اثر است، پس مدل هم عملاً از آن چشم‌پوشی می‌کند. یعنی برای هر چیزی که مدل واقعاً به آن نگاه می‌کند، این دو ردیف یکی‌اند و دو جوابِ متفاوت دارند.

📏 اندازه بگیر: آن موردِ آخر مهم‌ترینِ این سه است، چون یک سقف نشان می‌دهد. اگر دو ردیف برای مدل تفکیک‌ناپذیر باشند و دو قیمتِ متفاوت داشته باشند، هیچ مدلی — هیچ‌کدام — نمی‌تواند هر دو را درست بزند. بهترین کاری که می‌شود کرد میانگین‌شان است، با خطای نصفِ فاصله. قبل از تلاش برای بهبودِ مدل، بپرس آیا اصلاً جای بهبود هست. و راهِ سنجیدنش هم دستوری است، نه چشمی: ردیف‌ها را بر اساسِ همهٔ featureها groupby کن و ببین کدام گروه‌ها بیش از یک ردیف دارند و پراکندگیِ y در آن گروه‌ها چقدر است. آن پراکندگی، کفِ خطایی است که هیچ مدلی از آن پایین‌تر نمی‌رود.

۳. خطا، گروه‌به‌گروه#

by_brand = errors.groupby("brand")["abs_error"].agg(["count", "mean"]).round(0)
print(by_brand.sort_values("mean", ascending=False).to_string())
       count       mean
brand
ایسوس     10  2146410.0
لنوو      13  1651428.0
اچ پی     12  1206532.0
دل         9  1055132.0
اپل        4   596979.0

مدل روی برندهای مختلف خیلی متفاوت عمل می‌کند: خطای ایسوس بیش از سه‌ونیم برابرِ اپل است.

این یک یافتهٔ عملی است. اگر این مدل در یک سامانهٔ واقعی به‌کار برود، پیش‌بینی‌اش برای اپل قابلِ‌اتکاست و برای ایسوس نه — و کاربر باید این را بداند.

ولی به count هم نگاه کن: اپل فقط ۴ ردیف در آزمون دارد. آن عددِ ۵۹۷ هزار روی چهار نمونه حساب شده و بی‌ثبات است. همان درسِ ترمِ ۲ که هر بار برمی‌گردد.

errors["ram_missing"] = errors["ram_gb"].isna()
print(errors.groupby("ram_missing")["abs_error"].agg(["count", "mean"]).round(0).to_string())
             count       mean
ram_missing
False           43  1418080.0
True             5  1663543.0

ردیف‌هایی که ram_gb نداشتند حدودِ ۱۷ درصد خطای بیشتری دارند. منطقی است — مدل برایشان یک عددِ ساختگی داشت.

پس تصمیمِ «پُرکردن با میانه» که در فصلِ ۷ گرفتیم، هزینه‌اش را حالا می‌بینیم: قابلِ تحمل، ولی نه رایگان. این دقیقاً همان بلوکِ 📏 ترمِ ۲ فصلِ ۵ است که گفت تحلیل را با و بدونِ پُرکردن مقایسه کن — و اینجا عددش را داریم.

۴. سوگیری: خطای علامت‌دار#

حالا آن ستونِ error که علامتش را نگه داشتیم به‌کار می‌آید.

print("میانگین خطای علامت‌دار (کل):", round(errors["error"].mean()))
print(errors.groupby("brand")["error"].mean().round(0).to_string())
میانگین خطای علامت‌دار (کل): 344682
brand
اپل       550387.0
اچ پی    -863283.0
ایسوس    1855773.0
دل        204080.0
لنوو      331395.0

این جدول چیزی می‌گوید که MAE هرگز نمی‌توانست.

خطای مطلق فقط می‌گفت «چقدر اشتباه»؛ خطای علامت‌دار می‌گوید «در کدام جهت»:

  • برای ایسوس، میانگینِ خطا +1,855,773 است — یعنی مدل به‌طورِ سیستماتیک قیمتِ ایسوس را گران‌تر از واقعیت حدس می‌زند، تقریباً ۱٫۹ میلیون در هر آگهی.
  • برای اچ پی برعکس: -863,283، یعنی به‌طورِ میانگین ارزان‌تر حدس می‌زند (نه همیشه: از ۱۲ ردیفِ اچ پی، ۷ تا منفی و ۵ تا مثبت‌اند).

این سوگیری است، نه نویز. اگر خطا تصادفی بود، میانگینِ علامت‌دارش نزدیکِ صفر می‌شد — همان‌طور که برای «دل» تقریباً هست.

و راهِ حلش هم روشن است: مدلِ خطی برای هر برند یک ضریبِ ثابت دارد، ولی شاید شیبِ سال هم برای برندها متفاوت باشد. آن یک برهم‌کنش است که مدلِ خطیِ ساده نمی‌گیردش و درخت‌ها می‌گیرند.

✅ چک کن: میانگینِ کلِ خطای علامت‌دار باید نزدیکِ صفر باشد. اینجا ۳۴۵ هزار است در برابرِ MAE برابرِ ۱٫۴۴ میلیون — یعنی حدودِ ۲۴ درصد، که قابلِ توجه است ولی فاجعه نیست. اگر این عدد به MAE نزدیک شود، مدلت یک سوگیریِ کلیِ جدی دارد و اولین کاری که باید بکنی نگاه‌کردن به این جدول است، نه عوض‌کردنِ الگوریتم.

۵. حالا چه کار کنیم؟#

تحلیلِ خطا وقتی ارزش دارد که به تصمیم ختم شود. از آنچه دیدیم:

یافته اقدامِ ممکن جنس
دو ردیفِ تفکیک‌ناپذیر با ۷ میلیون تفاوت feature تازه لازم است (وضعیتِ ظاهری، پردازنده) داده
ردیف‌های بدونِ ram_gb بدترند جمع‌آوریِ بهترِ همان ستون داده
ایسوس سوگیریِ سیستماتیک دارد مدلی که برهم‌کنشِ برند و سال را بگیرد مدل
اپل فقط ۴ نمونه در آزمون دارد دادهٔ بیشتر، یا تقسیمِ stratify بر اساسِ برند ارزیابی

فقط یکی از چهار مورد به مدل برمی‌گردد: دو تا به داده و یکی به ارزیابی. و این تصادفی نیست — همان چیزی است که جنبشِ data-centric می‌گوید و در جدولِ بالا خودت دیدی‌اش.

💡 نکته: ترتیبِ درستِ کار در هر پروژه‌ای همین است: خطِ پایه ← مدلِ ساده ← تحلیلِ خطا ← تصمیم. اکثرِ آدم‌ها قدمِ سوم را رد می‌کنند و مستقیم از قدمِ دو به «مدلِ پیچیده‌تر» می‌پرند. تحلیلِ خطا نیم ساعت وقت می‌گیرد و معمولاً می‌گوید که مدلِ پیچیده‌تر جوابِ سؤال نیست.

۶. یک خطای واقعی: اندیس‌های ناهماهنگ#

errors["error"] = model.predict(X_test) - df["price"]
ValueError: operands could not be broadcast together with shapes (48,) (238,)

predict یک آرایهٔ numpy با ۴۸ عنصر می‌دهد، ولی df["price"] هر ۲۳۸ ردیف را دارد. اینجا خوش‌شانس بودیم: طول‌ها نمی‌خواندند و خطا گرفتیم.

حالت خطرناک وقتی است که طول‌ها بخوانند ولی اندیس‌ها نه. چون آن‌وقت pandas به‌جای خطا، بر اساسِ برچسبِ ردیف هم‌ترازشان می‌کند:

misaligned = pd.Series(predicted) - y_test

print("تعداد ردیف‌های آزمون:", len(y_test))
print("طول نتیجه:", len(misaligned), "| ردیف‌های NaN:", int(misaligned.isna().sum()))
تعداد ردیف‌های آزمون: 48
طول نتیجه: 84 | ردیف‌های NaN: 72

هیچ خطایی نگرفتیم و نتیجه فاجعه است. pd.Series(predicted) اندیسِ 0..47 گرفت، ولی y_test برچسب‌های پراکندهٔ اصلی را دارد. pandas اجتماعِ دو مجموعه برچسب را ساخت — ۸۴ ردیف به‌جای ۴۸ — و هر جا فقط یک طرف مقدار داشت NaN گذاشت. از ۸۴ ردیف، ۷۲ تا NaN است و آن ۱۲ ردیفِ باقی‌مانده دو چیزِ بی‌ربط را از هم کم کرده‌اند.

اگر بعدش MAE می‌گرفتی، pandas بی‌صدا NaNها را نادیده می‌گرفت و عددی روی همان ۱۲ ردیفِ غلط به تو می‌داد.

🔧 اگر کار نکرد: قاعدهٔ امن: در محاسبهٔ خطا همیشه از y_test استفاده کن، نه از ستونِ اصلی و نه از یک Series تازه‌ساخته، چون اندیسِ y_test دقیقاً با X_test می‌خواند. و هر وقت دو Series را از هم کم کردی، طولِ نتیجه را با طولِ ورودی مقایسه کن — اگر بلندتر شد، اندیس‌ها هم‌تراز نبوده‌اند.

🤖 از دستیارت بپرس: جدولِ بخشِ ۴ (خطای علامت‌دار به‌تفکیکِ برند) را برایش بگذار و بپرس: «چه توضیح‌هایی برای این سوگیریِ سیستماتیک ممکن است، و هرکدام را چطور می‌شود با داده آزمود؟» بخشِ دوم مهم‌تر است — یک فرضیه بدونِ راهِ آزمودنش فقط یک حدس است، و تشخیصِ همین تفاوت کارِ توست.

واژه‌های تازهٔ این فصل#

کلمه تلفظ به حروف فارسی یعنی چه
error analysis اِرور آنالیزیس نگاه‌کردن به ردیف‌هایی که مدل اشتباه کرده
residual رزیجوال خطای علامت‌دار؛ در تعریفِ رایج واقعیت منهای پیش‌بینی، و ستونِ error ما برعکسِ آن است
bias بایاس خطای سیستماتیک در یک جهت، نه تصادفی
data-centric دیتا-سنتریک بهبودِ داده به‌جای بهبودِ مدل

تمرین‌ها

اول خودت فکر کن یا امتحان کن — بعد اینجا را باز کن.

در فصل بعد#

این آخرین فصلِ مفهومیِ ترمِ ۳ بود. حالا کلِ چرخه را بلدی: از سؤال تا داده، از داده تا مدل، از مدل تا ارزیابیِ صادقانه، و از خطا تا تصمیم. فصلِ بعد پروژه است — همهٔ این‌ها را در یک مسیرِ پیوسته روی یک مسئلهٔ واقعی می‌چینی و یک گزارشِ کامل تحویل می‌دهی که کسِ دیگری بتواند به آن اعتماد کند.

به آخر این فصل رسیدی!

اگر ساختی و جواب داد، این دکمه مال توست.