# فصل ۱۰ — پروژه: یک دیتاستِ واقعی، از فایلِ خام تا گزارش

<div dir="rtl">

# فصل ۱۰ — پروژه: یک دیتاستِ واقعی، از فایلِ خام تا گزارش

## در این فصل چه یاد می‌گیری

هیچ مفهومِ تازه‌ای در این فصل نیست. کاری که می‌کنی این است: کلِ ترمِ ۲ را در یک مسیرِ پیوسته می‌چینی — از فایلِ خام تا سه یافته که هر کدام شواهدِ خودشان را دارند. ولی موضوعِ اصلی این فصل کد نیست، **گزارش** است: یاد می‌گیری یافته را طوری بنویسی که خواننده بتواند به آن اعتماد کند، و همان‌قدر مهم، طوری که بداند **کجا نباید** اعتماد کند.

![یک میزِ کارِ برش‌خورده که در یک سرش فایلِ خام و در سرِ دیگرش یک برگهٔ گزارشِ سه‌بخشی است](/lesson-assets/t2-s10-project-dataset/prompt/01-image-raw-to-report.png)

آخر این فصل می‌توانی:

- یک زنجیرهٔ پاک‌سازیِ کامل بنویسی که کارش را گزارش می‌کند
- سه یافته با شواهدِ عددی استخراج کنی
- برای هر یافته بگویی چه چیزی را **ثابت نمی‌کند**
- یک گزارشِ کوتاه بنویسی که کسِ دیگری بتواند بازتولیدش کند

## قبل از شروع

**از فصل‌های ۳ تا ۹:** خواندن، پاک‌سازی، گروه‌بندی، نمودار، تحلیلِ اکتشافی.

**از ترمِ ۱ فصل ۷:** تابع با `return` و رد کردنِ حالتِ خاص در خطِ اول.

> 📓 **نوت‌بوک:** [نوت‌بوک این فصل را در Colab باز کن](/notebooks/sarnakh/term-2-data/session-10-project-dataset.ipynb) — همهٔ کدهای این فصل آماده و به‌ترتیب داخلش هست.

## ۱. زنجیره‌ای که کارش را گزارش می‌کند

</div>

```python
import pandas as pd

def load_and_clean(path):
    """فایلِ خام را می‌خواند، پاک‌سازی می‌کند، و (جدولِ تمیز، گزارشِ پاک‌سازی) را برمی‌گرداند."""
    raw = pd.read_csv(path)
    report = {"rows_in": len(raw)}

    df = raw.drop_duplicates().reset_index(drop=True)
    report["duplicates_removed"] = report["rows_in"] - len(df)

    df["price"] = df["price"].str.replace(",", "", regex=False).astype(int)
    df["brand"] = df["brand"].str.replace("ي", "ی").str.replace("ك", "ک").str.strip()
    df["city"] = df["city"].str.strip()
    report["brands_after_merge"] = df["brand"].nunique()

    before = len(df)
    df = df[(df["year"] >= 2010) & (df["year"] <= 2025)].reset_index(drop=True)
    report["impossible_years_removed"] = before - len(df)
    report["ram_missing"] = int(df["ram_gb"].isna().sum())
    report["rows_out"] = len(df)
    return df, report

df, report = load_and_clean("laptops.csv")
for key in report:
    print(f"{key}: {report[key]}")
```

<div dir="rtl">

</div>

```text
rows_in: 244
duplicates_removed: 4
brands_after_merge: 5
impossible_years_removed: 2
ram_missing: 25
rows_out: 238
```

<div dir="rtl">

این تابع دو چیز برمی‌گرداند و هر دو لازم‌اند: **جدولِ تمیز** و **گزارشِ اینکه چه بلایی سرش آمد**.

بدونِ آن گزارش، کسی که نتیجه‌ات را می‌خواند نمی‌داند از ۲۴۴ ردیفِ اصلی چند تا واقعاً استفاده شده و چرا. با آن، در شش خط همه‌چیز روشن است.

> ✅ **چک کن:** `rows_in` منهای حذف‌ها باید دقیقاً `rows_out` بدهد: ۲۴۴ − ۴ − ۲ = ۲۳۸. اگر نخواند، یکی از قدم‌ها ردیفی حذف کرده که گزارش نشده — و آن، بی‌سروصداترین اشتباهِ ممکن در پاک‌سازی است.

## ۲. یافتهٔ اول: قیمت با سال بالا می‌رود

</div>

```python
no_apple = df[df["brand"] != "اپل"]
yearly = no_apple.groupby("year")["price"].mean()

print("همبستگی سال و قیمت (کل):", df[["year", "price"]].corr().round(3).iloc[0, 1])
print("همبستگی سال و قیمت (بدون اپل):", no_apple[["year", "price"]].corr().round(3).iloc[0, 1])
print("نسبت آخرین سال به اولین سال:", round(yearly.iloc[-1] / yearly.iloc[0], 2))
```

<div dir="rtl">

</div>

```text
همبستگی سال و قیمت (کل): 0.635
همبستگی سال و قیمت (بدون اپل): 0.895
نسبت آخرین سال به اولین سال: 2.35
```

<div dir="rtl">

**یافته:** بینِ سالِ ساخت و قیمتِ آگهی رابطهٔ قویِ صعودی هست. برای لپ‌تاپ‌های غیراپل، میانگینِ قیمت از قدیمی‌ترین تا تازه‌ترین سال **۲٫۳۵ برابر** می‌شود و همبستگی ۰٫۸۹۵ است.

**چه چیزی را ثابت نمی‌کند:** اینکه لپ‌تاپ‌ها «گران‌تر شده‌اند». این داده عکسِ لحظه‌ایِ آگهی‌هاست، نه یک سریِ زمانیِ قیمت. لپ‌تاپِ تازه‌تر گران‌تر است — که کاملاً بدیهی است — ولی دربارهٔ تورم یا تغییرِ بازار هیچ نمی‌گوید.

## ۳. یافتهٔ دوم: اپل یک بازارِ جداست

</div>

```python
groups = df.groupby(df["brand"] == "اپل")["price"].agg(["count", "mean", "median"]).round(0)
print(groups)

q1, q3 = df["price"].quantile([0.25, 0.75])
high = q3 + 1.5 * (q3 - q1)
outliers = df[df["price"] > high]
print("پرت‌ها:", len(outliers), "| همه اپل؟", (outliers["brand"] == "اپل").all())
```

<div dir="rtl">

</div>

```text
       count        mean      median
brand
False    210  23850000.0  23300000.0
True      28  46025000.0  45050000.0
پرت‌ها: 9 | همه اپل؟ True
```

<div dir="rtl">

آن `.all()` در خطِ آخر تازه است و ساده: همان ماسکِ `True`/`False` فصلِ ۲ را می‌گیرد و می‌پرسد «آیا **همه‌شان** درست‌اند؟». خواهرش `.any()` می‌پرسد «آیا **دستِ‌کم یکی** درست است؟». این دو، یک ماسکِ بلند را به یک جوابِ بله-خیر تبدیل می‌کنند — و در ترمِ ۵ که برای داده دروازهٔ اعتبارسنجی بسازیم، ستونِ فقراتِ آن دروازه‌اند.

**یافته:** اپل میانگینِ قیمتی حدودِ **۱٫۹ برابرِ** بقیه دارد، و هر نُه مقدارِ پرتِ آماری مالِ همین برند است. این یک زیرگروهِ واقعی است، نه خطای داده.

**چه چیزی را ثابت نمی‌کند:** اینکه اپل «گران‌فروشی» می‌کند. ما مشخصاتِ کامل نداریم — فقط سال و حافظه. تفاوتِ قیمت می‌تواند کاملاً از تفاوتِ سخت‌افزار بیاید.

**پیامدِ عملی:** هر تحلیلی که اپل را با بقیه یکجا ببیند، هر دو گروه را بد توصیف می‌کند. یا جدا تحلیلشان کن، یا برند را صریح وارد مدل کن.

## ۴. یافتهٔ سوم: شهر تقریباً بی‌اثر است

</div>

```python
by_city = df.groupby("city")["price"].agg(["count", "mean"]).round(0)
print(by_city.sort_values("count", ascending=False))

city_means = df.groupby("city")["price"].mean()
print("نسبت گران‌ترین به ارزان‌ترین شهر:", round(city_means.max() / city_means.min(), 3))
print("پراکندگی نسبی میان شهرها:", round(city_means.std() / city_means.mean(), 3))
```

<div dir="rtl">

</div>

```text
        count        mean
city
تهران      97  26337113.0
مشهد       45  23764444.0
شیراز      37  27567568.0
اصفهان     36  28025000.0
تبریز      23  28008696.0
نسبت گران‌ترین به ارزان‌ترین شهر: 1.179
پراکندگی نسبی میان شهرها: 0.067
```

<div dir="rtl">

**یافته:** تفاوتِ میانگینِ قیمت بینِ شهرها کوچک است — گران‌ترین شهر فقط **۱۸ درصد** از ارزان‌ترین بالاتر است، و پراکندگیِ نسبیِ میانگین‌ها حدودِ ۷ درصد. در برابرِ تفاوتِ ۹۰ درصدیِ اپل با بقیه، این تقریباً هیچ است.

**یافتهٔ منفی هم یافته است.** «شهر تقریباً بی‌اثر است» یک نتیجهٔ کاملاً معتبر و مفید است: به تو می‌گوید وقتت را روی تحلیلِ منطقه‌ای تلف نکن.

> 📏 **اندازه بگیر:** ولی به `count` نگاه کن: تبریز فقط ۲۳ آگهی دارد. میانگینی که روی ۲۳ نمونه حساب شده، بی‌ثبات است. **پس نتیجهٔ درست این نیست که «شهرها تفاوت ندارند»؛ این است که «با این حجمِ داده، تفاوتی که بشود به آن تکیه کرد دیده نمی‌شود».** این دو جمله شبیه‌اند و یکی نیستند — و تفاوتشان همان چیزی است که یک تحلیل‌گرِ درست را از یک تحلیل‌گرِ پرمدعا جدا می‌کند.

## ۵. یافته‌ای که فقط با نگاه‌کردن پیدا می‌شود

</div>

```python
by_ram = df.groupby("ram_gb")["price"].agg(["count", "mean"]).round(0)
print(by_ram)
```

<div dir="rtl">

</div>

```text
        count        mean
ram_gb
4.0        36  23722222.0
8.0        89  25503371.0
16.0       70  27634286.0
32.0       18  36022222.0
```

<div dir="rtl">

حافظه هم اثر دارد و **یکنواخت** بالا می‌رود — از ۲۳٫۷ میلیون برای ۴ گیگ تا ۳۶ میلیون برای ۳۲ گیگ.

ولی یادت باشد `ram_gb` خانهٔ خالی دارد: در فصلِ ۵ بیست‌وشش تا بود و حالا ۲۵ تا، چون یکی از دو ردیفِ سالِ غیرممکن هم خالی بود و با آن رفت. برای همین `load_and_clean` این شمارش را بعد از حذفِ سال‌ها انجام می‌دهد. این جدول آن ردیف‌ها را **بی‌سروصدا کنار گذاشته** — `groupby` مقدارهای خالی را نادیده می‌گیرد. جمعِ ستونِ `count` می‌شود ۲۱۳، نه ۲۳۸، و ۲۱۳ به‌علاوهٔ ۲۵ دقیقاً ۲۳۸ است.

> ⚠️ **مواظب باش:** این یکی از بی‌سروصداترین رفتارهای `pandas` است. هیچ هشداری نمی‌دهد و هیچ خطایی نمی‌سازد؛ فقط ۱۱ درصدِ داده‌ات در تحلیل نیست. **بعد از هر `groupby`، ستونِ `count` را جمع بزن و با `len(df)` مقایسه کن.** اگر نخواند، بدان چرا.

## ۶. گزارشِ نهایی

هر تحلیل باید در چند خط قابلِ خواندن باشد. الگوی ثابت:

</div>

```python
lines = [
    f"داده: {report['rows_in']} ردیف خام، {report['rows_out']} ردیف پس از پاک‌سازی.",
    f"حذف‌شده: {report['duplicates_removed']} تکراری، {report['impossible_years_removed']} سال غیرممکن.",
    f"ناقص: {report['ram_missing']} ردیف بدون مقدارِ حافظه (در تحلیلِ حافظه کنار گذاشته شدند).",
    "یافته ۱ — سالِ ساخت قوی‌ترین عاملِ قیمت است (همبستگی ۰٫۸۹۵ بدون اپل).",
    "یافته ۲ — اپل یک زیرگروهِ جداست: میانگینِ حدود ۱٫۹ برابر و همهٔ ۹ مقدارِ پرت.",
    "یافته ۳ — شهر اثرِ قابلِ‌اتکایی ندارد (اختلافِ ۱۸ درصد، با نمونهٔ کوچک).",
    "محدودیت: داده ساختگی است و فقط سال، حافظه، برند و شهر را دارد؛ هیچ مشخصهٔ",
    "دیگری (پردازنده، وضعیت ظاهری) در آن نیست، پس هر تفاوتِ قیمت می‌تواند از",
    "همان‌ها بیاید. نتیجه‌ها دربارهٔ همین دیتاست‌اند، نه دربارهٔ بازار.",
]
for line in lines:
    print(line)
```

<div dir="rtl">

</div>

```text
داده: 244 ردیف خام، 238 ردیف پس از پاک‌سازی.
حذف‌شده: 4 تکراری، 2 سال غیرممکن.
ناقص: 25 ردیف بدون مقدارِ حافظه (در تحلیلِ حافظه کنار گذاشته شدند).
یافته ۱ — سالِ ساخت قوی‌ترین عاملِ قیمت است (همبستگی ۰٫۸۹۵ بدون اپل).
یافته ۲ — اپل یک زیرگروهِ جداست: میانگینِ حدود ۱٫۹ برابر و همهٔ ۹ مقدارِ پرت.
یافته ۳ — شهر اثرِ قابلِ‌اتکایی ندارد (اختلافِ ۱۸ درصد، با نمونهٔ کوچک).
محدودیت: داده ساختگی است و فقط سال، حافظه، برند و شهر را دارد؛ هیچ مشخصهٔ
دیگری (پردازنده، وضعیت ظاهری) در آن نیست، پس هر تفاوتِ قیمت می‌تواند از
همان‌ها بیاید. نتیجه‌ها دربارهٔ همین دیتاست‌اند، نه دربارهٔ بازار.
```

<div dir="rtl">

سه بخش دارد و هر سه اجباری‌اند: **داده** (چه بود، چه شد)، **یافته‌ها** (هر کدام با عددش)، و **محدودیت** (چه چیزی را نمی‌شود از این نتیجه گرفت).

بخشِ سوم همان چیزی است که همه جا می‌اندازند و همان چیزی است که گزارش را قابلِ‌اعتماد می‌کند. گزارشی که محدودیت ندارد، یا کارِ کمی روی داده شده یا نویسنده‌اش آن‌ها را نمی‌بیند — و خواننده نمی‌داند کدام.

> 🔧 **اگر کار نکرد:** اگر عددهای گزارشت با اینجا فرق کردند، اول `report` را چاپ کن. اگر `rows_out` تو ۲۳۸ نیست، یکی از قدم‌های پاک‌سازی جا افتاده. ترتیبِ حذفِ تکراری و تبدیلِ قیمت در این داده عدد را عوض نمی‌کند، چون ردیف‌های تکراری عیناً کپی‌اند. ولی ترتیبِ شمارش مهم است: اگر `ram_missing` را قبل از حذفِ سال‌ها بشماری، ۲۶ می‌گیری، نه ۲۵.

> 🤖 **از دستیارت بپرس:** گزارشِ نهایی‌ات را برایش بگذار و بپرس: «یک خوانندهٔ بدبین به این گزارش چه ایرادهایی می‌گیرد؟ فقط فهرست کن.» هر ایرادی را که گرفت خودت روی داده بسنج. بعضی‌شان درست‌اند و باید به بخشِ «محدودیت» اضافه شوند؛ بعضی‌شان را داده رد می‌کند و همان رد کردن، گزارشت را محکم‌تر می‌کند.

## تمرین‌ها

قبل از تمرین، بدونِ نگاه به بالا جواب بده: چرا بعد از هر `groupby` باید مجموعِ ستونِ `count` را با `len(df)` مقایسه کنی؟

**تمرینِ اجباری:** تابعِ `load_and_clean` را کامل کن: یک کلیدِ تازه به `report` اضافه کن که بگوید **چند درصدِ** ردیف‌های اولیه به تحلیل رسیدند، و یک کلید که میانگینِ قیمتِ قبل و بعد از پاک‌سازی را مقایسه کند. آیا پاک‌سازی میانگین را جابه‌جا کرد؟ اگر بله، چقدر و چرا؟

**تمرینِ ستاره‌دار ⭐:** یک یافتهٔ **چهارم** پیدا کن که در این فصل نیامده، و کاملاً مستندش کن: عدد، شواهد، و اینکه چه چیزی را ثابت نمی‌کند. راهنماییِ یک مسیرِ امیدوارکننده: اثرِ حافظه را **درونِ هر برند** جداگانه حساب کن. آیا در همهٔ برندها یکسان است؟ اگر برای یکی خیلی متفاوت بود، همان یافتهٔ توست — و ضمناً همان چیزی است که در ترمِ ۳ به‌عنوان «برهم‌کنشِ دو متغیر» دوباره می‌بینی.

## در فصل بعد

ترمِ ۲ تمام شد. حالا می‌توانی یک دیتاستِ واقعی را از فایلِ خام تا یک گزارشِ قابلِ‌دفاع ببری — و این خودش یک مهارتِ کاملِ شغلی است.

ولی تا اینجا همیشه دربارهٔ **گذشته** حرف زده‌ای: این داده چه می‌گوید. ترمِ ۳ سؤالِ تازه‌ای می‌پرسد: **آیا می‌توانی چیزی را که ندیده‌ای پیش‌بینی کنی؟** یک لپ‌تاپِ تازه با این مشخصات، چند قیمت می‌خورد؟ آنجا اولین مدلت را می‌سازی — و بلافاصله یاد می‌گیری چرا عددی که مدل به تو می‌دهد، تا وقتی درست اندازه‌گیری نشده، هیچ ارزشی ندارد.

</div>

---
Source: https://yaadestan.com/courses/sarnakh/lessons/t2/s10-project-dataset (یادستان, Yaadestan)
