# فصل ۰۸ — پروژه: طبقه‌بندِ تصویر روی دادهٔ خودت

<div dir="rtl">

# فصل ۰۸ — پروژه: طبقه‌بندِ تصویر روی دادهٔ خودت

## در این فصل چه یاد می‌گیری

هیچ مفهومِ تازه‌ای نیست. **هفت فصلِ این ترم را در یک مسیرِ پیوسته می‌چینی**: ممیزیِ داده، انتقالِ یادگیری، ارزیابیِ هر کلاس، نقشهٔ توجه، و یک گزارشِ صادقانه.

و ترتیب عمدی است: **اول داده را می‌سنجی، بعد مدل می‌سازی** — نه برعکس. اگر دادهٔ خرابی داشته باشی، بهترین مدلِ دنیا هم عددِ بی‌معنایی می‌دهد.

![یک خطِ تولید با ایستگاهِ بازرسی در ابتدا، نه در انتها](/lesson-assets/t3-s08-project-classifier/prompt/01-image-inspect-first.png)

آخر این فصل می‌توانی:

- یک پروژهٔ بینایی را از ممیزیِ داده تا گزارش انجام بدهی
- نتیجه را با چند `seed` گزارش کنی، نه با یک عدد
- بدترین کلاس را پیدا کنی و توضیح بدهی
- گزارشی بنویسی که محدودیت‌هایش را پنهان نمی‌کند

## قبل از شروع

**از کلِ ترمِ ۳.** این فصل هیچ چیزِ تازه‌ای معرفی نمی‌کند.

> 📓 **نوت‌بوک:** [نوت‌بوک این فصل را در Colab باز کن](/notebooks/zharfa/term-3-vision/session-08-project-classifier.ipynb) — همهٔ کدهای این فصل آماده و به‌ترتیب داخلش هست.

> 💡 **نکته:** **زمانِ تخمینی روی CPU: حدودِ دو دقیقه.**

## ۱. قدمِ اول: ممیزیِ داده

</div>

```python
import hashlib

import torch
import torch.nn as nn
from torch.utils.data import TensorDataset, DataLoader
from torchvision import models

loss_fn = nn.CrossEntropyLoss()
N, N_VAL = 2000, 1000


def audit(X_train, y_train, X_eval, y_eval):
    def image_hash(t):
        return hashlib.md5(t.numpy().tobytes()).hexdigest()

    seen = {image_hash(x) for x in X_train}
    counts = torch.bincount(y_train, minlength=10)
    return {
        "اندازه آموزش": len(X_train),
        "اندازه ارزیابی": len(X_eval),
        "تکراری": sum(1 for x in X_eval if image_hash(x) in seen),
        "کمترین کلاس در آموزش": int(counts.min()),
        "بیشترین کلاس در آموزش": int(counts.max()),
    }


for key, value in audit(Xtr[:N], ytr[:N], Xva[:N_VAL], yva[:N_VAL]).items():
    print(f"  {key}: {value}")
```

<div dir="rtl">

</div>

```text
  اندازه آموزش: 2000
  اندازه ارزیابی: 1000
  تکراری: 0
  کمترین کلاس در آموزش: 186
  بیشترین کلاس در آموزش: 216
```

<div dir="rtl">

**صفر تکراری و توزیعِ تقریباً متوازن (۱۸۶ تا ۲۱۶).** پس هیچ‌کدام از دام‌های فصلِ ۶ اینجا فعال نیست و می‌شود جلو رفت.

**این پنج خط را در هر پروژهٔ بینایی‌ات اول اجرا کن.** اگر «تکراری» صفر نبود یا نسبتِ کمترین به بیشترین کلاس از یک به پنج بدتر بود، **قبل از هر آموزشی باید تکلیفش را روشن کنی.**

## ۲. قدمِ دوم: ویژگی و مدل

</div>

```python
MEAN = torch.tensor([0.485, 0.456, 0.406]).view(1, 3, 1, 1)
STD = torch.tensor([0.229, 0.224, 0.225]).view(1, 3, 1, 1)


def prepare(images, size=112):
    rgb = images.repeat(1, 3, 1, 1)
    big = torch.nn.functional.interpolate(rgb, size=(size, size), mode="bilinear", align_corners=False)
    return (big - MEAN) / STD


backbone = models.resnet18(weights=models.ResNet18_Weights.IMAGENET1K_V1)
backbone.fc = nn.Identity()
backbone.eval()
for parameter in backbone.parameters():
    parameter.requires_grad_(False)


@torch.no_grad()
def extract(images, batch=64):
    return torch.cat([backbone(prepare(images[i:i + batch])) for i in range(0, len(images), batch)])


@torch.no_grad()
def accuracy(model, X, y):
    model.eval()
    return float((model(X).argmax(1) == y).float().mean())


def fit_head(X, y, epochs=30, lr=0.01, seed=0):
    torch.manual_seed(seed)
    model = nn.Linear(512, 10)
    loader = DataLoader(TensorDataset(X, y), batch_size=64, shuffle=True)
    opt = torch.optim.Adam(model.parameters(), lr=lr)
    for _ in range(epochs):
        model.train()
        for xb, yb in loader:
            opt.zero_grad()
            loss_fn(model(xb), yb).backward()
            opt.step()
    return model


Ftr, Fva, Fte = extract(Xtr[:N]), extract(Xva[:N_VAL]), extract(Xte[:N_VAL])
scores = [accuracy(fit_head(Ftr, ytr[:N], seed=s), Fva, yva[:N_VAL]) for s in (0, 1, 2)]
print("انتقال یادگیری، سه seed:", [round(v, 4) for v in scores], "| میانگین:", round(sum(scores) / 3, 4))
```

<div dir="rtl">

</div>

```text
انتقال یادگیری، سه seed: [0.867, 0.867, 0.873] | میانگین: 0.869
```

<div dir="rtl">

**سه `seed`، بازهٔ ۰٫۸۶۷ تا ۰٫۸۷۳ — یعنی نوسانِ کمتر از یک درصد.** پس این عدد پایدار است و می‌شود رویش حساب کرد.

**و همین‌جا قاعدهٔ ترمِ ۲ فصلِ ۷ را به‌کار بردیم:** هیچ عددی با یک اجرا گزارش نمی‌شود. **اگر بعداً بخواهی این را با پیکربندیِ دیگری مقایسه کنی، باید تفاوت از همین بازهٔ ۰٫۰۰۶ بزرگ‌تر باشد.**

## ۳. قدمِ سوم: کجا خراب است

</div>

```python
model = fit_head(Ftr, ytr[:N])
model.eval()
with torch.no_grad():
    predicted = model(Fva).argmax(1)

per_class = [round(float((predicted[yva[:N_VAL] == c] == c).float().mean()), 2) for c in range(10)]
print("دقت هر کلاس:", per_class)
worst = int(torch.tensor(per_class).argmin())
print("بدترین:", CLASSES[worst], per_class[worst])
```

<div dir="rtl">

</div>

```text
دقت هر کلاس: [0.74, 0.98, 0.68, 0.88, 0.85, 0.89, 0.68, 0.97, 0.95, 0.97]
بدترین: Pullover 0.68
```

<div dir="rtl">

**دقتِ کلی ۰٫۸۶۹ است، ولی سه کلاس زیرِ ۰٫۷۵‌اند** — و همان‌طور که فصلِ ۶ گفت، عددِ کلی این را پنهان می‌کند.

و اگر به نامِ کلاس‌ها نگاه کنی، **الگو کاملاً قابلِ درک است:** بدترین‌ها `Pullover` (۰٫۶۸)، `Shirt` (۰٫۶۸) و `T-shirt/top` (۰٫۷۴) هستند — **هر سه لباسِ بالاتنه با شکلِ تقریباً یکسان در ۲۸×۲۸ خاکستری.** بهترین‌ها `Trouser`، `Sneaker`، `Bag` و `Ankle boot` هستند که شکلشان کاملاً متفاوت است.

**ولی این را هنوز نمی‌شود به گردنِ خودِ تصویر انداخت.** با دادهٔ آموزشِ ده برابر، `Pullover` و `T-shirt/top` هر کدام هجده واحد بهتر می‌شوند و فقط `Shirt` در ۰٫۶۸ می‌ماند. و این نتیجه‌گیری فقط با نگاه کردن به دقتِ هر کلاس ممکن بود، نه با عددِ کلی.

## ۴. قدمِ چهارم: مدل به چه نگاه می‌کند

</div>

```python
class ClassifierWithBackbone(nn.Module):
    def __init__(self, backbone, head):
        super().__init__()
        self.backbone, self.head = backbone, head

    def forward(self, x):
        return self.head(self.backbone(x))


full_model = ClassifierWithBackbone(backbone, model)
x = prepare(Xva[:1]).clone().requires_grad_(True)
logits = full_model(x)
target = int(logits.argmax())
full_model.zero_grad()
logits[0, target].backward()

smap = x.grad.abs()[0].sum(0)
print("کلاس:", CLASSES[target])
print("سهم توجه روی حاشیهٔ بیرونی:", round(float((smap.sum() - smap[14:98, 14:98].sum()) / smap.sum()), 3))
```

<div dir="rtl">

</div>

```text
کلاس: Bag
سهم توجه روی حاشیهٔ بیرونی: 0.359
```

<div dir="rtl">

**حاشیهٔ بیرونی حدودِ ۴۳ درصدِ مساحتِ تصویرِ ۱۱۲×۱۱۲ است، و ۳۶ درصدِ توجه را گرفته.**

**یعنی توجه کمی به سمتِ مرکز متمایل است، ولی نه به‌طورِ چشمگیر.** برای این داده منطقی است: تصویرها وسط‌چین‌اند و بخشی از شیء تا نزدیکِ لبه می‌رسد. **اگر این عدد به ۷۰ درصد می‌رسید، باید نگران می‌شدیم** — نشانهٔ اینکه مدل به پس‌زمینه نگاه می‌کند، نه به شیء.

## ۵. قدمِ پنجم: آن یک بارِ نهایی

</div>

```python
print("دقت روی آزمون (یک بار):", round(accuracy(model, Fte, yte[:N_VAL]), 4))
```

<div dir="rtl">

</div>

```text
دقت روی آزمون (یک بار): 0.854
```

<div dir="rtl">

**۰٫۸۵۴ روی آزمون، در برابرِ ۰٫۸۶۹ روی اعتبارسنجی.**

یک و نیم واحد پایین‌تر — **و این کاملاً طبیعی است.** نوسانِ یک اندازه‌گیری روی هزار نمونه خودش حدودِ یک واحد است، پس این فاصله به‌تنهایی چیزی ثابت نمی‌کند. و تصمیم‌های ما (اندازهٔ داده، اندازهٔ تصویر، تعدادِ `epoch`) همه با نگاه به اعتبارسنجی گرفته شدند، پس **آن مجموعه کمی «سوخته» است و آزمون نیست.**

**اگر تفاوت ده واحد بود، باید نگران می‌شدیم** — نشانهٔ اینکه روی اعتبارسنجی `overfit` کرده‌ایم.

## ۶. گزارشِ صادقانه

</div>

| | |
|---|---|
| **مسئله** | طبقه‌بندیِ ده دستهٔ پوشاک از تصویرِ ۲۸×۲۸ خاکستری |
| **داده** | ۲۰۰۰ آموزش، ۱۰۰۰ اعتبارسنجی، ۱۰۰۰ آزمون؛ صفر تکراری؛ توزیعِ متوازن (۱۸۶ تا ۲۱۶) |
| **روش** | `ResNet18` قفل‌شده به‌عنوان استخراج‌کنندهٔ ویژگی + یک لایهٔ خطی |
| **پارامترِ آموزش‌دیده** | ۵٬۱۳۰ از ۱۱٫۲ میلیون |
| **اعتبارسنجی** | ۰٫۸۶۹ میانگین روی سه `seed`، بازهٔ ۰٫۸۶۷..۰٫۸۷۳ |
| **آزمون (یک بار)** | **۰٫۸۵۴** |
| **بدترین کلاس‌ها** | `Pullover` و `Shirt` هر دو ۰٫۶۸، `T-shirt/top` ۰٫۷۴ |
| **تفسیرِ خطا** | هر سه لباسِ بالاتنه با شکلِ مشابه؛ با دادهٔ ده برابر `Pullover` و `T-shirt/top` بهتر می‌شوند و `Shirt` نه |
| **محدودیت** | تصویرها وسط‌چین‌اند؛ روی تصویرِ جابه‌جاشده دقت از ۰٫۸۶۷ به ۰٫۷۸۸ می‌افتد |
| **به‌کارش نبر برای** | تصویرِ رنگیِ واقعی، پس‌زمینهٔ شلوغ، یا تفکیکِ دقیقِ انواعِ لباسِ بالاتنه |

<div dir="rtl">

**دو سطرِ آخر مهم‌ترین‌اند و در بیشترِ گزارش‌ها نوشته نمی‌شوند.** بدونشان، خواننده فکر می‌کند این مدل «تشخیصِ لباس» را حل کرده.

> ✅ **چک کن:** قبل از باور کردنِ عددِ نهایی، **آزمونِ پوشاندنِ فصلِ ۷ را اجرا کن:** مرکزِ تصویرها را صفر کن و دقت را دوباره بسنج. **اگر دقت زیاد نیفتاد، مدل به شیء نگاه نمی‌کند** و کلِ این جدول بی‌اعتبار است.

> 🔧 **اگر کار نکرد:** **`hash` گرفتن کند است** — روی زیرمجموعه اجرا کن. **دقتِ آزمون خیلی پایین‌تر از اعتبارسنجی است** — یا روی اعتبارسنجی `overfit` کرده‌ای یا دو مجموعه از توزیعِ متفاوتی آمده‌اند. **حافظه پر می‌شود** — `batch` استخراج را کوچک‌تر کن.

> 🤖 **از دستیارت بپرس:** کلِ این گزارش را به دستیارت بده و بپرس: **«یک بازبینِ بدبین به کدام قسمتش گیر می‌دهد؟»** هر ایرادی را که گرفت یا با عدد جواب بده یا در بخشِ محدودیت‌ها بنویس. **و اگر به «مدل روی داده‌ای که وسط‌چین نیست سنجیده نشده» گیر نداد، خودت اضافه‌اش کن** — چون مهم‌ترین محدودیتِ این مدل همان است.

## تمرین‌ها

قبل از تمرین، بدونِ نگاه به بالا جواب بده: چرا ممیزیِ داده **قبل** از آموزش انجام می‌شود و نه بعدش؟

**تمرینِ اجباری:** همین پنج قدم را با `fine-tuning` آخرین بلوک (فصلِ ۵) به‌جای قفلِ کامل تکرار کن. **با سه `seed` بسنج و بازه بده.** حالا جواب بده: آیا تفاوتش با ۰٫۸۶۹ از بازهٔ نوسان بزرگ‌تر است؟ و **اگر آری، آیا ارزشِ چند برابر زمانِ آموزش را دارد؟**

**تمرینِ ستاره‌دار ⭐:** همین پروژه را روی **دادهٔ خودت** انجام بده — دستِ‌کم سه کلاس و پنجاه تصویر برای هر کلاس، که خودت جمع کرده باشی. **بخشِ ممیزی را جدی بگیر:** تصویرهای تکراری، تصویرهایی که از یک منبع آمده‌اند، و کلاس‌های نامتوازن. بعد نقشهٔ توجه را برای ده نمونه ببین. **گزارشِ نهایی‌ات باید بخشِ «به‌کارش نبر برای» را داشته باشد** — و آن بخش، تفاوتِ یک پروژهٔ تمرینی و یک کارِ حرفه‌ای است.

## در فصل بعد

ترمِ ۳ اینجا تمام می‌شود. سه چیز را با خودت ببر:

- **مدلِ آماده تقریباً همیشه نقطهٔ شروعِ درست است** — و ارزشش را با مقایسه با وزن‌های تصادفی اندازه گرفتی: بیست واحد.
- **دقتِ کلی سه کلاسِ ضعیف را پنهان می‌کند.** همیشه دقتِ هر کلاس.
- **دقتِ بالا تضمینِ دلیلِ درست نیست** — مدلی ساختی که ۹۱ درصد دقت داشت و بخشِ بزرگی از جوابش را از سه پیکسل برمی‌داشت.

و حالا ترمِ ۴: **زبان.** از تبدیلِ متن به عدد تا `attention` و بلوکِ `transformer` — و همان‌طور که اینجا `convolution` را از پایه ساختیم، آنجا هم `attention` را با یک مثالِ عددیِ کوچک می‌سازیم که با دست هم می‌شود حسابش کرد.

</div>

---
Source: https://yaadestan.com/courses/zharfa/lessons/t3/s08-project-classifier (یادستان, Yaadestan)
