ژرفا — خودآموز یادگیری عمیق و مهندسی هوش مصنوعی (متوسط)

فصل ۸ از ۸

پیشرفت ترم
۰٪

در این فصل چه یاد می‌گیری#

هیچ مفهومِ تازه‌ای نیست. هفت فصلِ این ترم را در یک مسیرِ پیوسته می‌چینی: ممیزیِ داده، انتقالِ یادگیری، ارزیابیِ هر کلاس، نقشهٔ توجه، و یک گزارشِ صادقانه.

و ترتیب عمدی است: اول داده را می‌سنجی، بعد مدل می‌سازی — نه برعکس. اگر دادهٔ خرابی داشته باشی، بهترین مدلِ دنیا هم عددِ بی‌معنایی می‌دهد.

یک خطِ تولید با ایستگاهِ بازرسی در ابتدا، نه در انتها

آخر این فصل می‌توانی:

  • یک پروژهٔ بینایی را از ممیزیِ داده تا گزارش انجام بدهی
  • نتیجه را با چند seed گزارش کنی، نه با یک عدد
  • بدترین کلاس را پیدا کنی و توضیح بدهی
  • گزارشی بنویسی که محدودیت‌هایش را پنهان نمی‌کند

قبل از شروع#

از کلِ ترمِ ۳. این فصل هیچ چیزِ تازه‌ای معرفی نمی‌کند.

📓 نوت‌بوک: نوت‌بوک این فصل را در Colab باز کن — همهٔ کدهای این فصل آماده و به‌ترتیب داخلش هست.

💡 نکته: زمانِ تخمینی روی CPU: حدودِ دو دقیقه.

۱. قدمِ اول: ممیزیِ داده#

import hashlib

import torch
import torch.nn as nn
from torch.utils.data import TensorDataset, DataLoader
from torchvision import models

loss_fn = nn.CrossEntropyLoss()
N, N_VAL = 2000, 1000


def audit(X_train, y_train, X_eval, y_eval):
    def image_hash(t):
        return hashlib.md5(t.numpy().tobytes()).hexdigest()

    seen = {image_hash(x) for x in X_train}
    counts = torch.bincount(y_train, minlength=10)
    return {
        "اندازه آموزش": len(X_train),
        "اندازه ارزیابی": len(X_eval),
        "تکراری": sum(1 for x in X_eval if image_hash(x) in seen),
        "کمترین کلاس در آموزش": int(counts.min()),
        "بیشترین کلاس در آموزش": int(counts.max()),
    }


for key, value in audit(Xtr[:N], ytr[:N], Xva[:N_VAL], yva[:N_VAL]).items():
    print(f"  {key}: {value}")
  اندازه آموزش: 2000
  اندازه ارزیابی: 1000
  تکراری: 0
  کمترین کلاس در آموزش: 186
  بیشترین کلاس در آموزش: 216

صفر تکراری و توزیعِ تقریباً متوازن (۱۸۶ تا ۲۱۶). پس هیچ‌کدام از دام‌های فصلِ ۶ اینجا فعال نیست و می‌شود جلو رفت.

این پنج خط را در هر پروژهٔ بینایی‌ات اول اجرا کن. اگر «تکراری» صفر نبود یا نسبتِ کمترین به بیشترین کلاس از یک به پنج بدتر بود، قبل از هر آموزشی باید تکلیفش را روشن کنی.

۲. قدمِ دوم: ویژگی و مدل#

MEAN = torch.tensor([0.485, 0.456, 0.406]).view(1, 3, 1, 1)
STD = torch.tensor([0.229, 0.224, 0.225]).view(1, 3, 1, 1)


def prepare(images, size=112):
    rgb = images.repeat(1, 3, 1, 1)
    big = torch.nn.functional.interpolate(rgb, size=(size, size), mode="bilinear", align_corners=False)
    return (big - MEAN) / STD


backbone = models.resnet18(weights=models.ResNet18_Weights.IMAGENET1K_V1)
backbone.fc = nn.Identity()
backbone.eval()
for parameter in backbone.parameters():
    parameter.requires_grad_(False)


@torch.no_grad()
def extract(images, batch=64):
    return torch.cat([backbone(prepare(images[i:i + batch])) for i in range(0, len(images), batch)])


@torch.no_grad()
def accuracy(model, X, y):
    model.eval()
    return float((model(X).argmax(1) == y).float().mean())


def fit_head(X, y, epochs=30, lr=0.01, seed=0):
    torch.manual_seed(seed)
    model = nn.Linear(512, 10)
    loader = DataLoader(TensorDataset(X, y), batch_size=64, shuffle=True)
    opt = torch.optim.Adam(model.parameters(), lr=lr)
    for _ in range(epochs):
        model.train()
        for xb, yb in loader:
            opt.zero_grad()
            loss_fn(model(xb), yb).backward()
            opt.step()
    return model


Ftr, Fva, Fte = extract(Xtr[:N]), extract(Xva[:N_VAL]), extract(Xte[:N_VAL])
scores = [accuracy(fit_head(Ftr, ytr[:N], seed=s), Fva, yva[:N_VAL]) for s in (0, 1, 2)]
print("انتقال یادگیری، سه seed:", [round(v, 4) for v in scores], "| میانگین:", round(sum(scores) / 3, 4))
انتقال یادگیری، سه seed: [0.867, 0.867, 0.873] | میانگین: 0.869

سه seed، بازهٔ ۰٫۸۶۷ تا ۰٫۸۷۳ — یعنی نوسانِ کمتر از یک درصد. پس این عدد پایدار است و می‌شود رویش حساب کرد.

و همین‌جا قاعدهٔ ترمِ ۲ فصلِ ۷ را به‌کار بردیم: هیچ عددی با یک اجرا گزارش نمی‌شود. اگر بعداً بخواهی این را با پیکربندیِ دیگری مقایسه کنی، باید تفاوت از همین بازهٔ ۰٫۰۰۶ بزرگ‌تر باشد.

۳. قدمِ سوم: کجا خراب است#

model = fit_head(Ftr, ytr[:N])
model.eval()
with torch.no_grad():
    predicted = model(Fva).argmax(1)

per_class = [round(float((predicted[yva[:N_VAL] == c] == c).float().mean()), 2) for c in range(10)]
print("دقت هر کلاس:", per_class)
worst = int(torch.tensor(per_class).argmin())
print("بدترین:", CLASSES[worst], per_class[worst])
دقت هر کلاس: [0.74, 0.98, 0.68, 0.88, 0.85, 0.89, 0.68, 0.97, 0.95, 0.97]
بدترین: Pullover 0.68

دقتِ کلی ۰٫۸۶۹ است، ولی سه کلاس زیرِ ۰٫۷۵‌اند — و همان‌طور که فصلِ ۶ گفت، عددِ کلی این را پنهان می‌کند.

و اگر به نامِ کلاس‌ها نگاه کنی، الگو کاملاً قابلِ درک است: بدترین‌ها Pullover (۰٫۶۸)، Shirt (۰٫۶۸) و T-shirt/top (۰٫۷۴) هستند — هر سه لباسِ بالاتنه با شکلِ تقریباً یکسان در ⁦۲۸×۲۸⁩ خاکستری. بهترین‌ها Trouser، Sneaker، Bag و Ankle boot هستند که شکلشان کاملاً متفاوت است.

ولی این را هنوز نمی‌شود به گردنِ خودِ تصویر انداخت. با دادهٔ آموزشِ ده برابر، Pullover و T-shirt/top هر کدام هجده واحد بهتر می‌شوند و فقط Shirt در ۰٫۶۸ می‌ماند. و این نتیجه‌گیری فقط با نگاه کردن به دقتِ هر کلاس ممکن بود، نه با عددِ کلی.

۴. قدمِ چهارم: مدل به چه نگاه می‌کند#

class ClassifierWithBackbone(nn.Module):
    def __init__(self, backbone, head):
        super().__init__()
        self.backbone, self.head = backbone, head

    def forward(self, x):
        return self.head(self.backbone(x))


full_model = ClassifierWithBackbone(backbone, model)
x = prepare(Xva[:1]).clone().requires_grad_(True)
logits = full_model(x)
target = int(logits.argmax())
full_model.zero_grad()
logits[0, target].backward()

smap = x.grad.abs()[0].sum(0)
print("کلاس:", CLASSES[target])
print("سهم توجه روی حاشیهٔ بیرونی:", round(float((smap.sum() - smap[14:98, 14:98].sum()) / smap.sum()), 3))
کلاس: Bag
سهم توجه روی حاشیهٔ بیرونی: 0.359

حاشیهٔ بیرونی حدودِ ۴۳ درصدِ مساحتِ تصویرِ ⁦۱۱۲×۱۱۲⁩ است، و ۳۶ درصدِ توجه را گرفته.

یعنی توجه کمی به سمتِ مرکز متمایل است، ولی نه به‌طورِ چشمگیر. برای این داده منطقی است: تصویرها وسط‌چین‌اند و بخشی از شیء تا نزدیکِ لبه می‌رسد. اگر این عدد به ۷۰ درصد می‌رسید، باید نگران می‌شدیم — نشانهٔ اینکه مدل به پس‌زمینه نگاه می‌کند، نه به شیء.

۵. قدمِ پنجم: آن یک بارِ نهایی#

print("دقت روی آزمون (یک بار):", round(accuracy(model, Fte, yte[:N_VAL]), 4))
دقت روی آزمون (یک بار): 0.854

۰٫۸۵۴ روی آزمون، در برابرِ ۰٫۸۶۹ روی اعتبارسنجی.

یک و نیم واحد پایین‌تر — و این کاملاً طبیعی است. نوسانِ یک اندازه‌گیری روی هزار نمونه خودش حدودِ یک واحد است، پس این فاصله به‌تنهایی چیزی ثابت نمی‌کند. و تصمیم‌های ما (اندازهٔ داده، اندازهٔ تصویر، تعدادِ epoch) همه با نگاه به اعتبارسنجی گرفته شدند، پس آن مجموعه کمی «سوخته» است و آزمون نیست.

اگر تفاوت ده واحد بود، باید نگران می‌شدیم — نشانهٔ اینکه روی اعتبارسنجی overfit کرده‌ایم.

۶. گزارشِ صادقانه#

مسئله طبقه‌بندیِ ده دستهٔ پوشاک از تصویرِ ⁦۲۸×۲۸⁩ خاکستری
داده ۲۰۰۰ آموزش، ۱۰۰۰ اعتبارسنجی، ۱۰۰۰ آزمون؛ صفر تکراری؛ توزیعِ متوازن (۱۸۶ تا ۲۱۶)
روش ResNet18 قفل‌شده به‌عنوان استخراج‌کنندهٔ ویژگی + یک لایهٔ خطی
پارامترِ آموزش‌دیده ۵٬۱۳۰ از ۱۱٫۲ میلیون
اعتبارسنجی ۰٫۸۶۹ میانگین روی سه seed، بازهٔ ۰٫۸۶۷..۰٫۸۷۳
آزمون (یک بار) ۰٫۸۵۴
بدترین کلاس‌ها Pullover و Shirt هر دو ۰٫۶۸، T-shirt/top ۰٫۷۴
تفسیرِ خطا هر سه لباسِ بالاتنه با شکلِ مشابه؛ با دادهٔ ده برابر Pullover و T-shirt/top بهتر می‌شوند و Shirt نه
محدودیت تصویرها وسط‌چین‌اند؛ روی تصویرِ جابه‌جاشده دقت از ۰٫۸۶۷ به ۰٫۷۸۸ می‌افتد
به‌کارش نبر برای تصویرِ رنگیِ واقعی، پس‌زمینهٔ شلوغ، یا تفکیکِ دقیقِ انواعِ لباسِ بالاتنه

دو سطرِ آخر مهم‌ترین‌اند و در بیشترِ گزارش‌ها نوشته نمی‌شوند. بدونشان، خواننده فکر می‌کند این مدل «تشخیصِ لباس» را حل کرده.

✅ چک کن: قبل از باور کردنِ عددِ نهایی، آزمونِ پوشاندنِ فصلِ ۷ را اجرا کن: مرکزِ تصویرها را صفر کن و دقت را دوباره بسنج. اگر دقت زیاد نیفتاد، مدل به شیء نگاه نمی‌کند و کلِ این جدول بی‌اعتبار است.

🔧 اگر کار نکرد: hash گرفتن کند است — روی زیرمجموعه اجرا کن. دقتِ آزمون خیلی پایین‌تر از اعتبارسنجی است — یا روی اعتبارسنجی overfit کرده‌ای یا دو مجموعه از توزیعِ متفاوتی آمده‌اند. حافظه پر می‌شود — batch استخراج را کوچک‌تر کن.

🤖 از دستیارت بپرس: کلِ این گزارش را به دستیارت بده و بپرس: «یک بازبینِ بدبین به کدام قسمتش گیر می‌دهد؟» هر ایرادی را که گرفت یا با عدد جواب بده یا در بخشِ محدودیت‌ها بنویس. و اگر به «مدل روی داده‌ای که وسط‌چین نیست سنجیده نشده» گیر نداد، خودت اضافه‌اش کن — چون مهم‌ترین محدودیتِ این مدل همان است.

تمرین‌ها

اول خودت فکر کن یا امتحان کن — بعد اینجا را باز کن.

در فصل بعد#

ترمِ ۳ اینجا تمام می‌شود. سه چیز را با خودت ببر:

  • مدلِ آماده تقریباً همیشه نقطهٔ شروعِ درست است — و ارزشش را با مقایسه با وزن‌های تصادفی اندازه گرفتی: بیست واحد.
  • دقتِ کلی سه کلاسِ ضعیف را پنهان می‌کند. همیشه دقتِ هر کلاس.
  • دقتِ بالا تضمینِ دلیلِ درست نیست — مدلی ساختی که ۹۱ درصد دقت داشت و بخشِ بزرگی از جوابش را از سه پیکسل برمی‌داشت.

و حالا ترمِ ۴: زبان. از تبدیلِ متن به عدد تا attention و بلوکِ transformer — و همان‌طور که اینجا convolution را از پایه ساختیم، آنجا هم attention را با یک مثالِ عددیِ کوچک می‌سازیم که با دست هم می‌شود حسابش کرد.

به آخر این فصل رسیدی!

اگر ساختی و جواب داد، این دکمه مال توست.