ژرفا — خودآموز یادگیری عمیق و مهندسی هوش مصنوعی (متوسط)

فصل ۷ از ۹

پیشرفت ترم
۰٪

در این فصل چه یاد می‌گیری#

همهٔ قطعه‌ها را داری. حالا کنارِ هم می‌گذاری‌شان و یک مدلِ زبانیِ واقعی آموزش می‌دهی — خیلی کوچک، ولی از همان جنسی که مدل‌های بزرگ ساخته شده‌اند: پیش‌بینیِ توکنِ بعدی، با causal mask، و تولیدِ متن با نمونه‌گیری.

و صریح بگویم: این نسخهٔ اسباب‌بازیِ چیزی است که با میلیون‌ها دلار GPU انجام می‌شود. ارزشش در دقتِ خروجی نیست — در این است که بعد از این فصل، هیچ بخشی از یک مدلِ زبانی برایت جعبهٔ سیاه نیست.

یک ماشینِ کوچکِ کاملاً باز که همان مکانیزمِ نسخهٔ صنعتی را دارد

آخر این فصل می‌توانی:

  • آموزشِ خودنظارتی را بسازی: پیش‌بینیِ توکنِ بعدی
  • causal mask را پیاده کنی و بگویی چرا لازم است
  • perplexity را حساب کنی و تفسیر کنی
  • با temperature متن تولید کنی و بدانی کِی اثر دارد

قبل از شروع#

از فصل ۵: بلوکِ transformer و اتصالِ باقی‌مانده.

از ترمِ ۱ فصل ۶: CrossEntropyLoss و logit.

از ریشه ترمِ ۸ فصل ۱۰: cross-entropy و آنتروپی — perplexity مستقیماً از همان می‌آید.

📓 نوت‌بوک: نوت‌بوک این فصل را در Colab باز کن — همهٔ کدهای این فصل آماده و به‌ترتیب داخلش هست.

💡 نکته: زمانِ تخمینی روی CPU: حدودِ یک تا دو دقیقه.

۱. آموزشِ خودنظارتی: برچسب از خودِ متن#

مدل‌های زبانی هیچ برچسبِ انسانی‌ای لازم ندارند. برچسبشان خودِ متن است: برای هر توکن، توکنِ بعدی جوابِ درست است.

import math

import torch
import torch.nn as nn
from torch.utils.data import TensorDataset, DataLoader

tokens = CORPUS.replace("\n", " <eol> ").split()
vocab = sorted(set(tokens))
STOI = {w: i for i, w in enumerate(vocab)}
ITOS = {i: w for w, i in STOI.items()}
ids = torch.tensor([STOI[t] for t in tokens])

CTX = 8
X = torch.stack([ids[i:i + CTX] for i in range(len(ids) - CTX)])
Y = torch.stack([ids[i + 1:i + CTX + 1] for i in range(len(ids) - CTX)])
n = int(len(X) * 0.9)
Xtr_, Ytr_ = X[:n], Y[:n]
Xva_, Yva_ = X[n:], Y[n:]

print("توکن‌ها:", len(ids), "| واژگان:", len(vocab))
print("نمونه‌های آموزش:", len(Xtr_), "| اعتبارسنجی:", len(Xva_))
توکن‌ها: 8639 | واژگان: 80
نمونه‌های آموزش: 7767 | اعتبارسنجی: 864

به شکلِ Y دقت کن: دقیقاً همان X است، یک قدم جابه‌جا شده.

پس مدل در هر جایگاه یاد می‌گیرد توکنِ بعدی را حدس بزند — و از یک دنبالهٔ هشت‌تایی، هشت نمونهٔ آموزشی درمی‌آید، نه یکی. همین بهره‌وری است که آموزش روی حجمِ عظیمِ متن را ممکن می‌کند.

و <eol> را عمداً به‌عنوان یک توکن اضافه کردیم تا مدل بفهمد جمله کجا تمام می‌شود؛ وگرنه جمله‌ها به هم می‌چسبند.

۲. مدل، با causal mask#

class TinyLM(nn.Module):
    def __init__(self, dim=64, heads=4, depth=2):
        super().__init__()
        self.emb = nn.Embedding(len(vocab), dim)
        self.pos = nn.Embedding(CTX, dim)
        self.blocks = nn.ModuleList([
            nn.ModuleDict({
                "n1": nn.LayerNorm(dim),
                "n2": nn.LayerNorm(dim),
                "attn": nn.MultiheadAttention(dim, heads, batch_first=True),
                "ff": nn.Sequential(nn.Linear(dim, 4 * dim), nn.GELU(), nn.Linear(4 * dim, dim)),
            })
            for _ in range(depth)
        ])
        self.norm = nn.LayerNorm(dim)
        self.head = nn.Linear(dim, len(vocab))

    def forward(self, x):
        T = x.shape[1]
        h = self.emb(x) + self.pos(torch.arange(T))
        mask = torch.triu(torch.ones(T, T, dtype=torch.bool), diagonal=1)
        for block in self.blocks:
            q = block["n1"](h)
            attended, _ = block["attn"](q, q, q, attn_mask=mask, need_weights=False)
            h = h + attended
            h = h + block["ff"](block["n2"](h))
        return self.head(self.norm(h))


torch.manual_seed(0)
model = TinyLM()
print("پارامترها:", sum(p.numel() for p in model.parameters()))
print("loss یک مدلِ کاملاً تصادفی:", round(math.log(len(vocab)), 4))
پارامترها: 110928
loss یک مدلِ کاملاً تصادفی: 4.382

اول یک تغییرِ عمدی نسبت به فصلِ ۵: اینجا به‌جای MultiHeadی که خودت نوشتی، از nn.MultiheadAttention آمادهٔ PyTorch استفاده کردیم. دلیلش این نیست که نسخهٔ تو بد بود — دقیقاً همان کار را می‌کند — بلکه این است که نسخهٔ آماده آرگومانِ attn_mask را از قبل دارد و ما در این فصل به همان نیاز داریم. قاعده‌ای که از این به بعد در دوره دنبال می‌کنیم: تا وقتی چیزی را خودت نساخته‌ای، نسخهٔ آماده‌اش جعبهٔ سیاه است؛ بعد از اینکه ساختی، فقط کدِ کمتر است.

آن batch_first=True هم فقط می‌گوید ورودی شکلِ (batch, seq, dim) دارد — همان قراردادی که در کلِ دوره به‌کار برده‌ایم؛ پیش‌فرضِ خودِ PyTorch برعکس است و جا انداختنش یک خطای شکلِ کلاسیک می‌سازد.

و آن mask قلبِ ماجراست. torch.triu(..., diagonal=1) یک ماتریسِ بالامثلثی می‌سازد: هر جایگاه فقط به خودش و جایگاه‌های قبلی نگاه می‌کند، نه به آینده.

بدونش، آموزش کاملاً بی‌معنا می‌شود — چون مدل برای پیش‌بینیِ توکنِ بعدی، خودِ آن توکن را می‌بیند. و این بدترین نوعِ نشتی است: loss به حدودِ یک‌هشتمِ مقدارِ درست می‌افتد، همه‌چیز عالی به‌نظر می‌رسد، و مدل موقعِ تولید از یک پرامپتِ کوتاه کاملاً بی‌فایده است.

و آن log(len(vocab)) = 4.382 خطِ پایهٔ ماست: مدلی که هیچ‌چیز نمی‌داند و بینِ ۸۰ توکن یکنواخت حدس می‌زند، دقیقاً همین loss را می‌گیرد.

🌱 ریشه‌اش کجاست: اینکه چرا loss یک مدلِ کاملاً بی‌اطلاع برابرِ است، مستقیماً از تعریفِ آنتروپی می‌آید — ریشه، ترم ۸ فصل ۱۰. آنتروپیِ یک توزیعِ یکنواخت روی حالت، است.

۳. آموزش#

loss_fn = nn.CrossEntropyLoss()
opt = torch.optim.Adam(model.parameters(), lr=0.003)
loader = DataLoader(TensorDataset(Xtr_, Ytr_), batch_size=64, shuffle=True)


@torch.no_grad()
def val_loss():
    model.eval()
    return float(loss_fn(model(Xva_).reshape(-1, len(vocab)), Yva_.reshape(-1)))


for epoch in range(1, 9):
    model.train()
    for xb, yb in loader:
        opt.zero_grad()
        loss_fn(model(xb).reshape(-1, len(vocab)), yb.reshape(-1)).backward()
        opt.step()
    if epoch in (1, 2, 4, 8):
        v = val_loss()
        print(f"epoch {epoch}: loss اعتبارسنجی={v:.4f} | perplexity={math.exp(v):.2f}")
epoch 1: loss اعتبارسنجی=1.0886 | perplexity=2.97
epoch 2: loss اعتبارسنجی=1.0831 | perplexity=2.95
epoch 4: loss اعتبارسنجی=1.1016 | perplexity=3.01
epoch 8: loss اعتبارسنجی=1.1614 | perplexity=3.19

دو چیز در این چهار سطر:

اول، perplexity از ۸۰ به ۲٫۹۵ رسید. perplexity همان است و تفسیرِ زیبایی دارد: «مدل به‌طور متوسط بینِ چند گزینه مردد است؟» مدلِ تصادفی بینِ ۸۰ توکن مردد بود؛ مدلِ ما بینِ حدودِ ۳ تا. ولی این عدد یک میانگینِ هندسی است، نه حالِ هر جایگاه. اگر جدا بشماری، روی مدلِ آخر، کلمه‌های ثابتِ قالب perplexity حدودِ ۱٫۴ دارند و صفت‌ها ۱۴ و اسم‌ها ۶۴. مدل بیشترِ جایگاه‌ها را تقریباً مطمئن است و در جایگاهِ اسم و صفت واقعاً نمی‌داند؛ میانگینِ این‌ها ۳ شده.

دوم، و مهم‌تر: از epoch دوم به بعد بدتر شد. ۱٫۰۸۳ به ۱٫۱۶۱. این همان overfitting ترمِ ۲ است، این بار در یک مدلِ زبانی — و درمانش هم همان: توقفِ زودهنگام.

📏 اندازه بگیر: perplexity معیارِ استانداردِ مدل‌های زبانی است و مزیتش تفسیرپذیری‌اش است. ولی یک تلهٔ مهم دارد: perplexity دو مدل فقط وقتی قابلِ مقایسه است که واژگانِ یکسانی داشته باشند. مدلی با واژگانِ ۱۰۰تایی طبیعتاً perplexity کمتری از مدلی با واژگانِ ۵۰ هزارتایی می‌گیرد، بی‌آنکه بهتر باشد. مقایسهٔ perplexity بینِ مقاله‌های مختلف، بدونِ چک کردنِ توکنایزرشان، بی‌معناست.

۴. تولیدِ متن#

@torch.no_grad()
def generate(prompt, count=8, temperature=1.0, seed=0):
    torch.manual_seed(seed)
    model.eval()
    current = [STOI[w] for w in prompt.split()]
    for _ in range(count):
        x = torch.tensor(current[-CTX:]).unsqueeze(0)
        logits = model(x)[0, -1] / temperature
        current.append(int(torch.multinomial(torch.softmax(logits, -1), 1)))
    return " ".join(ITOS[i] for i in current)


for t in (0.2, 0.8, 1.5):
    print(f"temperature={t}: {generate('بهترین', 8, t)}")
temperature=0.2: بهترین هتل همیشه امن نیست <eol> هر هتل شلوغ
temperature=0.8: بهترین کد همیشه امن نیست <eol> زعفران خوشمزه برای
temperature=1.5: بهترین کد همیشه امن نیست <eol> زعفران خوشمزه برای

مدل دارد فارسیِ دستوری تولید می‌کند. «بهترین ... همیشه ... نیست» دقیقاً یکی از قالب‌های پیکره است، و مدل بدونِ اینکه کسی قالبی به آن داده باشد، از آمارِ متن بازسازی‌اش کرده.

و temperature: خروجیِ خام را قبل از softmax تقسیم می‌کند. کوچک‌ترش یعنی توزیعِ تیزتر (محافظه‌کارتر)، بزرگ‌ترش یعنی صاف‌تر (خلاقانه‌تر و بی‌ثبات‌تر).

ولی ۰٫۸ و ۱٫۵ اینجا خروجیِ یکسان دادند — و این خودش یک درس است:

✅ چک کن: temperature فقط جایی اثر دارد که مدل مردد باشد — و سه سطرِ بالا دقیقاً همین را نشان می‌دهند. از هشت توکنِ تولیدشده، بینِ ۰٫۲ و ۱٫۵ چهار توکن عوض شد: «هتل» به‌جای «کد» و هر سه توکنِ بعد از <eol>. «همیشه» و «نیست» عوض نشدند، چون قالب تعیینشان می‌کند. و یکسان شدنِ ۰٫۸ و ۱٫۵ اتفاقِ همین seed است: با seedهای دیگر بیشترِ وقت‌ها فرق می‌کنند. یعنی مدل در جایگاه‌های قالب مطمئن است و در جایگاهِ اسم و آغازِ جمله مردد. پیکرهٔ ما آن‌قدر قاعده‌مند است که این طبیعی باشد؛ روی متنِ واقعی و متنوع، همین temperature تفاوتِ چشمگیری می‌سازد. اگر در پروژه‌ای دیدی temperature هیچ اثری ندارد، اول این را چک کن: مدلت مردد است یا مطمئن؟

و آن <eol> در خروجی نشان می‌دهد مدل یاد گرفته جمله کجا تمام می‌شود — چیزی که هیچ‌کس به آن نگفت.

۵. فاصله تا یک مدلِ واقعی#

مدلِ این فصل یک مدلِ زبانیِ واقعی
پارامتر ۱۱۰ هزار میلیاردها
پیکره ۸٬۶۳۹ توکنِ ساختگی تریلیون‌ها توکنِ واقعی
پنجرهٔ زمینه ۸ توکن ده‌ها تا صدها هزار
هزینهٔ آموزش یک دقیقه روی CPU میلیون‌ها دلار
مکانیزم دقیقاً همین دقیقاً همین

ردیفِ آخر پیامِ کلِ ترم است. پیش‌بینیِ توکنِ بعدی، causal mask، بلوکِ transformer، نمونه‌گیری با temperature — هیچ‌کدامشان در مقیاسِ بزرگ عوض نمی‌شوند. آنچه عوض می‌شود، اندازه و داده است.

و همین توضیح می‌دهد که چرا نباید آموزشِ یک مدلِ بزرگ را از صفر هدف بگذاری. ترمِ ۵ و ۶ کارِ درست را نشان می‌دهند: گرفتنِ مدلی که دیگری آموزش داده، و ساختنِ چیزی مفید رویش.

🔧 اگر کار نکرد: loss خیلی سریع به نزدیکِ صفر می‌رسد — causal mask را جا انداخته‌ای و مدل جواب را می‌بیند. attn_mask خطای شکل می‌دهد — باید (T, T) باشد و dtype=torch.bool. متنِ تولیدشده تکراری است — temperature را بالا ببر یا مدل را بیشتر آموزش بده. KeyError در generate — کلمهٔ prompt در واژگان نیست؛ فقط از کلمه‌های پیکره استفاده کن.

🤖 از دستیارت بپرس: «top-k و top-p (nucleus) sampling چه هستند و چه مشکلی از نمونه‌گیریِ ساده را حل می‌کنند؟» بعد top-k را در generate پیاده کن (راهنمایی: torch.topk و صفر کردنِ بقیه). و این سؤال را جواب بده: با temperature خیلی بالا، نمونه‌گیریِ ساده چه اشتباهی می‌کند که top-p نمی‌کند؟

واژه‌های تازهٔ این فصل#

کلمه تلفظ به حروف فارسی یعنی چه
self-supervised سلف-سوپروایزد برچسب از خودِ داده، بدونِ انسان
causal mask کازال ماسک ممنوعیتِ نگاه به آینده
perplexity پرپلکسیتی — «بینِ چند گزینه مردد است»
temperature تمپرچر تیزی یا صافیِ توزیعِ نمونه‌گیری
context window کانتکست ویندو چند توکنِ گذشته را می‌بیند

تمرین‌ها

اول خودت فکر کن یا امتحان کن — بعد اینجا را باز کن.

در فصل بعد#

مدلِ خودت را ساختی و فهمیدی چطور کار می‌کند. حالا کارِ واقعی: گرفتنِ یک مدلِ آمادهٔ چندزبانه که فارسی هم جزوِ زبان‌هایش است، و به‌کار بردنش روی مسئلهٔ خودت — همان transfer learning که در ترمِ ۳ برای تصویر دیدی، این بار برای متن.

به آخر این فصل رسیدی!

اگر ساختی و جواب داد، این دکمه مال توست.