# فصل ۰۷ — یک مدلِ زبانیِ خیلی کوچک را خودت آموزش بده

<div dir="rtl">

# فصل ۰۷ — یک مدلِ زبانیِ خیلی کوچک را خودت آموزش بده

## در این فصل چه یاد می‌گیری

همهٔ قطعه‌ها را داری. حالا کنارِ هم می‌گذاری‌شان و **یک مدلِ زبانیِ واقعی آموزش می‌دهی** — خیلی کوچک، ولی از همان جنسی که مدل‌های بزرگ ساخته شده‌اند: **پیش‌بینیِ توکنِ بعدی، با `causal mask`، و تولیدِ متن با نمونه‌گیری.**

**و صریح بگویم: این نسخهٔ اسباب‌بازیِ چیزی است که با میلیون‌ها دلار GPU انجام می‌شود.** ارزشش در دقتِ خروجی نیست — در این است که بعد از این فصل، **هیچ بخشی از یک مدلِ زبانی برایت جعبهٔ سیاه نیست.**

![یک ماشینِ کوچکِ کاملاً باز که همان مکانیزمِ نسخهٔ صنعتی را دارد](/lesson-assets/t4-s07-train-tiny-lm/prompt/01-image-tiny-machine.png)

آخر این فصل می‌توانی:

- آموزشِ خودنظارتی را بسازی: پیش‌بینیِ توکنِ بعدی
- `causal mask` را پیاده کنی و بگویی چرا لازم است
- `perplexity` را حساب کنی و تفسیر کنی
- با `temperature` متن تولید کنی و بدانی کِی اثر دارد

## قبل از شروع

**از فصل ۵:** بلوکِ `transformer` و اتصالِ باقی‌مانده.

**از ترمِ ۱ فصل ۶:** `CrossEntropyLoss` و `logit`.

**از ریشه ترمِ ۸ فصل ۱۰:** `cross-entropy` و آنتروپی — `perplexity` مستقیماً از همان می‌آید.

> 📓 **نوت‌بوک:** [نوت‌بوک این فصل را در Colab باز کن](/notebooks/zharfa/term-4-language/session-07-train-tiny-lm.ipynb) — همهٔ کدهای این فصل آماده و به‌ترتیب داخلش هست.

> 💡 **نکته:** **زمانِ تخمینی روی CPU: حدودِ یک تا دو دقیقه.**

## ۱. آموزشِ خودنظارتی: برچسب از خودِ متن

مدل‌های زبانی **هیچ برچسبِ انسانی‌ای لازم ندارند.** برچسبشان خودِ متن است: **برای هر توکن، توکنِ بعدی جوابِ درست است.**

</div>

```python
import math

import torch
import torch.nn as nn
from torch.utils.data import TensorDataset, DataLoader

tokens = CORPUS.replace("\n", " <eol> ").split()
vocab = sorted(set(tokens))
STOI = {w: i for i, w in enumerate(vocab)}
ITOS = {i: w for w, i in STOI.items()}
ids = torch.tensor([STOI[t] for t in tokens])

CTX = 8
X = torch.stack([ids[i:i + CTX] for i in range(len(ids) - CTX)])
Y = torch.stack([ids[i + 1:i + CTX + 1] for i in range(len(ids) - CTX)])
n = int(len(X) * 0.9)
Xtr_, Ytr_ = X[:n], Y[:n]
Xva_, Yva_ = X[n:], Y[n:]

print("توکن‌ها:", len(ids), "| واژگان:", len(vocab))
print("نمونه‌های آموزش:", len(Xtr_), "| اعتبارسنجی:", len(Xva_))
```

<div dir="rtl">

</div>

```text
توکن‌ها: 8639 | واژگان: 80
نمونه‌های آموزش: 7767 | اعتبارسنجی: 864
```

<div dir="rtl">

**به شکلِ `Y` دقت کن: دقیقاً همان `X` است، یک قدم جابه‌جا شده.**

پس مدل در هر جایگاه یاد می‌گیرد توکنِ بعدی را حدس بزند — **و از یک دنبالهٔ هشت‌تایی، هشت نمونهٔ آموزشی درمی‌آید، نه یکی.** همین بهره‌وری است که آموزش روی حجمِ عظیمِ متن را ممکن می‌کند.

**و `<eol>` را عمداً به‌عنوان یک توکن اضافه کردیم** تا مدل بفهمد جمله کجا تمام می‌شود؛ وگرنه جمله‌ها به هم می‌چسبند.

## ۲. مدل، با `causal mask`

</div>

```python
class TinyLM(nn.Module):
    def __init__(self, dim=64, heads=4, depth=2):
        super().__init__()
        self.emb = nn.Embedding(len(vocab), dim)
        self.pos = nn.Embedding(CTX, dim)
        self.blocks = nn.ModuleList([
            nn.ModuleDict({
                "n1": nn.LayerNorm(dim),
                "n2": nn.LayerNorm(dim),
                "attn": nn.MultiheadAttention(dim, heads, batch_first=True),
                "ff": nn.Sequential(nn.Linear(dim, 4 * dim), nn.GELU(), nn.Linear(4 * dim, dim)),
            })
            for _ in range(depth)
        ])
        self.norm = nn.LayerNorm(dim)
        self.head = nn.Linear(dim, len(vocab))

    def forward(self, x):
        T = x.shape[1]
        h = self.emb(x) + self.pos(torch.arange(T))
        mask = torch.triu(torch.ones(T, T, dtype=torch.bool), diagonal=1)
        for block in self.blocks:
            q = block["n1"](h)
            attended, _ = block["attn"](q, q, q, attn_mask=mask, need_weights=False)
            h = h + attended
            h = h + block["ff"](block["n2"](h))
        return self.head(self.norm(h))


torch.manual_seed(0)
model = TinyLM()
print("پارامترها:", sum(p.numel() for p in model.parameters()))
print("loss یک مدلِ کاملاً تصادفی:", round(math.log(len(vocab)), 4))
```

<div dir="rtl">

</div>

```text
پارامترها: 110928
loss یک مدلِ کاملاً تصادفی: 4.382
```

<div dir="rtl">

**اول یک تغییرِ عمدی نسبت به فصلِ ۵: اینجا به‌جای `MultiHead`ی که خودت نوشتی، از `nn.MultiheadAttention` آمادهٔ PyTorch استفاده کردیم.** دلیلش این نیست که نسخهٔ تو بد بود — **دقیقاً همان کار را می‌کند** — بلکه این است که نسخهٔ آماده آرگومانِ `attn_mask` را از قبل دارد و ما در این فصل به همان نیاز داریم. **قاعده‌ای که از این به بعد در دوره دنبال می‌کنیم: تا وقتی چیزی را خودت نساخته‌ای، نسخهٔ آماده‌اش جعبهٔ سیاه است؛ بعد از اینکه ساختی، فقط کدِ کمتر است.**

آن `batch_first=True` هم فقط می‌گوید ورودی شکلِ `(batch, seq, dim)` دارد — **همان قراردادی که در کلِ دوره به‌کار برده‌ایم**؛ پیش‌فرضِ خودِ PyTorch برعکس است و جا انداختنش یک خطای شکلِ کلاسیک می‌سازد.

**و آن `mask` قلبِ ماجراست.** `torch.triu(..., diagonal=1)` یک ماتریسِ بالامثلثی می‌سازد: **هر جایگاه فقط به خودش و جایگاه‌های قبلی نگاه می‌کند، نه به آینده.**

**بدونش، آموزش کاملاً بی‌معنا می‌شود** — چون مدل برای پیش‌بینیِ توکنِ بعدی، خودِ آن توکن را می‌بیند. **و این بدترین نوعِ نشتی است:** `loss` به حدودِ یک‌هشتمِ مقدارِ درست می‌افتد، همه‌چیز عالی به‌نظر می‌رسد، و مدل موقعِ تولید از یک پرامپتِ کوتاه کاملاً بی‌فایده است.

**و آن `log(len(vocab)) = 4.382` خطِ پایهٔ ماست:** مدلی که هیچ‌چیز نمی‌داند و بینِ ۸۰ توکن یکنواخت حدس می‌زند، دقیقاً همین `loss` را می‌گیرد.

> 🌱 **ریشه‌اش کجاست:** اینکه چرا `loss` یک مدلِ کاملاً بی‌اطلاع برابرِ $\log(\text{اندازهٔ واژگان})$ است، مستقیماً از تعریفِ آنتروپی می‌آید — [ریشه، ترم ۸ فصل ۱۰](/courses/risheh/lessons/term-8-calculus-ml/session-10-entropy-crossentropy). **آنتروپیِ یک توزیعِ یکنواخت روی $n$ حالت، $\log n$ است.**

## ۳. آموزش

</div>

```python
loss_fn = nn.CrossEntropyLoss()
opt = torch.optim.Adam(model.parameters(), lr=0.003)
loader = DataLoader(TensorDataset(Xtr_, Ytr_), batch_size=64, shuffle=True)


@torch.no_grad()
def val_loss():
    model.eval()
    return float(loss_fn(model(Xva_).reshape(-1, len(vocab)), Yva_.reshape(-1)))


for epoch in range(1, 9):
    model.train()
    for xb, yb in loader:
        opt.zero_grad()
        loss_fn(model(xb).reshape(-1, len(vocab)), yb.reshape(-1)).backward()
        opt.step()
    if epoch in (1, 2, 4, 8):
        v = val_loss()
        print(f"epoch {epoch}: loss اعتبارسنجی={v:.4f} | perplexity={math.exp(v):.2f}")
```

<div dir="rtl">

</div>

```text
epoch 1: loss اعتبارسنجی=1.0886 | perplexity=2.97
epoch 2: loss اعتبارسنجی=1.0831 | perplexity=2.95
epoch 4: loss اعتبارسنجی=1.1016 | perplexity=3.01
epoch 8: loss اعتبارسنجی=1.1614 | perplexity=3.19
```

<div dir="rtl">

**دو چیز در این چهار سطر:**

**اول، `perplexity` از ۸۰ به ۲٫۹۵ رسید.** `perplexity` همان $e^{\text{loss}}$ است و تفسیرِ زیبایی دارد: **«مدل به‌طور متوسط بینِ چند گزینه مردد است؟»** مدلِ تصادفی بینِ ۸۰ توکن مردد بود؛ مدلِ ما بینِ حدودِ ۳ تا. **ولی این عدد یک میانگینِ هندسی است، نه حالِ هر جایگاه.** اگر جدا بشماری، روی مدلِ آخر، کلمه‌های ثابتِ قالب `perplexity` حدودِ ۱٫۴ دارند و صفت‌ها ۱۴ و اسم‌ها ۶۴. مدل بیشترِ جایگاه‌ها را تقریباً مطمئن است و در جایگاهِ اسم و صفت واقعاً نمی‌داند؛ میانگینِ این‌ها ۳ شده.

**دوم، و مهم‌تر: از `epoch` دوم به بعد بدتر شد.** ۱٫۰۸۳ به ۱٫۱۶۱. **این همان `overfitting` ترمِ ۲ است، این بار در یک مدلِ زبانی** — و درمانش هم همان: توقفِ زودهنگام.

> 📏 **اندازه بگیر:** **`perplexity` معیارِ استانداردِ مدل‌های زبانی است و مزیتش تفسیرپذیری‌اش است.** ولی یک تلهٔ مهم دارد: **`perplexity` دو مدل فقط وقتی قابلِ مقایسه است که واژگانِ یکسانی داشته باشند.** مدلی با واژگانِ ۱۰۰تایی طبیعتاً `perplexity` کمتری از مدلی با واژگانِ ۵۰ هزارتایی می‌گیرد، بی‌آنکه بهتر باشد. **مقایسهٔ `perplexity` بینِ مقاله‌های مختلف، بدونِ چک کردنِ توکنایزرشان، بی‌معناست.**

## ۴. تولیدِ متن

</div>

```python
@torch.no_grad()
def generate(prompt, count=8, temperature=1.0, seed=0):
    torch.manual_seed(seed)
    model.eval()
    current = [STOI[w] for w in prompt.split()]
    for _ in range(count):
        x = torch.tensor(current[-CTX:]).unsqueeze(0)
        logits = model(x)[0, -1] / temperature
        current.append(int(torch.multinomial(torch.softmax(logits, -1), 1)))
    return " ".join(ITOS[i] for i in current)


for t in (0.2, 0.8, 1.5):
    print(f"temperature={t}: {generate('بهترین', 8, t)}")
```

<div dir="rtl">

</div>

```text
temperature=0.2: بهترین هتل همیشه امن نیست <eol> هر هتل شلوغ
temperature=0.8: بهترین کد همیشه امن نیست <eol> زعفران خوشمزه برای
temperature=1.5: بهترین کد همیشه امن نیست <eol> زعفران خوشمزه برای
```

<div dir="rtl">

**مدل دارد فارسیِ دستوری تولید می‌کند.** «بهترین ... همیشه ... نیست» دقیقاً یکی از قالب‌های پیکره است، و مدل بدونِ اینکه کسی قالبی به آن داده باشد، **از آمارِ متن بازسازی‌اش کرده.**

**و `temperature`:** خروجیِ خام را قبل از `softmax` تقسیم می‌کند. کوچک‌ترش یعنی توزیعِ تیزتر (محافظه‌کارتر)، بزرگ‌ترش یعنی صاف‌تر (خلاقانه‌تر و بی‌ثبات‌تر).

**ولی ۰٫۸ و ۱٫۵ اینجا خروجیِ یکسان دادند** — و این خودش یک درس است:

> ✅ **چک کن:** **`temperature` فقط جایی اثر دارد که مدل مردد باشد** — و سه سطرِ بالا دقیقاً همین را نشان می‌دهند. از هشت توکنِ تولیدشده، بینِ ۰٫۲ و ۱٫۵ **چهار توکن عوض شد**: «هتل» به‌جای «کد» و هر سه توکنِ بعد از `<eol>`. «همیشه» و «نیست» عوض نشدند، چون قالب تعیینشان می‌کند. و یکسان شدنِ ۰٫۸ و ۱٫۵ اتفاقِ همین `seed` است: با `seed`های دیگر بیشترِ وقت‌ها فرق می‌کنند. **یعنی مدل در جایگاه‌های قالب مطمئن است و در جایگاهِ اسم و آغازِ جمله مردد.** پیکرهٔ ما آن‌قدر قاعده‌مند است که این طبیعی باشد؛ **روی متنِ واقعی و متنوع، همین `temperature` تفاوتِ چشمگیری می‌سازد.** اگر در پروژه‌ای دیدی `temperature` هیچ اثری ندارد، اول این را چک کن: **مدلت مردد است یا مطمئن؟**

**و آن `<eol>` در خروجی نشان می‌دهد مدل یاد گرفته جمله کجا تمام می‌شود** — چیزی که هیچ‌کس به آن نگفت.

## ۵. فاصله تا یک مدلِ واقعی

</div>

| | مدلِ این فصل | یک مدلِ زبانیِ واقعی |
|---|---|---|
| پارامتر | ۱۱۰ هزار | میلیاردها |
| پیکره | ۸٬۶۳۹ توکنِ ساختگی | تریلیون‌ها توکنِ واقعی |
| پنجرهٔ زمینه | ۸ توکن | ده‌ها تا صدها هزار |
| هزینهٔ آموزش | یک دقیقه روی CPU | میلیون‌ها دلار |
| **مکانیزم** | **دقیقاً همین** | **دقیقاً همین** |

<div dir="rtl">

**ردیفِ آخر پیامِ کلِ ترم است.** پیش‌بینیِ توکنِ بعدی، `causal mask`، بلوکِ `transformer`، نمونه‌گیری با `temperature` — **هیچ‌کدامشان در مقیاسِ بزرگ عوض نمی‌شوند.** آنچه عوض می‌شود، اندازه و داده است.

**و همین توضیح می‌دهد که چرا نباید آموزشِ یک مدلِ بزرگ را از صفر هدف بگذاری.** ترمِ ۵ و ۶ کارِ درست را نشان می‌دهند: **گرفتنِ مدلی که دیگری آموزش داده، و ساختنِ چیزی مفید رویش.**

> 🔧 **اگر کار نکرد:** **`loss` خیلی سریع به نزدیکِ صفر می‌رسد** — `causal mask` را جا انداخته‌ای و مدل جواب را می‌بیند. **`attn_mask` خطای شکل می‌دهد** — باید `(T, T)` باشد و `dtype=torch.bool`. **متنِ تولیدشده تکراری است** — `temperature` را بالا ببر یا مدل را بیشتر آموزش بده. **`KeyError` در `generate`** — کلمهٔ prompt در واژگان نیست؛ فقط از کلمه‌های پیکره استفاده کن.

> 🤖 **از دستیارت بپرس:** «`top-k` و `top-p` (nucleus) sampling چه هستند و چه مشکلی از نمونه‌گیریِ ساده را حل می‌کنند؟» **بعد `top-k` را در `generate` پیاده کن** (راهنمایی: `torch.topk` و صفر کردنِ بقیه). **و این سؤال را جواب بده: با `temperature` خیلی بالا، نمونه‌گیریِ ساده چه اشتباهی می‌کند که `top-p` نمی‌کند؟**

## واژه‌های تازهٔ این فصل

</div>

| کلمه | تلفظ به حروف فارسی | یعنی چه |
|---|---|---|
| self-supervised | سلف-سوپروایزد | برچسب از خودِ داده، بدونِ انسان |
| causal mask | کازال ماسک | ممنوعیتِ نگاه به آینده |
| perplexity | پرپلکسیتی | $e^{loss}$ — «بینِ چند گزینه مردد است» |
| temperature | تمپرچر | تیزی یا صافیِ توزیعِ نمونه‌گیری |
| context window | کانتکست ویندو | چند توکنِ گذشته را می‌بیند |

<div dir="rtl">

## تمرین‌ها

قبل از تمرین، بدونِ نگاه به بالا جواب بده: اگر `causal mask` را برداری، `loss` چه می‌شود و چرا این خبرِ بدی است؟

**تمرینِ اجباری:** `CTX` را از ۸ به ۴ و ۱۶ تغییر بده و **`perplexity` بهترین `epoch` را برای هر کدام بنویس.** با پنجرهٔ بزرگ‌تر بهتر می‌شود؟ و **هزینهٔ محاسباتی‌اش چطور رشد می‌کند؟** (راهنمایی: ماتریسِ `attention` مربعِ طولِ دنباله است.)

**تمرینِ ستاره‌دار ⭐:** توقفِ زودهنگام را اضافه کن و بهترین مدل را نگه دار. بعد **همان مدل را با `causal mask` برداشته‌شده آموزش بده** و `loss` هر دو را مقایسه کن. **مدلِ بدونِ ماسک `loss` خیلی کمتری می‌گیرد — حالا با هر دو متن تولید کن و ببین کدام متنِ معناداری می‌دهد.** این ملموس‌ترین نمونهٔ «عددِ بهتر، مدلِ بدتر» در کلِ دوره است.

## در فصل بعد

مدلِ خودت را ساختی و فهمیدی چطور کار می‌کند. **حالا کارِ واقعی: گرفتنِ یک مدلِ آمادهٔ چندزبانه که فارسی هم جزوِ زبان‌هایش است، و به‌کار بردنش روی مسئلهٔ خودت** — همان `transfer learning` که در ترمِ ۳ برای تصویر دیدی، این بار برای متن.

</div>

---
Source: https://yaadestan.com/courses/zharfa/lessons/t4/s07-train-tiny-lm (یادستان, Yaadestan)
