در این فصل چه یاد میگیری#
همهٔ قطعهها را داری. حالا کنارِ هم میگذاریشان و یک مدلِ زبانیِ واقعی آموزش میدهی — خیلی کوچک، ولی از همان جنسی که مدلهای بزرگ ساخته شدهاند: پیشبینیِ توکنِ بعدی، با causal mask، و تولیدِ متن با نمونهگیری.
و صریح بگویم: این نسخهٔ اسباببازیِ چیزی است که با میلیونها دلار GPU انجام میشود. ارزشش در دقتِ خروجی نیست — در این است که بعد از این فصل، هیچ بخشی از یک مدلِ زبانی برایت جعبهٔ سیاه نیست.

آخر این فصل میتوانی:
- آموزشِ خودنظارتی را بسازی: پیشبینیِ توکنِ بعدی
causal maskرا پیاده کنی و بگویی چرا لازم استperplexityرا حساب کنی و تفسیر کنی- با
temperatureمتن تولید کنی و بدانی کِی اثر دارد
قبل از شروع#
از فصل ۵: بلوکِ transformer و اتصالِ باقیمانده.
از ترمِ ۱ فصل ۶: CrossEntropyLoss و logit.
از ریشه ترمِ ۸ فصل ۱۰: cross-entropy و آنتروپی — perplexity مستقیماً از همان میآید.
📓 نوتبوک: نوتبوک این فصل را در Colab باز کن — همهٔ کدهای این فصل آماده و بهترتیب داخلش هست.
💡 نکته: زمانِ تخمینی روی CPU: حدودِ یک تا دو دقیقه.
۱. آموزشِ خودنظارتی: برچسب از خودِ متن#
مدلهای زبانی هیچ برچسبِ انسانیای لازم ندارند. برچسبشان خودِ متن است: برای هر توکن، توکنِ بعدی جوابِ درست است.
import math
import torch
import torch.nn as nn
from torch.utils.data import TensorDataset, DataLoader
tokens = CORPUS.replace("\n", " <eol> ").split()
vocab = sorted(set(tokens))
STOI = {w: i for i, w in enumerate(vocab)}
ITOS = {i: w for w, i in STOI.items()}
ids = torch.tensor([STOI[t] for t in tokens])
CTX = 8
X = torch.stack([ids[i:i + CTX] for i in range(len(ids) - CTX)])
Y = torch.stack([ids[i + 1:i + CTX + 1] for i in range(len(ids) - CTX)])
n = int(len(X) * 0.9)
Xtr_, Ytr_ = X[:n], Y[:n]
Xva_, Yva_ = X[n:], Y[n:]
print("توکنها:", len(ids), "| واژگان:", len(vocab))
print("نمونههای آموزش:", len(Xtr_), "| اعتبارسنجی:", len(Xva_))
توکنها: 8639 | واژگان: 80
نمونههای آموزش: 7767 | اعتبارسنجی: 864
به شکلِ Y دقت کن: دقیقاً همان X است، یک قدم جابهجا شده.
پس مدل در هر جایگاه یاد میگیرد توکنِ بعدی را حدس بزند — و از یک دنبالهٔ هشتتایی، هشت نمونهٔ آموزشی درمیآید، نه یکی. همین بهرهوری است که آموزش روی حجمِ عظیمِ متن را ممکن میکند.
و <eol> را عمداً بهعنوان یک توکن اضافه کردیم تا مدل بفهمد جمله کجا تمام میشود؛ وگرنه جملهها به هم میچسبند.
۲. مدل، با causal mask#
class TinyLM(nn.Module):
def __init__(self, dim=64, heads=4, depth=2):
super().__init__()
self.emb = nn.Embedding(len(vocab), dim)
self.pos = nn.Embedding(CTX, dim)
self.blocks = nn.ModuleList([
nn.ModuleDict({
"n1": nn.LayerNorm(dim),
"n2": nn.LayerNorm(dim),
"attn": nn.MultiheadAttention(dim, heads, batch_first=True),
"ff": nn.Sequential(nn.Linear(dim, 4 * dim), nn.GELU(), nn.Linear(4 * dim, dim)),
})
for _ in range(depth)
])
self.norm = nn.LayerNorm(dim)
self.head = nn.Linear(dim, len(vocab))
def forward(self, x):
T = x.shape[1]
h = self.emb(x) + self.pos(torch.arange(T))
mask = torch.triu(torch.ones(T, T, dtype=torch.bool), diagonal=1)
for block in self.blocks:
q = block["n1"](h)
attended, _ = block["attn"](q, q, q, attn_mask=mask, need_weights=False)
h = h + attended
h = h + block["ff"](block["n2"](h))
return self.head(self.norm(h))
torch.manual_seed(0)
model = TinyLM()
print("پارامترها:", sum(p.numel() for p in model.parameters()))
print("loss یک مدلِ کاملاً تصادفی:", round(math.log(len(vocab)), 4))
پارامترها: 110928
loss یک مدلِ کاملاً تصادفی: 4.382
اول یک تغییرِ عمدی نسبت به فصلِ ۵: اینجا بهجای MultiHeadی که خودت نوشتی، از nn.MultiheadAttention آمادهٔ PyTorch استفاده کردیم. دلیلش این نیست که نسخهٔ تو بد بود — دقیقاً همان کار را میکند — بلکه این است که نسخهٔ آماده آرگومانِ attn_mask را از قبل دارد و ما در این فصل به همان نیاز داریم. قاعدهای که از این به بعد در دوره دنبال میکنیم: تا وقتی چیزی را خودت نساختهای، نسخهٔ آمادهاش جعبهٔ سیاه است؛ بعد از اینکه ساختی، فقط کدِ کمتر است.
آن batch_first=True هم فقط میگوید ورودی شکلِ (batch, seq, dim) دارد — همان قراردادی که در کلِ دوره بهکار بردهایم؛ پیشفرضِ خودِ PyTorch برعکس است و جا انداختنش یک خطای شکلِ کلاسیک میسازد.
و آن mask قلبِ ماجراست. torch.triu(..., diagonal=1) یک ماتریسِ بالامثلثی میسازد: هر جایگاه فقط به خودش و جایگاههای قبلی نگاه میکند، نه به آینده.
بدونش، آموزش کاملاً بیمعنا میشود — چون مدل برای پیشبینیِ توکنِ بعدی، خودِ آن توکن را میبیند. و این بدترین نوعِ نشتی است: loss به حدودِ یکهشتمِ مقدارِ درست میافتد، همهچیز عالی بهنظر میرسد، و مدل موقعِ تولید از یک پرامپتِ کوتاه کاملاً بیفایده است.
و آن log(len(vocab)) = 4.382 خطِ پایهٔ ماست: مدلی که هیچچیز نمیداند و بینِ ۸۰ توکن یکنواخت حدس میزند، دقیقاً همین loss را میگیرد.
🌱 ریشهاش کجاست: اینکه چرا
lossیک مدلِ کاملاً بیاطلاع برابرِ است، مستقیماً از تعریفِ آنتروپی میآید — ریشه، ترم ۸ فصل ۱۰. آنتروپیِ یک توزیعِ یکنواخت روی حالت، است.
۳. آموزش#
loss_fn = nn.CrossEntropyLoss()
opt = torch.optim.Adam(model.parameters(), lr=0.003)
loader = DataLoader(TensorDataset(Xtr_, Ytr_), batch_size=64, shuffle=True)
@torch.no_grad()
def val_loss():
model.eval()
return float(loss_fn(model(Xva_).reshape(-1, len(vocab)), Yva_.reshape(-1)))
for epoch in range(1, 9):
model.train()
for xb, yb in loader:
opt.zero_grad()
loss_fn(model(xb).reshape(-1, len(vocab)), yb.reshape(-1)).backward()
opt.step()
if epoch in (1, 2, 4, 8):
v = val_loss()
print(f"epoch {epoch}: loss اعتبارسنجی={v:.4f} | perplexity={math.exp(v):.2f}")
epoch 1: loss اعتبارسنجی=1.0886 | perplexity=2.97
epoch 2: loss اعتبارسنجی=1.0831 | perplexity=2.95
epoch 4: loss اعتبارسنجی=1.1016 | perplexity=3.01
epoch 8: loss اعتبارسنجی=1.1614 | perplexity=3.19
دو چیز در این چهار سطر:
اول، perplexity از ۸۰ به ۲٫۹۵ رسید. perplexity همان است و تفسیرِ زیبایی دارد: «مدل بهطور متوسط بینِ چند گزینه مردد است؟» مدلِ تصادفی بینِ ۸۰ توکن مردد بود؛ مدلِ ما بینِ حدودِ ۳ تا. ولی این عدد یک میانگینِ هندسی است، نه حالِ هر جایگاه. اگر جدا بشماری، روی مدلِ آخر، کلمههای ثابتِ قالب perplexity حدودِ ۱٫۴ دارند و صفتها ۱۴ و اسمها ۶۴. مدل بیشترِ جایگاهها را تقریباً مطمئن است و در جایگاهِ اسم و صفت واقعاً نمیداند؛ میانگینِ اینها ۳ شده.
دوم، و مهمتر: از epoch دوم به بعد بدتر شد. ۱٫۰۸۳ به ۱٫۱۶۱. این همان overfitting ترمِ ۲ است، این بار در یک مدلِ زبانی — و درمانش هم همان: توقفِ زودهنگام.
📏 اندازه بگیر:
perplexityمعیارِ استانداردِ مدلهای زبانی است و مزیتش تفسیرپذیریاش است. ولی یک تلهٔ مهم دارد:perplexityدو مدل فقط وقتی قابلِ مقایسه است که واژگانِ یکسانی داشته باشند. مدلی با واژگانِ ۱۰۰تایی طبیعتاًperplexityکمتری از مدلی با واژگانِ ۵۰ هزارتایی میگیرد، بیآنکه بهتر باشد. مقایسهٔperplexityبینِ مقالههای مختلف، بدونِ چک کردنِ توکنایزرشان، بیمعناست.
۴. تولیدِ متن#
@torch.no_grad()
def generate(prompt, count=8, temperature=1.0, seed=0):
torch.manual_seed(seed)
model.eval()
current = [STOI[w] for w in prompt.split()]
for _ in range(count):
x = torch.tensor(current[-CTX:]).unsqueeze(0)
logits = model(x)[0, -1] / temperature
current.append(int(torch.multinomial(torch.softmax(logits, -1), 1)))
return " ".join(ITOS[i] for i in current)
for t in (0.2, 0.8, 1.5):
print(f"temperature={t}: {generate('بهترین', 8, t)}")
temperature=0.2: بهترین هتل همیشه امن نیست <eol> هر هتل شلوغ
temperature=0.8: بهترین کد همیشه امن نیست <eol> زعفران خوشمزه برای
temperature=1.5: بهترین کد همیشه امن نیست <eol> زعفران خوشمزه برای
مدل دارد فارسیِ دستوری تولید میکند. «بهترین ... همیشه ... نیست» دقیقاً یکی از قالبهای پیکره است، و مدل بدونِ اینکه کسی قالبی به آن داده باشد، از آمارِ متن بازسازیاش کرده.
و temperature: خروجیِ خام را قبل از softmax تقسیم میکند. کوچکترش یعنی توزیعِ تیزتر (محافظهکارتر)، بزرگترش یعنی صافتر (خلاقانهتر و بیثباتتر).
ولی ۰٫۸ و ۱٫۵ اینجا خروجیِ یکسان دادند — و این خودش یک درس است:
✅ چک کن:
temperatureفقط جایی اثر دارد که مدل مردد باشد — و سه سطرِ بالا دقیقاً همین را نشان میدهند. از هشت توکنِ تولیدشده، بینِ ۰٫۲ و ۱٫۵ چهار توکن عوض شد: «هتل» بهجای «کد» و هر سه توکنِ بعد از<eol>. «همیشه» و «نیست» عوض نشدند، چون قالب تعیینشان میکند. و یکسان شدنِ ۰٫۸ و ۱٫۵ اتفاقِ همینseedاست: باseedهای دیگر بیشترِ وقتها فرق میکنند. یعنی مدل در جایگاههای قالب مطمئن است و در جایگاهِ اسم و آغازِ جمله مردد. پیکرهٔ ما آنقدر قاعدهمند است که این طبیعی باشد؛ روی متنِ واقعی و متنوع، همینtemperatureتفاوتِ چشمگیری میسازد. اگر در پروژهای دیدیtemperatureهیچ اثری ندارد، اول این را چک کن: مدلت مردد است یا مطمئن؟
و آن <eol> در خروجی نشان میدهد مدل یاد گرفته جمله کجا تمام میشود — چیزی که هیچکس به آن نگفت.
۵. فاصله تا یک مدلِ واقعی#
| مدلِ این فصل | یک مدلِ زبانیِ واقعی | |
|---|---|---|
| پارامتر | ۱۱۰ هزار | میلیاردها |
| پیکره | ۸٬۶۳۹ توکنِ ساختگی | تریلیونها توکنِ واقعی |
| پنجرهٔ زمینه | ۸ توکن | دهها تا صدها هزار |
| هزینهٔ آموزش | یک دقیقه روی CPU | میلیونها دلار |
| مکانیزم | دقیقاً همین | دقیقاً همین |
ردیفِ آخر پیامِ کلِ ترم است. پیشبینیِ توکنِ بعدی، causal mask، بلوکِ transformer، نمونهگیری با temperature — هیچکدامشان در مقیاسِ بزرگ عوض نمیشوند. آنچه عوض میشود، اندازه و داده است.
و همین توضیح میدهد که چرا نباید آموزشِ یک مدلِ بزرگ را از صفر هدف بگذاری. ترمِ ۵ و ۶ کارِ درست را نشان میدهند: گرفتنِ مدلی که دیگری آموزش داده، و ساختنِ چیزی مفید رویش.
🔧 اگر کار نکرد:
lossخیلی سریع به نزدیکِ صفر میرسد —causal maskرا جا انداختهای و مدل جواب را میبیند.attn_maskخطای شکل میدهد — باید(T, T)باشد وdtype=torch.bool. متنِ تولیدشده تکراری است —temperatureرا بالا ببر یا مدل را بیشتر آموزش بده.KeyErrorدرgenerate— کلمهٔ prompt در واژگان نیست؛ فقط از کلمههای پیکره استفاده کن.
🤖 از دستیارت بپرس: «
top-kوtop-p(nucleus) sampling چه هستند و چه مشکلی از نمونهگیریِ ساده را حل میکنند؟» بعدtop-kرا درgenerateپیاده کن (راهنمایی:torch.topkو صفر کردنِ بقیه). و این سؤال را جواب بده: باtemperatureخیلی بالا، نمونهگیریِ ساده چه اشتباهی میکند کهtop-pنمیکند؟
واژههای تازهٔ این فصل#
| کلمه | تلفظ به حروف فارسی | یعنی چه |
|---|---|---|
| self-supervised | سلف-سوپروایزد | برچسب از خودِ داده، بدونِ انسان |
| causal mask | کازال ماسک | ممنوعیتِ نگاه به آینده |
| perplexity | پرپلکسیتی | — «بینِ چند گزینه مردد است» |
| temperature | تمپرچر | تیزی یا صافیِ توزیعِ نمونهگیری |
| context window | کانتکست ویندو | چند توکنِ گذشته را میبیند |
تمرینها
اول خودت فکر کن یا امتحان کن — بعد اینجا را باز کن.
در فصل بعد#
مدلِ خودت را ساختی و فهمیدی چطور کار میکند. حالا کارِ واقعی: گرفتنِ یک مدلِ آمادهٔ چندزبانه که فارسی هم جزوِ زبانهایش است، و بهکار بردنش روی مسئلهٔ خودت — همان transfer learning که در ترمِ ۳ برای تصویر دیدی، این بار برای متن.
به آخر این فصل رسیدی!
اگر ساختی و جواب داد، این دکمه مال توست.