ژرفا — خودآموز یادگیری عمیق و مهندسی هوش مصنوعی (متوسط)

فصل ۲ از ۹

پیشرفت ترم
۰٪

در این فصل چه یاد می‌گیری#

فصلِ قبل بردارهای nn.Embedding تصادفی بودند. حالا مدل را آموزش می‌دهیم و می‌بینیم آن بردارها چه شکلی می‌شوند — کلمه‌های هم‌موضوع کجای فضا می‌نشینند و چقدر از هم فاصله می‌گیرند.

بعد سراغِ چیزی می‌رویم که کمتر گفته می‌شود: سوگیری در همین بردارها قابلِ اندازه‌گیری است. و برای اینکه ادعا نباشد، خودمان یک سوگیری را در پیکره می‌گذاریم و بعد از بردارها بیرونش می‌کشیم — تا ببینی که هیچ چیزِ اسرارآمیزی در کار نیست.

دو خوشهٔ نقطه که در یک فضا از هم جدا شده‌اند، و یک نقطه که به‌طورِ نامتقارن به یکی نزدیک‌تر است

آخر این فصل می‌توانی:

  • بردارهای آموخته‌شده را با شباهتِ کسینوسی بررسی کنی
  • خوشه‌بندیِ معنایی را با عدد نشان بدهی
  • سوگیریِ یک فضای embedding را اندازه بگیری، نه حدس بزنی
  • بگویی سوگیری از کجا می‌آید

قبل از شروع#

از فصل ۱: nn.Embedding، padding_idx، و دو خطِ پایه.

از سرنخ ترمِ ۴ فصل ۵: شباهتِ کسینوسی.

📓 نوت‌بوک: نوت‌بوک این فصل را در Colab باز کن — همهٔ کدهای این فصل آماده و به‌ترتیب داخلش هست.

۱. یک مدل که embedding یاد می‌گیرد#

import torch
import torch.nn as nn
from torch.utils.data import TensorDataset, DataLoader

words = sorted({w for s in sentences + order_texts for w in s.split()})
VOCAB = {w: i + 1 for i, w in enumerate(words)}
MAXLEN = max(len(s.split()) for s in sentences)
loss_fn = nn.CrossEntropyLoss()


def encode(texts, length=MAXLEN):
    out = torch.zeros(len(texts), length, dtype=torch.long)
    for i, s in enumerate(texts):
        ids = [VOCAB[w] for w in s.split()][:length]
        out[i, :len(ids)] = torch.tensor(ids)
    return out


class TopicNet(nn.Module):
    def __init__(self, dim=24):
        super().__init__()
        self.emb = nn.Embedding(len(VOCAB) + 1, dim, padding_idx=0)
        self.out = nn.Linear(dim, 4)

    def forward(self, x):
        mask = (x != 0).unsqueeze(-1).float()
        pooled = (self.emb(x) * mask).sum(1) / mask.sum(1).clamp_min(1)
        return self.out(pooled)


@torch.no_grad()
def accuracy(model, X, y):
    model.eval()
    return float((model(X).argmax(1) == y).float().mean())


Xt, yt = encode(train_texts), torch.tensor(train_labels)
Xv, yv = encode(val_texts), torch.tensor(val_labels)

torch.manual_seed(0)
net = TopicNet()
loader = DataLoader(TensorDataset(Xt, yt), batch_size=32, shuffle=True)
opt = torch.optim.Adam(net.parameters(), lr=0.01)
for _ in range(60):
    net.train()
    for xb, yb in loader:
        opt.zero_grad()
        loss_fn(net(xb), yb).backward()
        opt.step()

print("دقت مدل embedding روی موضوع:", round(accuracy(net, Xv, yv), 4))
print("بُعد بردارها:", net.emb.embedding_dim, "| تعداد بردارها:", net.emb.num_embeddings)
دقت مدل embedding روی موضوع: 1.0
بُعد بردارها: 24 | تعداد بردارها: 84

۱٫۰ — دقیقاً همان عددِ TF-IDF فصلِ قبل. و این را باید صریح گفت: روی این مسئله، شبکه هیچ برتری‌ای بر خطِ پایه ندارد.

پس چرا ساختیمش؟ نه برای دقت، بلکه برای چیزی که در مسیر ساخته شد: آن جدولِ ⁦۸۴×۲۴⁩ که حالا معنا دارد.

آن mask هم مهم است: جمله‌های کوتاه‌تر با صفر پُر شده‌اند و اگر بدونِ ماسک میانگین بگیری، صفرها میانگین را به سمتِ خودشان می‌کشند و جمله‌های کوتاه و بلند ناعادلانه با هم مقایسه می‌شوند.

۲. حالا به بردارها نگاه کن#

E = net.emb.weight.detach()


def cos(a, b):
    return float(torch.nn.functional.cosine_similarity(a[None], b[None])[0])


def vec(w):
    return E[VOCAB[w]]


for a, b in [("برنج", "نان"), ("برنج", "بلیت"), ("کد", "تابع"), ("کد", "خواب"), ("خواب", "ورزش")]:
    print(f"  {a} ~ {b}: {cos(vec(a), vec(b)):+.3f}")
  برنج ~ نان: +0.479
  برنج ~ بلیت: -0.160
  کد ~ تابع: +0.800
  کد ~ خواب: -0.191
  خواب ~ ورزش: +0.746

کلمه‌های هم‌موضوع مثبت‌اند و کلمه‌های بی‌ربط منفی.

و هیچ‌کس این را به مدل نگفت. ما فقط خواستیم موضوعِ جمله را تشخیص بدهد؛ برای اینکه بتواند، مجبور شد کلمه‌های هم‌موضوع را به هم نزدیک کند. ساختارِ معناییِ فضا، اثرِ جانبیِ حلِ مسئله است، نه هدفش.

🌱 ریشه‌اش کجاست: «شباهتِ کسینوسی» یک ابزارِ تازه نیست — ضربِ داخلیِ دو بردارِ یکه است. ریشه، ترم ۷ فصل ۳ — dot product هم فرمولش را می‌سازد و هم توضیح می‌دهد چرا اصلاً معیارِ شباهت است. جوابش کوتاه است: عددش از کسینوسِ زاویهٔ بینِ دو بردار می‌آید. پس ۱+ یعنی هم‌جهت، ۰ یعنی عمود، و ۱- یعنی خلافِ جهت. و همین است که عددهای منفیِ بالا معنا دارند — «بی‌ربط» نیست، «در جهتِ مخالف» است.

۳. خوشه‌ها، با عدد#

groups = {name: TOPICS[name][0] for name in TOPIC_NAMES}

for name, nouns in groups.items():
    inside, outside = [], []
    for w in nouns:
        for other_name, other_nouns in groups.items():
            for o in other_nouns:
                if w == o:
                    continue
                (inside if other_name == name else outside).append(cos(vec(w), vec(o)))
    print(f"  {name:>12}: درون‌گروه={sum(inside) / len(inside):+.3f} | "
          f"برون‌گروه={sum(outside) / len(outside):+.3f}")
           سفر: درون‌گروه=+0.626 | برون‌گروه=-0.224
         آشپزی: درون‌گروه=+0.556 | برون‌گروه=-0.127
  برنامه‌نویسی: درون‌گروه=+0.654 | برون‌گروه=-0.249
         سلامت: درون‌گروه=+0.661 | برون‌گروه=-0.176

در هر چهار موضوع، شباهتِ درون‌گروه مثبت و بینِ گروه‌ها منفی است — و فاصله‌شان بزرگ است، حدودِ ۰٫۷ تا ۰٫۹ واحد.

📏 اندازه بگیر: این دو عدد، جایگزینِ عددیِ «نمودار را نگاه کن» هستند. رسمِ رایج این است که بردارها را با t-SNE یا PCA به دو بُعد می‌برند و خوشه‌ها را نشان می‌دهند — که زیباست ولی به تنظیماتِ آن روش حساس است. میانگینِ شباهتِ درون‌گروه و برون‌گروه یک عددِ ساده و پایدار است که همان چیز را می‌گوید و می‌شود بینِ دو مدل مقایسه‌اش کرد.

🌱 ریشه‌اش کجاست: آن نمودارِ دوبُعدی از کجا می‌آید؟ یعنی چطور می‌شود ۲۴ بُعد را به ۲ بُعد آورد و ادعا کرد چیزِ زیادی از دست نرفته؟ ریشه، ترم ۷ فصل ۹ — پروژهٔ PCA همین را با دست انجام می‌دهد: جهتی را پیدا می‌کند که داده بیشترین کشیدگی را در آن دارد و بقیه را دور می‌ریزد. و همان‌جا هم هشدارِ لازم را می‌گیری: آنچه دور ریخته می‌شود واقعاً از دست رفته. پس خوشه‌ای که در نمودارِ دوبُعدی جدا به‌نظر می‌رسد ممکن است در فضای اصلی جدا نباشد، و برعکس. به همین دلیل ما عدد گرفتیم، نه نمودار.

۴. سوگیری، اندازه‌گرفته‌شده#

حالا بخشِ ناخوشایند. می‌خواهیم نشان بدهیم سوگیری در بردارها از کجا می‌آید — و برای اینکه ادعا نباشد، خودمان می‌گذاریمش.

BIASED = []
for _ in range(60):
    BIASED.append("مهندس کد خوانا نوشت")
    BIASED.append("پرستار خواب کافی داشت")
for _ in range(3):
    BIASED.append("پرستار کد خوانا نوشت")
    BIASED.append("مهندس خواب کافی داشت")

print("مهندس + کد :", sum(1 for s in BIASED if "مهندس" in s and "کد" in s), "جمله")
print("پرستار + کد:", sum(1 for s in BIASED if "پرستار" in s and "کد" in s), "جمله")
مهندس + کد : 60 جمله
پرستار + کد: 3 جمله

پیکره‌ای ساختیم که در آن «مهندس» بیست برابرِ «پرستار» کنارِ «کد» آمده. این دقیقاً همان نامتقارنی‌ای است که در متنِ واقعیِ اینترنت وجود دارد — فقط اینجا عددش را می‌دانیم.

bias_words = sorted({w for s in BIASED for w in s.split()})
BV = {w: i + 1 for i, w in enumerate(bias_words)}
BL = max(len(s.split()) for s in BIASED)


def bencode(texts):
    out = torch.zeros(len(texts), BL, dtype=torch.long)
    for i, s in enumerate(texts):
        ids = [BV[w] for w in s.split()]
        out[i, :len(ids)] = torch.tensor(ids)
    return out


targets = torch.tensor([0 if "کد" in s else 1 for s in BIASED])
Xb = bencode(BIASED)

torch.manual_seed(0)
bemb = nn.Embedding(len(BV) + 1, 16, padding_idx=0)
bout = nn.Linear(16, 2)
opt2 = torch.optim.Adam(list(bemb.parameters()) + list(bout.parameters()), lr=0.02)
bl = DataLoader(TensorDataset(Xb, targets), batch_size=16, shuffle=True)
for _ in range(120):
    for xb, yb in bl:
        mask = (xb != 0).unsqueeze(-1).float()
        pooled = (bemb(xb) * mask).sum(1) / mask.sum(1).clamp_min(1)
        opt2.zero_grad()
        loss_fn(bout(pooled), yb).backward()
        opt2.step()

BE = bemb.weight.detach()


def bvec(w):
    return BE[BV[w]]


print("  «مهندس» ~ «کد»    :", f"{cos(bvec('مهندس'), bvec('کد')):+.3f}")
print("  «پرستار» ~ «کد»   :", f"{cos(bvec('پرستار'), bvec('کد')):+.3f}")
print("  «مهندس» ~ «خواب»  :", f"{cos(bvec('مهندس'), bvec('خواب')):+.3f}")
print("  «پرستار» ~ «خواب» :", f"{cos(bvec('پرستار'), bvec('خواب')):+.3f}")
  «مهندس» ~ «کد»    : +0.135
  «پرستار» ~ «کد»   : -0.547
  «مهندس» ~ «خواب»  : -0.301
  «پرستار» ~ «خواب» : +0.390

اختلافِ ۰٫۶۸ واحد بینِ دو شغل، برای همان کلمه.

و توجه کن که هیچ‌کس به مدل نگفت کدام شغل با کدام کار می‌آید. مدل فقط سعی کرد جمله‌ها را دسته‌بندی کند، و نامتقارنیِ پیکره را در بردارهایش رمزگذاری کرد.

پس سوگیریِ embedding نه یک نقصِ الگوریتمی است و نه یک تصمیمِ کسی — بازتابِ آمارِ پیکره است. و همین چند چیز را روشن می‌کند:

  • درست کردنِ الگوریتم مشکل را حل نمی‌کند. مشکل در داده است.
  • حذفِ کلمه‌های حساس از پیکره کافی نیست، چون هم‌آیندیِ غیرمستقیم باقی می‌ماند.
  • ولی قابلِ اندازه‌گیری است — و همان اولین قدمِ ممکن است.

⚠️ مواظب باش: این عددها را «سوگیریِ مدل» ننام و همان‌جا رها نکن. سؤالِ درست این است: آیا این سوگیری در تصمیمِ نهاییِ سامانهٔ من اثر می‌گذارد؟ یک embedding نامتقارن که فقط برای جست‌وجوی موضوعی به‌کار می‌رود، شاید بی‌ضرر باشد؛ همان بردارها در یک سامانهٔ غربالِ رزومه، مستقیماً به آدم‌ها آسیب می‌زنند. سوگیری را در جای مصرفش بسنج، نه فقط در بردارها — و در ترمِ ۶ فصلِ ۶ کاملاً بازش می‌کنیم.

✅ چک کن: اگر چهار عددِ بالا به هم نزدیک درآمدند، احتمالاً مدل به‌قدرِ کافی آموزش ندیده یا نامتقارنی به‌قدرِ کافی بزرگ نبوده. نسبتِ ۶۰ به ۳ را عوض کن و ببین اختلاف چطور تغییر می‌کند — این ساده‌ترین راهِ فهمیدنِ رابطهٔ «شدتِ نامتقارنی در داده» و «شدتِ سوگیری در بردار» است.

۵. جمع‌بندی#

مشاهده عدد
شباهتِ درون‌گروه ۰٫۵۶ تا ۰٫۶۶
شباهتِ برون‌گروه ۰٫۱۳- تا ۰٫۲۵-
اختلافِ شغلی روی «کد» ۰٫۶۸ واحد
دقتِ مدل روی موضوع ۱٫۰ — بی‌برتری نسبت به خطِ پایه

آن ردیفِ آخر را در گزارشت بنویس. فضای embedding چیزِ جالبی ساخت، ولی مسئله را بهتر حل نکرد — و ارزشِ یک ابزار با «جالب بودن» سنجیده نمی‌شود.

🔧 اگر کار نکرد: همهٔ شباهت‌ها نزدیکِ صفرند — مدل آموزش ندیده؛ تعدادِ epoch یا lr را چک کن. بردارِ padding مقدارِ غیرصفر دارد — padding_idx=0 را جا انداخته‌ای. cosine_similarity خطای شکل می‌دهد — دو بردارِ یک‌بعدی می‌خواهد بُعدِ batch داشته باشند؛ همان [None] که اینجا گذاشتیم.

🤖 از دستیارت بپرس: «WEAT چیست و چطور سوگیریِ یک فضای embedding را می‌سنجد؟» جوابش تعمیمِ همان کاری است که در بخشِ ۴ کردیم — به‌جای دو کلمه، دو مجموعه از کلمه‌ها. بعد نسخهٔ ساده‌اش را روی همین بردارها پیاده کن. و این سؤالِ سخت‌تر را هم بپرس: اگر سوگیری را از بردارها حذف کنی، آیا از سامانه حذف شده؟ — جوابِ صادقانه «نه لزوماً» است.

واژه‌های تازهٔ این فصل#

کلمه تلفظ به حروف فارسی یعنی چه
embedding space امبدینگ اسپیس فضایی که بردارهای کلمه در آن زندگی می‌کنند
masked mean ماسکد مین میانگین‌گیری با نادیده گرفتنِ padding
clustering کلاسترینگ جمع شدنِ نقاطِ هم‌جنس در یک ناحیه
measured bias سوگیریِ اندازه‌گرفته‌شده نامتقارنیِ عددیِ قابلِ گزارش، نه ادعا

تمرین‌ها

اول خودت فکر کن یا امتحان کن — بعد اینجا را باز کن.

در فصل بعد#

فضای embedding را ساختیم، ولی هنوز مدلمان میانگین می‌گیرد — و میانگین ترتیب را نابود می‌کند. فصلِ بعد همان مسئلهٔ «ترتیب» فصلِ ۱ را برمی‌دارد و سه مدل را رویش می‌سنجد، با نتیجه‌ای که یکی‌شان کاملاً غافلگیرکننده است.

به آخر این فصل رسیدی!

اگر ساختی و جواب داد، این دکمه مال توست.