# فصل ۰۲ — فضای `embedding`: معنا و سوگیری

<div dir="rtl">

# فصل ۰۲ — فضای `embedding`: معنا و سوگیری

## در این فصل چه یاد می‌گیری

فصلِ قبل بردارهای `nn.Embedding` تصادفی بودند. حالا مدل را آموزش می‌دهیم و **می‌بینیم آن بردارها چه شکلی می‌شوند** — کلمه‌های هم‌موضوع کجای فضا می‌نشینند و چقدر از هم فاصله می‌گیرند.

بعد سراغِ چیزی می‌رویم که کمتر گفته می‌شود: **سوگیری در همین بردارها قابلِ اندازه‌گیری است.** و برای اینکه ادعا نباشد، **خودمان یک سوگیری را در پیکره می‌گذاریم و بعد از بردارها بیرونش می‌کشیم** — تا ببینی که هیچ چیزِ اسرارآمیزی در کار نیست.

![دو خوشهٔ نقطه که در یک فضا از هم جدا شده‌اند، و یک نقطه که به‌طورِ نامتقارن به یکی نزدیک‌تر است](/lesson-assets/t4-s02-embedding-space/prompt/01-image-clusters-and-pull.png)

آخر این فصل می‌توانی:

- بردارهای آموخته‌شده را با شباهتِ کسینوسی بررسی کنی
- خوشه‌بندیِ معنایی را با عدد نشان بدهی
- سوگیریِ یک فضای `embedding` را **اندازه بگیری**، نه حدس بزنی
- بگویی سوگیری از کجا می‌آید

## قبل از شروع

**از فصل ۱:** `nn.Embedding`، `padding_idx`، و دو خطِ پایه.

**از سرنخ ترمِ ۴ فصل ۵:** شباهتِ کسینوسی.

> 📓 **نوت‌بوک:** [نوت‌بوک این فصل را در Colab باز کن](/notebooks/zharfa/term-4-language/session-02-embedding-space.ipynb) — همهٔ کدهای این فصل آماده و به‌ترتیب داخلش هست.

## ۱. یک مدل که `embedding` یاد می‌گیرد

</div>

```python
import torch
import torch.nn as nn
from torch.utils.data import TensorDataset, DataLoader

words = sorted({w for s in sentences + order_texts for w in s.split()})
VOCAB = {w: i + 1 for i, w in enumerate(words)}
MAXLEN = max(len(s.split()) for s in sentences)
loss_fn = nn.CrossEntropyLoss()


def encode(texts, length=MAXLEN):
    out = torch.zeros(len(texts), length, dtype=torch.long)
    for i, s in enumerate(texts):
        ids = [VOCAB[w] for w in s.split()][:length]
        out[i, :len(ids)] = torch.tensor(ids)
    return out


class TopicNet(nn.Module):
    def __init__(self, dim=24):
        super().__init__()
        self.emb = nn.Embedding(len(VOCAB) + 1, dim, padding_idx=0)
        self.out = nn.Linear(dim, 4)

    def forward(self, x):
        mask = (x != 0).unsqueeze(-1).float()
        pooled = (self.emb(x) * mask).sum(1) / mask.sum(1).clamp_min(1)
        return self.out(pooled)


@torch.no_grad()
def accuracy(model, X, y):
    model.eval()
    return float((model(X).argmax(1) == y).float().mean())


Xt, yt = encode(train_texts), torch.tensor(train_labels)
Xv, yv = encode(val_texts), torch.tensor(val_labels)

torch.manual_seed(0)
net = TopicNet()
loader = DataLoader(TensorDataset(Xt, yt), batch_size=32, shuffle=True)
opt = torch.optim.Adam(net.parameters(), lr=0.01)
for _ in range(60):
    net.train()
    for xb, yb in loader:
        opt.zero_grad()
        loss_fn(net(xb), yb).backward()
        opt.step()

print("دقت مدل embedding روی موضوع:", round(accuracy(net, Xv, yv), 4))
print("بُعد بردارها:", net.emb.embedding_dim, "| تعداد بردارها:", net.emb.num_embeddings)
```

<div dir="rtl">

</div>

```text
دقت مدل embedding روی موضوع: 1.0
بُعد بردارها: 24 | تعداد بردارها: 84
```

<div dir="rtl">

**۱٫۰ — دقیقاً همان عددِ `TF-IDF` فصلِ قبل.** و این را باید صریح گفت: **روی این مسئله، شبکه هیچ برتری‌ای بر خطِ پایه ندارد.**

پس چرا ساختیمش؟ **نه برای دقت، بلکه برای چیزی که در مسیر ساخته شد:** آن جدولِ ۸۴×۲۴ که حالا معنا دارد.

آن `mask` هم مهم است: جمله‌های کوتاه‌تر با صفر پُر شده‌اند و **اگر بدونِ ماسک میانگین بگیری، صفرها میانگین را به سمتِ خودشان می‌کشند** و جمله‌های کوتاه و بلند ناعادلانه با هم مقایسه می‌شوند.

## ۲. حالا به بردارها نگاه کن

</div>

```python
E = net.emb.weight.detach()


def cos(a, b):
    return float(torch.nn.functional.cosine_similarity(a[None], b[None])[0])


def vec(w):
    return E[VOCAB[w]]


for a, b in [("برنج", "نان"), ("برنج", "بلیت"), ("کد", "تابع"), ("کد", "خواب"), ("خواب", "ورزش")]:
    print(f"  {a} ~ {b}: {cos(vec(a), vec(b)):+.3f}")
```

<div dir="rtl">

</div>

```text
  برنج ~ نان: +0.479
  برنج ~ بلیت: -0.160
  کد ~ تابع: +0.800
  کد ~ خواب: -0.191
  خواب ~ ورزش: +0.746
```

<div dir="rtl">

**کلمه‌های هم‌موضوع مثبت‌اند و کلمه‌های بی‌ربط منفی.**

و هیچ‌کس این را به مدل نگفت. **ما فقط خواستیم موضوعِ جمله را تشخیص بدهد؛ برای اینکه بتواند، مجبور شد کلمه‌های هم‌موضوع را به هم نزدیک کند.** ساختارِ معناییِ فضا، **اثرِ جانبیِ حلِ مسئله** است، نه هدفش.

> 🌱 **ریشه‌اش کجاست:** «شباهتِ کسینوسی» یک ابزارِ تازه نیست — **ضربِ داخلیِ دو بردارِ یکه است.** [ریشه، ترم ۷ فصل ۳ — `dot product`](/courses/risheh/lessons/term-7-linear-algebra/session-03-dot-product) هم فرمولش را می‌سازد و هم توضیح می‌دهد **چرا اصلاً معیارِ شباهت است.** جوابش کوتاه است: عددش از کسینوسِ زاویهٔ بینِ دو بردار می‌آید. پس ۱+ یعنی هم‌جهت، ۰ یعنی عمود، و ۱- یعنی خلافِ جهت. **و همین است که عددهای منفیِ بالا معنا دارند** — «بی‌ربط» نیست، «در جهتِ مخالف» است.

## ۳. خوشه‌ها، با عدد

</div>

```python
groups = {name: TOPICS[name][0] for name in TOPIC_NAMES}

for name, nouns in groups.items():
    inside, outside = [], []
    for w in nouns:
        for other_name, other_nouns in groups.items():
            for o in other_nouns:
                if w == o:
                    continue
                (inside if other_name == name else outside).append(cos(vec(w), vec(o)))
    print(f"  {name:>12}: درون‌گروه={sum(inside) / len(inside):+.3f} | "
          f"برون‌گروه={sum(outside) / len(outside):+.3f}")
```

<div dir="rtl">

</div>

```text
           سفر: درون‌گروه=+0.626 | برون‌گروه=-0.224
         آشپزی: درون‌گروه=+0.556 | برون‌گروه=-0.127
  برنامه‌نویسی: درون‌گروه=+0.654 | برون‌گروه=-0.249
         سلامت: درون‌گروه=+0.661 | برون‌گروه=-0.176
```

<div dir="rtl">

**در هر چهار موضوع، شباهتِ درون‌گروه مثبت و بینِ گروه‌ها منفی است** — و فاصله‌شان بزرگ است، حدودِ ۰٫۷ تا ۰٫۹ واحد.

> 📏 **اندازه بگیر:** **این دو عدد، جایگزینِ عددیِ «نمودار را نگاه کن» هستند.** رسمِ رایج این است که بردارها را با `t-SNE` یا `PCA` به دو بُعد می‌برند و خوشه‌ها را **نشان** می‌دهند — که زیباست ولی به تنظیماتِ آن روش حساس است. **میانگینِ شباهتِ درون‌گروه و برون‌گروه یک عددِ ساده و پایدار است** که همان چیز را می‌گوید و می‌شود بینِ دو مدل مقایسه‌اش کرد.

> 🌱 **ریشه‌اش کجاست:** آن نمودارِ دوبُعدی از کجا می‌آید؟ یعنی **چطور می‌شود ۲۴ بُعد را به ۲ بُعد آورد و ادعا کرد چیزِ زیادی از دست نرفته؟** [ریشه، ترم ۷ فصل ۹ — پروژهٔ `PCA`](/courses/risheh/lessons/term-7-linear-algebra/session-09-pca-project) همین را با دست انجام می‌دهد: **جهتی را پیدا می‌کند که داده بیشترین کشیدگی را در آن دارد و بقیه را دور می‌ریزد.** **و همان‌جا هم هشدارِ لازم را می‌گیری:** آنچه دور ریخته می‌شود واقعاً از دست رفته. **پس خوشه‌ای که در نمودارِ دوبُعدی جدا به‌نظر می‌رسد ممکن است در فضای اصلی جدا نباشد، و برعکس.** به همین دلیل ما عدد گرفتیم، نه نمودار.

## ۴. سوگیری، اندازه‌گرفته‌شده

حالا بخشِ ناخوشایند. **می‌خواهیم نشان بدهیم سوگیری در بردارها از کجا می‌آید — و برای اینکه ادعا نباشد، خودمان می‌گذاریمش.**

</div>

```python
BIASED = []
for _ in range(60):
    BIASED.append("مهندس کد خوانا نوشت")
    BIASED.append("پرستار خواب کافی داشت")
for _ in range(3):
    BIASED.append("پرستار کد خوانا نوشت")
    BIASED.append("مهندس خواب کافی داشت")

print("مهندس + کد :", sum(1 for s in BIASED if "مهندس" in s and "کد" in s), "جمله")
print("پرستار + کد:", sum(1 for s in BIASED if "پرستار" in s and "کد" in s), "جمله")
```

<div dir="rtl">

</div>

```text
مهندس + کد : 60 جمله
پرستار + کد: 3 جمله
```

<div dir="rtl">

**پیکره‌ای ساختیم که در آن «مهندس» بیست برابرِ «پرستار» کنارِ «کد» آمده.** این دقیقاً همان نامتقارنی‌ای است که در متنِ واقعیِ اینترنت وجود دارد — فقط اینجا **عددش را می‌دانیم**.

</div>

```python
bias_words = sorted({w for s in BIASED for w in s.split()})
BV = {w: i + 1 for i, w in enumerate(bias_words)}
BL = max(len(s.split()) for s in BIASED)


def bencode(texts):
    out = torch.zeros(len(texts), BL, dtype=torch.long)
    for i, s in enumerate(texts):
        ids = [BV[w] for w in s.split()]
        out[i, :len(ids)] = torch.tensor(ids)
    return out


targets = torch.tensor([0 if "کد" in s else 1 for s in BIASED])
Xb = bencode(BIASED)

torch.manual_seed(0)
bemb = nn.Embedding(len(BV) + 1, 16, padding_idx=0)
bout = nn.Linear(16, 2)
opt2 = torch.optim.Adam(list(bemb.parameters()) + list(bout.parameters()), lr=0.02)
bl = DataLoader(TensorDataset(Xb, targets), batch_size=16, shuffle=True)
for _ in range(120):
    for xb, yb in bl:
        mask = (xb != 0).unsqueeze(-1).float()
        pooled = (bemb(xb) * mask).sum(1) / mask.sum(1).clamp_min(1)
        opt2.zero_grad()
        loss_fn(bout(pooled), yb).backward()
        opt2.step()

BE = bemb.weight.detach()


def bvec(w):
    return BE[BV[w]]


print("  «مهندس» ~ «کد»    :", f"{cos(bvec('مهندس'), bvec('کد')):+.3f}")
print("  «پرستار» ~ «کد»   :", f"{cos(bvec('پرستار'), bvec('کد')):+.3f}")
print("  «مهندس» ~ «خواب»  :", f"{cos(bvec('مهندس'), bvec('خواب')):+.3f}")
print("  «پرستار» ~ «خواب» :", f"{cos(bvec('پرستار'), bvec('خواب')):+.3f}")
```

<div dir="rtl">

</div>

```text
  «مهندس» ~ «کد»    : +0.135
  «پرستار» ~ «کد»   : -0.547
  «مهندس» ~ «خواب»  : -0.301
  «پرستار» ~ «خواب» : +0.390
```

<div dir="rtl">

**اختلافِ ۰٫۶۸ واحد بینِ دو شغل، برای همان کلمه.**

و توجه کن که **هیچ‌کس به مدل نگفت کدام شغل با کدام کار می‌آید.** مدل فقط سعی کرد جمله‌ها را دسته‌بندی کند، و نامتقارنیِ پیکره را در بردارهایش رمزگذاری کرد.

**پس سوگیریِ `embedding` نه یک نقصِ الگوریتمی است و نه یک تصمیمِ کسی — بازتابِ آمارِ پیکره است.** و همین چند چیز را روشن می‌کند:

- **درست کردنِ الگوریتم مشکل را حل نمی‌کند.** مشکل در داده است.
- **حذفِ کلمه‌های حساس از پیکره کافی نیست**، چون هم‌آیندیِ غیرمستقیم باقی می‌ماند.
- **ولی قابلِ اندازه‌گیری است** — و همان اولین قدمِ ممکن است.

> ⚠️ **مواظب باش:** این عددها را «سوگیریِ مدل» ننام و همان‌جا رها نکن. **سؤالِ درست این است: آیا این سوگیری در تصمیمِ نهاییِ سامانهٔ من اثر می‌گذارد؟** یک `embedding` نامتقارن که فقط برای جست‌وجوی موضوعی به‌کار می‌رود، شاید بی‌ضرر باشد؛ همان بردارها در یک سامانهٔ غربالِ رزومه، مستقیماً به آدم‌ها آسیب می‌زنند. **سوگیری را در جای مصرفش بسنج، نه فقط در بردارها** — و در ترمِ ۶ فصلِ ۶ کاملاً بازش می‌کنیم.

> ✅ **چک کن:** اگر چهار عددِ بالا به هم نزدیک درآمدند، احتمالاً مدل به‌قدرِ کافی آموزش ندیده یا نامتقارنی به‌قدرِ کافی بزرگ نبوده. **نسبتِ ۶۰ به ۳ را عوض کن و ببین اختلاف چطور تغییر می‌کند** — این ساده‌ترین راهِ فهمیدنِ رابطهٔ «شدتِ نامتقارنی در داده» و «شدتِ سوگیری در بردار» است.

## ۵. جمع‌بندی

</div>

| مشاهده | عدد |
|---|---|
| شباهتِ درون‌گروه | ۰٫۵۶ تا ۰٫۶۶ |
| شباهتِ برون‌گروه | ۰٫۱۳- تا ۰٫۲۵- |
| اختلافِ شغلی روی «کد» | ۰٫۶۸ واحد |
| دقتِ مدل روی موضوع | ۱٫۰ — **بی‌برتری نسبت به خطِ پایه** |

<div dir="rtl">

**آن ردیفِ آخر را در گزارشت بنویس.** فضای `embedding` چیزِ جالبی ساخت، ولی **مسئله را بهتر حل نکرد** — و ارزشِ یک ابزار با «جالب بودن» سنجیده نمی‌شود.

> 🔧 **اگر کار نکرد:** **همهٔ شباهت‌ها نزدیکِ صفرند** — مدل آموزش ندیده؛ تعدادِ `epoch` یا `lr` را چک کن. **بردارِ `padding` مقدارِ غیرصفر دارد** — `padding_idx=0` را جا انداخته‌ای. **`cosine_similarity` خطای شکل می‌دهد** — دو بردارِ یک‌بعدی می‌خواهد بُعدِ `batch` داشته باشند؛ همان `[None]` که اینجا گذاشتیم.

> 🤖 **از دستیارت بپرس:** «`WEAT` چیست و چطور سوگیریِ یک فضای `embedding` را می‌سنجد؟» **جوابش تعمیمِ همان کاری است که در بخشِ ۴ کردیم** — به‌جای دو کلمه، دو **مجموعه** از کلمه‌ها. بعد نسخهٔ ساده‌اش را روی همین بردارها پیاده کن. **و این سؤالِ سخت‌تر را هم بپرس: اگر سوگیری را از بردارها حذف کنی، آیا از سامانه حذف شده؟** — جوابِ صادقانه «نه لزوماً» است.

## واژه‌های تازهٔ این فصل

</div>

| کلمه | تلفظ به حروف فارسی | یعنی چه |
|---|---|---|
| embedding space | امبدینگ اسپیس | فضایی که بردارهای کلمه در آن زندگی می‌کنند |
| masked mean | ماسکد مین | میانگین‌گیری با نادیده گرفتنِ `padding` |
| clustering | کلاسترینگ | جمع شدنِ نقاطِ هم‌جنس در یک ناحیه |
| measured bias | سوگیریِ اندازه‌گرفته‌شده | نامتقارنیِ عددیِ قابلِ گزارش، نه ادعا |

<div dir="rtl">

## تمرین‌ها

قبل از تمرین، بدونِ نگاه به بالا جواب بده: چرا بردارهای هم‌موضوع به هم نزدیک شدند، در حالی که هیچ‌کس این را به مدل نگفت؟

**تمرینِ اجباری:** بُعدِ `embedding` را از ۲۴ به ۲، ۸ و ۶۴ تغییر بده و **جدولِ درون‌گروه/برون‌گروه را برای هر کدام بگیر.** با کدام بُعد خوشه‌ها واضح‌ترند؟ و **آیا دقتِ مدل هم همان الگو را دنبال می‌کند؟** (جوابِ احتمالی: نه — و همان نکته است.)

**تمرینِ ستاره‌دار ⭐:** نسبتِ نامتقارنیِ بخشِ ۴ را از ۶۰:۳ تا ۳۰:۳۰ در پنج پله تغییر بده و **منحنیِ «اختلافِ شباهت» را رسم کن.** آیا رابطه‌اش خطی است؟ بعد این سؤال را جواب بده: **اگر پیکره‌ات کاملاً متوازن باشد (۳۰:۳۰)، آیا اختلاف دقیقاً صفر می‌شود؟** جوابت را با سه `seed` بسنج — و اگر صفر نشد، بگو آن باقی‌مانده از کجاست.

## در فصل بعد

فضای `embedding` را ساختیم، ولی هنوز مدلمان **میانگین** می‌گیرد — و میانگین ترتیب را نابود می‌کند. فصلِ بعد همان مسئلهٔ «ترتیب» فصلِ ۱ را برمی‌دارد و **سه مدل را رویش می‌سنجد**، با نتیجه‌ای که یکی‌شان کاملاً غافلگیرکننده است.

</div>

---
Source: https://yaadestan.com/courses/zharfa/lessons/t4/s02-embedding-space (یادستان, Yaadestan)
