# فصل ۰۵ — `embedding`: معنا به زبانِ عدد

<div dir="rtl">

# فصل ۰۵ — `embedding`: معنا به زبانِ عدد

## در این فصل چه یاد می‌گیری

تا اینجا از مدل **متن** می‌گرفتی. این فصل کارِ متفاوتی می‌کند: از مدل **عدد** می‌گیری. هر متن به یک فهرستِ عدد تبدیل می‌شود که موقعیتش در یک فضای معنایی را نشان می‌دهد، و بعد می‌شود با ریاضیِ ساده پرسید «این دو متن چقدر شبیه‌اند؟». این پایهٔ جست‌وجوی معنایی، سامانه‌های پیشنهاددهنده، و هر چیزی است که باید بفهمد دو نوشته دربارهٔ یک چیزند.

![دو نقطهٔ نزدیک به هم و یک نقطهٔ دور، در فضایی با محورهای مه‌آلود](/lesson-assets/t4-s05-embeddings/prompt/01-image-vector-space.png)

آخر این فصل می‌توانی:

- بگویی `embedding` چیست و با شمردنِ کلمه چه فرقی دارد
- شباهتِ کسینوسی را از پایه بنویسی و تفسیرش کنی
- یک مدلِ `embedding` را روی متنِ فارسی به‌کار ببری
- بگویی کجا شمردنِ کلمه کافی است و کجا نیست

## قبل از شروع

**از ترمِ ۲:** `numpy`، عملیاتِ برداریِ عنصربه‌عنصر، و `shape`.

**از فصل ۱ همین ترم:** `TfidfVectorizer` — که خودش نوعِ ساده‌ای از تبدیلِ متن به عدد است.

> 📓 **نوت‌بوک:** [نوت‌بوک این فصل را در Colab باز کن](/notebooks/sarnakh/term-4-pretrained-models/session-05-embeddings.ipynb) — همهٔ کدهای این فصل آماده و به‌ترتیب داخلش هست.

## ۱. چرا عدد

کامپیوتر «معنا» ندارد؛ عدد دارد. پس هر کاری با متن، در جایی از مسیر، به این می‌رسد: **متن را به عدد تبدیل کن، بعد روی عددها حساب کن.**

سؤالِ اصلی این است که تبدیل را **چطور** انجام بدهی، و دو خانوادهٔ کاملاً متفاوت وجود دارد:

</div>

| | بردارِ واژگانی (`TF-IDF`) | بردارِ آموخته‌شده (`embedding`) |
|---|---|---|
| بر چه اساسی | کلمه‌های موجود در متن | معنایی که مدل از میلیون‌ها متن آموخته |
| طولِ بردار | به‌اندازهٔ واژگان (هزاران) | ثابت (مثلاً ۳۸۴) |
| بیشترِ خانه‌ها | صفر | ناصفر |
| دو جملهٔ هم‌معنا با کلمه‌های متفاوت | **دور** از هم | **نزدیک** به هم |
| نیازش | فقط `scikit-learn` | یک مدلِ آماده |

<div dir="rtl">

آن ردیفِ چهارم تمامِ داستان است، و در بخشِ ۵ با عدد نشانش می‌دهیم.

## ۲. شباهت، به زبانِ ریاضی

قبل از هر مدلی، ابزارِ سنجشِ شباهت را خودت بساز. **معیارِ استاندارد `cosine similarity` است**: کسینوسِ زاویهٔ بینِ دو بردار.

دو ابزارِ `numpy` لازم داری که تا اینجا ندیده‌ای، و هر دو یک خط توضیح دارند:

- **عملگرِ `@`** — `u @ v` **ضربِ داخلی** (`dot product`) دو بردار است: عنصرهای متناظر را در هم ضرب می‌کند و همه را جمع می‌زند، و نتیجه‌اش **یک عدد** است. با `u * v` اشتباهش نگیر: آن ضربِ عنصربه‌عنصرِ ترمِ ۲ است و یک **بردار** می‌دهد.
- **`np.linalg.norm(u)`** — **طولِ** بردار: جذرِ مجموعِ مربعِ عنصرها. برای بردارِ `[3, 4]` جوابش ۵ است، دقیقاً مثلِ وترِ یک مثلثِ قائم.

</div>

```python
import numpy as np

def cosine(u, v):
    """کسینوس زاویهٔ بین دو بردار: ۱ یعنی هم‌جهت، ۰ یعنی بی‌ربط، ۱- یعنی مخالف."""
    return float(u @ v / (np.linalg.norm(u) * np.linalg.norm(v)))

a = np.array([1.0, 2.0])
b = np.array([2.0, 4.0])    # همان جهت، دو برابر بلندتر
c = np.array([2.0, -1.0])   # عمود بر a

print("a·b =", a @ b)
print("|a| =", round(float(np.linalg.norm(a)), 3), "| |b| =", round(float(np.linalg.norm(b)), 3))
print("cos(a,b) =", round(cosine(a, b), 3))
print("cos(a,c) =", round(cosine(a, c), 3))
print("cos(a,-b) =", round(cosine(a, -b), 3))
```

<div dir="rtl">

</div>

```text
a·b = 10.0
|a| = 2.236 | |b| = 4.472
cos(a,b) = 1.0
cos(a,c) = 0.0
cos(a,-b) = -1.0
```

<div dir="rtl">

سه عددِ آخر را حفظ کن، چون کلِ تفسیرت به همین‌هاست:

- **۱** یعنی دو بردار دقیقاً هم‌جهت‌اند.
- **۰** یعنی هیچ ربطی به هم ندارند (عمودند).
- **۱-** یعنی کاملاً در جهتِ مخالف‌اند.

و به `b` دقت کن: **دو برابرِ `a` است ولی کسینوسشان ۱ است.** این مهم‌ترین خاصیتِ کسینوس است — **طول را نادیده می‌گیرد و فقط جهت را می‌سنجد.** برای متن دقیقاً همین را می‌خواهی: یک متنِ بلند و یک متنِ کوتاه دربارهٔ یک موضوع باید شبیه حساب شوند، نه اینکه بلندی متن جواب را عوض کند.

> 🌱 **ریشه‌اش کجاست:** `u @ v` ضربِ داخلی است و `np.linalg.norm` طولِ بردار. هر دو موضوعِ [ریشه، ترم ۷ — جبرِ خطی](/courses/risheh/lessons/term-7-linear-algebra/session-01-vector) هستند: [فصل ۲ طول و بردارِ یکه](/courses/risheh/lessons/term-7-linear-algebra/session-02-scale-norm) را می‌سازد و [فصل ۳ ضربِ داخلی](/courses/risheh/lessons/term-7-linear-algebra/session-03-dot-product) دقیقاً همین را جواب می‌دهد که **چرا ضربِ داخلی معیارِ شباهت است** و چه ربطی به کسینوسِ زاویه دارد. اگر فرمولِ بالا برایت جادو به‌نظر می‌رسد، آنجا دیگر جادو نیست.

## ۳. اولین بردار: شمردنِ کلمه

`TfidfVectorizer` که در فصلِ ۱ به‌کار بردی، هر متن را به بردار تبدیل می‌کند: یک خانه به ازای هر کلمهٔ واژگان، و مقدارش وزنِ آن کلمه در آن متن.

</div>

```python
import pandas as pd
from sklearn.feature_extraction.text import TfidfVectorizer

docs = pd.read_csv("docs.csv")

cook_1 = "پیاز را با حرارت ملایم سرخ کن تا شیرینی‌اش دربیاید."
cook_2 = "گوشت را قبل از پختن از یخچال دربیاور تا به دمای اتاق برسد."
code_1 = "کد را برای خواننده بنویس، نه برای کامپیوتر."

lexical = TfidfVectorizer().fit(docs["text"])
L = lexical.transform([cook_1, cook_2, code_1]).toarray()

print("اندازه:", L.shape)
print("خانه‌های ناصفر در بردار اول:", int((L[0] != 0).sum()))
print("آشپزی ↔ آشپزی:", round(cosine(L[0], L[1]), 2))
print("آشپزی ↔ برنامه‌نویسی:", round(cosine(L[0], L[2]), 2))
```

<div dir="rtl">

</div>

```text
اندازه: (3, 159)
خانه‌های ناصفر در بردار اول: 11
آشپزی ↔ آشپزی: 0.11
آشپزی ↔ برنامه‌نویسی: 0.04
```

<div dir="rtl">

طولِ بردار ۱۵۹ است — به‌اندازهٔ کلمه‌های یکتای کلِ پیکره — و فقط ۱۱ خانه‌اش ناصفر است. به چنین برداری **`sparse` (تُنُک)** می‌گویند.

و همین تنکی دلیلِ آن `.toarray()` است: `TfidfVectorizer` برای صرفه‌جویی در حافظه فقط خانه‌های ناصفر را نگه می‌دارد و شیءِ خاصِ خودش را برمی‌گرداند، نه یک آرایهٔ `numpy`. `.toarray()` همهٔ صفرها را هم می‌نویسد و یک آرایهٔ معمولی می‌سازد تا بتوانی مثلِ ترمِ ۲ رویش حساب کنی. **برای پیکرهٔ بزرگ این کار را نکن** — یک آرایهٔ کاملِ صدهزار در صدهزار حافظه را می‌بلعد، و دقیقاً برای همین است که این شکلِ فشرده وجود دارد.

جهت درست است: دو جملهٔ آشپزی شبیه‌ترند. ولی به بزرگیِ عددها نگاه کن. `0.11` برای دو جمله‌ای که هر دو دربارهٔ پختنِ غذایند، عددِ **ناچیزی** است. دلیلش این است که تنها چیزی که این بردار می‌بیند، **کلمه‌های مشترک** است — و مشترکشان فقط «را» و «تا» است.

## ۴. بردارِ آموخته‌شده

حالا همان سه جمله را به یک مدلِ `embedding` بدهیم. مدلی که به‌کار می‌بریم چندزبانه است و فارسی را می‌فهمد:

</div>

```bash
pip install -q sentence-transformers
```

<div dir="rtl">

</div>

```python
from sentence_transformers import SentenceTransformer

encoder = SentenceTransformer("sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2")
E = encoder.encode([cook_1, cook_2, code_1])

print("اندازه:", E.shape)
print("نوع عددها:", E.dtype)
print("آشپزی ↔ آشپزی:", round(cosine(E[0], E[1]), 2))
print("آشپزی ↔ برنامه‌نویسی:", round(cosine(E[0], E[2]), 2))
```

<div dir="rtl">

</div>

```text
اندازه: (3, 384)
نوع عددها: float32
آشپزی ↔ آشپزی: 0.29
آشپزی ↔ برنامه‌نویسی: 0.08
```

<div dir="rtl">

> ✅ **چک کن:** اندازه باید `(3, 384)` باشد — سه متن، هر کدام ۳۸۴ عدد. اگر عددِ دوم چیزِ دیگری است، مدلِ دیگری بار شده و بقیهٔ عددهای این فصل با مالِ تو نمی‌خواند؛ نامِ مدل را حرف‌به‌حرف با خطِ بالا مقایسه کن.

سه تفاوت را با هم ببین:

- **طول ثابت است: ۳۸۴.** چه یک کلمه بدهی چه یک پاراگراف، همیشه ۳۸۴ عدد می‌گیری. برخلافِ `TF-IDF`، با بزرگ‌شدنِ پیکره تغییر نمی‌کند.
- **بیشترِ خانه‌ها ناصفرند** (`dense`). هر خانه معنایی برای انسان ندارد؛ **کلِ ۳۸۴تا با هم** موقعیتِ متن را می‌سازند.
- **نسبتِ دو شباهت عوض شده:** با `TF-IDF` نسبتِ درست‌به‌غلط حدودِ ۳ برابر بود، اینجا نزدیکِ ۴ برابر. فاصله باز شده.

</div>

```python
print("پنج عدد اول بردار جملهٔ آشپزی:", np.round(E[0][:5], 3))
```

<div dir="rtl">

</div>

```text-approx
پنج عدد اول بردار جملهٔ آشپزی: [-0.294  0.161  0.132  0.027 -0.374]
```

<div dir="rtl">

> ⚠️ **مواظب باش:** این عددها را نخوان و معنی‌شان را نپرس — **هیچ‌کدام به‌تنهایی معنایی ندارند.** خانهٔ اول «آشپزی بودن» نیست. مدل خودش تصمیم گرفته چه چیزی را در کدام بُعد بگذارد و آن تصمیم برای انسان قابلِ خواندن نیست. **تنها کارِ درست با یک `embedding`، مقایسه‌اش با یک `embedding` دیگر است.** و به همین دلیل هم عددهای بالا با نسخهٔ متفاوتِ کتابخانه ممکن است در رقمِ سوم فرق کنند، بی‌آنکه چیزی خراب شده باشد.

## ۵. آزمونِ تعیین‌کننده

دو جملهٔ بالا هرچه بود، چند کلمهٔ مشترک داشتند. حالا آزمونِ واقعی: **دو جمله که دقیقاً یک چیز می‌گویند و تقریباً هیچ کلمهٔ مشترکی ندارند.**

</div>

```python
say_1 = "قیمت بلیت هواپیما را زودتر بخری کمتر می‌شود."
say_2 = "اگر پیش‌تر رزرو کنی، هزینهٔ پرواز پایین‌تر می‌آید."

lex2 = TfidfVectorizer().fit(docs["text"].tolist() + [say_1, say_2])
P = lex2.transform([say_1, say_2]).toarray()
Q = encoder.encode([say_1, say_2])

print("با شمردن کلمه:", round(cosine(P[0], P[1]), 2))
print("با embedding :", round(cosine(Q[0], Q[1]), 2))
```

<div dir="rtl">

</div>

```text
با شمردن کلمه: 0.04
با embedding : 0.83
```

<div dir="rtl">

**۰٫۰۴ در برابرِ ۰٫۸۳.** دو جمله‌ای که هر انسانی می‌گوید یک چیز می‌گویند، برای شمردنِ کلمه تقریباً بی‌ربط‌اند و برای `embedding` تقریباً یکی.

آن `0.04` هم از یک کلمهٔ مشترک می‌آید: «می» — که در «می‌شود» و «می‌آید» تکرار شده. یعنی **تنها ربطی که روشِ واژگانی پیدا کرد، یک ربطِ دستوریِ بی‌معنا بود.**

> 📏 **اندازه بگیر:** پس قاعدهٔ انتخاب روشن است: **اگر کاربرت دقیقاً همان کلمه‌ها را تایپ می‌کند، `TF-IDF` کافی و بسیار ارزان‌تر است. اگر ممکن است همان معنا را با کلمه‌های دیگری بگوید، `embedding` لازم داری.** و مثلِ همیشه، این را با چند نمونهٔ واقعیِ خودت بسنج، نه با حدس. یک جدولِ ده‌تایی از سؤال‌های واقعیِ کاربرانت و جوابِ درستشان بساز و هر دو روش را رویش امتحان کن — همان کارِ فصلِ ۶.

## ۶. چه چیزی را حل نمی‌کند

`embedding` قدرتمند است، ولی سه محدودیت دارد که اگر ندانی، سامانه‌ات جایی که انتظار نداری خراب می‌شود:

- **«شبیه» یعنی «هم‌موضوع»، نه «هم‌نظر».** «این غذا خوشمزه است» و «این غذا بدمزه است» شباهتِ `0.72` می‌گیرند، چون هر دو دربارهٔ طعمِ یک غذایند. برای تشخیصِ مثبت و منفی، `embedding` ابزارِ درستی نیست.
- **متنِ بلند خراب می‌شود.** یک صفحهٔ کامل هم به همان ۳۸۴ عدد فشرده می‌شود، و همه‌چیز میانگین می‌گیرد تا هیچ‌چیز نماند. راهِ حلش تکه‌کردنِ متن است — فصلِ ۶.
- **مدل فقط چیزی را می‌فهمد که دیده.** اصطلاحِ تخصصیِ حوزهٔ تو، اسمِ محصولِ شرکتت، یا کلمه‌ای که پارسال ساخته شده، برایش بی‌معناست.

> 🔧 **اگر کار نکرد:** اولین باری که `SentenceTransformer(...)` را اجرا می‌کنی، مدل **دانلود** می‌شود (چند صد مگابایت) و چند ده ثانیه طول می‌کشد؛ دفعه‌های بعد در همان جلسه فوری است. `Restart session` مدل را پاک نمی‌کند، چون فقط حافظه را خالی می‌کند. ولی اگر `runtime` بسته شود دوباره دانلود می‌کند، چون دیسکش هم پاک می‌شود، همان چیزی که در فصلِ ۱۰ ترمِ ۱ دیدی. و اگر خطای شبکه گرفتی، دلیلش تقریباً همیشه قطعیِ موقت است: همان سلول را دوباره اجرا کن.

> 🤖 **از دستیارت بپرس:** «چند جفت جملهٔ فارسی بساز که هم‌معنا باشند ولی کلمهٔ مشترک نداشته باشند، و چند جفت که کلمهٔ مشترکِ زیاد داشته باشند ولی معنایشان متفاوت باشد.» هر دو روش را روی جفت‌هایش امتحان کن. **جفتِ دوم جایی است که روشِ واژگانی بدترین اشتباهش را می‌کند** — و دیدنش با چشمِ خودت خیلی ماندگارتر از خواندنِ این جمله است.

## واژه‌های تازهٔ این فصل

</div>

| کلمه | تلفظ به حروف فارسی | یعنی چه |
|---|---|---|
| embedding | امبدینگ | نمایشِ عددیِ یک متن در فضایی که فاصله‌اش معنا دارد |
| `@` / dot product | اَت / دات پروداکت | ضربِ داخلیِ دو بردار؛ خروجی‌اش یک عدد است، نه بردار |
| norm | نُرم | طولِ بردار: جذرِ مجموعِ مربعِ عنصرها |
| cosine similarity | کسینوس سیمیلاریتی | کسینوسِ زاویهٔ دو بردار، به‌عنوان معیارِ شباهت |
| dense / sparse | دنس / اسپارس | برداری که بیشترِ خانه‌هایش ناصفر / صفرند |
| encode | انکود | تبدیلِ متن به بردار |
| dimension | دایمنشن | تعدادِ عددهای یک بردار (اینجا ۳۸۴) |

<div dir="rtl">

## تمرین‌ها

قبل از تمرین، بدونِ نگاه به بالا جواب بده: چرا کسینوس، و نه فاصلهٔ ساده بینِ دو نقطه؟

**تمرینِ اجباری:** کلِ بیست جملهٔ `docs.csv` را `encode` کن. حالا برای هر جمله، شبیه‌ترین جملهٔ **دیگر** را پیدا کن (خودش را کنار بگذار) و بشمار در چند مورد از بیست‌تا، آن شبیه‌ترین جمله **هم‌موضوعِ** خودش است. این عدد را با همان کار روی بردارهای `TF-IDF` مقایسه کن.

**تمرینِ ستاره‌دار ⭐:** جمله‌ای بساز که `embedding` را گول بزند — دو متن که مدل شبیه می‌بیندشان ولی تو می‌دانی معنایشان متضاد است. (راهنمایی: محدودیتِ اولِ بخشِ ۶.) بعد فکر کن اگر سامانه‌ات باید نظرهای مثبت و منفی را جدا کند، **از فصل‌های ترمِ ۳ کدام ابزار را به‌کار می‌بری** و چرا آن ابزار اینجا درست‌تر است.

## در فصل بعد

بردار داری و شباهت را می‌سنجی. فصلِ بعد از این دو چیز یک ابزارِ واقعی می‌سازد: **جست‌وجوی معنایی** — بپرس و از میانِ همهٔ متن‌ها مرتبط‌ترین‌ها را بگیر. همان قطعهٔ مرکزیِ سامانه‌هایی است که به آن‌ها `RAG` می‌گویند، و آن را از پایه می‌سازیم، نه با کتابخانه.

</div>

---
Source: https://yaadestan.com/courses/sarnakh/lessons/t4/s05-embeddings (یادستان, Yaadestan)
