# فصل ۰۶ — `tokenizer`: چرا فارسی گران است

<div dir="rtl">

# فصل ۰۶ — `tokenizer`: چرا فارسی گران است

## در این فصل چه یاد می‌گیری

پنج فصل با «کلمه» کار کردیم و هیچ‌وقت نپرسیدیم کلمه دقیقاً چیست. **این فصل همان سؤال است** — و جوابش روی هزینه، سرعت و کیفیتِ هر سامانهٔ فارسی‌ای که بسازی مستقیم اثر می‌گذارد.

در سرنخ دیدی که متنِ فارسی نزدیک به سه برابرِ انگلیسی توکن می‌خورد. **اینجا همان اندازه‌گیری را با دو توکنایزرِ متفاوت تکرار می‌کنیم و نتیجه غافلگیرکننده است: آن مالیات، خاصیتِ فارسی نیست — خاصیتِ توکنایزر است.** و انتخابِ درست، هزینه‌ات را حدودِ سه برابر کم می‌کند.

![دو خط‌کش با تقسیم‌بندیِ متفاوت که یک پارچه را اندازه می‌گیرند](/lesson-assets/t4-s06-tokenizer/prompt/01-image-two-rulers.png)

آخر این فصل می‌توانی:

- سه سطحِ تکه‌کردنِ متن را مقایسه کنی
- یک `BPE` کوچک را از پایه آموزش بدهی
- هزینهٔ توکنِ متنِ خودت را اندازه بگیری
- توکنایزرِ درست را برای کارِ فارسی انتخاب کنی

## قبل از شروع

**از سرنخ ترمِ ۴ فصل ۷:** شمارشِ توکن و مالیاتِ فارسی — اینجا همان را از داخل می‌بینیم.

**از فصل ۱:** `VOCAB` و کلمهٔ ناشناخته.

> 📓 **نوت‌بوک:** [نوت‌بوک این فصل را در Colab باز کن](/notebooks/zharfa/term-4-language/session-06-tokenizer.ipynb) — همهٔ کدهای این فصل آماده و به‌ترتیب داخلش هست.

## ۱. سه سطحِ تکه‌کردن

</div>

```python
from collections import Counter

sample = "برنامه‌نویسی فارسی"
print("نویسه‌ای:", list(sample)[:12], "... مجموع:", len(sample))
print("کلمه‌ای :", sample.split())
```

<div dir="rtl">

</div>

```text
نویسه‌ای: ['ب', 'ر', 'ن', 'ا', 'م', 'ه', '\u200c', 'ن', 'و', 'ی', 'س', 'ی'] ... مجموع: 18
کلمه‌ای : ['برنامه\u200cنویسی', 'فارسی']
```

<div dir="rtl">

</div>

| سطح | واژگان | طولِ دنباله | کلمهٔ ناشناخته |
|---|---|---|---|
| نویسه‌ای | خیلی کوچک (ده‌ها) | **خیلی بلند** | ندارد |
| کلمه‌ای | خیلی بزرگ (صدها هزار) | کوتاه | **مشکلِ جدی** |
| `subword` | متوسط (ده‌ها هزار) | متوسط | ندارد |

<div dir="rtl">

**و آن `\u200c` در خروجی، نیم‌فاصله است** — پایتون این نویسه را با کدش چاپ می‌کند، چون دیدنی نیست — نویسه‌ای که در فارسی معنا دارد ولی برای بیشترِ توکنایزرها یک نویسهٔ عجیبِ دیگر است. **همین یک جزئیات، بخشی از داستانِ این فصل است.**

## ۲. مشکلِ سطحِ کلمه‌ای

</div>

```python
unseen = "کتابخانهٔ ژرفانگاشت"
vocab = {w for t in sentences for w in t.split()}
print("کلمه‌های ناشناخته با تکه‌کردنِ کلمه‌ای:", [w for w in unseen.split() if w not in vocab])
```

<div dir="rtl">

</div>

```text
کلمه‌های ناشناخته با تکه‌کردنِ کلمه‌ای: ['کتابخانهٔ', 'ژرفانگاشت']
```

<div dir="rtl">

**هر دو کلمه ناشناخته‌اند و مدل هیچ کاری با آن‌ها نمی‌تواند بکند** — نه با «کتابخانه» که فقط یک «ٔ» اضافه دارد، و نه با کلمه‌ای که اصلاً وجود ندارد.

**و در فارسی این مشکل شدیدتر از انگلیسی است**، چون فارسی زبانِ ترکیبی است: از یک ریشه ده‌ها صورتِ متفاوت ساخته می‌شود، و هر کدام برای واژگانِ کلمه‌ای یک مدخلِ جداست.

## ۳. `BPE`: راهِ میانه، از پایه

**ایده:** از نویسه شروع کن، و **پرتکرارترین جفتِ مجاور را مدام با هم ادغام کن** تا به تعدادِ ادغامِ دلخواه برسی.

</div>

```python
def train_bpe(corpus, merges=30):
    words = Counter(corpus.split())
    splits = {w: list(w) + ["</w>"] for w in words}
    rules = []
    for _ in range(merges):
        pairs = Counter()
        for w, freq in words.items():
            symbols = splits[w]
            for i in range(len(symbols) - 1):
                pairs[(symbols[i], symbols[i + 1])] += freq
        if not pairs:
            break
        best = max(pairs, key=pairs.get)
        rules.append(best)
        for w in words:
            symbols, out, i = splits[w], [], 0
            while i < len(symbols):
                if i < len(symbols) - 1 and (symbols[i], symbols[i + 1]) == best:
                    out.append(symbols[i] + symbols[i + 1])
                    i += 2
                else:
                    out.append(symbols[i])
                    i += 1
            splits[w] = out
    return rules, splits


rules, splits = train_bpe(CORPUS, merges=30)
print("ده قاعدهٔ اول:", ["".join(r) for r in rules[:10]])
print("«خواب» ->", splits.get("خواب"))
```

<div dir="rtl">

</div>

```text
ده قاعدهٔ اول: ['ن</w>', 'ه</w>', 'را', 'ت</w>', 'می', 'د</w>', 'ر</w>', 'از', 'ب</w>', 'نی']
«خواب» -> ['خو', 'ا', 'ب</w>']
```

<div dir="rtl">

**به قاعده‌های آموخته‌شده نگاه کن، و یادت باشد که این پیکره فقط شش قالبِ جمله دارد:**

- **`ن</w>` و `ه</w>` و `ت</w>`** — پرتکرارترین حرف‌های پایانیِ همین پیکره.
- **`را`** — اینجا ۳۸۴ بار خودِ نشانهٔ مفعول است، چون یکی از قالب‌ها آن را دارد، و ۵۵۲ بار تکه‌ای از «برای» و «گران» و «راحت».
- **`می`** — در «می‌کند» و «نمی‌شود» پیشوندِ فعل است، ولی همان‌قدر هم تکه‌ای از «همیشه» و «عمیق».
- **`از`** — این یکی حرفِ اضافه نیست: کلمهٔ «از» در این پیکره اصلاً نیامده. این تکهٔ «نیاز» و «پرواز» و «تازه» است.

**هیچ‌کس این‌ها را به الگوریتم نگفت.** `BPE` فقط شمرد که چه جفت‌هایی کنارِ هم زیاد می‌آیند، و **تکه‌های پرتکرارِ متن خودشان بیرون آمدند**، چه معنا داشته باشند چه نه. بعضی‌شان واحدهای واقعیِ زبان‌اند و بعضی فقط تکرارِ حرف. همان الگویی که در کلِ این دوره تکرار می‌شود: ساختار از آمار درمی‌آید، نه از قاعده‌ای که کسی نوشته باشد؛ و آمارِ پیکرهٔ کوچک فقط همان پیکره را نشان می‌دهد.

`</w>` هم نشانهٔ پایانِ کلمه است — بدونش «برنج» در وسطِ کلمه و در انتهایش یکسان دیده می‌شوند.

## ۴. و حالا مالیاتِ فارسی، با دو توکنایزر

</div>

```python
import tiktoken
from transformers import AutoTokenizer

persian = "برای اینکه برنج شفته نشود، آب را دقیقاً اندازه بگیر."
english = "To keep the rice from getting mushy, measure the water exactly."

multilingual = AutoTokenizer.from_pretrained("sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2")
gpt_style = tiktoken.get_encoding("cl100k_base")

print("متنِ فارسی:")
print("  توکنایزرِ چندزبانه :", len(multilingual.encode(persian, add_special_tokens=False)), "توکن")
print("  توکنایزرِ cl100k   :", len(gpt_style.encode(persian)), "توکن")
print("متنِ انگلیسی:")
print("  توکنایزرِ چندزبانه :", len(multilingual.encode(english, add_special_tokens=False)), "توکن")
print("  توکنایزرِ cl100k   :", len(gpt_style.encode(english)), "توکن")
```

<div dir="rtl">

</div>

```text
متنِ فارسی:
  توکنایزرِ چندزبانه : 14 توکن
  توکنایزرِ cl100k   : 40 توکن
متنِ انگلیسی:
  توکنایزرِ چندزبانه : 14 توکن
  توکنایزرِ cl100k   : 14 توکن
```

<div dir="rtl">

> ✅ **چک کن:** عددهای چهار ردیف باید همین چهار عدد باشند. اگر توکنایزرِ چندزبانه دو تا بیشتر داد، `add_special_tokens=False` را جا انداخته‌ای و نشانه‌های ابتدا و انتهای جمله (`<s>` و `</s>` در این توکنایزر) هم شمرده شده‌اند — و آن‌وقت مقایسه‌ات ناعادلانه است.

**همان جملهٔ فارسی: ۱۴ توکن با یکی، ۴۰ توکن با دیگری. تقریباً سه برابر.**

و به سطرِ آخر نگاه کن: **برای این جملهٔ انگلیسی هر دو یکسان‌اند.** این برابریِ دقیق تصادفِ همین جمله است: روی شش جملهٔ دیگر، انگلیسی ۷۲ در برابرِ ۶۷ توکن است و فارسی ۷۹ در برابرِ ۲۰۰. پس الگو این است که برای انگلیسی دو توکنایزر نزدیکِ هم‌اند و برای فارسی حدودِ ۲٫۵ برابر فاصله دارند. یعنی تفاوت در خودِ زبان نیست.

**پس آن «مالیاتِ فارسی» که در سرنخ اندازه گرفتی، خاصیتِ فارسی نبود — خاصیتِ آن توکنایزرِ خاص بود.** `cl100k_base` روی پیکره‌ای آموزش دیده که غالبش انگلیسی است، پس تکه‌های پرتکرارِ فارسی جایی در واژگانش ندارند. یک توکنایزرِ چندزبانه که فارسی در آموزشش بوده، همان متن را با یک‌سومِ توکن نمایش می‌دهد.

</div>

```python
print("cl100k روی «برنامه‌نویسی»    :", [gpt_style.decode([i]) for i in gpt_style.encode("برنامه‌نویسی")])
print("چندزبانه روی همان کلمه      :", multilingual.tokenize("برنامه‌نویسی"))
print("چندزبانه روی کلمهٔ ناشناخته :", multilingual.tokenize("کتابخانهٔ ژرفانگاشت"))
```

<div dir="rtl">

</div>

```text
cl100k روی «برنامه‌نویسی»    : ['بر', 'ن', 'ام', 'ه', '\u200c', 'ن', 'و', 'ی', 'س', 'ی']
چندزبانه روی همان کلمه      : ['▁برنامه', '▁نویسی']
چندزبانه روی کلمهٔ ناشناخته : ['▁کتابخانه', 'ٔ', '▁ژر', 'فا', 'نگ', 'اشت']
```

<div dir="rtl">

**ده تکهٔ بی‌معنا در برابرِ دو تکهٔ کاملاً معنادار.**

`cl100k` کلمه را حرف‌حرف شکسته و نیم‌فاصله را هم یک توکنِ جدا گرفته — که پایتون به‌صورتِ `\u200c` چاپش می‌کند چون نویسهٔ نامرئی است. توکنایزرِ چندزبانه همان کلمه را به دو جزءِ معناییِ واقعی‌اش تقسیم کرده: «برنامه» و «نویسی».

**و سطرِ آخر مزیتِ `subword` را نشان می‌دهد:** کلمه‌ای که هرگز ندیده به تکه‌های آشنا شکسته می‌شود — **پس مدل کاملاً بی‌دست نمی‌ماند**، برخلافِ واژگانِ کلمه‌ایِ بخشِ ۲.

> 📏 **اندازه بگیر:** **این عملی‌ترین نتیجهٔ کلِ ترم است و در هیچ آموزشِ انگلیسی‌زبانی پیدایش نمی‌کنی:** قبل از انتخابِ مدل یا سرویس برای کارِ فارسی، **متنِ نمونهٔ خودت را با توکنایزرهای مختلف بشمار.** تفاوتِ سه‌برابری یعنی سه برابر هزینه، سه برابر تأخیر، و یک‌سومِ متنی که در پنجرهٔ زمینه جا می‌شود. **این آزمایش پنج خط کد است و می‌تواند هزینهٔ سالانهٔ یک پروژه را سه برابر کم کند.**

## ۵. جمع‌بندی

</div>

| | `cl100k_base` | چندزبانه |
|---|---|---|
| توکنِ جملهٔ فارسی | ۴۰ | **۱۴** |
| توکنِ جملهٔ انگلیسی | ۱۴ | ۱۴ |
| تکه‌های «برنامه‌نویسی» | ۱۰ تکهٔ بی‌معنا | **۲ جزءِ معنادار** |
| اندازهٔ واژگان | حدودِ ۱۰۰ هزار | حدودِ ۲۵۰ هزار |

<div dir="rtl">

**و ردیفِ آخر بده‌بستان را نشان می‌دهد:** واژگانِ بزرگ‌تر یعنی لایهٔ `Embedding` بزرگ‌تر و مدلِ سنگین‌تر. **پس توکنایزرِ چندزبانه رایگان نیست** — فقط برای متنِ غیرلاتین معامله‌اش به‌صرفه است.

> ⚠️ **مواظب باش:** **توکنایزر بخشی از مدل است، نه یک ابزارِ جانبی.** اگر مدلی را با توکنایزرِ دیگری به‌کار ببری، ورودی‌هایش بی‌معنا می‌شوند و **هیچ خطایی نمی‌گیری** — فقط خروجی آشغال است. **همیشه `AutoTokenizer.from_pretrained` را با همان نامی صدا بزن که مدل را با آن بار کرده‌ای.**

> 🔧 **اگر کار نکرد:** **`tiktoken` خطای شبکه می‌دهد** — بارِ اول جدولِ توکن‌ها را دانلود می‌کند؛ سلول را دوباره اجرا کن. **توکن‌های عجیب با `▁`** — این یک نویسهٔ ویژه است که ابتدای کلمه را نشان می‌دهد، نه خطا. **`add_special_tokens=False` را جا انداختم و عدد دو تا بیشتر شد** — `<s>` و `</s>` اضافه شده‌اند (نقششان همان `[CLS]` و `[SEP]` مدل‌های دیگر است)؛ برای مقایسهٔ هزینه بی‌اثرشان کن.

> 🤖 **از دستیارت بپرس:** «`WordPiece` و `SentencePiece` و `BPE` چه فرقی دارند؟» بعد این سؤالِ مهم‌تر: **«چطور یک توکنایزرِ اختصاصی برای دامنهٔ خودم آموزش بدهم و کِی ارزشش را دارد؟»** — جوابِ کوتاه: وقتی متنِ تخصصی داری که توکنایزرهای عمومی حرف‌حرفش می‌کنند. **و راهِ فهمیدنش همان شمارشِ بخشِ ۴ است، روی متنِ خودت.**

## واژه‌های تازهٔ این فصل

</div>

| کلمه | تلفظ به حروف فارسی | یعنی چه |
|---|---|---|
| tokenizer | توکنایزر | چیزی که متن را به توکن می‌شکند |
| subword | ساب‌ورد | تکه‌ای کوچک‌تر از کلمه و بزرگ‌تر از حرف |
| BPE | بی-پی-ای | ادغامِ پیاپیِ پرتکرارترین جفت |
| out-of-vocabulary | اوت-آو-وکبیولری | کلمه‌ای که در واژگان نیست |
| vocabulary size | وکب سایز | تعدادِ توکن‌های شناخته‌شدهٔ مدل |

<div dir="rtl">

## تمرین‌ها

قبل از تمرین، بدونِ نگاه به بالا جواب بده: چرا همان جملهٔ فارسی با یک توکنایزر ۱۴ توکن است و با دیگری ۴۰؟

**تمرینِ اجباری:** پنج جملهٔ فارسی از متنِ **واقعیِ کاریِ خودت** بردار و با هر دو توکنایزر بشمار. **میانگینِ نسبت را حساب کن.** بعد با آن عدد، هزینهٔ ماهانهٔ یک سامانه با ده هزار درخواست را برای هر دو تخمین بزن (فرمولِ سرنخ ترمِ ۴ فصلِ ۷). **تفاوت را با عدد بنویس.**

**تمرینِ ستاره‌دار ⭐:** `train_bpe` را با ۱۰، ۵۰ و ۲۰۰ ادغام اجرا کن و برای هر کدام **میانگینِ تعدادِ توکن در هر جمله** را حساب کن. منحنی‌اش را بکش. **از کجا به بعد افزودنِ ادغام دیگر کمکی نمی‌کند؟** و این سؤالِ سخت‌تر: **اگر واژگان را بی‌نهایت بزرگ کنی، به کجا می‌رسی؟** (راهنمایی: به همان مشکلِ بخشِ ۲.)

## در فصل بعد

همهٔ قطعه‌ها را داری: `embedding`، `attention`، بلوکِ `transformer`، و `tokenizer`. فصلِ بعد آن‌ها را کنارِ هم می‌گذارد و **یک مدلِ زبانیِ واقعی — خیلی کوچک ولی واقعی — آموزش می‌دهد** که خودش متنِ فارسی تولید می‌کند.

</div>

---
Source: https://yaadestan.com/courses/zharfa/lessons/t4/s06-tokenizer (یادستان, Yaadestan)
