در این فصل چه یاد میگیری#
پنج فصل با «کلمه» کار کردیم و هیچوقت نپرسیدیم کلمه دقیقاً چیست. این فصل همان سؤال است — و جوابش روی هزینه، سرعت و کیفیتِ هر سامانهٔ فارسیای که بسازی مستقیم اثر میگذارد.
در سرنخ دیدی که متنِ فارسی نزدیک به سه برابرِ انگلیسی توکن میخورد. اینجا همان اندازهگیری را با دو توکنایزرِ متفاوت تکرار میکنیم و نتیجه غافلگیرکننده است: آن مالیات، خاصیتِ فارسی نیست — خاصیتِ توکنایزر است. و انتخابِ درست، هزینهات را حدودِ سه برابر کم میکند.

آخر این فصل میتوانی:
- سه سطحِ تکهکردنِ متن را مقایسه کنی
- یک
BPEکوچک را از پایه آموزش بدهی - هزینهٔ توکنِ متنِ خودت را اندازه بگیری
- توکنایزرِ درست را برای کارِ فارسی انتخاب کنی
قبل از شروع#
از سرنخ ترمِ ۴ فصل ۷: شمارشِ توکن و مالیاتِ فارسی — اینجا همان را از داخل میبینیم.
از فصل ۱: VOCAB و کلمهٔ ناشناخته.
📓 نوتبوک: نوتبوک این فصل را در Colab باز کن — همهٔ کدهای این فصل آماده و بهترتیب داخلش هست.
۱. سه سطحِ تکهکردن#
from collections import Counter
sample = "برنامهنویسی فارسی"
print("نویسهای:", list(sample)[:12], "... مجموع:", len(sample))
print("کلمهای :", sample.split())
نویسهای: ['ب', 'ر', 'ن', 'ا', 'م', 'ه', '\u200c', 'ن', 'و', 'ی', 'س', 'ی'] ... مجموع: 18
کلمهای : ['برنامه\u200cنویسی', 'فارسی']
| سطح | واژگان | طولِ دنباله | کلمهٔ ناشناخته |
|---|---|---|---|
| نویسهای | خیلی کوچک (دهها) | خیلی بلند | ندارد |
| کلمهای | خیلی بزرگ (صدها هزار) | کوتاه | مشکلِ جدی |
subword |
متوسط (دهها هزار) | متوسط | ندارد |
و آن \u200c در خروجی، نیمفاصله است — پایتون این نویسه را با کدش چاپ میکند، چون دیدنی نیست — نویسهای که در فارسی معنا دارد ولی برای بیشترِ توکنایزرها یک نویسهٔ عجیبِ دیگر است. همین یک جزئیات، بخشی از داستانِ این فصل است.
۲. مشکلِ سطحِ کلمهای#
unseen = "کتابخانهٔ ژرفانگاشت"
vocab = {w for t in sentences for w in t.split()}
print("کلمههای ناشناخته با تکهکردنِ کلمهای:", [w for w in unseen.split() if w not in vocab])
کلمههای ناشناخته با تکهکردنِ کلمهای: ['کتابخانهٔ', 'ژرفانگاشت']
هر دو کلمه ناشناختهاند و مدل هیچ کاری با آنها نمیتواند بکند — نه با «کتابخانه» که فقط یک «ٔ» اضافه دارد، و نه با کلمهای که اصلاً وجود ندارد.
و در فارسی این مشکل شدیدتر از انگلیسی است، چون فارسی زبانِ ترکیبی است: از یک ریشه دهها صورتِ متفاوت ساخته میشود، و هر کدام برای واژگانِ کلمهای یک مدخلِ جداست.
۳. BPE: راهِ میانه، از پایه#
ایده: از نویسه شروع کن، و پرتکرارترین جفتِ مجاور را مدام با هم ادغام کن تا به تعدادِ ادغامِ دلخواه برسی.
def train_bpe(corpus, merges=30):
words = Counter(corpus.split())
splits = {w: list(w) + ["</w>"] for w in words}
rules = []
for _ in range(merges):
pairs = Counter()
for w, freq in words.items():
symbols = splits[w]
for i in range(len(symbols) - 1):
pairs[(symbols[i], symbols[i + 1])] += freq
if not pairs:
break
best = max(pairs, key=pairs.get)
rules.append(best)
for w in words:
symbols, out, i = splits[w], [], 0
while i < len(symbols):
if i < len(symbols) - 1 and (symbols[i], symbols[i + 1]) == best:
out.append(symbols[i] + symbols[i + 1])
i += 2
else:
out.append(symbols[i])
i += 1
splits[w] = out
return rules, splits
rules, splits = train_bpe(CORPUS, merges=30)
print("ده قاعدهٔ اول:", ["".join(r) for r in rules[:10]])
print("«خواب» ->", splits.get("خواب"))
ده قاعدهٔ اول: ['ن</w>', 'ه</w>', 'را', 'ت</w>', 'می', 'د</w>', 'ر</w>', 'از', 'ب</w>', 'نی']
«خواب» -> ['خو', 'ا', 'ب</w>']
به قاعدههای آموختهشده نگاه کن، و یادت باشد که این پیکره فقط شش قالبِ جمله دارد:
ن</w>وه</w>وت</w>— پرتکرارترین حرفهای پایانیِ همین پیکره.را— اینجا ۳۸۴ بار خودِ نشانهٔ مفعول است، چون یکی از قالبها آن را دارد، و ۵۵۲ بار تکهای از «برای» و «گران» و «راحت».می— در «میکند» و «نمیشود» پیشوندِ فعل است، ولی همانقدر هم تکهای از «همیشه» و «عمیق».از— این یکی حرفِ اضافه نیست: کلمهٔ «از» در این پیکره اصلاً نیامده. این تکهٔ «نیاز» و «پرواز» و «تازه» است.
هیچکس اینها را به الگوریتم نگفت. BPE فقط شمرد که چه جفتهایی کنارِ هم زیاد میآیند، و تکههای پرتکرارِ متن خودشان بیرون آمدند، چه معنا داشته باشند چه نه. بعضیشان واحدهای واقعیِ زباناند و بعضی فقط تکرارِ حرف. همان الگویی که در کلِ این دوره تکرار میشود: ساختار از آمار درمیآید، نه از قاعدهای که کسی نوشته باشد؛ و آمارِ پیکرهٔ کوچک فقط همان پیکره را نشان میدهد.
</w> هم نشانهٔ پایانِ کلمه است — بدونش «برنج» در وسطِ کلمه و در انتهایش یکسان دیده میشوند.
۴. و حالا مالیاتِ فارسی، با دو توکنایزر#
import tiktoken
from transformers import AutoTokenizer
persian = "برای اینکه برنج شفته نشود، آب را دقیقاً اندازه بگیر."
english = "To keep the rice from getting mushy, measure the water exactly."
multilingual = AutoTokenizer.from_pretrained("sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2")
gpt_style = tiktoken.get_encoding("cl100k_base")
print("متنِ فارسی:")
print(" توکنایزرِ چندزبانه :", len(multilingual.encode(persian, add_special_tokens=False)), "توکن")
print(" توکنایزرِ cl100k :", len(gpt_style.encode(persian)), "توکن")
print("متنِ انگلیسی:")
print(" توکنایزرِ چندزبانه :", len(multilingual.encode(english, add_special_tokens=False)), "توکن")
print(" توکنایزرِ cl100k :", len(gpt_style.encode(english)), "توکن")
متنِ فارسی:
توکنایزرِ چندزبانه : 14 توکن
توکنایزرِ cl100k : 40 توکن
متنِ انگلیسی:
توکنایزرِ چندزبانه : 14 توکن
توکنایزرِ cl100k : 14 توکن
✅ چک کن: عددهای چهار ردیف باید همین چهار عدد باشند. اگر توکنایزرِ چندزبانه دو تا بیشتر داد،
add_special_tokens=Falseرا جا انداختهای و نشانههای ابتدا و انتهای جمله (<s>و</s>در این توکنایزر) هم شمرده شدهاند — و آنوقت مقایسهات ناعادلانه است.
همان جملهٔ فارسی: ۱۴ توکن با یکی، ۴۰ توکن با دیگری. تقریباً سه برابر.
و به سطرِ آخر نگاه کن: برای این جملهٔ انگلیسی هر دو یکساناند. این برابریِ دقیق تصادفِ همین جمله است: روی شش جملهٔ دیگر، انگلیسی ۷۲ در برابرِ ۶۷ توکن است و فارسی ۷۹ در برابرِ ۲۰۰. پس الگو این است که برای انگلیسی دو توکنایزر نزدیکِ هماند و برای فارسی حدودِ ۲٫۵ برابر فاصله دارند. یعنی تفاوت در خودِ زبان نیست.
پس آن «مالیاتِ فارسی» که در سرنخ اندازه گرفتی، خاصیتِ فارسی نبود — خاصیتِ آن توکنایزرِ خاص بود. cl100k_base روی پیکرهای آموزش دیده که غالبش انگلیسی است، پس تکههای پرتکرارِ فارسی جایی در واژگانش ندارند. یک توکنایزرِ چندزبانه که فارسی در آموزشش بوده، همان متن را با یکسومِ توکن نمایش میدهد.
print("cl100k روی «برنامهنویسی» :", [gpt_style.decode([i]) for i in gpt_style.encode("برنامهنویسی")])
print("چندزبانه روی همان کلمه :", multilingual.tokenize("برنامهنویسی"))
print("چندزبانه روی کلمهٔ ناشناخته :", multilingual.tokenize("کتابخانهٔ ژرفانگاشت"))
cl100k روی «برنامهنویسی» : ['بر', 'ن', 'ام', 'ه', '\u200c', 'ن', 'و', 'ی', 'س', 'ی']
چندزبانه روی همان کلمه : ['▁برنامه', '▁نویسی']
چندزبانه روی کلمهٔ ناشناخته : ['▁کتابخانه', 'ٔ', '▁ژر', 'فا', 'نگ', 'اشت']
ده تکهٔ بیمعنا در برابرِ دو تکهٔ کاملاً معنادار.
cl100k کلمه را حرفحرف شکسته و نیمفاصله را هم یک توکنِ جدا گرفته — که پایتون بهصورتِ \u200c چاپش میکند چون نویسهٔ نامرئی است. توکنایزرِ چندزبانه همان کلمه را به دو جزءِ معناییِ واقعیاش تقسیم کرده: «برنامه» و «نویسی».
و سطرِ آخر مزیتِ subword را نشان میدهد: کلمهای که هرگز ندیده به تکههای آشنا شکسته میشود — پس مدل کاملاً بیدست نمیماند، برخلافِ واژگانِ کلمهایِ بخشِ ۲.
📏 اندازه بگیر: این عملیترین نتیجهٔ کلِ ترم است و در هیچ آموزشِ انگلیسیزبانی پیدایش نمیکنی: قبل از انتخابِ مدل یا سرویس برای کارِ فارسی، متنِ نمونهٔ خودت را با توکنایزرهای مختلف بشمار. تفاوتِ سهبرابری یعنی سه برابر هزینه، سه برابر تأخیر، و یکسومِ متنی که در پنجرهٔ زمینه جا میشود. این آزمایش پنج خط کد است و میتواند هزینهٔ سالانهٔ یک پروژه را سه برابر کم کند.
۵. جمعبندی#
cl100k_base |
چندزبانه | |
|---|---|---|
| توکنِ جملهٔ فارسی | ۴۰ | ۱۴ |
| توکنِ جملهٔ انگلیسی | ۱۴ | ۱۴ |
| تکههای «برنامهنویسی» | ۱۰ تکهٔ بیمعنا | ۲ جزءِ معنادار |
| اندازهٔ واژگان | حدودِ ۱۰۰ هزار | حدودِ ۲۵۰ هزار |
و ردیفِ آخر بدهبستان را نشان میدهد: واژگانِ بزرگتر یعنی لایهٔ Embedding بزرگتر و مدلِ سنگینتر. پس توکنایزرِ چندزبانه رایگان نیست — فقط برای متنِ غیرلاتین معاملهاش بهصرفه است.
⚠️ مواظب باش: توکنایزر بخشی از مدل است، نه یک ابزارِ جانبی. اگر مدلی را با توکنایزرِ دیگری بهکار ببری، ورودیهایش بیمعنا میشوند و هیچ خطایی نمیگیری — فقط خروجی آشغال است. همیشه
AutoTokenizer.from_pretrainedرا با همان نامی صدا بزن که مدل را با آن بار کردهای.
🔧 اگر کار نکرد:
tiktokenخطای شبکه میدهد — بارِ اول جدولِ توکنها را دانلود میکند؛ سلول را دوباره اجرا کن. توکنهای عجیب با▁— این یک نویسهٔ ویژه است که ابتدای کلمه را نشان میدهد، نه خطا.add_special_tokens=Falseرا جا انداختم و عدد دو تا بیشتر شد —<s>و</s>اضافه شدهاند (نقششان همان[CLS]و[SEP]مدلهای دیگر است)؛ برای مقایسهٔ هزینه بیاثرشان کن.
🤖 از دستیارت بپرس: «
WordPieceوSentencePieceوBPEچه فرقی دارند؟» بعد این سؤالِ مهمتر: «چطور یک توکنایزرِ اختصاصی برای دامنهٔ خودم آموزش بدهم و کِی ارزشش را دارد؟» — جوابِ کوتاه: وقتی متنِ تخصصی داری که توکنایزرهای عمومی حرفحرفش میکنند. و راهِ فهمیدنش همان شمارشِ بخشِ ۴ است، روی متنِ خودت.
واژههای تازهٔ این فصل#
| کلمه | تلفظ به حروف فارسی | یعنی چه |
|---|---|---|
| tokenizer | توکنایزر | چیزی که متن را به توکن میشکند |
| subword | سابورد | تکهای کوچکتر از کلمه و بزرگتر از حرف |
| BPE | بی-پی-ای | ادغامِ پیاپیِ پرتکرارترین جفت |
| out-of-vocabulary | اوت-آو-وکبیولری | کلمهای که در واژگان نیست |
| vocabulary size | وکب سایز | تعدادِ توکنهای شناختهشدهٔ مدل |
تمرینها
اول خودت فکر کن یا امتحان کن — بعد اینجا را باز کن.
در فصل بعد#
همهٔ قطعهها را داری: embedding، attention، بلوکِ transformer، و tokenizer. فصلِ بعد آنها را کنارِ هم میگذارد و یک مدلِ زبانیِ واقعی — خیلی کوچک ولی واقعی — آموزش میدهد که خودش متنِ فارسی تولید میکند.
به آخر این فصل رسیدی!
اگر ساختی و جواب داد، این دکمه مال توست.