# فصل ۰۹ — دادهٔ متنیِ فارسی

<div dir="rtl">

# فصل ۰۹ — دادهٔ متنیِ فارسی

## در این فصل چه یاد می‌گیری

بخشِ بزرگی از دادهٔ واقعی متن است: عنوانِ آگهی، نظرِ کاربر، توضیحِ محصول. و متنِ فارسی مسائلی دارد که هیچ آموزشِ انگلیسی‌ای به آن‌ها نمی‌پردازد — دو کلمه که روی صفحه یکسان‌اند و در حافظه نه، فاصله‌ای که نامرئی است، رقمی که در سه شکلِ مختلف نوشته می‌شود. در فصلِ ۵ دو تای ساده‌اش را با دست رفع کردی. این فصل ابزارِ حرفه‌ای‌اش را می‌آورد: **hazm**، کتابخانهٔ متن‌بازِ پردازشِ زبانِ فارسی که در پژوهش‌های داوری‌شده هم استفاده می‌شود.

![دو نوارِ متنِ به‌ظاهر یکسان که زیرِ ذره‌بین، نویسه‌های متفاوتی نشان می‌دهند](/lesson-assets/t2-s09-persian-text/prompt/01-image-invisible-difference.png)

آخر این فصل می‌توانی:

- بگویی چرا دو متنِ فارسیِ به‌ظاهر یکسان می‌توانند برای پایتون متفاوت باشند
- با `Normalizer` متنِ فارسی را یکدست کنی
- متن را به کلمه و جمله بشکنی
- `stopword` را حذف کنی و پرتکرارهای واقعی را پیدا کنی
- بگویی ریشه‌یابی چه می‌کند و کجا کم می‌آورد

## قبل از شروع

**از ترمِ ۱ فصل ۳:** `split()`, `strip()`, `replace()`.

**از ترمِ ۱ فصل ۱۱:** پروژهٔ شمارشِ کلمه — همان کار را اینجا درست انجام می‌دهیم.

**از فصل ۵:** یکدست‌کردنِ «ی» و «ک» عربی با `.str.replace`.

> 📓 **نوت‌بوک:** [نوت‌بوک این فصل را در Colab باز کن](/notebooks/sarnakh/term-2-data/session-09-persian-text.ipynb) — همهٔ کدهای این فصل آماده و به‌ترتیب داخلش هست.

## ۱. تفاوتی که نمی‌بینی

</div>

```python
a = "کتاب‌ها"
b = "کتاب ها"
c = "كتاب‌ها"

print(a == b, a == c)
print(len(a), len(b), len(c))
print(repr(a))
print(repr(c))
```

<div dir="rtl">

</div>

```text
False False
7 7 7
'کتاب\u200cها'
'كتاب\u200cها'
```

<div dir="rtl">

سه متن که روی صفحه تقریباً یکسان‌اند و هیچ‌کدام با هم برابر نیستند.

`repr()` نویسه‌های نامرئی را **آشکار** می‌کند، و همین‌جا کارِ اصلی‌اش را نشان داد: آن `\u200c` که وسطِ کلمه ظاهر شد، **نیم‌فاصله** است — نویسه‌ای که فاصلهٔ بصری می‌سازد ولی کلمه را نمی‌شکند. در چاپِ معمولی اصلاً دیده نمی‌شود؛ فقط `repr` نشانش می‌دهد.

دومی به‌جای نیم‌فاصله، فاصلهٔ **معمولی** دارد — پس برای `split()` دو کلمه است نه یکی. و سومی با «ك» عربی شروع می‌شود، که در `repr` هم مثلِ «ک» فارسی به‌نظر می‌رسد و فقط `==` تفاوتش را لو می‌دهد.

توجه کن هر سه `len` برابرِ ۷ دارند. **طولِ یکسان هیچ چیزی را ثابت نمی‌کند** — نیم‌فاصله هم یک نویسه است، درست مثلِ فاصلهٔ معمولی.

> 💡 **نکته:** `repr()` را در کارِ متنیِ فارسی مثلِ ذره‌بین به‌کار ببر. هر وقت دو مقدار «باید یکی باشند ولی نیستند»، اول `repr` هر دو را چاپ کن. این ارزان‌ترین ابزارِ اشکال‌زداییِ متن است.

## ۲. `hazm`: نصب و یکدست‌سازی

`hazm` در Colab از پیش نصب نیست. نسخه را مثلِ ترمِ ۱ فصلِ ۱۰ سنجاق می‌کنیم. این نسخه پایتونِ ۳٫۱۲ یا ۳٫۱۳ می‌خواهد و روی ۳٫۱۴ نصب نمی‌شود:

</div>

```bash
!pip install -q hazm==0.12.1
```

<div dir="rtl">

سپس:

</div>

```python
from hazm import Normalizer

normalizer = Normalizer()

titles = [
    "لپ تاپ ايسوس با گارانتي، در حد نو",
    "فروش فوري لپ‌تاپ لنوو ٨ گيگ رم",
    "لپ‌تاپ اپل مک‌بوک، بدون خط و خش",
    "لپ تاپ  دل  کارکرده  با کيف",
    "لپ‌تاپ اچ پی گیمینگ، رم ۱۶ گیگ",
]

for title in titles[:2]:
    print(repr(title))
    print(repr(normalizer.normalize(title)))
```

<div dir="rtl">

</div>

```text
'لپ تاپ ايسوس با گارانتي، در حد نو'
'لپ\u200cتاپ ایسوس با گارانتی، در حد نو'
'فروش فوري لپ\u200cتاپ لنوو ٨ گيگ رم'
'فروش فوری لپ\u200cتاپ لنوو ۸ گیگ رم'
```

<div dir="rtl">

همین یک خط چهار تصحیحِ متفاوت کرد، سه تا در خروجیِ بالا و چهارمی پایینِ فهرست:

- **«ي» و «ك» عربی ← «ی» و «ک» فارسی** («گارانتي» شد «گارانتی») — همان کاری که در فصلِ ۵ با دست کردیم.
- **«لپ تاپ» ← «لپ‌تاپ»** — فاصلهٔ معمولی را در ترکیب‌های شناخته‌شده به نیم‌فاصله تبدیل کرد.
- **رقمِ عربی ← رقمِ فارسی** («٨» شد «۸»). این سه دستهٔ رقم — لاتین، فارسی، عربی — به چشم شبیه‌اند و برای پایتون سه چیزند.
- **فاصله‌های پشتِ هم** یکی شد، مثلِ این نمونه:

</div>

```python
print(repr(titles[3]))
print(repr(normalizer.normalize(titles[3])))
```

<div dir="rtl">

</div>

```text
'لپ تاپ  دل  کارکرده  با کيف'
'لپ\u200cتاپ دل کارکرده با کیف'
```

<div dir="rtl">

> ✅ **چک کن:** خروجی را با `repr` نگاه کن نه با `print` ساده. تفاوتِ نیم‌فاصله و فاصله در چاپِ معمولی **اصلاً دیده نمی‌شود** — و دقیقاً همین است که این باگ را ماندگار می‌کند.

> ⚠️ **مواظب باش:** `Normalizer` تصمیم می‌گیرد، نه اینکه فقط تمیز کند. مثلاً «لپ تاپ» را به «لپ‌تاپ» چسباند — که برای این داده درست است، ولی اگر داده‌ات نامِ خاصی داشته باشد که نباید چسبانده شود، عوضش می‌کند. **همیشه چند نمونهٔ قبل و بعد را با چشم مقایسه کن**، مخصوصاً روی داده‌ای که ساختارِ خاص دارد.

## ۳. توکن‌سازی: شکستن به کلمه و جمله

</div>

```python
from hazm import sent_tokenize, word_tokenize

clean_title = normalizer.normalize(titles[0])

print(word_tokenize(clean_title))
print(sent_tokenize("لپ‌تاپ سالم است. قیمت مقطوع! تماس بگیرید؟"))
```

<div dir="rtl">

</div>

```text
['لپ\u200cتاپ', 'ایسوس', 'با', 'گارانتی', '،', 'در', 'حد', 'نو']
['لپ\u200cتاپ سالم است.', 'قیمت مقطوع!', 'تماس بگیرید؟']
```

<div dir="rtl">

`word_tokenize` از `split()` بهتر است چون **نشانه‌های نگارشی را جدا می‌کند** — آن «،» یک توکنِ مستقل شد، نه چسبیده به «گارانتی». در پروژهٔ ترمِ ۱ همین را با یک فهرستِ دستیِ نشانه‌ها حل کردیم؛ اینجا درست انجام می‌شود.

`sent_tokenize` هم متن را به جمله می‌شکند و «.» و «!» و «؟» را می‌شناسد. برای وقتی که می‌خواهی نظرِ بلندِ یک کاربر را جمله‌به‌جمله تحلیل کنی، این نقطهٔ شروع است.

## ۴. `stopword`: کلمه‌هایی که چیزی نمی‌گویند

</div>

```python
from hazm import stopwords_list

stops = stopwords_list()
print(stops[:8])
print("«با» جزو stopword است؟", "با" in stops)
```

<div dir="rtl">

</div>

```text
['آخرین', 'آقای', 'آمد', 'آمده', 'آمده_است', 'آن', 'آنان', 'آنجا']
«با» جزو stopword است؟ True
```

<div dir="rtl">

**`stopword`** کلمه‌ای است که در هر متنی زیاد تکرار می‌شود و دربارهٔ **موضوع** چیزی نمی‌گوید: «و»، «از»، «به»، «که»، «را». اگر حذفشان نکنی، فهرستِ پرتکرارهایت پُر از همین‌ها می‌شود — دقیقاً همان چیزی که در تمرینِ ستاره‌دارِ پروژهٔ ترمِ ۱ دیدی.

حالا هر سه ابزار را با هم به‌کار ببریم. برای شمارش این بار به‌جای حلقهٔ دستی از `Counter` استفاده می‌کنیم — همان کاری که در پروژهٔ ترمِ ۱ با `counts.get(word, 0) + 1` نوشتی، آماده در کتابخانهٔ استانداردِ پایتون:

</div>

```python
from collections import Counter

print(Counter(["داده", "سرنخ", "داده"]))
print(Counter(["داده", "سرنخ", "داده"]).most_common(1))
```

<div dir="rtl">

</div>

```text
Counter({'داده': 2, 'سرنخ': 1})
[('داده', 2)]
```

<div dir="rtl">

`Counter` یک فهرست می‌گیرد و «مقدار ← تعداد» می‌دهد، و متدِ `most_common(n)` آن `n` تای پرتکرار را **به‌ترتیبِ نزولی** برمی‌گرداند، به‌صورتِ فهرستی از `tuple`. دقیقاً همان چیزی که در ترمِ ۱ با دست ساختی — و دلیلِ اینکه آنجا با دست ساختیمش همین است که حالا بدانی این خط چه می‌کند، نه اینکه فقط اجرایش کنی.

</div>

```python
words = []
for title in titles:
    tokens = word_tokenize(normalizer.normalize(title))
    words += [w for w in tokens if w not in stops and len(w) > 1]

print(Counter(words).most_common(6))
```

<div dir="rtl">

</div>

```text
[('لپ\u200cتاپ', 5), ('گیگ', 2), ('رم', 2), ('ایسوس', 1), ('گارانتی', 1), ('نو', 1)]
```

<div dir="rtl">

دو نکتهٔ کوچک در همین چند خط: `len(w) > 1` نشانه‌های نگارشیِ تک‌نویسه‌ای را می‌اندازد، و `words += [...]` یعنی «این فهرست را به آخرِ `words` بچسبان» — شکلِ کوتاهِ `words = words + [...]`، همان الگوی انباشتگرِ ترمِ ۱ فصلِ ۶.

نتیجه گویاست: «لپ‌تاپ» در هر پنج آگهی هست (پس برای تفکیکِ آگهی‌ها بی‌فایده است) و «گیگ» و «رم» دو بار.

> 📏 **اندازه بگیر:** توجه کن «لپ‌تاپ» ۵ از ۵ شد. **کلمه‌ای که در همهٔ ردیف‌ها هست، درست به‌اندازهٔ کلمه‌ای که در هیچ ردیفی نیست بی‌فایده است** — هیچ‌کدام به تفکیکِ ردیف‌ها کمکی نمی‌کنند. این شهود در ترمِ ۴ فصلِ ۱ به یک معیارِ عددی به‌نامِ `TF-IDF` تبدیل می‌شود و پایهٔ همهٔ کارهای متنیِ جدی است.

## ۵. ریشه‌یابی، و جایی که کم می‌آورد

</div>

```python
from hazm import Lemmatizer, Stemmer

stemmer = Stemmer()
lemmatizer = Lemmatizer()

for word in ["لپ‌تاپ‌ها", "کارکرده", "گیمینگ", "فروشنده"]:
    print(word, "|", stemmer.stem(word), "|", lemmatizer.lemmatize(word))
```

<div dir="rtl">

</div>

```text
لپ‌تاپ‌ها | لپ‌تاپ | لپ‌تاپ
کارکرده | کارکرده | کارکرده
گیمینگ | گیمینگ | گیمینگ
فروشنده | فروشنده | فروشنده
```

<div dir="rtl">

- **`Stemmer`** پسوندها را با قاعده می‌بُرد. «لپ‌تاپ‌ها» شد «لپ‌تاپ» — و همین یک کار خیلی به‌درد می‌خورد، چون جمع و مفردِ یک کلمه دیگر دو چیزِ جدا شمرده نمی‌شوند.
- **`Lemmatizer`** هوشمندتر است و دنبالِ شکلِ فرهنگ‌نامه‌ایِ کلمه می‌گردد. برای فعل‌ها خیلی بهتر عمل می‌کند.

ولی به سه موردِ آخر نگاه کن: هیچ‌کدام تغییر نکردند. «گیمینگ» یک وام‌واژه است و در فرهنگِ ابزار نیست؛ «فروشنده» و «کارکرده» هم دست‌نخورده ماندند.

**این محدودیت واقعی است و باید بشناسی‌اش.** ابزارهای زبانی روی زبانِ معیار خوب کار می‌کنند و روی زبانِ بازار، محاوره و وام‌واژه ضعیف‌ترند — و دادهٔ واقعیِ فارسی پُر از همین‌هاست.

**قبل از ادامه، جواب بده:** پس ریشه‌یابی را به‌کار ببریم یا نه؟ جواب: **بستگی به سؤالت دارد.** اگر می‌خواهی «کتاب» و «کتاب‌ها» یکی شمرده شوند، بله. اگر داری نامِ محصول را تحلیل می‌کنی، ریشه‌یابی می‌تواند نام‌ها را خراب کند. مثلِ هر تصمیمِ پاک‌سازیِ دیگر: **اول امتحانش کن روی نمونه، بعد روی همه.**

## ۶. یک خطای واقعی: `Normalizer` روی چیزی که متن نیست

</div>

```python-broken
normalizer.normalize(1400)
```

<div dir="rtl">

</div>

```text
AttributeError: 'int' object has no attribute 'translate'
```

<div dir="rtl">

`hazm` انتظارِ رشته دارد. روی دادهٔ واقعی این خیلی زود پیش می‌آید، چون یک ستونِ متنی معمولاً چند خانهٔ عددی یا خالی هم دارد.

راهِ آشکار این است که ستون را به متن تبدیل کنی و بعد `normalize` را روی **تک‌تکِ** خانه‌ها اجرا کنی. ابزارش `.apply` است:

> 💡 **نکته:** `.apply(f)` یک تابع می‌گیرد و آن را روی هر خانهٔ ستون جدا اجرا می‌کند — همان حلقه‌ای که در ترمِ ۱ با دست می‌نوشتی، در یک متد. و به `normalizer.normalize` **بدونِ پرانتز** دقت کن: با پرانتز یعنی «الان صدایش بزن»، بدونِ پرانتز یعنی «**خودِ تابع** را به `apply` بده تا او صدایش بزند». فعلاً همین‌قدر بدان؛ در ترمِ ۴ فصلِ ۸ کاملاً بازش می‌کنیم و آنجا می‌بینی چرا این ایده مهم‌تر از یک ترفندِ نوشتاری است.

ولی تبدیلِ نوع به‌تنهایی کافی نیست:

</div>

```python-broken
import pandas as pd

ads = pd.DataFrame({"title": titles + [1400, None]})
ads["title"].astype(str).apply(normalizer.normalize)
```

<div dir="rtl">

</div>

```text
AttributeError: 'float' object has no attribute 'translate'
```

<div dir="rtl">

همان خطا، باز هم. چرا؟ چون `astype(str)` خانهٔ **خالی** را متن نمی‌کند؛ خالی نگهش می‌دارد. و مقدارِ خالی در `pandas` یک عددِ اعشاریِ خاص است — همان `float` که در پیامِ خطا آمده. در نسخه‌های قدیمی‌تر، مثلاً `pandas` ۲٫۲، خطا هم نمی‌آید و بدتر است: `astype(str)` خانهٔ خالی را به متنِ `'None'` تبدیل می‌کند و این کلمه بی‌سروصدا وارد داده‌ات می‌شود. راهِ درستِ پایین روی هر دو کار می‌کند.

پس ترتیب مهم است: **اول خالی‌ها، بعد تبدیلِ نوع.**

</div>

```python
import pandas as pd

ads = pd.DataFrame({"title": titles + [1400, None]})
ads["clean"] = ads["title"].fillna("").astype(str).apply(normalizer.normalize)

print(ads["clean"].tolist()[-2:])
print(ads.shape)
print("متن خالی:", (ads["clean"] == "").sum())
```

<div dir="rtl">

</div>

```text
['۱۴۰۰', '']
(7, 2)
متن خالی: 1
```

<div dir="rtl">

حالا کار می‌کند. و به عددِ `1400` نگاه کن: به `۱۴۰۰` با رقمِ فارسی تبدیل شد. `Normalizer` نمی‌داند این یک عدد بوده نه یک کلمه — **پاک‌سازیِ متنی را روی ستونی اجرا کن که واقعاً متن است.**

> 🔧 **اگر کار نکرد:** الگوی درست همیشه سه قدم است و ترتیبش مهم: `fillna("")` ← `astype(str)` ← پاک‌سازی. اگر برعکس بزنی خطا می‌گیری، و اگر `fillna("نامشخص")` بزنی یک کلمهٔ ساختگی وارد شمارشت می‌کنی. **خالی را با رشتهٔ خالی پُر کن و بعد صریح بشمارش** — دقیقاً همان تفاوتِ «صفر» و «هیچ» که از ترمِ ۱ دنبالش می‌کنیم.

> 🤖 **از دستیارت بپرس:** «در متنِ فارسی چه نویسه‌های نامرئی یا هم‌شکلی وجود دارند که باعث می‌شوند دو کلمهٔ یکسان برابر نباشند؟ فقط فهرست کن.» برای هر مورد که گفت، دو نمونه بساز و با `==` و `repr()` امتحانشان کن. بعضی از چیزهایی که می‌گوید احتمالاً در دادهٔ تو اصلاً پیش نمی‌آیند — تشخیصِ همین، کارِ توست.

## واژه‌های تازهٔ این فصل

</div>

| کلمه | تلفظ به حروف فارسی | یعنی چه |
|---|---|---|
| hazm | هضم | کتابخانهٔ متن‌بازِ پردازشِ زبانِ فارسی |
| normalization | نرمالایزیشِن | یکدست‌کردنِ شکل‌های مختلفِ نوشتنِ یک متن |
| tokenize | توکنایز | شکستنِ متن به کلمه یا جمله |
| stopword | استاپ‌ورد | کلمهٔ پرتکراری که دربارهٔ موضوع چیزی نمی‌گوید |
| Counter | کانتِر | شمارندهٔ آمادهٔ پایتون: فهرست می‌گیرد، «مقدار ← تعداد» می‌دهد |
| stem / lemma | استِم / لِما | ریشهٔ قاعده‌ایِ کلمه / شکلِ فرهنگ‌نامه‌ایِ آن |

<div dir="rtl">

## تمرین‌ها

قبل از تمرین، بدونِ نگاه به بالا جواب بده: چرا `"کتاب‌ها" == "کتاب ها"` نادرست است، در حالی که روی صفحه تقریباً یکسان‌اند؟

**تمرینِ اجباری:** ده عنوانِ آگهیِ فارسی بنویس (خودت بساز، عمداً بعضی‌شان را با «ي» عربی و بعضی را با فاصلهٔ معمولی به‌جای نیم‌فاصله). حالا کلمه‌های پرتکرار را دو بار حساب کن: یک بار با `split()` ساده و یک بار با زنجیرهٔ کاملِ این فصل (`normalize` ← `word_tokenize` ← حذفِ `stopword`). دو فهرست را کنارِ هم بگذار و بنویس چند کلمه در نسخهٔ اول **دوباره‌شمرده** شده بودند.

**تمرینِ ستاره‌دار ⭐:** تابعی به‌نامِ `clean_persian(text)` بنویس که همهٔ قدم‌های این فصل را انجام بدهد و یک فهرستِ کلمهٔ تمیز برگرداند، با پارامترهای اختیاری برای «`stopword` حذف شود یا نه» و «ریشه‌یابی بشود یا نه». حالا هر چهار ترکیب را روی همان ده عنوان اجرا کن و تعدادِ کلمه‌های یکتای هر کدام را در یک جدول بگذار. کدام ترکیب بیشترین کاهش را داد و آیا آن کاهش **مفید** بود یا اطلاعات را خراب کرد؟ جوابت را با نگاه‌کردن به خودِ کلمه‌ها بده، نه فقط به عددها.

## در فصل بعد

همهٔ ابزارهای ترمِ ۲ را داری: آرایه، جدول، پاک‌سازی، گروه‌بندی، نمودار، تحلیلِ اکتشافی و متنِ فارسی. فصلِ بعد پروژه است — یک دیتاست را از فایلِ خام تا یک گزارشِ کامل می‌بری، با سه یافته که هر کدام شواهدِ خودشان را دارند. هیچ مفهومِ تازه‌ای نیست؛ فقط این بار **تو** تصمیم می‌گیری کدام ابزار کجا به‌کار برود.

</div>

---
Source: https://yaadestan.com/courses/sarnakh/lessons/t2/s09-persian-text (یادستان, Yaadestan)
