سرنخ — خودآموز پایتون و برنامه‌نویسی برای هوش مصنوعی (مقدماتی)

فصل ۵ از ۸

پیشرفت ترم
۰٪

در این فصل چه یاد می‌گیری#

تا اینجا از مدل متن می‌گرفتی. این فصل کارِ متفاوتی می‌کند: از مدل عدد می‌گیری. هر متن به یک فهرستِ عدد تبدیل می‌شود که موقعیتش در یک فضای معنایی را نشان می‌دهد، و بعد می‌شود با ریاضیِ ساده پرسید «این دو متن چقدر شبیه‌اند؟». این پایهٔ جست‌وجوی معنایی، سامانه‌های پیشنهاددهنده، و هر چیزی است که باید بفهمد دو نوشته دربارهٔ یک چیزند.

دو نقطهٔ نزدیک به هم و یک نقطهٔ دور، در فضایی با محورهای مه‌آلود

آخر این فصل می‌توانی:

  • بگویی embedding چیست و با شمردنِ کلمه چه فرقی دارد
  • شباهتِ کسینوسی را از پایه بنویسی و تفسیرش کنی
  • یک مدلِ embedding را روی متنِ فارسی به‌کار ببری
  • بگویی کجا شمردنِ کلمه کافی است و کجا نیست

قبل از شروع#

از ترمِ ۲: numpy، عملیاتِ برداریِ عنصربه‌عنصر، و shape.

از فصل ۱ همین ترم: TfidfVectorizer — که خودش نوعِ ساده‌ای از تبدیلِ متن به عدد است.

📓 نوت‌بوک: نوت‌بوک این فصل را در Colab باز کن — همهٔ کدهای این فصل آماده و به‌ترتیب داخلش هست.

۱. چرا عدد#

کامپیوتر «معنا» ندارد؛ عدد دارد. پس هر کاری با متن، در جایی از مسیر، به این می‌رسد: متن را به عدد تبدیل کن، بعد روی عددها حساب کن.

سؤالِ اصلی این است که تبدیل را چطور انجام بدهی، و دو خانوادهٔ کاملاً متفاوت وجود دارد:

بردارِ واژگانی (TF-IDF) بردارِ آموخته‌شده (embedding)
بر چه اساسی کلمه‌های موجود در متن معنایی که مدل از میلیون‌ها متن آموخته
طولِ بردار به‌اندازهٔ واژگان (هزاران) ثابت (مثلاً ۳۸۴)
بیشترِ خانه‌ها صفر ناصفر
دو جملهٔ هم‌معنا با کلمه‌های متفاوت دور از هم نزدیک به هم
نیازش فقط scikit-learn یک مدلِ آماده

آن ردیفِ چهارم تمامِ داستان است، و در بخشِ ۵ با عدد نشانش می‌دهیم.

۲. شباهت، به زبانِ ریاضی#

قبل از هر مدلی، ابزارِ سنجشِ شباهت را خودت بساز. معیارِ استاندارد cosine similarity است: کسینوسِ زاویهٔ بینِ دو بردار.

دو ابزارِ numpy لازم داری که تا اینجا ندیده‌ای، و هر دو یک خط توضیح دارند:

  • عملگرِ @ — u @ v ضربِ داخلی (dot product) دو بردار است: عنصرهای متناظر را در هم ضرب می‌کند و همه را جمع می‌زند، و نتیجه‌اش یک عدد است. با u * v اشتباهش نگیر: آن ضربِ عنصربه‌عنصرِ ترمِ ۲ است و یک بردار می‌دهد.
  • np.linalg.norm(u) — طولِ بردار: جذرِ مجموعِ مربعِ عنصرها. برای بردارِ [3, 4] جوابش ۵ است، دقیقاً مثلِ وترِ یک مثلثِ قائم.
import numpy as np

def cosine(u, v):
    """کسینوس زاویهٔ بین دو بردار: ۱ یعنی هم‌جهت، ۰ یعنی بی‌ربط، ۱- یعنی مخالف."""
    return float(u @ v / (np.linalg.norm(u) * np.linalg.norm(v)))

a = np.array([1.0, 2.0])
b = np.array([2.0, 4.0])    # همان جهت، دو برابر بلندتر
c = np.array([2.0, -1.0])   # عمود بر a

print("a·b =", a @ b)
print("|a| =", round(float(np.linalg.norm(a)), 3), "| |b| =", round(float(np.linalg.norm(b)), 3))
print("cos(a,b) =", round(cosine(a, b), 3))
print("cos(a,c) =", round(cosine(a, c), 3))
print("cos(a,-b) =", round(cosine(a, -b), 3))
a·b = 10.0
|a| = 2.236 | |b| = 4.472
cos(a,b) = 1.0
cos(a,c) = 0.0
cos(a,-b) = -1.0

سه عددِ آخر را حفظ کن، چون کلِ تفسیرت به همین‌هاست:

  • ۱ یعنی دو بردار دقیقاً هم‌جهت‌اند.
  • ۰ یعنی هیچ ربطی به هم ندارند (عمودند).
  • ۱- یعنی کاملاً در جهتِ مخالف‌اند.

و به b دقت کن: دو برابرِ a است ولی کسینوسشان ۱ است. این مهم‌ترین خاصیتِ کسینوس است — طول را نادیده می‌گیرد و فقط جهت را می‌سنجد. برای متن دقیقاً همین را می‌خواهی: یک متنِ بلند و یک متنِ کوتاه دربارهٔ یک موضوع باید شبیه حساب شوند، نه اینکه بلندی متن جواب را عوض کند.

🌱 ریشه‌اش کجاست: u @ v ضربِ داخلی است و np.linalg.norm طولِ بردار. هر دو موضوعِ ریشه، ترم ۷ — جبرِ خطی هستند: فصل ۲ طول و بردارِ یکه را می‌سازد و فصل ۳ ضربِ داخلی دقیقاً همین را جواب می‌دهد که چرا ضربِ داخلی معیارِ شباهت است و چه ربطی به کسینوسِ زاویه دارد. اگر فرمولِ بالا برایت جادو به‌نظر می‌رسد، آنجا دیگر جادو نیست.

۳. اولین بردار: شمردنِ کلمه#

TfidfVectorizer که در فصلِ ۱ به‌کار بردی، هر متن را به بردار تبدیل می‌کند: یک خانه به ازای هر کلمهٔ واژگان، و مقدارش وزنِ آن کلمه در آن متن.

import pandas as pd
from sklearn.feature_extraction.text import TfidfVectorizer

docs = pd.read_csv("docs.csv")

cook_1 = "پیاز را با حرارت ملایم سرخ کن تا شیرینی‌اش دربیاید."
cook_2 = "گوشت را قبل از پختن از یخچال دربیاور تا به دمای اتاق برسد."
code_1 = "کد را برای خواننده بنویس، نه برای کامپیوتر."

lexical = TfidfVectorizer().fit(docs["text"])
L = lexical.transform([cook_1, cook_2, code_1]).toarray()

print("اندازه:", L.shape)
print("خانه‌های ناصفر در بردار اول:", int((L[0] != 0).sum()))
print("آشپزی ↔ آشپزی:", round(cosine(L[0], L[1]), 2))
print("آشپزی ↔ برنامه‌نویسی:", round(cosine(L[0], L[2]), 2))
اندازه: (3, 159)
خانه‌های ناصفر در بردار اول: 11
آشپزی ↔ آشپزی: 0.11
آشپزی ↔ برنامه‌نویسی: 0.04

طولِ بردار ۱۵۹ است — به‌اندازهٔ کلمه‌های یکتای کلِ پیکره — و فقط ۱۱ خانه‌اش ناصفر است. به چنین برداری sparse (تُنُک) می‌گویند.

و همین تنکی دلیلِ آن .toarray() است: TfidfVectorizer برای صرفه‌جویی در حافظه فقط خانه‌های ناصفر را نگه می‌دارد و شیءِ خاصِ خودش را برمی‌گرداند، نه یک آرایهٔ numpy. .toarray() همهٔ صفرها را هم می‌نویسد و یک آرایهٔ معمولی می‌سازد تا بتوانی مثلِ ترمِ ۲ رویش حساب کنی. برای پیکرهٔ بزرگ این کار را نکن — یک آرایهٔ کاملِ صدهزار در صدهزار حافظه را می‌بلعد، و دقیقاً برای همین است که این شکلِ فشرده وجود دارد.

جهت درست است: دو جملهٔ آشپزی شبیه‌ترند. ولی به بزرگیِ عددها نگاه کن. 0.11 برای دو جمله‌ای که هر دو دربارهٔ پختنِ غذایند، عددِ ناچیزی است. دلیلش این است که تنها چیزی که این بردار می‌بیند، کلمه‌های مشترک است — و مشترکشان فقط «را» و «تا» است.

۴. بردارِ آموخته‌شده#

حالا همان سه جمله را به یک مدلِ embedding بدهیم. مدلی که به‌کار می‌بریم چندزبانه است و فارسی را می‌فهمد:

pip install -q sentence-transformers
from sentence_transformers import SentenceTransformer

encoder = SentenceTransformer("sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2")
E = encoder.encode([cook_1, cook_2, code_1])

print("اندازه:", E.shape)
print("نوع عددها:", E.dtype)
print("آشپزی ↔ آشپزی:", round(cosine(E[0], E[1]), 2))
print("آشپزی ↔ برنامه‌نویسی:", round(cosine(E[0], E[2]), 2))
اندازه: (3, 384)
نوع عددها: float32
آشپزی ↔ آشپزی: 0.29
آشپزی ↔ برنامه‌نویسی: 0.08

✅ چک کن: اندازه باید (3, 384) باشد — سه متن، هر کدام ۳۸۴ عدد. اگر عددِ دوم چیزِ دیگری است، مدلِ دیگری بار شده و بقیهٔ عددهای این فصل با مالِ تو نمی‌خواند؛ نامِ مدل را حرف‌به‌حرف با خطِ بالا مقایسه کن.

سه تفاوت را با هم ببین:

  • طول ثابت است: ۳۸۴. چه یک کلمه بدهی چه یک پاراگراف، همیشه ۳۸۴ عدد می‌گیری. برخلافِ TF-IDF، با بزرگ‌شدنِ پیکره تغییر نمی‌کند.
  • بیشترِ خانه‌ها ناصفرند (dense). هر خانه معنایی برای انسان ندارد؛ کلِ ۳۸۴تا با هم موقعیتِ متن را می‌سازند.
  • نسبتِ دو شباهت عوض شده: با TF-IDF نسبتِ درست‌به‌غلط حدودِ ۳ برابر بود، اینجا نزدیکِ ۴ برابر. فاصله باز شده.
print("پنج عدد اول بردار جملهٔ آشپزی:", np.round(E[0][:5], 3))
پنج عدد اول بردار جملهٔ آشپزی: [-0.294  0.161  0.132  0.027 -0.374]

⚠️ مواظب باش: این عددها را نخوان و معنی‌شان را نپرس — هیچ‌کدام به‌تنهایی معنایی ندارند. خانهٔ اول «آشپزی بودن» نیست. مدل خودش تصمیم گرفته چه چیزی را در کدام بُعد بگذارد و آن تصمیم برای انسان قابلِ خواندن نیست. تنها کارِ درست با یک embedding، مقایسه‌اش با یک embedding دیگر است. و به همین دلیل هم عددهای بالا با نسخهٔ متفاوتِ کتابخانه ممکن است در رقمِ سوم فرق کنند، بی‌آنکه چیزی خراب شده باشد.

۵. آزمونِ تعیین‌کننده#

دو جملهٔ بالا هرچه بود، چند کلمهٔ مشترک داشتند. حالا آزمونِ واقعی: دو جمله که دقیقاً یک چیز می‌گویند و تقریباً هیچ کلمهٔ مشترکی ندارند.

say_1 = "قیمت بلیت هواپیما را زودتر بخری کمتر می‌شود."
say_2 = "اگر پیش‌تر رزرو کنی، هزینهٔ پرواز پایین‌تر می‌آید."

lex2 = TfidfVectorizer().fit(docs["text"].tolist() + [say_1, say_2])
P = lex2.transform([say_1, say_2]).toarray()
Q = encoder.encode([say_1, say_2])

print("با شمردن کلمه:", round(cosine(P[0], P[1]), 2))
print("با embedding :", round(cosine(Q[0], Q[1]), 2))
با شمردن کلمه: 0.04
با embedding : 0.83

۰٫۰۴ در برابرِ ۰٫۸۳. دو جمله‌ای که هر انسانی می‌گوید یک چیز می‌گویند، برای شمردنِ کلمه تقریباً بی‌ربط‌اند و برای embedding تقریباً یکی.

آن 0.04 هم از یک کلمهٔ مشترک می‌آید: «می» — که در «می‌شود» و «می‌آید» تکرار شده. یعنی تنها ربطی که روشِ واژگانی پیدا کرد، یک ربطِ دستوریِ بی‌معنا بود.

📏 اندازه بگیر: پس قاعدهٔ انتخاب روشن است: اگر کاربرت دقیقاً همان کلمه‌ها را تایپ می‌کند، TF-IDF کافی و بسیار ارزان‌تر است. اگر ممکن است همان معنا را با کلمه‌های دیگری بگوید، embedding لازم داری. و مثلِ همیشه، این را با چند نمونهٔ واقعیِ خودت بسنج، نه با حدس. یک جدولِ ده‌تایی از سؤال‌های واقعیِ کاربرانت و جوابِ درستشان بساز و هر دو روش را رویش امتحان کن — همان کارِ فصلِ ۶.

۶. چه چیزی را حل نمی‌کند#

embedding قدرتمند است، ولی سه محدودیت دارد که اگر ندانی، سامانه‌ات جایی که انتظار نداری خراب می‌شود:

  • «شبیه» یعنی «هم‌موضوع»، نه «هم‌نظر». «این غذا خوشمزه است» و «این غذا بدمزه است» شباهتِ 0.72 می‌گیرند، چون هر دو دربارهٔ طعمِ یک غذایند. برای تشخیصِ مثبت و منفی، embedding ابزارِ درستی نیست.
  • متنِ بلند خراب می‌شود. یک صفحهٔ کامل هم به همان ۳۸۴ عدد فشرده می‌شود، و همه‌چیز میانگین می‌گیرد تا هیچ‌چیز نماند. راهِ حلش تکه‌کردنِ متن است — فصلِ ۶.
  • مدل فقط چیزی را می‌فهمد که دیده. اصطلاحِ تخصصیِ حوزهٔ تو، اسمِ محصولِ شرکتت، یا کلمه‌ای که پارسال ساخته شده، برایش بی‌معناست.

🔧 اگر کار نکرد: اولین باری که SentenceTransformer(...) را اجرا می‌کنی، مدل دانلود می‌شود (چند صد مگابایت) و چند ده ثانیه طول می‌کشد؛ دفعه‌های بعد در همان جلسه فوری است. Restart session مدل را پاک نمی‌کند، چون فقط حافظه را خالی می‌کند. ولی اگر runtime بسته شود دوباره دانلود می‌کند، چون دیسکش هم پاک می‌شود، همان چیزی که در فصلِ ۱۰ ترمِ ۱ دیدی. و اگر خطای شبکه گرفتی، دلیلش تقریباً همیشه قطعیِ موقت است: همان سلول را دوباره اجرا کن.

🤖 از دستیارت بپرس: «چند جفت جملهٔ فارسی بساز که هم‌معنا باشند ولی کلمهٔ مشترک نداشته باشند، و چند جفت که کلمهٔ مشترکِ زیاد داشته باشند ولی معنایشان متفاوت باشد.» هر دو روش را روی جفت‌هایش امتحان کن. جفتِ دوم جایی است که روشِ واژگانی بدترین اشتباهش را می‌کند — و دیدنش با چشمِ خودت خیلی ماندگارتر از خواندنِ این جمله است.

واژه‌های تازهٔ این فصل#

کلمه تلفظ به حروف فارسی یعنی چه
embedding امبدینگ نمایشِ عددیِ یک متن در فضایی که فاصله‌اش معنا دارد
@ / dot product اَت / دات پروداکت ضربِ داخلیِ دو بردار؛ خروجی‌اش یک عدد است، نه بردار
norm نُرم طولِ بردار: جذرِ مجموعِ مربعِ عنصرها
cosine similarity کسینوس سیمیلاریتی کسینوسِ زاویهٔ دو بردار، به‌عنوان معیارِ شباهت
dense / sparse دنس / اسپارس برداری که بیشترِ خانه‌هایش ناصفر / صفرند
encode انکود تبدیلِ متن به بردار
dimension دایمنشن تعدادِ عددهای یک بردار (اینجا ۳۸۴)

تمرین‌ها

اول خودت فکر کن یا امتحان کن — بعد اینجا را باز کن.

در فصل بعد#

بردار داری و شباهت را می‌سنجی. فصلِ بعد از این دو چیز یک ابزارِ واقعی می‌سازد: جست‌وجوی معنایی — بپرس و از میانِ همهٔ متن‌ها مرتبط‌ترین‌ها را بگیر. همان قطعهٔ مرکزیِ سامانه‌هایی است که به آن‌ها RAG می‌گویند، و آن را از پایه می‌سازیم، نه با کتابخانه.

به آخر این فصل رسیدی!

اگر ساختی و جواب داد، این دکمه مال توست.