هم‌هوش — خودآموز هوش مصنوعی

فصل ۲ از ۸

پیشرفت ترم
۰٪

در این فصل چه یاد می‌گیری#

در ترم ۱ یاد گرفتی مدل متن را به token می‌شکند و توکنِ بعدی را حدس می‌زند. ولی این یک سؤالِ بزرگ باز می‌کند: یک token فقط یک تکهٔ کوچکِ متن است — پس معنا از کجا می‌آید؟ مدل از کجا «می‌داند» که «خودرو» و «ماشین» تقریباً یک چیزند، یا که «پزشک» به «پرستار» نزدیک‌تر است تا به «دوچرخه»؟ این فصل جوابش را می‌دهد، بدونِ یک خط ریاضی. مهم‌ترین ایده‌ای را یاد می‌گیری که کارِ درونیِ مدل را قابلِ‌فهم می‌کند: معنا به‌صورتِ یک جا روی یک نقشهٔ بزرگ. اسمِ این ایده embedding است، و وقتی داشته باشی‌اش، خیلی از کارهای مدل دیگر جادو به‌نظر نمی‌رسند.

یک نقشهٔ معنا که نشانه‌های کوچک را بر اساسِ نزدیکیِ معنا کنارِ هم چیده: خوشه‌ای از نمادهای سلطنتی نزدیکِ هم، خوشه‌ای از سبزی‌ها دورتر، دو خودروی تقریباً روی‌هم، و یک خورشید و یک دانهٔ برف که با اینکه متضادند نزدیکِ هم نشسته‌اند

آخر این فصل می‌توانی:

  • به زبانِ ساده بگویی embedding یعنی چه (معنا به‌صورتِ یک جا روی یک نقشه)
  • توضیح بدهی چرا مدل «نزدیکیِ معنا» را می‌فهمد، حتی وقتی کلمه‌ها فرق دارند
  • یک نمونهٔ شباهتِ معنایی را خودت روی کاغذ بکشی، بدونِ هیچ صفحه‌ای
  • تشخیص بدهی کجا این «نزدیکی» گمراه می‌کند، مثلاً وقتی متضادها همسایه می‌شوند

قبل از شروع#

  • از فصل ۳ ترم ۱: token — مدل متن را به تکه‌های کوچک می‌شکند و هر تکه یک token است.
  • از فصل ۲ ترم ۱: آنچه از training در مدل می‌ماند «الگو»ست؛ مدل یاد گرفته چه چیزی معمولاً کنارِ چه چیزی می‌آید.

فقط یک مرورگر و دستیارِ هوش مصنوعی‌ات (با کلیدِ رایگانِ خودت) لازم داری — و برای یک تمرین، یک برگه کاغذ.

۱. توکن معنا ندارد — پس معنا از کجا می‌آید؟#

یک token به‌تنهایی فقط یک مشت حرف است، مثلِ تکهٔ «ماش» یا «کتاب». به‌خودیِ‌خود هیچ معنایی ندارد، همان‌قدر که یک تکهٔ تنهای پازل یک تصویر نیست. ولی مدل آشکارا با معنا کار می‌کند: می‌داند «ماشین» و «خودرو» تقریباً مترادف‌اند؛ به سؤالی دربارهٔ «پزشک» با سندی جواب می‌دهد که فقط کلمهٔ «دکتر» را دارد. پس جایی بینِ «یک تکه متن» و «یک جوابِ به‌دردبخور»، مدل باید توکن‌ها را به معنا تبدیل کند.

این فصل همان قدم را باز می‌کند. آن ترفند یک اسم دارد — embedding — و کلِ ایده در یک تصویرِ دمِ‌دستی جا می‌شود: یک نقشه.

۲. نقشهٔ معنا: هر کلمه یک جا دارد#

نقشهٔ یک کشور را تصور کن. شهرهایی که در واقعیت نزدیکِ هم‌اند، روی نقشه هم نزدیکِ هم کشیده می‌شوند. اگر فقط جای دو شهر را بهت بگویم — نه اسمشان را — تو همین حالا می‌توانی بگویی همسایه‌اند یا دور. پس جا، خودش خبر می‌دهد.

حالا یک نقشهٔ بزرگ تصور کن، نه از شهرها، که از معنا. هر کلمه، هر مفهوم، یک نقطه روی آن دارد. کلمه‌های هم‌معنا نزدیکِ هم چیده می‌شوند؛ کلمه‌های بی‌ربط دور از هم. «پادشاه» و «ملکه» همسایه‌اند. «پادشاه» و «خیار» دو سرِ نقشه‌اند. جای یک کلمه روی این نقشهٔ معنا همان embeddingِ آن است. کلِ ایده همین است. (این نقشه جهت‌های خیلی بیشتری از یک نقشهٔ کاغذی دارد — لازم نیست عددش را بدانی؛ فقط تصویر را نگه دار: معنا یعنی یک جا.)

حرکتِ کلیدی این است: وقتی معنا تبدیل به جا شد، مدل می‌تواند رویش کار کند. حروف را با هم مقایسه نمی‌کند؛ جاها را مقایسه می‌کند.

۳. مدل این نقشه را از کجا آورد؟#

یک‌راست از training. یادت هست از ترم ۱: مدل یاد گرفت چه کلمه‌ای معمولاً در چه محیطی ظاهر می‌شود. «پزشک» و «دکتر» در جمله‌های تقریباً یکسان می‌آیند — «پزشک را دیدم» / «دکتر را دیدم». چون یک‌جور به‌کار می‌روند، آموزش آن‌ها را تقریباً یک‌جا روی نقشه می‌گذارد. کسی این نقشه را با دست نکشیده؛ خودش از دلِ کاربرد بیرون آمده. کلمه‌هایی که مثلِ هم به‌کار می‌روند نزدیک می‌شوند؛ کلمه‌هایی که در جمله‌های کاملاً متفاوت می‌آیند دور می‌افتند. پس نقشهٔ معنا در واقع نقشهٔ «کلمه‌ها چطور به‌کار می‌روند» است — و همین، جانشینِ خیلی خوبی برای معنا از آب درمی‌آید.

قبل از ادامه، جواب بده: چرا «خودرو» و «ماشین» روی این نقشه نزدیک‌اند، با اینکه حتی یک حرفِ مشترک هم ندارند؟

۴. شباهتِ معنایی: نزدیکی روی نقشه#

چون معنا یعنی جا، «شباهتِ معنا» دقیقاً می‌شود «نزدیکی روی نقشه». به این می‌گویند شباهتِ معنایی. برای همین است که مدل «خودرو» و «ماشین» و «اتومبیل» را تقریباً یک چیز می‌بیند، هرچند سه tokenِ متفاوت‌اند — همسایه‌اند. و برای همین است که می‌تواند جوابِ درست را در سندی پیدا کند که کلمه‌هایش با سؤالِ تو فرق دارند. امتحان کن:

از این کلمه‌ها، کدام‌ها به «پزشک» نزدیک‌ترند و کدام‌ها دورتر:
بیمارستان، پرستار، دوچرخه، خیار؟ به‌ترتیبِ نزدیکیِ معنا مرتبشان کن.

جوابی شبیهِ این می‌گیری (خروجیِ تو ممکن است فرق کند):

نزدیک‌ترین‌ها: پرستار و بیمارستان — هر دو به دنیای پزشکی مربوط‌اند.
بعد با فاصلهٔ زیاد: دوچرخه و خیار، که هیچ ربطی به این حوزه ندارند.

«پرستار» نزدیکِ «پزشک» است و «خیار» دور. این ترتیب، شباهتِ معنایی را با کلمه‌ها نشان می‌دهد. البته این جواب هم یک متنِ تولیدشده است: مدل عددی را از نقشه نخوانده و برایت نیاورده.

✅ وارسی: این یک ادعای واقعی دربارهٔ رابطه‌هاست، و ترتیبِ مدل معمولاً معقول است — ولی «معمولاً» یعنی «نه همیشه». با حسِ خودت از معنا بسنجش، و یادت باشد این نقشه از کاربرد ساخته شده، نه از یک فرهنگِ لغتِ درست‌وغلط. سه قانونِ ثابتِ این دوره: «اول خودت فکر کن» — «وارسی کن، خط به خط» — «مدل مطمئن است؛ دلیل نمی‌شود درست باشد».

۵. کجا می‌لغزد: متضادها گاهی همسایه‌اند#

اینجا یک لغزشِ ظریف هست که دقیقاً بهت یاد می‌دهد این نقشه واقعاً چیست. «گرم» و «سرد» متضادند — ولی در جمله‌های تقریباً یکسان می‌آیند: «هوا امروز گرم است» / «هوا امروز سرد است». چون نقشه از کاربرد ساخته شده، دو متضاد که یک‌جور به‌کار می‌روند می‌توانند نزدیکِ هم بیفتند. پس اگر از مدل کلمه‌های «شبیهِ گرم» را بخواهی، ممکن است «سرد» را هم بهت بدهد — کلمه‌ای که متضاد است، ولی روی نقشهٔ کاربرد همسایه.

این ایرادی نیست که سرش داد بزنی؛ این بهایِ همان «معنا یعنی جای کاربرد» است. حالا که این را می‌دانی، «این‌ها به‌هم مربوط‌اند»ِ مدل را با چشمِ باز می‌خوانی.

۶. خودت یک embedding بکش (بدونِ صفحه)#

لازم نیست منتظرِ هیچ صفحه‌ای بمانی تا این را حس کنی. یک برگه کاغذ بردار. این کلمه‌ها را این‌ور و آن‌ورِ کاغذ، پخش‌وپلا بنویس: پادشاه، ملکه، شاهزاده، خیار، هویج، سیب‌زمینی.

حالا، بدونِ هیچ کامپیوتری، جابه‌جاشان کن: هم‌معناها را نزدیکِ هم بگذار، بی‌ربط‌ها را دور. طبیعی است که سه کلمهٔ سلطنتی یک گوشه خوشه شوند و سه سبزی گوشهٔ دیگر. تبریک — همین حالا با دست یک embedding کشیدی. نقشهٔ معنا رازآلود نیست؛ تو خودت یکی در ذهنت داری. نقشهٔ مدل بزرگ‌تر است و از میلیاردها جمله یاد گرفته، ولی همان ایده است.

وقتی آزمایشگاهِ این فصل ساخته شد، نقشهٔ واقعیِ مدل را روی صفحه می‌کشد و می‌گذارد ببینی «خودرو» و «ماشین» تقریباً روی هم می‌افتند. ولی برای صاحب‌شدنِ ایده به آن صفحه نیازی نداری؛ کاغذ کارش را کرد.

💡 نکته: همین نقشهٔ معنا موتورِ خیلی چیزهاست: پیداکردنِ متنِ مرتبط حتی وقتی کلمه‌هایش فرق دارند، دسته‌بندیِ چیزهای شبیهِ هم، پیشنهادِ محتوای نزدیک. در فصل‌های بعدِ همین ترم می‌بینی چطور همین نقشه به مدل اجازه می‌دهد از یک کتابخانهٔ بزرگ دقیقاً تکهٔ مرتبط را بیرون بکشد.

واژه‌های تازهٔ این فصل#

کلمه تلفظ به حروف فارسی یعنی چه
embedding اِمبِدینگ جای یک کلمه یا مفهوم روی نقشهٔ معنا؛ کلمه‌های هم‌معنا نزدیکِ هم و بی‌ربط‌ها دور از هم می‌نشینند

تمرین‌ها

اول خودت فکر کن یا امتحان کن — بعد اینجا را باز کن.

در فصل بعد#

فهمیدی مدل معنا را به‌صورتِ جا روی نقشه نگه می‌دارد. ولی یک گفت‌وگوی زنده را کجا نگه می‌دارد؟ فصلِ بعد سراغِ حافظه و پنجرهٔ زمینه می‌رویم: می‌فهمی مدل کلِ گفت‌وگو را کجا می‌گذارد، چرا وسطِ یک گفت‌وگوی بلند چیزی را که اول گفتی فراموش می‌کند، و چطور با خلاصه‌کردن جلوی این فراموشی را بگیری.

به آخر این فصل رسیدی!

اگر ساختی و جواب داد، این دکمه مال توست.