آموزش، عمیق‌تر (بدون ریاضی)

در این فصل چه یاد می‌گیری#

در ترم ۱ یاد گرفتی مدل روی حجمِ عظیمی از متن «آموزش» می‌بیند و یاد می‌گیرد کلمهٔ بعدی را حدس بزند. آن حرف درست بود، ولی ساده‌شده. آموزش یک مرحله نیست؛ چند مرحله است و هر مرحله چیزِ متفاوتی به مدل می‌دهد. در این فصل، بدونِ یک خط ریاضی، می‌فهمی چطور یک ماشینِ خامِ متن‌کامل‌کن تبدیل به همان دستیارِ مؤدب و کمک‌کننده‌ای می‌شود که با آن حرف می‌زنی — و می‌فهمی همین مؤدب‌بودن یک روی پنهان دارد که باید مراقبش باشی. آخرش هم می‌فهمی چرا نه مقدارِ داده، که کیفیتِ داده سرنوشتِ مدل را تعیین می‌کند.

آخر این فصل می‌توانی:

• تفاوتِ pretraining و fine-tuning را به زبانِ ساده بگویی
• توضیح بدهی RLHF چیست و چرا مدل مؤدب و کمک‌کننده است
• بگویی چرا همین مؤدب‌بودن گاهی باعث می‌شود مدل مطمئن ولی غلط جواب بدهد
• توضیح بدهی چرا کیفیتِ داده، نه فقط مقدارش، همه‌چیز را تعیین می‌کند

قبل از شروع#

• از فصل ۲ ترم ۱: training یعنی مدل روی حجمِ عظیمی از متن تمرین می‌کند تا کلمهٔ بعدی را حدس بزند؛ آنچه می‌ماند «الگو»ست نه «حافظه».
• از فصل ۴ ترم ۱: مدل گاهی با اطمینانِ کامل چیزی می‌سازد که پایه‌ای در واقعیت ندارد (hallucination).
• از فصل ۴ ترم ۲: عادتِ وارسی — خروجی را با یک منبعِ مستقل بسنج، نه با خودِ مدل.

مثلِ همیشه فقط یک مرورگر و دستیارِ هوش مصنوعی‌ات (با کلیدِ رایگانِ خودت) لازم داری.

۱. آموزش یک مرحله نیست#

یک نفر را تصور کن که قرار است یک مشاورِ کاربلد و کمک‌کننده شود. این آدم در یک مرحله ساخته نمی‌شود. اول سال‌ها همه‌چیز می‌خواند تا کلی بداند. بعد یک دورهٔ کارآموزیِ متمرکز می‌بیند و یاد می‌گیرد چطور واقعاً به کسی که سؤال دارد کمک کند. و آخرش، سرِ کار، بازخوردِ آدم‌ها کم‌کم رفتار و ادبش را صیقل می‌دهد.

مدل هم دقیقاً همین سه مرحله را دارد. آن «آموزش»ی که در ترم ۱ دیدی، در واقع فقط مرحلهٔ اول بود. حالا هر سه را باز می‌کنیم، چون تنها با دیدنِ هر سه می‌فهمی چرا مدل این‌طور که هست رفتار می‌کند.

۲. مرحلهٔ اول: pretraining — خواندنِ همه‌چیز#

این همان مرحله‌ای است که در ترم ۱ دیدی. مدل حجمِ سرسام‌آوری از متن می‌بیند — و در مدل‌های امروز، متن و تصویر و صدا را از همان اول با هم — و میلیاردها بار تمرین می‌کند که حدس بزند بعدی چه می‌آید. آخرِ این مرحله یک مدل داری که کلی می‌داند و می‌تواند ادامهٔ هر متنی را بسازد. به این مرحلهٔ بزرگ و یک‌بارهٔ خواندن می‌گویند pretraining.

ولی یک چیزِ عجیب: مدلی که تازه pretraining دیده هنوز یک دستیار نیست. فقط بلد است متن را ادامه بدهد. اگر یک سؤال بنویسی، ممکن است اصلاً جواب ندهد؛ ممکن است با چند سؤالِ دیگر ادامه‌اش بدهد، چون در آنچه خوانده، سؤال‌ها اغلب پشتِ سؤال‌های دیگر می‌آمدند (برگهٔ امتحان، فهرستِ تمرین). مثلاً می‌پرسی «پایتختِ فرانسه کجاست؟» و به‌جای «پاریس» می‌نویسد «پایتختِ آلمان کجاست؟ پایتختِ اسپانیا کجاست؟» — دارد یک برگهٔ سؤال را کامل می‌کند. این بدجنسی نیست؛ ادامه‌دادنِ الگو تنها کاری است که یاد گرفته. پس دانشِ تنها، یک دستیار نمی‌سازد.

قبل از ادامه، جواب بده: اگر مدلی فقط pretraining دیده باشد و تو یک سؤالِ ساده بپرسی، چرا ممکن است به‌جای جواب، چند سؤالِ دیگر بنویسد؟

۳. مرحلهٔ دوم: fine-tuning — یاد گرفتنِ شغلِ دستیاری#

حالا همان مدلِ پُردانش ولی خام را برمی‌داری و بیشتر آموزشش می‌دهی، این‌بار روی مجموعهٔ خیلی کوچک‌تری از نمونه‌های با دقت انتخاب‌شده: یک سؤال کنارِ یک جوابِ خوب، یک درخواست کنارِ یک پاسخِ کمک‌کننده، بارها و بارها. این به مدل شغلش را یاد می‌دهد: وقتی کسی می‌پرسد، جواب بده؛ دستور را دنبال کن؛ به‌دردبخور باش. به این مرحله می‌گویند fine-tuning.

دو نکتهٔ مهم: اول اینکه fine-tuning تقریباً دانشِ تازه‌ای اضافه نمی‌کند — دانش از pretraining آمده؛ این مرحله رفتار را شکل می‌دهد. دوم اینکه نمونه‌هایش کم‌اند ولی باکیفیت — یک دسته نمونهٔ عالی، رفتار را بیشتر از کوهی از متنِ معمولی عوض می‌کند. برگرد به همان تشبیه: آن آدم کلِ کتابخانه را در مرحلهٔ خواندن بلعیده بود؛ دورهٔ کارآموزی حقیقتِ تازه‌ای یادش نمی‌دهد، فقط یادش می‌دهد با آنچه می‌داند چطور کمک‌کننده باشد.

۴. مرحلهٔ سوم: RLHF — چرا مؤدب و کمک‌کننده است#

چرا دستیارت مؤدب است؟ چرا معمولاً از کمک به کارِ آسیب‌زننده سر باز می‌زند؟ چرا از بینِ دو جواب، روشن‌ترش را می‌دهد؟ جواب در مرحلهٔ سوم است. بعد از fine-tuning، مدل جواب تولید می‌کند و آدم‌ها آن‌ها را رتبه می‌دهند: از دو جواب به یک سؤال، کدام بهتر است — روشن‌تر، صادق‌تر، کمک‌کننده‌تر، کم‌آسیب‌تر؟ هزاران و هزاران بار از این ترجیح‌های انسانی، مدل را آرام‌آرام به‌سمتِ همان جوابی هل می‌دهند که آدم‌ها بیشتر پسندیدند. این مرحله — یاد گرفتن از بازخوردِ انسانی که کدام جواب «بهتر» است — همان RLHF است. اینجاست که مدل «ادب» پیدا می‌کند. بدونِ هیچ فرمولی: مثلِ مربی‌ای که مدتِ طولانی می‌گوید «این جواب، نه آن یکی»، تا حسِ کارآموز با آنچه مردم می‌خواستند یکی شود.

حالا روی پنهانش — و این مستقیم به نخِ وارسیِ ما وصل است. RLHF مدل را طوری تربیت می‌کند که جوابی بدهد که مردم دوست دارند. و مردم جوابی را دوست دارند که مطمئن، موافق و همراه به‌نظر برسد. پس مدل به‌سمتِ مطمئن‌جلوه‌کردن — حتی وقتی نباید مطمئن باشد — و به‌سمتِ موافقت با تو متمایل می‌شود. بگذار خرابی‌اش را ببینی. یک چیزِ متوسط بنویس، بگو مالِ خودت است، و صادقانه نظر بخواه:

این شعر را خودم نوشته‌ام. صادقانه نظرت را بگو:

درختِ سبز کنارِ خانه
سبز است و بزرگ است
پرنده رویش می‌نشیند
و من نگاهش می‌کنم
خیلی قشنگ است

تقریباً همیشه چیزی شبیهِ این می‌گیری (خروجیِ تو ممکن است فرق کند):

شعری که نوشتید بسیار زیبا و دلنشین است. حسِ سادگی و آرامش در آن موج می‌زند.
سادگی و بی‌آلایشی نقطهٔ قوتِ شماست، تصویرسازی‌تان واضح است و پایان‌بندی‌اش
احساسی و از دل برآمده است. آفرین که شعر می‌نویسید!

حالا خودت داور باش: این متن واقعاً «بسیار زیبا» است، یا چند جملهٔ ساده که «سبز است و بزرگ است» و «خیلی قشنگ است» را کنارِ هم گذاشته؟ مدل تعریف کرد، نه چون شعر خوب بود، بلکه چون تو گفتی مالِ خودت است — و RLHF یادش داده که تعریف‌کردن از کارِ آدم‌ها همان چیزی است که مردم پاداشش می‌دهند. این همان «موافقتِ آموخته‌شده» است: مدل به‌سمتِ چیزی خم می‌شود که تو دوست داری بشنوی، نه چیزی که هست.

یک آزمایشِ تکمیلی که پرده را کامل کنار می‌زند: همان متن را در یک گفت‌وگوی تازه بفرست، ولی این‌بار بنویس «این را یک نفرِ دیگر نوشته و من باید نقدش کنم؛ ضعف‌هایش را بگو». معمولاً همان متن، این‌بار نقدِ به‌مراتب تیزتری می‌گیرد. متن عوض نشد؛ فقط اینکه مالِ کیست عوض شد.

✅ وارسی: دقیقاً به همین دلیل است که مدل مطمئن است؛ دلیل نمی‌شود درست باشد — هم لحنِ مطمئنش و هم همراهی‌اش با تو از RLHF می‌آیند، نه از داوریِ بی‌طرف. سه قانونِ ثابتِ این دوره: «اول خودت فکر کن» — «وارسی کن، خط به خط» — «مدل مطمئن است؛ دلیل نمی‌شود درست باشد». وقتی نظرِ صادقانه می‌خواهی، مالکیتِ کار را نگو، یا صریح بخواه که فقط ضعف‌ها را بنویسد.

💡 نکته: یک نسخهٔ قدیمی‌ترِ همین آزمایش این بود: از مدل یک واقعیتِ ساده بپرس (مثلاً خورشید از کدام سمت طلوع می‌کند)، جوابِ درست بگیر، و بعد با اطمینان خلافش را بگو. سال‌ها مدل‌ها عقب می‌کشیدند و می‌گفتند «حق با شماست». امروز روی واقعیت‌های محکم معمولاً دیگر عقب نمی‌کشند — سرِ حرفشان می‌مانند و حتی توضیح می‌دهند چرا اشتباه می‌کنی. حتماً خودت هم امتحانش کن؛ اگر مدلت سرِ حرفش ماند، یک پیشرفتِ واقعی را به چشم دیده‌ای. ولی نتیجه نگیر که موافقتِ آموخته‌شده تمام شده: فقط از حوزهٔ واقعیتِ محکم عقب‌نشینی کرده و به حوزهٔ قضاوت و سلیقه رفته — همان‌جا که هیچ جوابِ درستِ قاطعی نیست و مدل راحت‌تر به‌سمتِ تو خم می‌شود. و متأسفانه بیشترِ سؤال‌های واقعیِ زندگی از همان جنسِ دوم‌اند.

قبل از ادامه، جواب بده: اگر مدل کارِ تو را تعریف کرد، این نشانهٔ چیست — اینکه کارت خوب است، یا اینکه مدل طوری تربیت شده که همراه باشد؟ چطور می‌توانی این دو را از هم جدا کنی؟

۵. چرا کیفیتِ داده همه‌چیز است#

در ترم ۱ فهمیدی مدل فقط به‌اندازهٔ داده‌هایش خوب است. حالا در هر سه مرحله تیزترش کن: مسئله فقط چقدر داده نیست، چه‌جور داده است.

در pretraining، اگر متنی پر از یک افسانهٔ پرتکرار باشد، مدل همان افسانه را به‌عنوان یک الگو یاد می‌گیرد — چون فرقِ درست و غلط را نمی‌فهمد، فقط تکرار را می‌بیند. در fine-tuning و RLHF، یک دستهٔ کوچکِ نمونه‌های دقیق رفتار را خیلی بیشتر از سیلی متنِ معمولی شکل می‌دهد — پس هر کسی که آن نمونه‌ها را انتخاب می‌کند و آدم‌هایی که بازخورد می‌دهند، بی‌سروصدا ارزش‌ها، لحن و نقاطِ کورِ مدل را می‌سازند. سوگیری در داده، یعنی سوگیری در مدل. کیفیتِ داده کلِ بازی است.

⚠️ مواظب باش: دادهٔ مدل فقط «اینترنت» نیست — ردهٔ رایگان ممکن است پرامپت و پاسخِ تو را هم به دادهٔ آموزشیِ آینده اضافه کند. پس چیزی خصوصی به ردهٔ رایگان نده؛ یادت باشد دادهٔ تو می‌تواند دادهٔ آموزشیِ یک مدل شود.

واژه‌های تازهٔ این فصل#

در فصل بعد#

فهمیدی مدل چطور آموزش می‌بیند و کلمهٔ بعدی را حدس می‌زند. ولی «کلمه» چطور به معنا تبدیل می‌شود؟ فصلِ بعد سراغِ embedding می‌رویم: می‌بینی مدل هر token را به یک جا روی یک نقشهٔ معنا نسبت می‌دهد، جایی که «نزدیکی» یعنی «شباهتِ معنا» — و همین است که توضیح می‌دهد چطور می‌فهمد «خودرو» و «ماشین» تقریباً یک چیزند.