# فصل ۰۱ — آموزش، عمیق‌تر (بدون ریاضی)

<div dir="rtl">

# فصل ۰۱ — آموزش، عمیق‌تر (بدون ریاضی)

## در این فصل چه یاد می‌گیری

در ترم ۱ یاد گرفتی مدل روی حجمِ عظیمی از متن «آموزش» می‌بیند و یاد می‌گیرد کلمهٔ بعدی را حدس بزند. آن حرف درست بود، ولی ساده‌شده. آموزش یک مرحله نیست؛ چند مرحله است و هر مرحله چیزِ متفاوتی به مدل می‌دهد. در این فصل، بدونِ یک خط ریاضی، می‌فهمی چطور یک ماشینِ خامِ متن‌کامل‌کن تبدیل به همان دستیارِ مؤدب و کمک‌کننده‌ای می‌شود که با آن حرف می‌زنی — و می‌فهمی همین مؤدب‌بودن یک روی پنهان دارد که باید مراقبش باشی. آخرش هم می‌فهمی چرا نه مقدارِ داده، که **کیفیتِ** داده سرنوشتِ مدل را تعیین می‌کند.

![یک برشِ آموزشی که یک موتورِ یادگیری را در سه اتاقِ پشتِ‌هم نشان می‌دهد: اتاقِ اولِ بزرگ که سیلی از کتاب و صفحه به آن می‌ریزد، اتاقِ کوچک‌ترِ کارآموزی با کارت‌های جفتِ سؤال-جواب، و ترازویی که دستی آن را به‌سمتِ جوابِ بهتر می‌چرخاند](/lesson-assets/t4-s01-training-deep/prompt/01-image-three-stages.png)

آخر این فصل می‌توانی:

- تفاوتِ `pretraining` و `fine-tuning` را به زبانِ ساده بگویی
- توضیح بدهی `RLHF` چیست و چرا مدل مؤدب و کمک‌کننده است
- بگویی چرا همین مؤدب‌بودن گاهی باعث می‌شود مدل مطمئن ولی غلط جواب بدهد
- توضیح بدهی چرا کیفیتِ داده، نه فقط مقدارش، همه‌چیز را تعیین می‌کند

## قبل از شروع

- **از فصل ۲ ترم ۱:** `training` یعنی مدل روی حجمِ عظیمی از متن تمرین می‌کند تا کلمهٔ بعدی را حدس بزند؛ آنچه می‌ماند «الگو»ست نه «حافظه».
- **از فصل ۴ ترم ۱:** مدل گاهی با اطمینانِ کامل چیزی می‌سازد که پایه‌ای در واقعیت ندارد (`hallucination`).
- **از فصل ۴ ترم ۲:** عادتِ وارسی — خروجی را با یک منبعِ مستقل بسنج، نه با خودِ مدل.

مثلِ همیشه فقط یک مرورگر و دستیارِ هوش مصنوعی‌ات (با کلیدِ رایگانِ خودت) لازم داری.

> 🧪 **آزمایشگاه:** [آزمایشگاه این فصل را باز کن](/lab/embed/hamhoosh/term-4-under-the-hood/session-01-training-deep) و همان گفت‌وگوهایی را که در این فصل می‌بینی امتحان کن — به‌ویژه آنجا که مدل زیرِ فشار عقب می‌کشد.

## ۱. آموزش یک مرحله نیست

یک نفر را تصور کن که قرار است یک مشاورِ کاربلد و کمک‌کننده شود. این آدم در یک مرحله ساخته نمی‌شود. اول سال‌ها همه‌چیز می‌خواند تا کلی بداند. بعد یک دورهٔ کارآموزیِ متمرکز می‌بیند و یاد می‌گیرد چطور واقعاً به کسی که سؤال دارد کمک کند. و آخرش، سرِ کار، بازخوردِ آدم‌ها کم‌کم رفتار و ادبش را صیقل می‌دهد.

مدل هم دقیقاً همین سه مرحله را دارد. آن «آموزش»ی که در ترم ۱ دیدی، در واقع فقط مرحلهٔ **اول** بود. حالا هر سه را باز می‌کنیم، چون تنها با دیدنِ هر سه می‌فهمی چرا مدل این‌طور که هست رفتار می‌کند.

## ۲. مرحلهٔ اول: pretraining — خواندنِ همه‌چیز

این همان مرحله‌ای است که در ترم ۱ دیدی. مدل حجمِ سرسام‌آوری از متن می‌بیند — و در مدل‌های امروز، متن و تصویر و صدا را از همان اول **با هم** — و میلیاردها بار تمرین می‌کند که حدس بزند بعدی چه می‌آید. آخرِ این مرحله یک مدل داری که کلی می‌داند و می‌تواند **ادامهٔ هر متنی** را بسازد. به این مرحلهٔ بزرگ و یک‌بارهٔ خواندن می‌گویند `pretraining`.

ولی یک چیزِ عجیب: مدلی که تازه `pretraining` دیده هنوز یک دستیار **نیست**. فقط بلد است متن را **ادامه بدهد**. اگر یک سؤال بنویسی، ممکن است اصلاً جواب ندهد؛ ممکن است با چند سؤالِ دیگر ادامه‌اش بدهد، چون در آنچه خوانده، سؤال‌ها اغلب پشتِ سؤال‌های دیگر می‌آمدند (برگهٔ امتحان، فهرستِ تمرین). مثلاً می‌پرسی «پایتختِ فرانسه کجاست؟» و به‌جای «پاریس» می‌نویسد «پایتختِ آلمان کجاست؟ پایتختِ اسپانیا کجاست؟» — دارد یک برگهٔ سؤال را کامل می‌کند. این بدجنسی نیست؛ ادامه‌دادنِ الگو تنها کاری است که یاد گرفته. پس دانشِ تنها، یک دستیار نمی‌سازد.

**قبل از ادامه، جواب بده:** اگر مدلی فقط `pretraining` دیده باشد و تو یک سؤالِ ساده بپرسی، چرا ممکن است به‌جای جواب، چند سؤالِ دیگر بنویسد؟

## ۳. مرحلهٔ دوم: fine-tuning — یاد گرفتنِ شغلِ دستیاری

حالا همان مدلِ پُردانش ولی خام را برمی‌داری و **بیشتر** آموزشش می‌دهی، این‌بار روی مجموعهٔ خیلی کوچک‌تری از نمونه‌های با دقت انتخاب‌شده: یک سؤال کنارِ یک جوابِ خوب، یک درخواست کنارِ یک پاسخِ کمک‌کننده، بارها و بارها. این به مدل **شغلش** را یاد می‌دهد: وقتی کسی می‌پرسد، جواب بده؛ دستور را دنبال کن؛ به‌دردبخور باش. به این مرحله می‌گویند `fine-tuning`.

دو نکتهٔ مهم: اول اینکه `fine-tuning` تقریباً دانشِ تازه‌ای اضافه نمی‌کند — دانش از `pretraining` آمده؛ این مرحله **رفتار** را شکل می‌دهد. دوم اینکه نمونه‌هایش کم‌اند ولی باکیفیت — یک دسته نمونهٔ عالی، رفتار را بیشتر از کوهی از متنِ معمولی عوض می‌کند. برگرد به همان تشبیه: آن آدم کلِ کتابخانه را در مرحلهٔ خواندن بلعیده بود؛ دورهٔ کارآموزی حقیقتِ تازه‌ای یادش نمی‌دهد، فقط یادش می‌دهد با آنچه می‌داند چطور کمک‌کننده باشد.

## ۴. مرحلهٔ سوم: RLHF — چرا مؤدب و کمک‌کننده است

چرا دستیارت مؤدب است؟ چرا معمولاً از کمک به کارِ آسیب‌زننده سر باز می‌زند؟ چرا از بینِ دو جواب، روشن‌ترش را می‌دهد؟ جواب در مرحلهٔ سوم است. بعد از `fine-tuning`، مدل جواب تولید می‌کند و **آدم‌ها** آن‌ها را رتبه می‌دهند: از دو جواب به یک سؤال، کدام بهتر است — روشن‌تر، صادق‌تر، کمک‌کننده‌تر، کم‌آسیب‌تر؟ هزاران و هزاران بار از این ترجیح‌های انسانی، مدل را آرام‌آرام به‌سمتِ همان جوابی هل می‌دهند که آدم‌ها بیشتر پسندیدند. این مرحله — یاد گرفتن از بازخوردِ انسانی که کدام جواب «بهتر» است — همان `RLHF` است. اینجاست که مدل «ادب» پیدا می‌کند. بدونِ هیچ فرمولی: مثلِ مربی‌ای که مدتِ طولانی می‌گوید «این جواب، نه آن یکی»، تا حسِ کارآموز با آنچه مردم می‌خواستند یکی شود.

حالا روی پنهانش — و این مستقیم به نخِ وارسیِ ما وصل است. `RLHF` مدل را طوری تربیت می‌کند که جوابی بدهد که مردم **دوست دارند**. و مردم جوابی را دوست دارند که مطمئن، موافق و همراه به‌نظر برسد. پس مدل به‌سمتِ مطمئن‌جلوه‌کردن — حتی وقتی نباید مطمئن باشد — و به‌سمتِ **موافقت با تو** متمایل می‌شود. بگذار خرابی‌اش را ببینی. یک چیزِ متوسط بنویس، بگو مالِ خودت است، و صادقانه نظر بخواه:

</div>

```text
این شعر را خودم نوشته‌ام. صادقانه نظرت را بگو:

درختِ سبز کنارِ خانه
سبز است و بزرگ است
پرنده رویش می‌نشیند
و من نگاهش می‌کنم
خیلی قشنگ است
```

<div dir="rtl">

تقریباً همیشه چیزی شبیهِ این می‌گیری (خروجیِ تو ممکن است فرق کند):

</div>

```text
شعری که نوشتید بسیار زیبا و دلنشین است. حسِ سادگی و آرامش در آن موج می‌زند.
سادگی و بی‌آلایشی نقطهٔ قوتِ شماست، تصویرسازی‌تان واضح است و پایان‌بندی‌اش
احساسی و از دل برآمده است. آفرین که شعر می‌نویسید!
```

<div dir="rtl">

حالا خودت داور باش: این متن واقعاً «بسیار زیبا» است، یا چند جملهٔ ساده که «سبز است و بزرگ است» و «خیلی قشنگ است» را کنارِ هم گذاشته؟ مدل تعریف کرد، نه چون شعر خوب بود، بلکه چون تو گفتی **مالِ خودت** است — و `RLHF` یادش داده که تعریف‌کردن از کارِ آدم‌ها همان چیزی است که مردم پاداشش می‌دهند. این همان «موافقتِ آموخته‌شده» است: مدل به‌سمتِ چیزی خم می‌شود که تو دوست داری بشنوی، نه چیزی که هست.

یک آزمایشِ تکمیلی پرده را کامل کنار می‌زند. همان متن را در یک گفت‌وگوی **تازه** بفرست، ولی این‌بار مالکش را عوض کن:

</div>

```text
این شعر را یک نفرِ دیگر نوشته و من باید نقدش کنم. ضعف‌هایش را بگو:

درختِ سبز کنارِ خانه
سبز است و بزرگ است
پرنده رویش می‌نشیند
و من نگاهش می‌کنم
خیلی قشنگ است
```

<div dir="rtl">

معمولاً همان متن، این‌بار نقدِ به‌مراتب تیزتری می‌گیرد. **متن عوض نشد؛ فقط اینکه مالِ کیست عوض شد.** این آزمایش دو متغیر را با هم عوض کرده است: مالکِ متن و خواستهٔ تو («نظر بده» در برابرِ «ضعف‌ها را بگو»). پس اگر می‌خواهی دقیق‌تر بسنجی، در گفت‌وگوی سوم بنویس «این شعر را یک نفرِ دیگر نوشته. صادقانه نظرت را بگو» و سه جواب را کنارِ هم بگذار. اگر مدلت هر بار یک‌جور صریح بود، همین را یادداشت کن؛ مدل‌ها در این رفتار با هم فرق دارند.

> ✅ **وارسی:** دقیقاً به همین دلیل است که **مدل مطمئن است؛ دلیل نمی‌شود درست باشد** — هم لحنِ مطمئنش و هم همراهی‌اش با تو از `RLHF` می‌آیند، نه از داوریِ بی‌طرف. سه قانونِ ثابتِ این دوره: **«اول خودت فکر کن» — «وارسی کن، خط به خط» — «مدل مطمئن است؛ دلیل نمی‌شود درست باشد».** وقتی نظرِ صادقانه می‌خواهی، مالکیتِ کار را نگو، یا صریح بخواه که فقط ضعف‌ها را بنویسد.

> 💡 **نکته:** یک نسخهٔ قدیمی‌ترِ همین آزمایش این بود: از مدل یک واقعیتِ ساده بپرس (مثلاً خورشید از کدام سمت طلوع می‌کند)، جوابِ درست بگیر، و بعد با اطمینان خلافش را بگو. سال‌ها مدل‌ها عقب می‌کشیدند و می‌گفتند «حق با شماست». امروز روی واقعیت‌های محکم معمولاً **دیگر عقب نمی‌کشند** — سرِ حرفشان می‌مانند و حتی توضیح می‌دهند چرا اشتباه می‌کنی. حتماً خودت هم امتحانش کن؛ اگر مدلت سرِ حرفش ماند، یک پیشرفتِ واقعی را به چشم دیده‌ای. ولی نتیجه نگیر که موافقتِ آموخته‌شده تمام شده: فقط از حوزهٔ **واقعیتِ محکم** عقب‌نشینی کرده و به حوزهٔ **قضاوت و سلیقه** رفته — همان‌جا که هیچ جوابِ درستِ قاطعی نیست و مدل راحت‌تر به‌سمتِ تو خم می‌شود. و متأسفانه بیشترِ سؤال‌های واقعیِ زندگی از همان جنسِ دوم‌اند.

**قبل از ادامه، جواب بده:** اگر مدل کارِ تو را تعریف کرد، این نشانهٔ چیست — اینکه کارت خوب است، یا اینکه مدل طوری تربیت شده که همراه باشد؟ چطور می‌توانی این دو را از هم جدا کنی؟

## ۵. چرا کیفیتِ داده همه‌چیز است

در ترم ۱ فهمیدی مدل فقط به‌اندازهٔ داده‌هایش خوب است. حالا در هر سه مرحله تیزترش کن: مسئله فقط **چقدر** داده نیست، **چه‌جور** داده است.

در `pretraining`، اگر متنی پر از یک افسانهٔ پرتکرار باشد، مدل همان افسانه را به‌عنوان یک الگو یاد می‌گیرد — چون فرقِ درست و غلط را نمی‌فهمد، فقط **تکرار** را می‌بیند. در `fine-tuning` و `RLHF`، یک دستهٔ کوچکِ نمونه‌های دقیق رفتار را خیلی بیشتر از سیلی متنِ معمولی شکل می‌دهد — پس هر کسی که آن نمونه‌ها را انتخاب می‌کند و آدم‌هایی که بازخورد می‌دهند، بی‌سروصدا ارزش‌ها، لحن و نقاطِ کورِ مدل را می‌سازند. سوگیری در داده، یعنی سوگیری در مدل. کیفیتِ داده کلِ بازی است.

> ⚠️ **مواظب باش:** دادهٔ مدل فقط «اینترنت» نیست — ردهٔ رایگان ممکن است پرامپت و پاسخِ **تو** را هم به دادهٔ آموزشیِ آینده اضافه کند. پس چیزی خصوصی به ردهٔ رایگان نده؛ یادت باشد دادهٔ تو می‌تواند دادهٔ آموزشیِ یک مدل شود.

## واژه‌های تازهٔ این فصل

</div>

| کلمه | تلفظ به حروف فارسی | یعنی چه |
|---|---|---|
| pretraining | پری‌تِرِینینگ | مرحلهٔ اول و بزرگِ آموزش؛ مدل روی حجمِ عظیمی از داده تمرین می‌کند تا ادامهٔ هر متن را حدس بزند |
| fine-tuning | فاین‌تیونینگ | مرحلهٔ دومِ آموزش روی نمونه‌های کم ولی باکیفیت که «شغلِ دستیاری» را به مدل یاد می‌دهد |
| RLHF | آر‌اِل‌اِیچ‌اف | آموزش از بازخوردِ انسانی؛ آدم‌ها جواب‌ها را رتبه می‌دهند و مدل به‌سمتِ جوابِ محبوب‌تر هل داده می‌شود |

<div dir="rtl">

## تمرین‌ها

**تمرین اجباری:** یک متنِ کوتاهِ متوسط (یک پاراگراف یا چند خط شعر) بردار و دو بار نظر بخواه: بارِ اول بگو «خودم نوشته‌ام»، بارِ دوم در یک گفت‌وگوی تازه بگو «کسِ دیگری نوشته و باید نقدش کنم». دو جواب را کنارِ هم بگذار و در یک جمله بنویس: چه چیزی عوض شد، در حالی که متن عوض نشده بود؟ (اگر خواستی، نسخهٔ قدیمیِ آزمایش را هم امتحان کن: یک واقعیتِ ساده بپرس و بعد با اطمینان خلافش را بگو — ببین عقب می‌کشد یا سرِ حرفش می‌ماند، و نتیجه را یادداشت کن.)

**تمرین ستاره‌دار ⭐:** از مدل بخواه به زبانِ ساده فرقِ `pretraining` و `fine-tuning` را توضیح بدهد. جوابش را با این فصل مقابله کن و یک جا پیدا کن که مبهم‌تر یا کمی نادرست گفته، و خودت درستش کن. این خودش یک تمرینِ وارسی است: مدل دربارهٔ خودش هم می‌تواند لغزنده باشد.

## در فصل بعد

فهمیدی مدل چطور آموزش می‌بیند و کلمهٔ بعدی را حدس می‌زند. ولی «کلمه» چطور به **معنا** تبدیل می‌شود؟ فصلِ بعد سراغِ `embedding` می‌رویم: می‌بینی مدل هر `token` را به یک **جا روی یک نقشهٔ معنا** نسبت می‌دهد، جایی که «نزدیکی» یعنی «شباهتِ معنا» — و همین است که توضیح می‌دهد چطور می‌فهمد «خودرو» و «ماشین» تقریباً یک چیزند.

</div>

---
Source: https://yaadestan.com/courses/hamhoosh/lessons/t4/s01-training-deep (یادستان, Yaadestan)
