# فصل ۰۸ — `gradient descent`: از تپه سرازیر شو

<div dir="rtl">

# فصل ۰۸ — `gradient descent`: از تپه سرازیر شو

## در این فصل چه یاد می‌گیری

این فصل، اوجِ دوره است.

در ترم ۴ فصل ۴ چشم‌بسته روی تپه ایستادی و قاعده‌ای پیدا کردی: **در جهتِ عکسِ شیب قدم بردار، دوباره شیب را حس کن، تکرار کن.** آنجا گفتیم این کلِ `gradient descent` است.

حالا همهٔ قطعه‌های لازم را داری: شیب را با مشتق حساب می‌کنی (فصل ۳)، در چند بُعد گرادیان می‌سازد (فصل ۷)، و کمینه جایی است که گرادیان صفر شود (فصل ۶).

**تقریباً هر مدلِ هوش مصنوعی با همین الگوریتم آموزش می‌بیند.** و همان‌قدر ساده است که در ترم ۴ به‌نظر می‌رسید.

![یک تپه با مسیر قدم‌های متوالی که به‌تدریج کوچک‌تر می‌شوند و به ته دره می‌رسند](/lesson-assets/t8-s08-gradient-descent/prompt/01-image-gradient-descent.png)

آخر این فصل می‌توانی:

- الگوریتم را قدم‌به‌قدم اجرا کنی
- بگویی نرخِ یادگیری چه می‌کند و چرا حساس است
- بگویی کمینهٔ محلی چه مشکلی می‌سازد

## قبل از شروع

- **از فصل ۷:** گرادیان؛ جهتِ عکسش یعنی سرازیری.
- **از فصل ۶:** کمینه، و اینکه گرادیانِ صفر یعنی نقطهٔ بحرانی.
- **از ترم ۴ فصل ۴:** قاعدهٔ چشم‌بسته روی تپه.

## ۱. الگوریتم، در سه خط

**۱.** از یک نقطهٔ دلخواه شروع کن.

**۲.** گرادیان را در آن نقطه حساب کن.

**۳.** یک قدمِ کوچک در جهتِ **عکسِ** گرادیان بردار. برگرد به ۲.

</div>

$$
x_{\text{new}} = x_{\text{old}} - \alpha \nabla f(x_{\text{old}})
$$

<div dir="rtl">

آن $\alpha$ **نرخِ یادگیری** است: اندازهٔ قدم.

**همین. کلِ الگوریتم.**

> 💡 **نکته:** به آن علامتِ منفی دقت کن — همان چیزی است که «سرازیری» را از «سربالایی» جدا می‌کند. **اگر جمع بگذاری، الگوریتم به‌جای کمینه دنبالِ بیشینه می‌رود** (و گاهی دقیقاً همین را می‌خواهند).

## ۲. یک بار با دست

تابعِ $f(x) = x^2$ را کمینه کن. از فصل ۴ می‌دانی $f'(x) = 2x$.

از $x = 4$ شروع کن، با $\alpha = 0.1$:

| قدم | $x$ | $f'(x)$ | $x$ جدید |
|---|---|---|---|
| ۱ | ۴ | ۸ | $4 - 0.8 = 3.2$ |
| ۲ | ۳٫۲ | ۶٫۴ | ۲٫۵۶ |
| ۳ | ۲٫۵۶ | ۵٫۱۲ | ۲٫۰۵ |
| ۴ | ۲٫۰۵ | ۴٫۱ | ۱٫۶۴ |

> 🤔 **اول حدس بزن:** این عددها به کجا می‌روند؟

به **صفر** — که از فصل ۶ می‌دانی کمینهٔ $x^2$ است.

**و به الگو دقت کن: قدم‌ها خودبه‌خود کوچک‌تر می‌شوند.** چون هرچه به ته نزدیک‌تر شوی، شیب کمتر است، پس قدم هم کوتاه‌تر. **الگوریتم بدونِ اینکه کسی به آن گفته باشد، نزدیکِ هدف محتاط‌تر می‌شود.**

## ۳. نرخِ یادگیری

مهم‌ترین تنظیمِ الگوریتم، و حساس‌ترینش.

**اگر خیلی کوچک باشد:** قدم‌ها ریز، و رسیدن هزاران تکرار طول می‌کشد.

**اگر خیلی بزرگ باشد:** از ته درّه **می‌پری** و آن‌طرف بالاتر از جایی که بودی فرود می‌آیی. تکرارش کن و **به‌جای پایین‌رفتن، دورتر و دورتر می‌شوی** — الگوریتم واگرا می‌شود.

خودت این را امتحان کن: همان مثال با $\alpha = 1$:

</div>

$$
x_{\text{new}} = 4 - 1 \times 8 = -4
$$

<div dir="rtl">

از ۴ به $-4$ پرید. قدمِ بعد به ۴ برمی‌گردد، و همین‌طور تا ابد. **هیچ‌وقت نمی‌رسد.**

و با $\alpha = 2$ اوضاع بدتر است: از ۴ به $-12$، بعد به ۳۶ — **هر قدم دورتر.**

> ⚠️ **دامِ رایج:** بزرگ‌کردنِ نرخِ یادگیری برای «سریع‌تر شدن». **بالای یک آستانه، الگوریتم نه‌فقط کندتر بلکه کاملاً خراب می‌شود.** نشانه‌اش این است که مقدارِ تابع به‌جای کم‌شدن، زیاد می‌شود یا نوسان می‌کند.

> 💡 **نکته:** در عمل نرخِ یادگیری را با آزمون‌وخطا پیدا می‌کنند و اغلب در طولِ آموزش **کم** می‌کنند: قدم‌های بزرگ در ابتدا، قدم‌های ریز نزدیکِ هدف. **همان کاری که خودت هنگامِ پارک‌کردنِ ماشین می‌کنی.**

## ۴. کمینهٔ محلی

از فصل ۶ می‌دانی مشتق فقط اطرافِ نقطه را می‌بیند. پس اگر تپه چند درّه داشته باشد، **الگوریتم در نزدیک‌ترین درّه گیر می‌کند** — نه لزوماً عمیق‌ترین.

> 🤔 **اول حدس بزن:** این برای آموزشِ یک شبکه با میلیون‌ها پارامتر چقدر فاجعه‌بار است؟

**کمتر از آنچه به‌نظر می‌رسد**، و دلیلش جالب است: در فضای بسیار پرُبُعد، برای اینکه نقطه‌ای کمینهٔ محلی باشد، باید در **همهٔ** میلیون‌ها جهت رو به بالا باشد. احتمالِ چنین چیزی بسیار کم است — تقریباً همیشه دستِ‌کم یک جهتِ فرار وجود دارد.

**پس در عمل، الگوریتم کمتر از چیزی که در تصویرِ دوبُعدی می‌ترسیم گیر می‌کند.**

> 💡 **نکته:** ترفندهای عملی هم هست: از چند نقطهٔ اولیهٔ متفاوت شروع کن، یا کمی تصادفی‌بودن به قدم‌ها اضافه کن تا از دره‌های کم‌عمق بیرون بپرد. **هیچ‌کدام تضمین نمی‌دهند، ولی در عمل کافی‌اند** — و همین است که یادگیری ماشین را یک رشتهٔ **تجربی** می‌کند، نه صرفاً ریاضی.

## ۵. کِی بایستیم

سه معیارِ رایج:

**۱. گرادیان تقریباً صفر شد** — به یک نقطهٔ بحرانی رسیدیم.

**۲. تغییرِ تابع خیلی کوچک شد** — قدم‌ها دیگر بهبودی نمی‌آورند.

**۳. تعدادِ تکرارها به سقف رسید** — محافظ در برابر حلقهٔ بی‌پایان.

> ⚠️ **دامِ رایج:** انتظارِ رسیدنِ **دقیق** به صفر. مثلِ حدِ فصل ۲، الگوریتم **نزدیک و نزدیک‌تر می‌شود بی‌آنکه دقیقاً برسد.** توقف همیشه بر اساسِ «به‌اندازهٔ کافی نزدیک» است، نه «رسیدیم».

## ۶. پس آموزشِ مدل یعنی چه

حالا کلِ تصویر:

**۱. مدلی با پارامترهای تصادفی بساز.**

**۲. تابعِ هزینه‌ای بساز که بگوید چقدر بد کار می‌کند** (فصل ۹).

**۳. گرادیانِ هزینه نسبت به همهٔ پارامترها را حساب کن** — با قاعدهٔ زنجیره‌ایِ فصل ۵، که همان `backpropagation` است.

**۴. یک قدم در جهتِ عکسِ گرادیان بردار.**

**۵. برگرد به ۳، میلیون‌ها بار.**

**«یادگیری» در یادگیری ماشین دقیقاً همین است.** نه چیزی بیشتر، نه چیزی مرموزتر.

> 🌱 **ریشه‌اش کجاست:** برگرد به ترم ۴ فصل ۴ و همان چند خط را دوباره بخوان — چشم‌بند، تپه، و قاعدهٔ حرکت. **هیچ چیزی به آن اضافه نشد جز دقت.** این تزِ کلِ دوره است: هیچ ایدهٔ پیشرفته‌ای از هوا نیامده.

> 🧪 **آزمایشگاه:** [سرازیر شو](/lab/embed/risheh/term-8-calculus-ml/session-08-gradient-descent) — نقطهٔ شروع و نرخِ یادگیری را انتخاب می‌کنی و مسیرِ قدم‌ها روی منحنی رسم می‌شود. **اول با نرخِ کوچک شروع کن، بعد بزرگش کن تا لحظه‌ای که از دره بپرد** — و همان نقطه را یادداشت کن. بعد روی تابعی با دو دره امتحان کن و ببین از کدام نقطه‌های شروع به کدام دره می‌رسی.

## تمرین‌ها

1. برای $f(x) = x^2$ از $x=6$ با $\alpha=0.2$ سه قدم بردار.
2. همان را با $\alpha=0.9$ سه قدم بردار. چه فرقی کرد؟
3. برای $f(x) = (x-3)^2$ کمینه کجاست؟ از $x=0$ با $\alpha=0.1$ دو قدم بردار و ببین به آن نزدیک می‌شوی یا نه.
4. اگر گرادیان در نقطه‌ای صفر باشد، الگوریتم چه می‌کند؟
5. گرادیانِ $f(x,y) = x^2 + 4y^2$ در $(1,1)$ چیست؟
6. مشتقِ $\sin(2x)$ را حساب کن.

⭐ برای $f(x) = x^2$ نرخِ یادگیری‌ای پیدا کن که الگوریتم دقیقاً بینِ دو مقدار نوسان کند و هرگز نه نزدیک شود نه دور. حالا بگو برای هر ضریبِ $a$ در $f(x)=ax^2$، آن نرخِ بحرانی چقدر است.

## در فصل بعد

یک قطعه مانده: **آن تابعِ هزینه از کجا می‌آید؟** فصل بعد نشان می‌دهد چطور «چقدر بد کار می‌کند» را به یک عدد تبدیل می‌کنی — و چرا شکلِ آن تابع تعیین می‌کند مدل چه چیزی یاد بگیرد.

</div>

---
Source: https://yaadestan.com/courses/risheh/lessons/t8/s08-gradient-descent (یادستان, Yaadestan)
