ریشه — خودآموز ریاضی از چهار عمل تا هوش مصنوعی

فصل ۸ از ۱۱

پیشرفت ترم
۰٪

ترم ۸ · تغییر و بهینه‌سازی: ریاضیِ یادگیریِ ماشین

`gradient descent`: از تپه سرازیر شو

فصل ۸رایگان

در این فصل چه یاد می‌گیری#

این فصل، اوجِ دوره است.

در ترم ۴ فصل ۴ چشم‌بسته روی تپه ایستادی و قاعده‌ای پیدا کردی: در جهتِ عکسِ شیب قدم بردار، دوباره شیب را حس کن، تکرار کن. آنجا گفتیم این کلِ gradient descent است.

حالا همهٔ قطعه‌های لازم را داری: شیب را با مشتق حساب می‌کنی (فصل ۳)، در چند بُعد گرادیان می‌سازد (فصل ۷)، و کمینه جایی است که گرادیان صفر شود (فصل ۶).

تقریباً هر مدلِ هوش مصنوعی با همین الگوریتم آموزش می‌بیند. و همان‌قدر ساده است که در ترم ۴ به‌نظر می‌رسید.

یک تپه با مسیر قدم‌های متوالی که به‌تدریج کوچک‌تر می‌شوند و به ته دره می‌رسند

آخر این فصل می‌توانی:

  • الگوریتم را قدم‌به‌قدم اجرا کنی
  • بگویی نرخِ یادگیری چه می‌کند و چرا حساس است
  • بگویی کمینهٔ محلی چه مشکلی می‌سازد

قبل از شروع#

  • از فصل ۷: گرادیان؛ جهتِ عکسش یعنی سرازیری.
  • از فصل ۶: کمینه، و اینکه گرادیانِ صفر یعنی نقطهٔ بحرانی.
  • از ترم ۴ فصل ۴: قاعدهٔ چشم‌بسته روی تپه.

۱. الگوریتم، در سه خط#

۱. از یک نقطهٔ دلخواه شروع کن.

۲. گرادیان را در آن نقطه حساب کن.

۳. یک قدمِ کوچک در جهتِ عکسِ گرادیان بردار. برگرد به ۲.

آن نرخِ یادگیری است: اندازهٔ قدم.

همین. کلِ الگوریتم.

💡 نکته: به آن علامتِ منفی دقت کن — همان چیزی است که «سرازیری» را از «سربالایی» جدا می‌کند. اگر جمع بگذاری، الگوریتم به‌جای کمینه دنبالِ بیشینه می‌رود (و گاهی دقیقاً همین را می‌خواهند).

۲. یک بار با دست#

تابعِ را کمینه کن. از فصل ۴ می‌دانی .

از شروع کن، با :

قدم جدید
۱ ۴ ۸
۲ ۳٫۲ ۶٫۴ ۲٫۵۶
۳ ۲٫۵۶ ۵٫۱۲ ۲٫۰۵
۴ ۲٫۰۵ ۴٫۱ ۱٫۶۴

🤔 اول حدس بزن: این عددها به کجا می‌روند؟

به صفر — که از فصل ۶ می‌دانی کمینهٔ است.

و به الگو دقت کن: قدم‌ها خودبه‌خود کوچک‌تر می‌شوند. چون هرچه به ته نزدیک‌تر شوی، شیب کمتر است، پس قدم هم کوتاه‌تر. الگوریتم بدونِ اینکه کسی به آن گفته باشد، نزدیکِ هدف محتاط‌تر می‌شود.

۳. نرخِ یادگیری#

مهم‌ترین تنظیمِ الگوریتم، و حساس‌ترینش.

اگر خیلی کوچک باشد: قدم‌ها ریز، و رسیدن هزاران تکرار طول می‌کشد.

اگر خیلی بزرگ باشد: از ته درّه می‌پری و آن‌طرف بالاتر از جایی که بودی فرود می‌آیی. تکرارش کن و به‌جای پایین‌رفتن، دورتر و دورتر می‌شوی — الگوریتم واگرا می‌شود.

خودت این را امتحان کن: همان مثال با :

از ۴ به پرید. قدمِ بعد به ۴ برمی‌گردد، و همین‌طور تا ابد. هیچ‌وقت نمی‌رسد.

و با اوضاع بدتر است: از ۴ به ، بعد به ۳۶ — هر قدم دورتر.

⚠️ دامِ رایج: بزرگ‌کردنِ نرخِ یادگیری برای «سریع‌تر شدن». بالای یک آستانه، الگوریتم نه‌فقط کندتر بلکه کاملاً خراب می‌شود. نشانه‌اش این است که مقدارِ تابع به‌جای کم‌شدن، زیاد می‌شود یا نوسان می‌کند.

💡 نکته: در عمل نرخِ یادگیری را با آزمون‌وخطا پیدا می‌کنند و اغلب در طولِ آموزش کم می‌کنند: قدم‌های بزرگ در ابتدا، قدم‌های ریز نزدیکِ هدف. همان کاری که خودت هنگامِ پارک‌کردنِ ماشین می‌کنی.

۴. کمینهٔ محلی#

از فصل ۶ می‌دانی مشتق فقط اطرافِ نقطه را می‌بیند. پس اگر تپه چند درّه داشته باشد، الگوریتم در نزدیک‌ترین درّه گیر می‌کند — نه لزوماً عمیق‌ترین.

🤔 اول حدس بزن: این برای آموزشِ یک شبکه با میلیون‌ها پارامتر چقدر فاجعه‌بار است؟

کمتر از آنچه به‌نظر می‌رسد، و دلیلش جالب است: در فضای بسیار پرُبُعد، برای اینکه نقطه‌ای کمینهٔ محلی باشد، باید در همهٔ میلیون‌ها جهت رو به بالا باشد. احتمالِ چنین چیزی بسیار کم است — تقریباً همیشه دستِ‌کم یک جهتِ فرار وجود دارد.

پس در عمل، الگوریتم کمتر از چیزی که در تصویرِ دوبُعدی می‌ترسیم گیر می‌کند.

💡 نکته: ترفندهای عملی هم هست: از چند نقطهٔ اولیهٔ متفاوت شروع کن، یا کمی تصادفی‌بودن به قدم‌ها اضافه کن تا از دره‌های کم‌عمق بیرون بپرد. هیچ‌کدام تضمین نمی‌دهند، ولی در عمل کافی‌اند — و همین است که یادگیری ماشین را یک رشتهٔ تجربی می‌کند، نه صرفاً ریاضی.

۵. کِی بایستیم#

سه معیارِ رایج:

۱. گرادیان تقریباً صفر شد — به یک نقطهٔ بحرانی رسیدیم.

۲. تغییرِ تابع خیلی کوچک شد — قدم‌ها دیگر بهبودی نمی‌آورند.

۳. تعدادِ تکرارها به سقف رسید — محافظ در برابر حلقهٔ بی‌پایان.

⚠️ دامِ رایج: انتظارِ رسیدنِ دقیق به صفر. مثلِ حدِ فصل ۲، الگوریتم نزدیک و نزدیک‌تر می‌شود بی‌آنکه دقیقاً برسد. توقف همیشه بر اساسِ «به‌اندازهٔ کافی نزدیک» است، نه «رسیدیم».

۶. پس آموزشِ مدل یعنی چه#

حالا کلِ تصویر:

۱. مدلی با پارامترهای تصادفی بساز.

۲. تابعِ هزینه‌ای بساز که بگوید چقدر بد کار می‌کند (فصل ۹).

۳. گرادیانِ هزینه نسبت به همهٔ پارامترها را حساب کن — با قاعدهٔ زنجیره‌ایِ فصل ۵، که همان backpropagation است.

۴. یک قدم در جهتِ عکسِ گرادیان بردار.

۵. برگرد به ۳، میلیون‌ها بار.

«یادگیری» در یادگیری ماشین دقیقاً همین است. نه چیزی بیشتر، نه چیزی مرموزتر.

🌱 ریشه‌اش کجاست: برگرد به ترم ۴ فصل ۴ و همان چند خط را دوباره بخوان — چشم‌بند، تپه، و قاعدهٔ حرکت. هیچ چیزی به آن اضافه نشد جز دقت. این تزِ کلِ دوره است: هیچ ایدهٔ پیشرفته‌ای از هوا نیامده.

تمرین‌ها

اول خودت فکر کن یا امتحان کن — بعد اینجا را باز کن.

در فصل بعد#

یک قطعه مانده: آن تابعِ هزینه از کجا می‌آید؟ فصل بعد نشان می‌دهد چطور «چقدر بد کار می‌کند» را به یک عدد تبدیل می‌کنی — و چرا شکلِ آن تابع تعیین می‌کند مدل چه چیزی یاد بگیرد.

به آخر این فصل رسیدی!

اگر ساختی و جواب داد، این دکمه مال توست.