ریشه — خودآموز ریاضی از چهار عمل تا هوش مصنوعی

فصل ۵ از ۱۱

پیشرفت ترم
۰٪

ترم ۸ · تغییر و بهینه‌سازی: ریاضیِ یادگیریِ ماشین

قاعدهٔ زنجیره‌ای

فصل ۵رایگان

در این فصل چه یاد می‌گیری#

سه چرخ‌دنده به هم قفل شده‌اند. اولی سه برابرِ دومی می‌چرخد و دومی دو برابرِ سومی.

🤔 اول حدس بزن: اگر سومی را یک دور بچرخانی، اولی چند دور می‌چرخد؟

. نرخ‌ها ضرب می‌شوند.

این کلِ قاعدهٔ زنجیره‌ای است، و مهم‌ترین قاعدهٔ مشتق‌گیری برای هوش مصنوعی — چون یک شبکهٔ عصبی دقیقاً همین است: زنجیره‌ای از توابع که خروجیِ هرکدام ورودیِ بعدی است. الگوریتمی که آن را آموزش می‌دهد، backpropagation، چیزی جز به‌کاربردنِ همین قاعده در طولِ آن زنجیره نیست.

سه چرخ‌دنده در هم قفل‌شده با نسبت‌های متفاوت

آخر این فصل می‌توانی:

  • مشتقِ تابعِ مرکب را حساب کنی
  • تابعِ داخلی و بیرونی را در یک عبارت تشخیص بدهی
  • بگویی چرا این قاعده ریشهٔ backpropagation است

قبل از شروع#

  • از فصل ۴: قاعدهٔ توان و مشتقِ توابعِ پایه.
  • از فصل ۳: مشتق به‌عنوان نرخِ تغییر.
  • از ترم ۴ فصل ۱: تابع به‌عنوان ماشین — اینجا چند ماشینِ پشتِ‌سرِهم.

۱. تابعِ مرکب#

این دو تابعِ تودرتوست:

  • داخلی: .
  • بیرونی: .

اول واردِ تابعِ داخلی می‌شود، خروجی‌اش واردِ بیرونی — دقیقاً دو ماشینِ ترم ۴ فصل ۱ که پشتِ‌سرِهم بسته شده‌اند.

⚠️ دامِ رایج: مشتق‌گرفتن با قاعدهٔ توان و تمام‌کردن: . این ناقص است. آن پرانتز خودش با تغییر می‌کند و این تغییر شمرده نشده. جوابِ درست سه برابرِ این است.

۲. قاعده#

مشتقِ بیرونی، ضرب در مشتقِ داخلی.

و نمادِ کسری‌شکلِ فصل ۳ اینجا خودش را نشان می‌دهد: انگار ها ساده می‌شوند و می‌ماند. این یک اثبات نیست، ولی به‌یادسپاری‌اش را آسان می‌کند — و همان چرخ‌دنده‌های اول فصل است: نرخ‌ها ضرب می‌شوند.

برای مثالِ بالا:

  • مشتقِ بیرونی: .
  • مشتقِ داخلی: .

✅ چک کن: مشتقِ چیست؟ — بیرونی ، داخلی ، پس .

۳. روشِ عملی#

۱. بپرس: اگر بخواهم این را حساب کنم، آخرین کاری که انجام می‌دهم چیست؟ آن، تابعِ بیرونی است.

۲. از بیرونی مشتق بگیر، ولی داخلش را دست‌نخورده بگذار.

۳. در مشتقِ داخلی ضرب کن.

مثال: .

آخرین کار گرفتنِ سینوس است، پس بیرونی است و داخلی :

⚠️ دامِ رایج: جابه‌جا گرفتنِ داخلی و بیرونی. و دو تابعِ کاملاً متفاوتاند و مشتق‌هایشان هم. آن سؤالِ «آخرین کار چیست» تنها راهِ مطمئنِ تشخیص است: در اولی آخرین کار سینوس است، در دومی مربع‌کردن.

✅ چک کن: مشتقِ چیست؟ — بیرونی مربع است: ، داخلی ، پس .

۴. زنجیرهٔ بلندتر#

قاعده برای هر تعداد لایه کار می‌کند: همهٔ مشتق‌های محلی را در هم ضرب کن.

مثلِ همان چرخ‌دنده‌ها، ولی این بار پنج تا یا صد تا.

💡 نکته: این خاصیتِ «ضرب‌شدن» یک پیامدِ مهم دارد: اگر یکی از مشتق‌های میانی خیلی کوچک باشد، کلِ حاصل‌ضرب کوچک می‌شود — هرچقدر بقیه بزرگ باشند. و اگر چند تای کوچک پشتِ‌سرِهم بیایند، حاصل به سرعتِ نمایی به صفر میل می‌کند (ترم ۴ فصل ۷).

۵. چرا ریشهٔ backpropagation است#

یک شبکهٔ عصبی زنجیره‌ای از لایه‌هاست. هر لایه ورودی می‌گیرد، تبدیلش می‌کند (ترم ۷ فصل ۶) و به لایهٔ بعد می‌دهد.

برای آموزشِ شبکه باید بدانی: اگر این وزنِ خاص در لایهٔ اول را کمی تغییر بدهم، خطای نهایی چقدر عوض می‌شود؟

آن وزن مستقیماً به خطا وصل نیست؛ اثرش از تمامِ لایه‌های بعدی عبور می‌کند. و قاعدهٔ زنجیره‌ای دقیقاً همان ابزاری است که این اثر را محاسبه می‌کند: مشتقِ محلیِ هر لایه را حساب کن و همه را در هم ضرب کن.

نامِ backpropagation هم از همین می‌آید: از خطا شروع می‌کنی و رو به عقب در زنجیره حرکت می‌کنی، در هر قدم یک مشتقِ محلی را ضرب می‌کنی.

🌱 ریشه‌اش کجاست: آن نکتهٔ بخش ۴ اینجا یک مسئلهٔ واقعی و مشهورِ مهندسی است. در شبکه‌های عمیق، ضربِ ده‌ها مشتقِ کوچک باعث می‌شود سیگنالِ یادگیری به لایه‌های اول تقریباً نرسد — و بخش بزرگی از پیشرفت‌های معماریِ یادگیری عمیق برای حلِ همین مشکل ساخته شده. یک قاعدهٔ سادهٔ مشتق‌گیری، و یک محدودیتِ واقعیِ مهندسی که از دلش بیرون آمده.

تمرین‌ها

اول خودت فکر کن یا امتحان کن — بعد اینجا را باز کن.

در فصل بعد#

ابزارها کامل شدند. فصل بعد اولین استفادهٔ جدی‌شان است: پیدا کردنِ بهترین نقطه. جایی که مشتق صفر می‌شود، تابع صاف است — و همان‌جا معمولاً کمینه یا بیشینه است. این همان چیزی است که بهینه‌سازی نامیده می‌شود، و کلِ آموزشِ یک مدل چیزی جز آن نیست.

به آخر این فصل رسیدی!

اگر ساختی و جواب داد، این دکمه مال توست.