ریشه — خودآموز ریاضی از چهار عمل تا هوش مصنوعی

فصل ۷ از ۱۱

پیشرفت ترم
۰٪

ترم ۸ · تغییر و بهینه‌سازی: ریاضیِ یادگیریِ ماشین

وقتی چند ورودی داری

فصل ۷رایگان

در این فصل چه یاد می‌گیری#

تا اینجا هر تابع یک ورودی داشت و شیب یک عدد بود. ولی روی یک تپهٔ واقعی ایستاده‌ای، نه روی یک منحنی.

🤔 اول حدس بزن: روی یک تپه، «شیب» یک عدد است؟

نه — بستگی دارد به کدام سمت رو کنی. رو به شمال شاید سربالایی باشد و رو به شرق سرازیری.

این فصل آن را حل می‌کند: مشتقِ جزئی شیب را در یک جهتِ خاص می‌دهد، و gradient — که برداری از همان مشتق‌های جزئی است — جهتِ تندترین سربالایی را نشان می‌دهد.

و همین‌جاست که ترم ۷ به ترم ۸ می‌رسد: شیب در چند بُعد، یک بردار است.

یک تپهٔ سه‌بعدی با فلش‌هایی که جهت بیشترین شیب را نشان می‌دهند

آخر این فصل می‌توانی:

  • مشتقِ جزئی را حساب کنی
  • gradient را بنویسی و بگویی چه چیزی را نشان می‌دهد
  • بگویی چرا جهتِ عکسِ آن، جهتِ سرازیری است

قبل از شروع#

  • از فصل ۴: قواعدِ مشتق‌گیری.
  • از ترم ۷ فصل ۱ و ۳: بردار؛ dot product به‌عنوان «چقدر در آن جهت امتداد دارد».
  • از ترم ۴ فصل ۴: روی تپه، در جهتِ عکسِ شیب قدم بردار.

۱. مشتقِ جزئی#

تابعی با دو ورودی:

مشتقِ جزئی نسبت به یعنی: را ثابت فرض کن و مثلِ همیشه مشتق بگیر.

آن ناپدید شد چون با ثابت‌فرض‌کردنِ ، یک عددِ ثابت است — و از فصل ۳ می‌دانی مشتقِ ثابت صفر است.

و برعکس:

هیچ ابزارِ تازه‌ای لازم نبود — فقط یک تصمیم: کدام متغیر را ثابت بگیر.

💡 نکته: آن نمادِ به‌جای فقط یادآوری می‌کند که متغیرهای دیگری هم هستند. همان کاری که نمادِ کسری‌شکلِ فصل ۳ می‌کرد: می‌گوید مشتق نسبت به چه چیزی گرفته شده.

✅ چک کن: برای ، دو مشتقِ جزئی چیستند؟ — نسبت به می‌شود ، و نسبت به می‌شود .

۲. معنیِ تصویری#

روی تپه ایستاده‌ای. مشتقِ جزئی نسبت به یعنی: فقط به سمتِ شرق قدم بردار، چقدر بالا یا پایین رفتی؟

و نسبت به : همان، به سمتِ شمال.

پس هر مشتقِ جزئی، شیب در یک جهتِ خاص است — و به‌تنهایی تصویرِ کاملی نمی‌دهد.

۳. gradient#

مشتق‌های جزئی را کنارِ هم در یک بردار بگذار (ترم ۷ فصل ۱):

برای : گرادیان است.

و این بردار دو خاصیتِ فوق‌العاده دارد:

۱. جهتش، جهتِ تندترین سربالایی است.

۲. طولش (ترم ۷ فصل ۲) می‌گوید آن سربالایی چقدر تند است.

🤔 اول حدس بزن: چرا جهتِ گرادیان تندترین است، در حالی که فقط از دو جهتِ خاص ساخته شده؟

یک حقیقت را اینجا از من بپذیر، چون اثباتش قاعدهٔ زنجیره‌ای در چند متغیر می‌خواهد و از این دوره بیرون است: شیب در جهتِ دلخواهِ بردارِ یکهٔ برابرِ است. (شهودش را از ترم ۷ فصل ۳ داری: dot product می‌گوید گرادیان چقدر در آن جهت امتداد دارد.)

بقیه‌اش دیگر پذیرفتنی نیست، دیدنی است: از ترم ۷ فصل ۳ می‌دانی dot product وقتی بیشترین مقدار را می‌گیرد که دو بردار هم‌جهت باشند، چون آن‌وقت کسینوس برابرِ ۱ است و بزرگ‌تر از ۱ نمی‌شود.

پس تندترین سربالایی دقیقاً در جهتِ خودِ گرادیان است — نه به‌عنوان یک ادعا، بلکه به‌عنوان نتیجهٔ مستقیمِ کسینوس.

🌱 ریشه‌اش کجاست: در ترم ۷ فصل ۳ نوشتیم که خوانشِ «سایه»ی dot product را نگه دار، چون در ترم ۸ تعیین می‌کند حرکت در یک جهتِ خاص چقدر تو را بالا یا پایین می‌برد. این همان است — و برای همین بود که آن فصل ⚠️ بود.

✅ چک کن: برای ، گرادیان در نقطهٔ چیست و طولش چقدر است؟ — گرادیان ، با طولِ ۱۰.

۴. جهتِ سرازیری#

هدفِ ما پیدا کردنِ کمینه است، نه بیشینه. پس تندترین سربالایی را نمی‌خواهیم — عکسش را می‌خواهیم:

از ترم ۷ فصل ۲ می‌دانی ضرب در جهت را دقیقاً برعکس می‌کند.

و این همان قاعده‌ای است که در ترم ۴ فصل ۴ چشم‌بسته روی تپه به‌کار بردی: «در جهتِ عکسِ شیب قدم بردار». حالا فقط دقیقش کردیم و به چند بُعد بردیمش.

💡 نکته: جایی که گرادیان بردارِ صفر باشد، هیچ جهتی سربالایی یا سرازیری نیست — همان نقطهٔ بحرانیِ فصل ۶، در چند بُعد. یک شرطِ ساده که برای دو متغیر و برای میلیون‌ها متغیر یکسان است.

۵. چرا میلیون‌ها بُعد#

یک شبکهٔ عصبی میلیون‌ها پارامتر دارد. تابعِ هزینه‌اش تابعی با میلیون‌ها ورودی است.

نمی‌شود تصورش کرد — ولی از ترم ۷ فصل ۱ می‌دانی این مشکلی نیست: همهٔ قواعد در هر تعداد بُعد کار می‌کنند.

  • گرادیان همان بردارِ مشتق‌های جزئی است، فقط با میلیون‌ها مؤلفه.
  • جهتش همچنان تندترین سربالایی است.
  • عکسش همچنان جهتِ سرازیری.

و همان‌طور که در ترم ۷ گفتیم، شهودی که در دو بُعد ساخته‌ای تقریباً همیشه در ابعادِ بالاتر هم درست است.

⚠️ دامِ رایج: فکرکردن به اینکه گرادیان مستقیم به کمینه اشاره می‌کند. نه — فقط به تندترین جهتِ محلی اشاره می‌کند. روی تپه‌ای پیچیده، دنبال‌کردنِ سرازیری ممکن است مسیرِ پرپیچ‌وخمی بسازد. گرادیان یک قدم را می‌گوید، نه کلِ راه را.

تمرین‌ها

اول خودت فکر کن یا امتحان کن — بعد اینجا را باز کن.

در فصل بعد#

همهٔ قطعه‌ها آماده‌اند. فصل بعد اوجِ دوره است: gradient descent — الگوریتمی که با تکرارِ همان یک قدمِ ساده، تقریباً هر مدلِ هوش مصنوعی را آموزش می‌دهد. و خواهی دید که چیزی جز همان تپهٔ ترم ۴ فصل ۴ نیست.

به آخر این فصل رسیدی!

اگر ساختی و جواب داد، این دکمه مال توست.