ریشه — خودآموز ریاضی از چهار عمل تا هوش مصنوعی

فصل ۹ از ۱۱

پیشرفت ترم
۰٪

ترم ۸ · تغییر و بهینه‌سازی: ریاضیِ یادگیریِ ماشین

تابعِ هزینه: «چقدر بد» را عدد کن

فصل ۹رایگان

در این فصل چه یاد می‌گیری#

فصل قبل الگوریتمی داد که هر تابعی را کمینه می‌کند. ولی کدام تابع؟

جوابش: تابعی که می‌گوید مدل چقدر بد کار می‌کند. به آن تابعِ هزینه می‌گویند، و ساختنش تصمیمِ مهم‌تری است از انتخابِ الگوریتم — چون مدل دقیقاً همان چیزی را یاد می‌گیرد که تابعِ هزینه اندازه می‌گیرد، نه چیزی که تو در ذهنت داشتی.

چند نقطهٔ داده با یک خط، و فاصلهٔ عمودی هر نقطه تا خط

آخر این فصل می‌توانی:

  • تابعِ هزینه بسازی و بگویی چه چیزی را می‌سنجد
  • بگویی چرا خطاها مربع می‌شوند
  • سه قطعهٔ داده و مدل و بهینه‌سازی را کنارِ هم ببینی

قبل از شروع#

  • از فصل ۸: gradient descent.
  • از ترم ۶ فصل ۶: انحرافِ معیار — مربع، جمع، ریشه.
  • از ترم ۴ فصل ۳ و ۹: تابعِ خطی و برازشِ داده.

۱. مسئله#

چند نقطهٔ داده داری و می‌خواهی خطی پیدا کنی که بهترین برازش را بدهد (ترم ۴ فصل ۹).

آن خط از ترم ۴ فصل ۳ دو پارامتر دارد: .

🤔 اول حدس بزن: «بهترین» یعنی چه؟ چطور دو خط را با هم مقایسه می‌کنی؟

باید عددی بسازی که بگوید یک خطِ مشخص چقدر بد است. و بهترین خط، آن است که این عدد را کمینه کند — که از فصل ۸ می‌دانی چطور پیدایش کنی.

۲. خطای هر نقطه#

برای هر نقطه، فاصلهٔ عمودی بینِ مقدارِ واقعی و پیش‌بینیِ خط:

که پیش‌بینیِ مدل است.

🤔 اول حدس بزن: چرا نمی‌شود همین خطاها را جمع زد و از آن به‌عنوان هزینه استفاده کرد؟

چون مثبت‌ها و منفی‌ها همدیگر را حذف می‌کنند. خطی که یکی را ۱۰ واحد بالا و دیگری را ۱۰ واحد پایین پیش‌بینی کند، جمعِ خطایش صفر می‌شود — انگار کامل بوده.

و دقیقاً همین مشکل را در ترم ۶ فصل ۶ داشتی، آنجا که فاصله‌ها از میانگین همیشه جمعشان صفر می‌شد.

۳. راهِ حل: مربع#

همان راهِ حلِ ترم ۶: اول مربع کن.

به این می‌گویند میانگینِ مربعاتِ خطا، و رایج‌ترین تابعِ هزینه است.

چرا مربع، و نه قدرِ مطلق؟ سه دلیل، و هر سه واقعی‌اند:

۱. علامت را می‌بلعد — همان دلیلِ ترم ۶.

۲. خطاهای بزرگ را شدیدتر جریمه می‌کند. یک خطای ۱۰ به‌اندازهٔ صد خطای ۱ حساب می‌شود. پس مدل یاد می‌گیرد از اشتباهاتِ بزرگ به‌شدت پرهیز کند.

۳. مشتقش تمیز است. از فصل ۴ می‌دانی مشتقِ مربع ساده و پیوسته است، در حالی که قدرِ مطلق در صفر گوشهٔ تیز دارد و آنجا مشتق ندارد (فصل ۳).

🌱 ریشه‌اش کجاست: آن الگوی «مربع کن، جمع کن» را سه بار دیده‌ای: در فرمولِ فاصلهٔ ترم ۵ فصل ۴، در انحرافِ معیارِ ترم ۶ فصل ۶، و حالا اینجا. هر سه یک چیزند: فاصله در فضایی که هر داده یک بُعد است. تابعِ هزینه، فاصلهٔ پیش‌بینی‌ها تا واقعیت را می‌سنجد.

۴. شکلِ تابعِ هزینه#

نکتهٔ ظریفی که کلِ کار را ممکن می‌کند: تابعِ هزینه، تابعی از پارامترهاست، نه از داده.

داده ثابت است. آنچه تغییر می‌کند و است. پس:

یک تابعِ دومتغیره — دقیقاً همان چیزی که فصل ۷ برایش ساخته شد. و شکلش برای خطای مربعات یک کاسه است: یک کمینهٔ واحد، بدونِ دره‌های محلی.

💡 نکته: این خاصیت برای رگرسیونِ خطی یک هدیه است: هر کجا شروع کنی، gradient descent به همان یک جواب می‌رسد. برای شبکه‌های عصبی چنین تضمینی وجود ندارد و سطحِ هزینه پُر از دره است — همان چیزی که در فصل ۸ دربارهٔ کمینهٔ محلی گفتیم.

۵. چهار قطعه، کنارِ هم#

حالا کلِ تصویر:

۱. داده — آنچه هست.

۲. مدل — خانواده‌ای از توابع با چند پارامتر (اینجا ).

۳. تابعِ هزینه — سنجهٔ اینکه یک انتخابِ خاصِ پارامترها چقدر بد است.

۴. بهینه‌ساز — gradient descent، که پارامترها را طوری تغییر می‌دهد که هزینه کم شود.

این چهار قطعه، اسکلتِ هر سیستمِ یادگیری ماشین است — از سادهٔ رگرسیونِ خطی تا بزرگ‌ترین مدل‌های زبانی. آنچه عوض می‌شود پیچیدگیِ مدل و تابعِ هزینه است، نه این ساختار.

۶. تابعِ هزینه یعنی تعریفِ «خوب»#

اینجا نکته‌ای هست که از کلِ ریاضیِ فصل مهم‌تر است.

مدل دقیقاً همان چیزی را کمینه می‌کند که تو نوشته‌ای — نه چیزی که در ذهنت داشتی.

اگر تابعِ هزینه فقط دقتِ کلی را بسنجد، مدل ممکن است روی گروهی که در داده کم‌تعداد است بد کار کند و همچنان «هزینهٔ پایین» بگیرد. از ترم ۶ فصل ۴ این را می‌شناسی: روی دادهٔ نامتوازن، دقتِ بالا می‌تواند بی‌معنی باشد.

⚠️ دامِ رایج: فرضِ اینکه اگر هزینه پایین باشد، مدل «خوب» است. هزینه فقط همان چیزی را می‌سنجد که در فرمولش نوشته‌ای. انتخابِ تابعِ هزینه یک تصمیمِ ارزشی است، نه صرفاً فنی — و بیشترِ مشکلاتِ رفتاریِ سیستم‌های هوش مصنوعی ریشه در همین انتخاب دارند، نه در الگوریتم.

تمرین‌ها

اول خودت فکر کن یا امتحان کن — بعد اینجا را باز کن.

در فصل بعد#

میانگینِ مربعاتِ خطا برای پیش‌بینیِ عدد ساخته شده. ولی وقتی مدل باید بگوید «این کدام دسته است»، جوابش یک احتمال است و مربعِ خطا برایش ابزارِ درستی نیست. فصلِ بعد تابعِ هزینهٔ آن حالت را می‌سازد — و برای ساختنش اول باید بپرسیم «اطلاعات» را چطور می‌شود عدد کرد.

به آخر این فصل رسیدی!

اگر ساختی و جواب داد، این دکمه مال توست.