در این فصل چه یاد میگیری#
فصلِ قبل تابعِ هزینه را برای پیشبینیِ عدد ساخت. ولی خیلی از مدلها عدد پیشبینی نمیکنند؛ میگویند «این کدام دسته است» — و جوابشان یک احتمال است، نه یک اندازه.
برای این حالت، مربعِ خطا ابزارِ درستی نیست. تابعِ هزینهای که تقریباً همهٔ مدلهای طبقهبندی — از سادهٔ رگرسیونِ لجستیک تا بزرگترین مدلهای زبانی — با آن آموزش میبینند اسمِ دیگری دارد: cross-entropy. و برای ساختنش، اول باید یک سؤالِ عجیب را جواب بدهیم: «اطلاعات» را چطور میشود با عدد اندازه گرفت؟

آخر این فصل میتوانی:
- بگویی یک خبر چقدر «اطلاعات» دارد و چرا لگاریتم
- آنتروپیِ یک توزیع را حساب کنی و تفسیرش کنی
cross-entropyرا بهعنوان تابعِ هزینه بشناسی- بگویی چرا مدلی که با اطمینان اشتباه میکند، سنگینترین جریمه را میگیرد
قبل از شروع#
- از ترم ۶ فصل ۲ و ۳: احتمال بهعنوان عددی بین ۰ و ۱، و توزیعِ احتمال.
- از ترم ۴ فصل ۸: لگاریتم — بهویژه اینکه و لگاریتمِ عددِ کوچکتر از ۱، منفی است.
- از فصل ۹: تابعِ هزینه، و اینکه مدل همان چیزی را کمینه میکند که در فرمولش نوشتهای.
۱. غافلگیری، بهصورتِ عدد#
سه خبر:
- «فردا خورشید طلوع میکند.» هیچ اطلاعاتی ندارد. میدانستی.
- «فردا در تهران باران میبارد.» کمی اطلاعات دارد. ممکن بود، ولی حتمی نبود.
- «فردا در کویر برف میبارد.» خیلی اطلاعات دارد. انتظارش را نداشتی.
🤔 اول حدس بزن: الگو را میبینی؟ هرچه پیشامد کماحتمالتر باشد، خبرِ رخ دادنش بیشتر اطلاعات دارد. حالا سعی کن خودت فرمولی بسازی که این را بگوید — عددی که وقتی احتمال به ۱ نزدیک میشود صفر شود، و وقتی احتمال کوچک میشود بزرگ شود.
میخواهیم تابعی مثلِ بسازیم که مقدارِ اطلاعِ یک پیشامد با احتمالِ را بدهد. سه چیز از آن میخواهیم:
یک: — پیشامدِ حتمی هیچ خبری ندارد.
دو: هرچه کوچکتر، بزرگتر.
سه — و این تعیینکننده است: اگر دو پیشامدِ مستقل رخ بدهند، اطلاعِ کلی باید جمع شود. اینکه دو سکه هر دو شیر بیایند، باید دقیقاً دو برابرِ خبرِ یک شیر اطلاع داشته باشد.
ولی احتمالِ دو پیشامدِ مستقل در هم ضرب میشود (ترم ۶ فصل ۳): .
پس تابعی میخواهیم که ضرب را به جمع تبدیل کند — و در کلِ ریاضی فقط یک خانوادهٔ تابع این کار را میکند:
همان خاصیتی که در ترم ۴ فصل ۸ دیدی، آنجا که گفتیم «هر جا کاری با ضربِ تکراری سخت شد، لگاریتم آن را به جمع برمیگرداند». پس:
آن علامتِ منفی فقط برای این است که عدد مثبت دربیاید: کوچکتر از ۱ است، پس لگاریتمش منفی است.
💡 نکته: پایهٔ ۲ را انتخاب کردیم تا واحد بیت شود: عددِ سؤالهای بله-خیری که برای رساندنِ این خبر لازم است. با پایهٔ دیگری هم همهچیز کار میکند و فقط واحد عوض میشود — دقیقاً مثلِ اندازهگیریِ طول با متر یا فوت. این انتخابِ سلیقه است، نه ریاضی.
۲. حساب کردنش#
| احتمال | یعنی | |
|---|---|---|
| بیت | هیچ خبری نیست | |
| بیت | یک سؤالِ بله-خیر | |
| بیت | دو سؤال | |
| بیت | سه سؤال | |
| بیت | ده سؤال |
الگو را ببین: هر بار که احتمال نصف میشود، یک بیت اضافه میشود. این دقیقاً همان رفتاری است که از لگاریتم انتظار داری.
و آن ستونِ سوم شهودِ خوبی میدهد: اگر بخواهی خبرِ «کدامیک از هشت حالتِ هماحتمال رخ داد» را برسانی، سه سؤالِ بله-خیر کافی است (نصف کن، نصف کن، نصف کن) — و .
۳. آنتروپی: میانگینِ غافلگیری#
حالا یک قدم بالاتر. آنتروپی میانگینِ اطلاعِ یک توزیعِ کامل است — یعنی بهطور متوسط چقدر باید غافلگیر شوی:
نترس از نمادش — هر سه تکهاش را میشناسی. آن از ترم ۶ فصل ۶ یعنی «همه را با هم جمع کن»، و کلِ فرمول دقیقاً همان میانگینِ وزندار است: مقدارِ اطلاعِ هر حالت را در احتمالش ضرب کن و جمع بزن.
سه کیسهٔ مهره:
کیسهٔ اول: ۱۰۰ مهره، همه سفید. احتمالِ سفید .
صفر. هیچ غافلگیریای در کار نیست؛ میدانی چه درمیآید.
کیسهٔ دوم: ۵۰ سفید، ۵۰ سیاه. هر کدام .
یک بیت. بیشترین بینظمیِ ممکن با دو حالت.
کیسهٔ سوم: ۹۰ سفید، ۱۰ سیاه.
بینِ صفر و یک — چون بیشترِ وقتها سفید درمیآید و کمتر غافلگیر میشوی، ولی نه بهاندازهٔ کیسهٔ اول مطمئنی.
🤔 اول حدس بزن: برای یک کیسه با ۹۹ سفید و ۱ سیاه، آنتروپی به کدام نزدیکتر است — صفر یا یک؟ و بدونِ حساب کردن بگو: بینِ همهٔ کیسههای دو رنگی، کدام ترکیب بیشترین آنتروپی را دارد؟
آنتروپی یعنی «چقدر نامطمئنم». صفر یعنی کاملاً مطمئن. بیشینه یعنی کاملاً بیخبر.
۴. cross-entropy: وقتی حدسِ تو با واقعیت فرق دارد#
حالا به مسئلهٔ اصلی برسیم.
مدلی داری که میگوید «این عکس با احتمالِ ۰٫۷ گربه است و با احتمالِ ۰٫۳ سگ». جوابِ درست را میدانی: گربه.
چطور جریمهاش کنی؟
cross-entropy جواب میدهد: مقدارِ غافلگیریِ جوابِ درست، از دیدِ مدل.
که در آن احتمالی است که مدل به جوابِ درست داده. ببین چه میکند:
| مدل به جوابِ درست چه احتمالی داد | هزینه | تفسیر |
|---|---|---|
| تقریباً هیچ جریمهای | ||
| جریمهٔ کم | ||
| جریمهٔ متوسط | ||
| جریمهٔ سنگین | ||
| جریمهٔ خیلی سنگین | ||
| جریمهٔ بینهایت |
آن سطرِ آخر مهمترین ویژگیِ این تابع است. اگر مدل به جوابِ درست احتمالِ نزدیک به صفر بدهد — یعنی با اطمینانِ کامل اشتباه کند — هزینه به سمتِ بینهایت میرود.
مقایسهاش کن با مربعِ خطای فصلِ ۹: اگر همان را برای یک احتمال بهکار میبردی، بدترین جریمهٔ ممکن ۱ بود. اینجا نیست. و این عمدی است: مدلی که با اطمینان اشتباه میکند، از مدلی که مردد است خیلی خطرناکتر است — چون کسی که به آن نگاه میکند دلیلی برای شک کردن پیدا نمیکند.
⚠️ دامِ رایج: فکر کردن به اینکه «هزینهٔ بینهایت» یعنی فرمول خراب است. خراب نیست، عمدی است. ولی در عمل باید مواظبش باشی: در پیادهسازیهای واقعی احتمال را از پایین به یک عددِ خیلی کوچک محدود میکنند تا محاسبه سرریز نکند. این یک ترفندِ عددی است، نه یک تغییر در ریاضی.
۵. چرا اسمش cross است#
آنتروپیِ بخشِ ۳ با یک توزیع کار میکرد. cross-entropy با دو توزیع کار میکند:
- — واقعیت. برای «این عکس گربه است» یعنی: گربه ، سگ .
- — حدسِ مدل. مثلاً گربه ، سگ .
و حالا ببین چرا آن فرمولِ سادهٔ بخشِ ۴ درست بود: در همهٔ جملهها صفرند جز جوابِ درست که ۱ است. پس کلِ مجموع فرو میریزد به یک جمله — همان ، یعنی لگاریتمِ احتمالی که مدل به جوابِ درست داده بود.
💡 نکته: «cross» یعنی متقاطع: احتمالِ یک توزیع در لگاریتمِ توزیعِ دیگر ضرب میشود. و یک خاصیتِ زیبا دارد که ارزشِ دانستن دارد: همیشه بزرگتر یا مساویِ است، و تساوی فقط وقتی برقرار است که دقیقاً برابرِ باشد. یعنی کمینه کردنِ
cross-entropyدقیقاً یعنی نزدیک کردنِ حدسِ مدل به واقعیت — که همان چیزی است که میخواستیم.
۶. چهار قطعه، دوباره کنارِ هم#
فصلِ ۹ گفت هر سیستمِ یادگیری چهار قطعه دارد. حالا فقط یکی از آنها عوض شد:
| پیشبینیِ عدد (فصلِ ۹) | پیشبینیِ دسته (این فصل) | |
|---|---|---|
| خروجیِ مدل | یک عدد | یک توزیعِ احتمال |
| تابعِ هزینه | میانگینِ مربعاتِ خطا | cross-entropy |
| بدترین جریمه برای یک احتمال | ۱ | بینهایت |
| بهینهساز | gradient descent |
همان gradient descent |
و همین سطرِ آخر، پیامِ کلِ ترم است: الگوریتمِ فصلِ ۸ عوض نشد. فقط تابعی که کمینهاش میکند عوض شد.
هر مدلِ زبانیای که امروز با آن حرف میزنی، دقیقاً همین کار را میکند: در هر قدم یک توزیعِ احتمال روی همهٔ کلمههای ممکن میسازد، و در آموزش با cross-entropy جریمه میشود که به کلمهٔ درست چه احتمالی داده بود. همین فرمولِ چند سطری، پشتِ چیزی است که «هوش مصنوعی» مینامندش.
تمرینها
اول خودت فکر کن یا امتحان کن — بعد اینجا را باز کن.
در فصل بعد#
فصلِ آخرِ دوره است: همهٔ اینها را با دست اجرا میکنی. یک مدلِ خطی میسازی، تابعِ هزینهاش را مینویسی، و با gradient descent آموزشش میدهی — بدونِ هیچ کتابخانهای، فقط با کاغذ و ماشینحساب. و آخرش میبینی که هیچکدام از اینها جادو نبود.
به آخر این فصل رسیدی!
اگر ساختی و جواب داد، این دکمه مال توست.