# فصل ۱۰ — بی‌نظمی را عدد کن: آنتروپی و `cross-entropy`

<div dir="rtl">

# فصل ۱۰ — بی‌نظمی را عدد کن: آنتروپی و `cross-entropy`

## در این فصل چه یاد می‌گیری

فصلِ قبل تابعِ هزینه را برای پیش‌بینیِ **عدد** ساخت. ولی خیلی از مدل‌ها عدد پیش‌بینی نمی‌کنند؛ می‌گویند **«این کدام دسته است»** — و جوابشان یک احتمال است، نه یک اندازه.

برای این حالت، مربعِ خطا ابزارِ درستی نیست. تابعِ هزینه‌ای که تقریباً همهٔ مدل‌های طبقه‌بندی — از سادهٔ رگرسیونِ لجستیک تا بزرگ‌ترین مدل‌های زبانی — با آن آموزش می‌بینند اسمِ دیگری دارد: `cross-entropy`. و برای ساختنش، اول باید یک سؤالِ عجیب را جواب بدهیم: **«اطلاعات» را چطور می‌شود با عدد اندازه گرفت؟**

![دو کیسهٔ مهره: یکی همه‌رنگ یکسان، دیگری با رنگ‌های متنوع](/lesson-assets/t8-s10-entropy-crossentropy/prompt/01-image-surprise.png)

آخر این فصل می‌توانی:

- بگویی یک خبر چقدر «اطلاعات» دارد و چرا لگاریتم
- آنتروپیِ یک توزیع را حساب کنی و تفسیرش کنی
- `cross-entropy` را به‌عنوان تابعِ هزینه بشناسی
- بگویی چرا مدلی که با اطمینان اشتباه می‌کند، سنگین‌ترین جریمه را می‌گیرد

## قبل از شروع

- **از ترم ۶ فصل ۲ و ۳:** احتمال به‌عنوان عددی بین ۰ و ۱، و توزیعِ احتمال.
- **از ترم ۴ فصل ۸:** لگاریتم — به‌ویژه اینکه $\log(1) = 0$ و لگاریتمِ عددِ کوچک‌تر از ۱، منفی است.
- **از فصل ۹:** تابعِ هزینه، و اینکه مدل همان چیزی را کمینه می‌کند که در فرمولش نوشته‌ای.

## ۱. غافلگیری، به‌صورتِ عدد

سه خبر:

- **«فردا خورشید طلوع می‌کند.»** هیچ اطلاعاتی ندارد. می‌دانستی.
- **«فردا در تهران باران می‌بارد.»** کمی اطلاعات دارد. ممکن بود، ولی حتمی نبود.
- **«فردا در کویر برف می‌بارد.»** خیلی اطلاعات دارد. انتظارش را نداشتی.

> 🤔 **اول حدس بزن:** الگو را می‌بینی؟ هرچه پیشامد **کم‌احتمال‌تر** باشد، خبرِ رخ دادنش **بیشتر** اطلاعات دارد. حالا سعی کن خودت فرمولی بسازی که این را بگوید — عددی که وقتی احتمال به ۱ نزدیک می‌شود صفر شود، و وقتی احتمال کوچک می‌شود بزرگ شود.

می‌خواهیم تابعی مثلِ $I(p)$ بسازیم که مقدارِ اطلاعِ یک پیشامد با احتمالِ $p$ را بدهد. سه چیز از آن می‌خواهیم:

**یک:** $I(1) = 0$ — پیشامدِ حتمی هیچ خبری ندارد.

**دو:** هرچه $p$ کوچک‌تر، $I(p)$ بزرگ‌تر.

**سه — و این تعیین‌کننده است:** اگر دو پیشامدِ **مستقل** رخ بدهند، اطلاعِ کلی باید **جمع** شود. اینکه دو سکه هر دو شیر بیایند، باید دقیقاً دو برابرِ خبرِ یک شیر اطلاع داشته باشد.

ولی احتمالِ دو پیشامدِ مستقل در هم **ضرب** می‌شود (ترم ۶ فصل ۳): $p_{12} = p_1 \times p_2$.

**پس تابعی می‌خواهیم که ضرب را به جمع تبدیل کند** — و در کلِ ریاضی فقط یک خانوادهٔ تابع این کار را می‌کند:

</div>

$$
\log(a \times b) = \log(a) + \log(b)
$$

<div dir="rtl">

همان خاصیتی که در ترم ۴ فصل ۸ دیدی، آنجا که گفتیم «هر جا کاری با ضربِ تکراری سخت شد، لگاریتم آن را به جمع برمی‌گرداند». پس:

</div>

$$
I(p) = -\log_2(p)
$$

<div dir="rtl">

آن علامتِ منفی فقط برای این است که عدد مثبت دربیاید: $p$ کوچک‌تر از ۱ است، پس لگاریتمش منفی است.

> 💡 **نکته:** پایهٔ ۲ را انتخاب کردیم تا واحد **بیت** شود: عددِ سؤال‌های بله-خیری که برای رساندنِ این خبر لازم است. با پایهٔ دیگری هم همه‌چیز کار می‌کند و فقط واحد عوض می‌شود — دقیقاً مثلِ اندازه‌گیریِ طول با متر یا فوت. **این انتخابِ سلیقه است، نه ریاضی.**

## ۲. حساب کردنش

</div>

| احتمال $p$ | $I(p) = -\log_2(p)$ | یعنی |
|---|---|---|
| $1$ | $0$ بیت | هیچ خبری نیست |
| $\frac{1}{2}$ | $1$ بیت | یک سؤالِ بله-خیر |
| $\frac{1}{4}$ | $2$ بیت | دو سؤال |
| $\frac{1}{8}$ | $3$ بیت | سه سؤال |
| $\frac{1}{1024}$ | $10$ بیت | ده سؤال |

<div dir="rtl">

الگو را ببین: **هر بار که احتمال نصف می‌شود، یک بیت اضافه می‌شود.** این دقیقاً همان رفتاری است که از لگاریتم انتظار داری.

و آن ستونِ سوم شهودِ خوبی می‌دهد: اگر بخواهی خبرِ «کدام‌یک از هشت حالتِ هم‌احتمال رخ داد» را برسانی، سه سؤالِ بله-خیر کافی است (نصف کن، نصف کن، نصف کن) — و $-\log_2(1/8) = 3$.

## ۳. آنتروپی: میانگینِ غافلگیری

حالا یک قدم بالاتر. **آنتروپی** میانگینِ اطلاعِ یک توزیعِ کامل است — یعنی به‌طور متوسط چقدر باید غافلگیر شوی:

</div>

$$
H = -\sum_i p_i \log_2(p_i)
$$

<div dir="rtl">

نترس از نمادش — هر سه تکه‌اش را می‌شناسی. آن $\sum$ از ترم ۶ فصل ۶ یعنی «همه را با هم جمع کن»، و کلِ فرمول دقیقاً همان میانگینِ وزن‌دار است: مقدارِ اطلاعِ هر حالت را در احتمالش ضرب کن و جمع بزن.

**سه کیسهٔ مهره:**

**کیسهٔ اول:** ۱۰۰ مهره، همه سفید. احتمالِ سفید $=1$.

</div>

$$
H = -1 \times \log_2(1) = 0
$$

<div dir="rtl">

**صفر.** هیچ غافلگیری‌ای در کار نیست؛ می‌دانی چه درمی‌آید.

**کیسهٔ دوم:** ۵۰ سفید، ۵۰ سیاه. هر کدام $p = \frac{1}{2}$.

</div>

$$
H = -\left(\tfrac{1}{2}\log_2\tfrac{1}{2} + \tfrac{1}{2}\log_2\tfrac{1}{2}\right) = -\left(\tfrac{1}{2}(-1) + \tfrac{1}{2}(-1)\right) = 1
$$

<div dir="rtl">

**یک بیت.** بیشترین بی‌نظمیِ ممکن با دو حالت.

**کیسهٔ سوم:** ۹۰ سفید، ۱۰ سیاه.

</div>

$$
H = -\left(0.9 \times \log_2 0.9 + 0.1 \times \log_2 0.1\right) \approx -\left(0.9 \times (-0.152) + 0.1 \times (-3.32)\right) \approx 0.47
$$

<div dir="rtl">

**بینِ صفر و یک** — چون بیشترِ وقت‌ها سفید درمی‌آید و کمتر غافلگیر می‌شوی، ولی نه به‌اندازهٔ کیسهٔ اول مطمئنی.

> 🤔 **اول حدس بزن:** برای یک کیسه با ۹۹ سفید و ۱ سیاه، آنتروپی به کدام نزدیک‌تر است — صفر یا یک؟ و بدونِ حساب کردن بگو: بینِ همهٔ کیسه‌های دو رنگی، کدام ترکیب بیشترین آنتروپی را دارد؟

**آنتروپی یعنی «چقدر نامطمئنم».** صفر یعنی کاملاً مطمئن. بیشینه یعنی کاملاً بی‌خبر.

## ۴. `cross-entropy`: وقتی حدسِ تو با واقعیت فرق دارد

حالا به مسئلهٔ اصلی برسیم.

مدلی داری که می‌گوید «این عکس با احتمالِ ۰٫۷ گربه است و با احتمالِ ۰٫۳ سگ». **جوابِ درست را می‌دانی: گربه.**

چطور جریمه‌اش کنی؟

`cross-entropy` جواب می‌دهد: **مقدارِ غافلگیریِ جوابِ درست، از دیدِ مدل.**

</div>

$$
L = -\log(q_{\text{correct}})
$$

<div dir="rtl">

که در آن $q$ احتمالی است که **مدل** به جوابِ درست داده. ببین چه می‌کند:

</div>

| مدل به جوابِ درست چه احتمالی داد | هزینه $-\log_2(q)$ | تفسیر |
|---|---|---|
| $0.99$ | $0.01$ | تقریباً هیچ جریمه‌ای |
| $0.7$ | $0.51$ | جریمهٔ کم |
| $0.5$ | $1$ | جریمهٔ متوسط |
| $0.1$ | $3.32$ | جریمهٔ سنگین |
| $0.01$ | $6.64$ | جریمهٔ خیلی سنگین |
| $\to 0$ | $\to \infty$ | جریمهٔ بی‌نهایت |

<div dir="rtl">

**آن سطرِ آخر مهم‌ترین ویژگیِ این تابع است.** اگر مدل به جوابِ درست احتمالِ نزدیک به صفر بدهد — یعنی **با اطمینانِ کامل اشتباه کند** — هزینه به سمتِ بی‌نهایت می‌رود.

مقایسه‌اش کن با مربعِ خطای فصلِ ۹: اگر همان را برای یک احتمال به‌کار می‌بردی، بدترین جریمهٔ ممکن ۱ بود. **اینجا نیست.** و این عمدی است: **مدلی که با اطمینان اشتباه می‌کند، از مدلی که مردد است خیلی خطرناک‌تر است** — چون کسی که به آن نگاه می‌کند دلیلی برای شک کردن پیدا نمی‌کند.

> ⚠️ **دامِ رایج:** فکر کردن به اینکه «هزینهٔ بی‌نهایت» یعنی فرمول خراب است. **خراب نیست، عمدی است.** ولی در عمل باید مواظبش باشی: در پیاده‌سازی‌های واقعی احتمال را از پایین به یک عددِ خیلی کوچک محدود می‌کنند تا محاسبه سرریز نکند. **این یک ترفندِ عددی است، نه یک تغییر در ریاضی.**

## ۵. چرا اسمش `cross` است

آنتروپیِ بخشِ ۳ با **یک** توزیع کار می‌کرد. `cross-entropy` با **دو** توزیع کار می‌کند:

- $p$ — واقعیت. برای «این عکس گربه است» یعنی: گربه $=1$، سگ $=0$.
- $q$ — حدسِ مدل. مثلاً گربه $=0.7$، سگ $=0.3$.

</div>

$$
H(p, q) = -\sum_i p_i \log(q_i)
$$

<div dir="rtl">

و حالا ببین چرا آن فرمولِ سادهٔ بخشِ ۴ درست بود: **در $p$ همهٔ جمله‌ها صفرند جز جوابِ درست که ۱ است.** پس کلِ مجموع فرو می‌ریزد به یک جمله — همان $-\log(q_{\text{correct}})$، یعنی لگاریتمِ احتمالی که مدل به جوابِ درست داده بود.

> 💡 **نکته:** «cross» یعنی **متقاطع**: احتمالِ یک توزیع در لگاریتمِ توزیعِ دیگر ضرب می‌شود. و یک خاصیتِ زیبا دارد که ارزشِ دانستن دارد: **$H(p,q)$ همیشه بزرگ‌تر یا مساویِ $H(p)$ است، و تساوی فقط وقتی برقرار است که $q$ دقیقاً برابرِ $p$ باشد.** یعنی کمینه کردنِ `cross-entropy` دقیقاً یعنی **نزدیک کردنِ حدسِ مدل به واقعیت** — که همان چیزی است که می‌خواستیم.

## ۶. چهار قطعه، دوباره کنارِ هم

فصلِ ۹ گفت هر سیستمِ یادگیری چهار قطعه دارد. حالا فقط یکی از آن‌ها عوض شد:

</div>

| | پیش‌بینیِ عدد (فصلِ ۹) | پیش‌بینیِ دسته (این فصل) |
|---|---|---|
| خروجیِ مدل | یک عدد | یک توزیعِ احتمال |
| تابعِ هزینه | میانگینِ مربعاتِ خطا | `cross-entropy` |
| بدترین جریمه برای یک احتمال | ۱ | بی‌نهایت |
| بهینه‌ساز | `gradient descent` | **همان `gradient descent`** |

<div dir="rtl">

**و همین سطرِ آخر، پیامِ کلِ ترم است:** الگوریتمِ فصلِ ۸ عوض نشد. فقط تابعی که کمینه‌اش می‌کند عوض شد.

هر مدلِ زبانی‌ای که امروز با آن حرف می‌زنی، دقیقاً همین کار را می‌کند: در هر قدم یک **توزیعِ احتمال روی همهٔ کلمه‌های ممکن** می‌سازد، و در آموزش با `cross-entropy` جریمه می‌شود که به کلمهٔ درست چه احتمالی داده بود. **همین فرمولِ چند سطری، پشتِ چیزی است که «هوش مصنوعی» می‌نامندش.**

> 🧪 **آزمایشگاه:** [کیسه را عوض کن](/lab/embed/risheh/term-8-calculus-ml/session-10-entropy-crossentropy) — نسبتِ مهره‌ها را جابه‌جا می‌کنی و آنتروپی زنده حساب می‌شود. اول حدس بزن کجا بیشینه می‌شود، بعد امتحان کن. در بخشِ دوم، حدسِ مدل را جابه‌جا می‌کنی و `cross-entropy` را می‌بینی — **مخصوصاً وقتی حدس را به سمتِ جوابِ غلط می‌بری**.

## تمرین‌ها

1. مقدارِ اطلاعِ پیشامدی با احتمالِ $\frac{1}{16}$ چند بیت است؟
2. کیسه‌ای با ۲۵ سفید و ۷۵ سیاه. آنتروپی‌اش را حساب کن. (راهنمایی: $\log_2(0.25) = -2$ و $\log_2(0.75) \approx -0.415$.)
3. تاسِ سالمِ شش‌وجهی چند بیت آنتروپی دارد؟ ($\log_2 6 \approx 2.585$)
4. مدلی به جوابِ درست احتمالِ $0.25$ داده. `cross-entropy` چقدر است؟
5. مدلِ دیگری به همان جوابِ درست $0.5$ داده. جریمه‌اش چند برابرِ **کمتر** است؟
6. چرا $I(1)=0$ برای فرمولِ اطلاع یک شرطِ لازم است؟

⭐ دو مدل داری. مدلِ اول به هر ده نمونه احتمالِ $0.6$ به جوابِ درست می‌دهد. مدلِ دوم به نُه نمونه احتمالِ $0.95$ می‌دهد و به یکی $0.05$. **کدام‌یک `cross-entropy` کمتری دارد؟** حساب کن، و بعد فکر کن: اگر به‌جای `cross-entropy` فقط «چند تا را درست حدس زد» می‌شمردیم، جوابِ سؤال چه می‌شد؟ **این تفاوت دقیقاً همان چیزی است که فصلِ ۹ دربارهٔ «مدل همان چیزی را یاد می‌گیرد که می‌سنجی» گفت.**

## در فصل بعد

فصلِ آخرِ دوره است: **همهٔ این‌ها را با دست اجرا می‌کنی.** یک مدلِ خطی می‌سازی، تابعِ هزینه‌اش را می‌نویسی، و با `gradient descent` آموزشش می‌دهی — بدونِ هیچ کتابخانه‌ای، فقط با کاغذ و ماشین‌حساب. و آخرش می‌بینی که هیچ‌کدام از این‌ها جادو نبود.

</div>

---
Source: https://yaadestan.com/courses/risheh/lessons/t8/s10-entropy-crossentropy (یادستان, Yaadestan)
