# فصل ۰۲ — فهمِ تصویر

<div dir="rtl">

# فصل ۰۲ — فهمِ تصویر

## در این فصل چه یاد می‌گیری

فصلِ قبل تصویر می‌ساختی؛ حالا جهت را برعکس می‌کنیم. یک عکس به دستیارت **می‌دهی** و ازش سؤال می‌پرسی. این یکی از کاربردی‌ترین و کم‌ستایش‌شده‌ترین کارهای هوش مصنوعیِ امروز است: عکسِ یخچالت را نشانش می‌دهی و می‌پرسی چه بپزی؛ عکسِ یک صفحهٔ چاپی را می‌دهی و متنش را قابلِ‌کپی می‌کنی؛ یک نمودار را نشانش می‌دهی و می‌خواهی برایت توضیح بدهد. و چون همان مدلِ چندوجهیِ فصلِ قبل این کار را می‌کند، لازم نیست ابزارِ جدایی یاد بگیری. ولی درست مثلِ متن، اینجا هم مدل گاهی با اطمینان چیزی می‌بیند که در تصویر نیست — پس وارسی باز هم قلبِ کار است.

![یک برشِ آموزشی از یک عدسی که به یک عکسِ آپلودشده نگاه می‌کند و از دلِ آن سه چیز بیرون می‌کشد: چند خطِ متن، یک نمودارِ میله‌ای، و یک برچسبِ توصیفی](/lesson-assets/t3-s02-image-understanding/prompt/01-image-understanding.png)

آخر این فصل می‌توانی:

- یک عکس را آپلود کنی و دربارهٔ محتوایش سؤالِ دقیق بپرسی
- متنِ داخلِ یک عکس را با `OCR` به متنِ قابلِ‌کپی تبدیل کنی
- از مدل بخواهی یک نمودار را برایت توضیح بدهد و ادعاهایش را با خودِ تصویر تطبیق بدهی
- از مدل برای دسترس‌پذیری استفاده کنی — مثلاً توصیفِ یک تصویر برای کسی که نمی‌بیند

## قبل از شروع

- **از فصل ۱ همین ترم:** `multimodal` — همان مدلِ واحد که تصویر و متن را با هم می‌فهمد؛ فهمیدن کارِ متخصصِ جدا نیست.
- **از فصل ۴ ترم ۲:** وارسی — هر ادعای واقعیِ مدل را با منبعِ اصلی تطبیق بده.
- **از فصل ۱ ترم ۲:** نیتِ روشن — دقیق بگو از عکس چه می‌خواهی بدانی.

مثل همیشه فقط یک مرورگر و دستیارِ هوش مصنوعی‌ات (با کلیدِ رایگانِ خودت) لازم داری.

> 🧪 **آزمایشگاه:** [آزمایشگاه این فصل را باز کن](/lab/embed/hamhoosh/term-3-toolkit/session-02-image-understanding) — یک عکس آپلود می‌کنی، ازش سؤال می‌پرسی، و جوابِ مدل را با خودِ عکس مقایسه می‌کنی.

## ۱. آپلود کن و بپرس

ساده‌ترین کار این است: یک عکس آپلود کن و یک سؤالِ روشن بپرس. چون همان مدلِ چندوجهیِ فصلِ قبل خودش تصویر را می‌فهمد، می‌توانی با عکس مثلِ یک تکه از گفت‌وگو رفتار کنی. چند مثالِ واقعی:

- عکسِ داخلِ یخچالت: «با این مواد چه غذایی می‌توانم بپزم که زیرِ نیم‌ساعت آماده شود؟»
- عکسِ یک گیاه: «این چه گیاهی به‌نظر می‌آید و چطور ازش نگهداری کنم؟»
- عکسِ یک قطعهٔ خرابِ خانه: «این چیست و به‌نظرت مشکلش کجاست؟»

نکتهٔ کلیدی همان درسِ ترمِ قبل است: سؤالِ روشن، جوابِ روشن. «این چیه؟» جوابِ کلی می‌دهد؛ ولی «این گیاه است یا علفِ هرز، و چند وقت یک‌بار آب می‌خواهد؟» جوابِ به‌دردبخور می‌دهد.

> ⚠️ **مواظب باش:** عکس می‌تواند حساس‌تر از متن باشد، چون خیلی چیزها را ناخواسته لو می‌دهد. هیچ‌کدام از این‌ها را در ردهٔ رایگان آپلود نکن: عکسِ کارتِ ملی، مدارکِ بانکی، چهرهٔ دیگران بی‌اجازه‌شان، یا پس‌زمینه‌ای که آدرس و پلاکِ خانه‌ات را نشان می‌دهد. همان قاعده‌ای که در فصل ۷ ترم ۱ دیدی اینجا سفت‌تر است، چون ردهٔ رایگان ممکن است عکس را برای آموزش نگه دارد و یک عکس بی‌آنکه بخواهی چند راز را هم‌زمان می‌برد.

## ۲. OCR: از عکسِ متن تا متنِ قابلِ‌کپی

یکی از پرکاربردترین کارها این است: یک عکس داری که رویش نوشته هست — یک صفحهٔ کتاب، یک رسید، یک یادداشتِ دست‌نویس — و می‌خواهی آن نوشته را به متنِ واقعیِ قابلِ‌کپی تبدیل کنی. به این کار می‌گویند `OCR`: خواندنِ متن از دلِ یک تصویر. یک عکسِ متن آپلود کن و بگو:

</div>

```text
متنِ داخلِ این عکس را دقیقاً همان‌طور که هست تایپ کن، بدونِ اینکه چیزی را
اصلاح یا اضافه کنی.
```

<div dir="rtl">

جالب است: مدلِ تصویر برای **ساختنِ** نوشته ضعیف بود (فصلِ قبل)، ولی همان مدلِ چندوجهی که عکس را می‌فهمد برای **خواندنِ** نوشته اغلب خوب کار می‌کند، چون خواندن و ساختن دو کارِ متفاوت‌اند و گاهی دو مدلِ متفاوت. با این حال بی‌عیب نیست. اینجا یک نمونهٔ واقعی از خطایش را ببین. فرض کن رسیدی آپلود کرده‌ای که رویش شمارهٔ تماس نوشته `۰۹۱۲ ۸۴۵ ۶۲۷۳`، و مدل با اطمینان این را برمی‌گرداند:

</div>

```text
شمارهٔ تماس: ۰۹۱۲ ۸۴۵ ۶۲۱۳
مبلغِ کل: ۱۸۵٬۰۰۰ سکه
```

<div dir="rtl">

خطش تمیز است و مطمئن به‌نظر می‌رسد. ولی وقتی خط‌به‌خط با خودِ عکس تطبیق می‌دهی، می‌بینی یک رقمِ شماره را اشتباه خوانده — `۷` را `۱` دیده — و همین یک رقم کلِ شماره را بی‌مصرف می‌کند. `OCR` روی دست‌خط، نورِ کم، و ارقامِ فارسی بیشتر می‌لغزد، و بدتر اینکه گاهی نوشتهٔ ناخوانا را «حدس» می‌زند و کلمه‌ای می‌سازد که اصلاً آنجا نبوده.

> ✅ **وارسی:** خروجیِ `OCR` را — مخصوصاً عددها، نام‌ها و شماره‌ها — خط‌به‌خط با خودِ عکس مقابله کن، نه با حافظه‌ات. اگر روی یک شماره یا مبلغ قرار است کاری بکنی، دو بار چک کن. اینجا هم سه قانونِ ثابت پابرجاست: **«اول خودت فکر کن» — «وارسی کن، خط به خط» — «مدل مطمئن است؛ دلیل نمی‌شود درست باشد».**

## ۳. توضیحِ نمودار

می‌توانی یک نمودار — میله‌ای، خطی، دایره‌ای — آپلود کنی و بخواهی مدل برایت بخواندش. برای کسی که با نمودار راحت نیست این طلاست: «این نمودار در یک جمله چه می‌گوید؟» یا «کدام ماه بیشترین فروش را داشت؟». مدل روند را خلاصه می‌کند و نکته‌ها را بیرون می‌کشد.

ولی دقیقاً همین‌جا یک خطای خطرناک کمین کرده. فرض کن نموداری آپلود کرده‌ای که فروشِ فروردین تا خرداد را نشان می‌دهد و در آن فروش **هر ماه کم** شده. از مدل می‌پرسی «روندِ فروش چطور بوده؟» و این جواب را می‌گیری:

</div>

```text
فروش روندِ صعودی داشته و از فروردین تا خرداد رشدِ خوبی را نشان می‌دهد؛
بیشترین فروش مربوط به خرداد با حدود ۴۲ میلیون است.
```

<div dir="rtl">

هر دو ادعا غلط است. مدل جهتِ روند را برعکس خوانده (فروش کم شده، نه زیاد)، و عددِ «۴۲ میلیون» را از خودش ساخته — رقمی که اصلاً روی نمودار نبود. این همان توهمِ فصلِ ۴ ترم ۱ است، این بار دربارهٔ یک تصویر: پاسخی روان و مطمئن که با خودِ داده جور درنمی‌آید.

**و اگر مدلِ تو روند را درست خواند چه؟** برای یک نمودارِ تمیز و درشت کاملاً محتمل است، و باید هم باشد. سنجهٔ سخت‌تر جای دیگری است: نموداری بده که خواندنش **واقعاً** سخت باشد — میله‌هایی که ارتفاعشان به هم نزدیک است، محوری که از صفر شروع نمی‌شود، یا عکسی که کمی کج و کم‌نور گرفته شده. بعد سراغِ ریزترین سؤال برو: «مقدارِ دقیقِ ماهِ سوم چند بود؟». همان‌جا که چشمِ خودت هم باید دو بار نگاه کند، مدل اغلب به‌جای «مطمئن نیستم» یک عددِ گرد و مطمئن می‌سازد، و **عددی که روی محور نوشته نشده، خوانده‌شده نیست؛ در بهترین حالت تخمینِ مدل است.**

> ✅ **وارسی:** هر چیزی را که مدل دربارهٔ نمودار می‌گوید با خودِ نمودار تطبیق بده. آن میله‌ای که اسم برد واقعاً بلندترین است؟ جهتی که گفت با شیبِ خط می‌خواند؟ عددی که گفت واقعاً روی محور نوشته شده؟ اگر عددی می‌دهد که در تصویر نمی‌بینی، به احتمالِ زیاد ساختگی است.

**قبل از ادامه، جواب بده:** مدل می‌گوید «بیشترین فروش در خرداد بود». تو نمودار را جلوی چشمت داری. با یک نگاهِ ساده چطور می‌فهمی این ادعا درست است یا توهم؟

## ۴. دسترس‌پذیری: یک چشمِ دوم

یک کاربردِ ارزشمند و انسانیِ فهمِ تصویر، دسترس‌پذیری است. برای کسی که نمی‌بیند یا کم می‌بیند، مدل می‌تواند یک عکس را با کلمه توصیف کند: «چه چیزی در این تصویر است؟». همین کار به تو هم کمک می‌کند وقتی می‌خواهی برای عکسی که در سایت یا نوشته‌ات می‌گذاری یک `alt` خوب بنویسی — همان توضیحِ متنیِ تصویر که هم صفحه‌خوانِ نابینا آن را می‌خواند و هم موتورهای جست‌وجو رویش حساب می‌کنند.

</div>

```text
این عکس را برای کسی که آن را نمی‌بیند، در یک جملهٔ کوتاه و دقیق توصیف کن؛
مهم‌ترین چیزِ داخلِ تصویر را اول بگو.
```

<div dir="rtl">

اینجا یک مسئولیت هست: وقتی توصیفی می‌سازی که آدمِ دیگری قرار است به آن **تکیه** کند، درستیِ توصیف مهم‌تر از همیشه است. اگر مدل رنگ یا تعداد یا موضوعِ اصلی را اشتباه بگوید، آن آدم تصویری غلط از واقعیت می‌گیرد. پس توصیفِ دسترس‌پذیری را هم قبل از استفاده وارسی کن.

> 💡 **نکته:** فهمِ تصویر با ساختِ تصویرِ فصلِ قبل مکمل‌اند. مدلِ چندوجهی نوشتهٔ داخلِ یک عکس را خوب **می‌خواند** (OCR)، ولی مدلِ تصویر نوشته را خوب داخلِ تصویر **نمی‌سازد**. دلیلش یکی است: خواندن و ساختن دو کارِ جدا هستند، و هرکدام جداگانه قوی یا ضعیف است.

## واژه‌های تازهٔ این فصل

</div>

| کلمه | تلفظ به حروف فارسی | یعنی چه |
|---|---|---|
| OCR | اُ‌سی‌آر | خواندنِ متنِ نوشته‌شده از دلِ یک تصویر و تبدیلش به متنِ قابلِ‌کپی |
| alt | آلت | توصیفِ متنیِ یک تصویر که برای نابینا خوانده می‌شود و موتورهای جست‌وجو می‌خوانند |

<div dir="rtl">

## تمرین‌ها

**تمرین اجباری:** از چیزی دورِ خودت عکس بگیر (میزِ کار، داخلِ کمد، یک صفحهٔ کتاب) و سه سؤالِ متفاوت ازش بپرس. بعد یکی از ادعاهای واقعیِ مدل را انتخاب کن و با خودِ عکس تطبیق بده — درست بود یا نه؟

**تمرین ستاره‌دار ⭐:** یک عکس از یک متن آپلود کن (یک رسید، یک صفحهٔ دست‌نویس، یا یک برگهٔ چاپی). خروجیِ `OCR` را بگیر و حرف‌به‌حرف با خودِ عکس مقابله کن. اگر خطایی پیدا کردی، بنویس کجا بود و حدس بزن چرا مدل همان‌جا لغزید (دست‌خط؟ عدد؟ نورِ کم؟).

## در فصل بعد

تا اینجا با تصویر کار کردی — ساختن و فهمیدن. فصلِ بعد می‌رویم سراغِ صدا و ویدیو: گفتار را به متن تبدیل می‌کنی، می‌فهمی مدل‌ها چطور صدا و ویدیو می‌سازند، برای یک ویدیو زیرنویس می‌سازی، و با یک مرزِ اخلاقیِ مهم آشنا می‌شوی — ساختِ صدای جعلیِ یک آدمِ واقعی — که کاملش را در ترم ۶ می‌بینی.

</div>

---
Source: https://yaadestan.com/courses/hamhoosh/lessons/t3/s02-image-understanding (یادستان, Yaadestan)
