در این فصل چه یاد میگیری#
فصلِ قبل تصویر میساختی؛ حالا جهت را برعکس میکنیم. یک عکس به دستیارت میدهی و ازش سؤال میپرسی. این یکی از کاربردیترین و کمستایششدهترین کارهای هوش مصنوعیِ امروز است: عکسِ یخچالت را نشانش میدهی و میپرسی چه بپزی؛ عکسِ یک صفحهٔ چاپی را میدهی و متنش را قابلِکپی میکنی؛ یک نمودار را نشانش میدهی و میخواهی برایت توضیح بدهد. و چون همان مدلِ چندوجهیِ فصلِ قبل این کار را میکند، لازم نیست ابزارِ جدایی یاد بگیری. ولی درست مثلِ متن، اینجا هم مدل گاهی با اطمینان چیزی میبیند که در تصویر نیست — پس وارسی باز هم قلبِ کار است.

آخر این فصل میتوانی:
- یک عکس را آپلود کنی و دربارهٔ محتوایش سؤالِ دقیق بپرسی
- متنِ داخلِ یک عکس را با
OCRبه متنِ قابلِکپی تبدیل کنی - از مدل بخواهی یک نمودار را برایت توضیح بدهد و ادعاهایش را با خودِ تصویر تطبیق بدهی
- از مدل برای دسترسپذیری استفاده کنی — مثلاً توصیفِ یک تصویر برای کسی که نمیبیند
قبل از شروع#
- از فصل ۱ همین ترم:
multimodal— همان مدلِ واحد که تصویر و متن را با هم میفهمد؛ فهمیدن کارِ متخصصِ جدا نیست. - از فصل ۴ ترم ۲: وارسی — هر ادعای واقعیِ مدل را با منبعِ اصلی تطبیق بده.
- از فصل ۱ ترم ۲: نیتِ روشن — دقیق بگو از عکس چه میخواهی بدانی.
مثل همیشه فقط یک مرورگر و دستیارِ هوش مصنوعیات (با کلیدِ رایگانِ خودت) لازم داری.
۱. آپلود کن و بپرس#
سادهترین کار این است: یک عکس آپلود کن و یک سؤالِ روشن بپرس. چون همان مدلِ چندوجهیِ فصلِ قبل خودش تصویر را میفهمد، میتوانی با عکس مثلِ یک تکه از گفتوگو رفتار کنی. چند مثالِ واقعی:
- عکسِ داخلِ یخچالت: «با این مواد چه غذایی میتوانم بپزم که زیرِ نیمساعت آماده شود؟»
- عکسِ یک گیاه: «این چه گیاهی بهنظر میآید و چطور ازش نگهداری کنم؟»
- عکسِ یک قطعهٔ خرابِ خانه: «این چیست و بهنظرت مشکلش کجاست؟»
نکتهٔ کلیدی همان درسِ ترمِ قبل است: سؤالِ روشن، جوابِ روشن. «این چیه؟» جوابِ کلی میدهد؛ ولی «این گیاه است یا علفِ هرز، و چند وقت یکبار آب میخواهد؟» جوابِ بهدردبخور میدهد.
⚠️ مواظب باش: عکس میتواند حساستر از متن باشد، چون خیلی چیزها را ناخواسته لو میدهد. هیچکدام از اینها را در ردهٔ رایگان آپلود نکن: عکسِ کارتِ ملی، مدارکِ بانکی، چهرهٔ دیگران بیاجازهشان، یا پسزمینهای که آدرس و پلاکِ خانهات را نشان میدهد. همان قاعدهای که در فصل ۷ ترم ۱ دیدی اینجا سفتتر است، چون ردهٔ رایگان ممکن است عکس را برای آموزش نگه دارد و یک عکس بیآنکه بخواهی چند راز را همزمان میبرد.
۲. OCR: از عکسِ متن تا متنِ قابلِکپی#
یکی از پرکاربردترین کارها این است: یک عکس داری که رویش نوشته هست — یک صفحهٔ کتاب، یک رسید، یک یادداشتِ دستنویس — و میخواهی آن نوشته را به متنِ واقعیِ قابلِکپی تبدیل کنی. به این کار میگویند OCR: خواندنِ متن از دلِ یک تصویر. یک عکسِ متن آپلود کن و بگو:
متنِ داخلِ این عکس را دقیقاً همانطور که هست تایپ کن، بدونِ اینکه چیزی را
اصلاح یا اضافه کنی.
جالب است: مدلِ تصویر برای ساختنِ نوشته ضعیف بود (فصلِ قبل)، ولی همان مدلِ چندوجهی که عکس را میفهمد برای خواندنِ نوشته اغلب خوب کار میکند، چون خواندن و ساختن دو کارِ متفاوتاند و گاهی دو مدلِ متفاوت. با این حال بیعیب نیست. اینجا یک نمونهٔ واقعی از خطایش را ببین. فرض کن رسیدی آپلود کردهای که رویش شمارهٔ تماس نوشته ۰۹۱۲ ۸۴۵ ۶۲۷۳، و مدل با اطمینان این را برمیگرداند:
شمارهٔ تماس: ۰۹۱۲ ۸۴۵ ۶۲۱۳
مبلغِ کل: ۱۸۵٬۰۰۰ سکه
خطش تمیز است و مطمئن بهنظر میرسد. ولی وقتی خطبهخط با خودِ عکس تطبیق میدهی، میبینی یک رقمِ شماره را اشتباه خوانده — ۷ را ۱ دیده — و همین یک رقم کلِ شماره را بیمصرف میکند. OCR روی دستخط، نورِ کم، و ارقامِ فارسی بیشتر میلغزد، و بدتر اینکه گاهی نوشتهٔ ناخوانا را «حدس» میزند و کلمهای میسازد که اصلاً آنجا نبوده.
✅ وارسی: خروجیِ
OCRرا — مخصوصاً عددها، نامها و شمارهها — خطبهخط با خودِ عکس مقابله کن، نه با حافظهات. اگر روی یک شماره یا مبلغ قرار است کاری بکنی، دو بار چک کن. اینجا هم سه قانونِ ثابت پابرجاست: «اول خودت فکر کن» — «وارسی کن، خط به خط» — «مدل مطمئن است؛ دلیل نمیشود درست باشد».
۳. توضیحِ نمودار#
میتوانی یک نمودار — میلهای، خطی، دایرهای — آپلود کنی و بخواهی مدل برایت بخواندش. برای کسی که با نمودار راحت نیست این طلاست: «این نمودار در یک جمله چه میگوید؟» یا «کدام ماه بیشترین فروش را داشت؟». مدل روند را خلاصه میکند و نکتهها را بیرون میکشد.
ولی دقیقاً همینجا یک خطای خطرناک کمین کرده. فرض کن نموداری آپلود کردهای که فروشِ فروردین تا خرداد را نشان میدهد و در آن فروش هر ماه کم شده. از مدل میپرسی «روندِ فروش چطور بوده؟» و این جواب را میگیری:
فروش روندِ صعودی داشته و از فروردین تا خرداد رشدِ خوبی را نشان میدهد؛
بیشترین فروش مربوط به خرداد با حدود ۴۲ میلیون است.
هر دو ادعا غلط است. مدل جهتِ روند را برعکس خوانده (فروش کم شده، نه زیاد)، و عددِ «۴۲ میلیون» را از خودش ساخته — رقمی که اصلاً روی نمودار نبود. این همان توهمِ فصلِ ۴ ترم ۱ است، این بار دربارهٔ یک تصویر: پاسخی روان و مطمئن که با خودِ داده جور درنمیآید.
و اگر مدلِ تو روند را درست خواند چه؟ برای یک نمودارِ تمیز و درشت کاملاً محتمل است، و باید هم باشد. سنجهٔ سختتر جای دیگری است: نموداری بده که خواندنش واقعاً سخت باشد — میلههایی که ارتفاعشان به هم نزدیک است، محوری که از صفر شروع نمیشود، یا عکسی که کمی کج و کمنور گرفته شده. بعد سراغِ ریزترین سؤال برو: «مقدارِ دقیقِ ماهِ سوم چند بود؟». همانجا که چشمِ خودت هم باید دو بار نگاه کند، مدل اغلب بهجای «مطمئن نیستم» یک عددِ گرد و مطمئن میسازد، و عددی که روی محور نوشته نشده، خواندهشده نیست؛ در بهترین حالت تخمینِ مدل است.
✅ وارسی: هر چیزی را که مدل دربارهٔ نمودار میگوید با خودِ نمودار تطبیق بده. آن میلهای که اسم برد واقعاً بلندترین است؟ جهتی که گفت با شیبِ خط میخواند؟ عددی که گفت واقعاً روی محور نوشته شده؟ اگر عددی میدهد که در تصویر نمیبینی، به احتمالِ زیاد ساختگی است.
قبل از ادامه، جواب بده: مدل میگوید «بیشترین فروش در خرداد بود». تو نمودار را جلوی چشمت داری. با یک نگاهِ ساده چطور میفهمی این ادعا درست است یا توهم؟
۴. دسترسپذیری: یک چشمِ دوم#
یک کاربردِ ارزشمند و انسانیِ فهمِ تصویر، دسترسپذیری است. برای کسی که نمیبیند یا کم میبیند، مدل میتواند یک عکس را با کلمه توصیف کند: «چه چیزی در این تصویر است؟». همین کار به تو هم کمک میکند وقتی میخواهی برای عکسی که در سایت یا نوشتهات میگذاری یک alt خوب بنویسی — همان توضیحِ متنیِ تصویر که هم صفحهخوانِ نابینا آن را میخواند و هم موتورهای جستوجو رویش حساب میکنند.
این عکس را برای کسی که آن را نمیبیند، در یک جملهٔ کوتاه و دقیق توصیف کن؛
مهمترین چیزِ داخلِ تصویر را اول بگو.
اینجا یک مسئولیت هست: وقتی توصیفی میسازی که آدمِ دیگری قرار است به آن تکیه کند، درستیِ توصیف مهمتر از همیشه است. اگر مدل رنگ یا تعداد یا موضوعِ اصلی را اشتباه بگوید، آن آدم تصویری غلط از واقعیت میگیرد. پس توصیفِ دسترسپذیری را هم قبل از استفاده وارسی کن.
💡 نکته: فهمِ تصویر با ساختِ تصویرِ فصلِ قبل مکملاند. مدلِ چندوجهی نوشتهٔ داخلِ یک عکس را خوب میخواند (OCR)، ولی مدلِ تصویر نوشته را خوب داخلِ تصویر نمیسازد. دلیلش یکی است: خواندن و ساختن دو کارِ جدا هستند، و هرکدام جداگانه قوی یا ضعیف است.
واژههای تازهٔ این فصل#
| کلمه | تلفظ به حروف فارسی | یعنی چه |
|---|---|---|
| OCR | اُسیآر | خواندنِ متنِ نوشتهشده از دلِ یک تصویر و تبدیلش به متنِ قابلِکپی |
| alt | آلت | توصیفِ متنیِ یک تصویر که برای نابینا خوانده میشود و موتورهای جستوجو میخوانند |
تمرینها
اول خودت فکر کن یا امتحان کن — بعد اینجا را باز کن.
در فصل بعد#
تا اینجا با تصویر کار کردی — ساختن و فهمیدن. فصلِ بعد میرویم سراغِ صدا و ویدیو: گفتار را به متن تبدیل میکنی، میفهمی مدلها چطور صدا و ویدیو میسازند، برای یک ویدیو زیرنویس میسازی، و با یک مرزِ اخلاقیِ مهم آشنا میشوی — ساختِ صدای جعلیِ یک آدمِ واقعی — که کاملش را در ترم ۶ میبینی.
به آخر این فصل رسیدی!
اگر ساختی و جواب داد، این دکمه مال توست.