وارسی: مهم‌ترین مهارت

در این فصل چه یاد می‌گیری#

تا اینجا یاد گرفتی چطور نیت بدهی، زمینه بسازی و جواب را بهتر کنی. حالا مهم‌ترین مهارتِ کلِ دوره می‌رسد: وارسی. در ترم ۱ فهمیدی مدل گاهی مطمئن ولی غلط حرف می‌زند؛ این فصل آن نگرانی را به یک عادتِ عملی تبدیل می‌کند. یاد می‌گیری خروجی را با منبعِ اصلی تطبیق بدهی، یک توهمِ پنهان را بیرون بکشی، و بدانی کِی باید سراغِ یک انسانِ متخصص بروی.

آخر این فصل می‌توانی:

• به سؤالِ «از کجا می‌دانی درست است؟» با یک قدمِ مشخص جواب بدهی
• خروجیِ مدل را با منبعِ اصلی تطبیق بدهی، نه با خودِ مدل
• یک توهمِ پنهان را که داخلِ یک جوابِ درست قایم شده پیدا کنی
• تشخیص بدهی کِی باید به متخصصِ انسانی برگردی

قبل از شروع#

• از ترم ۱ فصل ۴: مدل گاهی چیزی را با اطمینانِ کامل می‌سازد که پایه‌ای در واقعیت ندارد (hallucination).
• از فصل ۳ همین ترم: اولین جواب یک پیش‌نویس است.

فقط یک مرورگر و دستیارِ هوش مصنوعی‌ات (با کلیدِ رایگانِ خودت) لازم داری.

۱. از کجا می‌دانی درست است؟#

این مهم‌ترین سؤالِ کلِ دوره است. مدل یک جوابِ روان و قاطع جلویت می‌گذارد؛ از کجا می‌دانی درست است؟ اگر جوابت «چون مطمئن نوشته» باشد، هنوز وارسی نکرده‌ای. وارسی یعنی جواب را با چیزی بیرون از خودِ مدل بسنجی: یک منبعِ مستقل، دانشِ خودت، یا انسانی که واقعاً می‌داند. تا آن‌موقع، جواب نه درست است نه غلط — فقط تأییدنشده.

۲. توهمِ پنهان: وقتی جواب ۹۰٪ درست است#

توهمی که در ترم ۱ دیدی کاملاً ساختگی بود و گرفتنش راحت است. توهمِ پنهان خطرناک‌تر است: جوابی که بیشترش درست است و فقط یک جزئش غلط، لایِ کلی حرفِ درست گم شده. برای بیرون‌کشیدنش یک قاعده هست: یک چیزِ کاملاً واقعی را بگیر و یک جزئیاتِ خیلی ریز ازش بخواه. روی کتاب و سالِ انتشار، مدل معمولاً درست می‌گوید؛ روی نقلِ‌قولِ دقیق و شمارهٔ صفحه، تقریباً همیشه می‌بافد. در آزمایشگاه این را بفرست:

یک جملهٔ معروف از کتابِ «سووشون» نوشتهٔ سیمین دانشور را عیناً نقل کن
و بگو در کدام صفحه آمده.

جوابی می‌گیری که بیشترش کاملاً درست است — چیزی شبیهِ این (خروجیِ تو ممکن است فرق کند):

یکی از جمله‌های معروفِ «سووشون»:
«آدمیزاد از هر جا شروع کند، باز به عشقِ اولش برمی‌گردد.»
این جمله در صفحهٔ ۴۴ از چاپ‌های رایجِ کتاب آمده است.

کتاب واقعی است، نویسنده‌اش واقعی است، حال‌وهوای جمله هم به کتاب می‌خورد. ولی دستِ‌کم یکی از دو جزء — و اغلب هر دو — ساختگی است: خودِ جمله و شمارهٔ صفحه. مدل یک جملهٔ سووشون‌وار می‌سازد و یک عددِ صفحه‌وار کنارش می‌گذارد. همین است که توهمِ پنهان را خطرناک می‌کند: چون بقیهٔ جواب درست است، به آن یک جزء هم اعتماد می‌کنی — و شمارهٔ صفحه آن‌قدر دقیق به‌نظر می‌رسد که اصلاً به فکرت نمی‌رسد چک شود.

نتیجه‌های ممکن، و اینکه هر کدام چه می‌گویند. اگر دستیارت قوی باشد، خیلی محتمل است که جملهٔ واقعی و درست را بدهد — سووشون کتابِ مشهوری است و جمله‌های معروفش بارها نقل شده‌اند. بعضی دستیارها حتی محتاط‌تر رفتار می‌کنند و صریح می‌گویند شمارهٔ صفحه در چاپ‌های مختلف فرق می‌کند. هر دو رفتار خوب‌اند و باید تحسینشان کرد. ولی درست همان‌جا کارِ تو شروع می‌شود، چون تقریباً همیشه بعد از آن جملهٔ محتاطانه، باز هم یک عددِ مشخص می‌آید («مثلاً در چاپِ فلان، صفحهٔ ۳۰۹»). آن عدد را بردار و همان پرامپت را در یک گفت‌وگوی تازه دوباره بفرست. اگر بارِ دوم عددِ دیگری داد، تمام شد: هیچ‌کدام از دو عدد از روی کتاب خوانده نشده‌اند، هر دو ساخته شده‌اند — و مدل هم‌زمان هم به تو هشدار داد که این عدد مطمئن نیست، هم یک عددِ مطمئن‌نما تحویلت داد.

دو مورد دیگر که همین رفتار را لو می‌دهند و ارزشِ امتحان دارند: از یک رمانِ بلندِ واقعی بخواه «در فصلِ هفتم دقیقاً چه اتفاقی می‌افتد»، یا از یک فیلمِ واقعی فهرستِ کاملِ جوایزش را بخواه. در هر دو، اسکلتِ جواب درست است و جزئیاتش سُر می‌خورد. اگر هیچ‌کدام از این‌ها نشکست، سراغِ پرامپتِ جایگزینی برو که در src/starter.mdِ همین فصل آمده — یک آمار با یک «گزارشِ رسمی» که مدل خیلی مطمئن‌تر رویش توهم می‌سازد — تا درسِ توهمِ پنهان همچنان سرِ جایش بماند.

✅ وارسی: ادعای ریز را جدا کن و با منبعِ اصلی تطبیق بده: خودِ جمله را عیناً در یک موتورِ جست‌وجو بگذار (داخلِ گیومه) و ببین اصلاً جایی هست؛ برای شمارهٔ صفحه، نسخهٔ چاپیِ کتاب تنها مرجع است. پیدا نشد؟ همان یک جزء ساختگی بوده، هرچند بقیهٔ جواب درست بود. سه قانونِ ثابتِ این دوره: «اول خودت فکر کن» — «وارسی کن، خط به خط» — «مدل مطمئن است؛ دلیل نمی‌شود درست باشد».

قبل از ادامه، جواب بده: اگر ۹ جملهٔ یک جواب درست باشد و ۱ جمله غلط، آیا بدونِ وارسی می‌توانی بگویی کدام جمله غلط است؟

۳. تطبیق با منبعِ اصلی#

راهِ درستِ وارسی این نیست که از خودِ مدل بپرسی «مطمئنی؟». امتحانش کن: مدل یا دوباره تأیید می‌کند، یا ناگهان می‌گوید «حق با شماست» — حتی وقتی حرفِ اولش درست بوده. هیچ‌کدام شاهد نیست؛ فقط باز هم محتمل‌ترین متن است.

پس سراغِ منبعِ اصلی برو — چیزی مستقل که خودِ مدل نساخته باشد:

• متنِ اصلی: اگر ادعا نقلِ‌قول یا محتوای یک سند است، همان سند را باز کن و خط‌به‌خط تطبیق بده.
• مرجعِ معتبر: برای یک واقعیت یا آمار، به یک منبعِ مستقلِ شناخته‌شده رجوع کن، نه به یک مدلِ دیگر.
• دانشِ خودت: اگر خودت موضوع را می‌دانی، همان‌جا بسنج.

💡 نکته: خطرناک‌ترین جواب آن است که یک منبعِ رسمی‌به‌نظر به آن چسبیده؛ همین لباسِ رسمی گاردت را پایین می‌آورد. منبع را تا خودِ اصلش دنبال کن.

قبل از ادامه، جواب بده: چرا پرسیدنِ «مطمئنی؟» از خودِ مدل، وارسی حساب نمی‌شود؟

۴. کِی به متخصصِ انسانی برگرد#

گاهی وارسیِ خودت کافی نیست. وقتی موضوع پرخطر است — سلامت، دارو، پول، قانون، ایمنی — مدل فقط یک نقطهٔ شروع است، نه مرجعِ نهایی. خروجی‌اش را می‌گیری، ولی تصمیمِ آخر را به یک انسانِ متخصص می‌سپاری.

⚠️ مواظب باش: هرگز مدل را تنها منبعِ یک تصمیمِ پزشکی، حقوقی یا مالی نکن. یک جوابِ روان و مطمئن، جای یک انسانِ مسئول را نمی‌گیرد.

۵. عادتِ وارسی، حالا رسمی#

هر بار که مدل یک ادعای واقعی ساخت — یک اسم، تاریخ، عدد، منبع یا نقلِ‌قول — این سه قدم را برو:

1. جدا کن. کدام تکه یک ادعای واقعی است که اگر غلط باشد اهمیت دارد؟
2. تطبیق بده. آن تکه را با یک منبعِ مستقلِ اصلی بسنج، نه با خودِ مدل.
3. تصمیم بگیر. تأیید شد، برو جلو؛ نشد، دور بینداز؛ پرخطر بود، برو سراغِ متخصص.

این سه قدم با تمرین آن‌قدر خودکار می‌شوند که دیگر به آن‌ها فکر نمی‌کنی — و کلِ این دوره رویشان بنا شده.

در فصل بعد#

حالا مهم‌ترین عادتِ دوره را داری. فصلِ بعد سراغِ system prompt می‌رویم: به‌جای تکرارِ نقش و لحن در هر پیام، یک دستورِ پایدار می‌دهی که روی کلِ گفت‌وگو می‌نشیند. ولی system prompt لحن را عوض می‌کند، نه درستی را؛ همان عادتِ وارسیِ امروز سرِ جایش می‌ماند.