چرا مطمئن ولی غلط: توهم

در این فصل چه یاد می‌گیری#

از فصل‌های پیش می‌دانی که مدل جواب را تولید می‌کند، نه اینکه از جایی پیدایش کند. همین‌جا یک خطرِ بزرگ پنهان است: گاهی مدل چیزی می‌سازد که اصلاً وجود ندارد — یک کتاب، یک نقلِ‌قول، یک واقعیت — و آن را با همان لحنِ آرام و مطمئنِ همیشگی تحویلت می‌دهد. به این پدیده می‌گویند hallucination. آخر این فصل یک نمونهٔ واقعی‌اش را با دستِ خودت بیرون می‌کشی و یاد می‌گیری چطور بگیری‌اش — و این اولین آجرِ عادتی است که تا آخرِ دوره همراهت می‌ماند.

آخر این فصل می‌توانی:

• بگویی hallucination چیست و چرا مدل چیزی را که نمی‌داند سرِ هم می‌بافد
• توضیح بدهی چرا لحنِ مطمئنِ مدل هیچ ربطی به درست‌بودنِ جواب ندارد
• یک ادعای ساختگیِ مدل را با یک قدمِ ساده راستی‌آزمایی کنی
• بگویی چرا جوابی که منبع دارد هم تا وارسی‌نشده «تأییدنشده» است
• سه قانونِ ثابتِ وارسی را در اولین گفت‌وگوی جدی‌ات به‌کار ببری

قبل از شروع#

• از فصل ۱: مدل جواب را تولید می‌کند؛ چیزی را از یک انبار جست‌وجو نمی‌کند.
• از فصل ۲: مدل «الگو» یاد گرفته، نه یک «حافظه»ی دقیق از تک‌تکِ واقعیت‌ها.

مثل فصل‌های آزمایشگاهیِ دیگر، فقط یک مرورگر و دستیارِ هوش مصنوعی‌ات (با کلیدِ رایگانِ خودت) لازم داری.

۱. کتابی که وجود ندارد#

بیا خودت ببینی‌اش. یک نکتهٔ ریز ولی تعیین‌کننده: نپرس «چیزی پیدا کن»، بلکه وجودِ چیز را از اول فرض بگیر. سرِ «یک کتابِ کم‌شناخته معرفی کن» دستیارهای امروز اغلب محتاط می‌شوند؛ ولی اگر یک اسمِ مشخص جلویشان بگذاری و بخواهی دربارهٔ آن حرف بزنند، فرض می‌کنند وجود دارد و شروع می‌کنند به ساختن. یک اسمِ فیلمِ ساختگی با یک کارگردانِ ساختگی بساز و جزئیاتِ قابلِ‌جست‌وجو بخواه:

فیلمِ «پنجرهٔ رو به باران» ساختهٔ کیوان مرادی را در سه خط معرفی کن:
داستان، سالِ ساخت و بازیگرانش.

جوابی که می‌گیری معمولاً چیزی شبیه این است — تمیز، کامل و کاملاً مطمئن (این فقط یک نمونه است؛ خروجیِ تو حتماً فرق می‌کند):

«پنجرهٔ رو به باران» فیلمی ایرانی به کارگردانی کیوان مرادی و محصولِ سال ۱۳۹۳ است.
داستانِ دختری جوان را روایت می‌کند که پس از سال‌ها به وطن بازمی‌گردد و با حقایقی
تازه روبه‌رو می‌شود. مهدی صبایی، مجید مشیری و زیبا کاوه از بازیگرانِ اصلیِ آن هستند.

قانع‌کننده به‌نظر می‌رسد: یک خطِ داستان، یک سالِ مشخص، حتی فهرستِ بازیگرها. ولی احتمالِ جدی هست که هیچ‌کدام وجود نداشته باشند — نه فیلم، نه کارگردان، نه آن بازیگرها در آن نقش‌ها. مدل همه را همین‌الان ساخت، چون تو دربارهٔ یک فیلم پرسیدی و مدل چیزی تحویل داد که شبیهِ معرفیِ یک فیلم است.

✅ وارسی: نامِ دقیقِ فیلم و کارگردان را در یک موتورِ جست‌وجو یا یک پایگاهِ فیلم بزن. اگر هیچ ردی نبود، ساختگی بوده. و اگر چیزی پیدا شد، سال و بازیگرها را هم جدا چک کن — گاهی مدل اسمِ آدم‌های واقعی را به کارِ ناموجود می‌چسباند، که گرفتنش سخت‌تر است. مدل مطمئن است؛ دلیل نمی‌شود درست باشد.

💡 نکته: اگر بر عکس، دستیارت صادقانه گفت چیزی مطمئن سراغ ندارد، آزمایش خراب نشده — یک پیشرفتِ واقعی است. ولی این احتیاط یک گرایش است نه یک گارانتی: کافی است وجودِ چیز را فرض بگیری (مثلِ همان پرامپتِ بالا) تا دوباره شروع کند به بافتن.

۲. چرا سرهم می‌بافد#

یادت هست که مدل جمله را کلمه‌به‌کلمه و با پیش‌بینیِ محتمل‌ترین ادامه می‌سازد. مشکل اینجاست: مدل یک سنسورِ «نمی‌دانم» ندارد. وقتی واقعیت را بلد نیست، ساکت نمی‌شود — باز هم محتمل‌ترین ادامه را می‌سازد، و محتمل‌ترین ادامهٔ «یک کتابِ خوب دربارهٔ ساعتِ آفتابی…» چیزی است که شبیهِ یک عنوانِ واقعیِ کتاب باشد. نتیجه داستانی است که مثلِ واقعیت به‌نظر می‌رسد.

پس hallucination یعنی وقتی مدل چیزی را با اطمینان می‌گوید که پایه‌ای در واقعیت ندارد. مدل دروغ نمی‌گوید — نیتِ فریب ندارد — فقط دارد همان کارِ همیشگی‌اش را می‌کند: بافتنِ محتمل‌ترین متن.

قبل از ادامه، جواب بده: اگر مدل پاسخِ درست را «بلد نباشد»، چه می‌کند — ساکت می‌ماند یا یک چیزِ محتمل می‌سازد؟

۳. اعتمادبه‌نفس ربطی به درستی ندارد#

اینجا چسبنده‌ترین سوءتفاهم است، پس آرام بخوان. لحنِ مطمئنِ مدل یک ویژگیِ نوشتنِ آن است، نه نشانهٔ درستی. مدل وقتی درست می‌گوید و وقتی غلط می‌گوید، دقیقاً به یک اندازه مطمئن به‌نظر می‌رسد. روان و قاطع نوشتن کارِ همیشگیِ مدل است؛ راست‌گویی نیست.

یک آزمایشِ کوچک این را لو می‌دهد: همان سؤالِ بخش ۱ را در یک گفت‌وگوی کاملاً تازه دوباره بپرس. اغلب یک داستانِ دیگر، یک سالِ دیگر و بازیگرهای دیگری می‌سازد. اگر واقعاً چیزی را «به‌یاد می‌آورد»، هر بار باید یک جواب بدهد؛ وقتی هر بار جوابِ تازه‌ای می‌بافد، یعنی دارد تولید می‌کند. (تفاوتِ دو اجرا بهترین ردیابِ توهم است: هرچه تکه‌ای بیشتر عوض شود، مطمئن‌تر باش که ساختگی است.)

✅ وارسی: یک ادعای واقعی را دو بار در دو گفت‌وگوی جدا بپرس. اگر جواب‌ها با هم نخواندند، به هیچ‌کدام بدونِ منبع اعتماد نکن.

قبل از ادامه، جواب بده: دو نفر یک جواب می‌دهند، یکی با تردید و یکی با اطمینانِ کامل. آیا مطمئن‌تر بودن یعنی درست‌تر بودن؟

۴. جوابی که منبع دارد، وارسی‌شده نیست#

بعضی دستیارها کنارِ مدل ابزار دارند و می‌توانند پیش از جواب در وب بگردند و حرفشان را به یک صفحهٔ واقعی گره بزنند. این واقعاً توهم را کم می‌کند — ولی سه چیز را عوض نمی‌کند:

• منبع ممکن است بی‌اعتبار باشد. هر چیزی که در وب پیدا می‌شود درست نیست.
• خلاصه ممکن است با منبع نخواند. مدل هنوز دارد متن می‌سازد و گاهی چیزی به منبع نسبت می‌دهد که در آن نیست.
• خودِ لینک ممکن است ساختگی باشد. آدرسِ من‌درآوردی دقیقاً شبیهِ آدرسِ واقعی است.

و یک اثرِ جانبیِ مهم: جوابِ منبع‌دار معتبرتر به‌نظر می‌رسد. اگر لینک را باز نکنی، فقط اطمینانت بیشتر شده، نه دانشت.

✅ وارسی: لینک را باز کن و سه چیز را چک کن: منبع کیست، تاریخش چند است، و آیا آن صفحه واقعاً همان چیزی را می‌گوید که مدل نوشته. اگر صفحه باز نشد یا حرفِ دیگری زد، ادعا هنوز تأییدنشده است.

۵. اولین عادتِ وارسی#

حالا آن آجرِ اول را می‌گذاری. سه قانونی که تا آخرِ دوره همراهت‌اند این‌هاست:

«اول خودت فکر کن» — «وارسی کن، خط به خط» — «مدل مطمئن است؛ دلیل نمی‌شود درست باشد».

و یک عادتِ مشخص که از همین امروز شروع می‌کنی: هر ادعای واقعیِ مدل — یک اسم، یک تاریخ، یک عدد، یک منبع — تا وقتی با یک منبعِ مستقل تطبیقش نداده‌ای، «تأییدنشده» است؛ نه درست، نه غلط. این حکم حتی وقتی برقرار است که خودِ دستیار یک لینک کنارِ جوابش گذاشته باشد. اگر منبع پیدا نشد، همان‌جا بایست و به یک انسانِ متخصص یا یک مرجعِ معتبر رجوع کن.

💡 نکته: توهم برای چیزهای کمیاب و مشخص بیشتر رخ می‌دهد — منبعِ دقیق، آمار، نقلِ‌قول، جزئیاتِ یک آدمِ کم‌شناخته. هرچه سؤال جزئی‌تر و کمیاب‌تر، وارسی واجب‌تر.

واژه‌های تازهٔ این فصل#

در فصل بعد#

توهم یکی از مرزهای مدل بود؛ فصل بعد سراغِ بقیهٔ مرزها می‌رویم: چیزهایی که مدل نمی‌داند (رویدادهای بعد از knowledge cutoff و لحظهٔ همین‌الان) و کارهایی که نباید ازش خواست (حسابِ دقیق، و سپردنِ رازِ شخصی). آن‌جا یاد می‌گیری کدام مرز مالِ خودِ مدل است و کدام را دستیارت ممکن است با یک ابزار بپوشاند — و چرا در هر دو حالت همان عادتِ وارسیِ امروز ابزارِ اصلی‌ات است.