توهم در هوش مصنوعی چیست و چرا مدل با اطمینان اشتباه میگوید؟
از دستیارِ هوش مصنوعیات یک منبع میخواهی — مثلاً یک کتابِ کمشناخته دربارهٔ یک موضوعِ خاص. جوابی که میگیری بینقص بهنظر میرسد: یک عنوان، یک نویسنده با عنوانِ «دکتر»، یک ناشر، و حتی یک جملهٔ زیبا از داخلِ کتاب. فقط یک مشکل هست — ممکن است هیچکدام از اینها وجود نداشته باشند. نه آن کتاب، نه آن نویسنده، نه آن جمله. مدل همه را همان لحظه ساخت. به این پدیده میگویند hallucination («توهم»)، و فهمیدنش شاید مهمترین چیزی باشد که پیش از اعتماد به هر خروجیِ هوش مصنوعی باید بدانی.
توهم دقیقاً چیست؟
توهم یعنی وقتی یک مدلِ هوش مصنوعی با اطمینانِ کامل چیزی میگوید که پایهای در واقعیت ندارد: یک اسم، یک تاریخ، یک عدد، یک منبع، یا یک رویداد که شبیهِ واقعیت است ولی واقعی نیست. یک نکتهٔ ظریف اینجا هست: مدل «دروغ» نمیگوید. دروغ نیتِ فریب دارد، و مدل نیت ندارد. مدل فقط دارد همان کارِ همیشگیاش را میکند، و گاهی نتیجهٔ آن کار متنی است که مثلِ واقعیت بهنظر میرسد ولی نیست. برای اینکه بفهمی چرا این اتفاق میافتد — و چرا کاملاً حذفشدنی نیست — باید یک قدم عقب بروی و ببینی مدل واقعاً چه میکند.
چرا توهم میکند: چون تولید میکند، نه جستوجو
بزرگترین سوءتفاهم دربارهٔ هوش مصنوعی این است که فکر کنیم مثلِ یک موتورِ جستوجو کار میکند — انگار جایی یک انبارِ بزرگ از واقعیتها دارد و وقتی سؤال میپرسی، جوابِ درست را از آن انبار بیرون میکشد. ولی مدلِ زبانی اینطور کار نمیکند. مدل جواب را تولید میکند، کلمهبهکلمه، با پیشبینیِ محتملترین ادامه. در آموزش هم متنها را حفظ نکرده؛ فقط «الگو» یاد گرفته، نه یک نسخهٔ دقیق از تکتکِ واقعیتها. (این مکانیزم را در نوشتهٔ مدلهای زبانی چطور کار میکنند؟ کامل باز کردهایم.)
حالا مشکل روشن میشود: مدل یک دکمهٔ «نمیدانم» ندارد. وقتی واقعیت را بلد نیست، ساکت نمیشود؛ باز هم محتملترین ادامه را میسازد. و محتملترین ادامهٔ «یک کتابِ خوب دربارهٔ فلان موضوع…» چیزی است که شبیهِ یک عنوانِ واقعیِ کتاب باشد، با یک نویسندهٔ باورپذیر و یک ناشرِ واقعنما. برای همین توهم عیبی نیست که یک روز وصله شود؛ رویِ همان مکانیزمی سوار است که مدل را اصلاً مفید میکند. همان تواناییِ «ساختن» که به مدل اجازه میدهد یک ایمیلِ تازه یا یک شعر بنویسد، همان است که به او اجازه میدهد یک کتابِ ناموجود هم بسازد. مدلهای تازهتر کمتر توهم میکنند، ولی هیچ نسخهای کاملاً از آن پاک نیست.
اعتمادبهنفسِ مدل هیچ ربطی به درستی ندارد
اینجا چسبندهترین سوءتفاهم است، پس آرام بخوان. لحنِ مطمئنِ مدل یک ویژگیِ نوشتنِ اوست، نه نشانهٔ درستی. مدل وقتی درست میگوید و وقتی غلط میگوید، دقیقاً به یک اندازه مطمئن بهنظر میرسد. روان و قاطع نوشتن کارِ همیشگیِ اوست؛ راستگویی نیست. ما آدمها عادت داریم قاطعیت را نشانهٔ دانستن بگیریم — و همینجاست که مدل ناخواسته گولمان میزند.
یک آزمایشِ ساده این را لو میدهد: همان سؤال را در یک گفتوگوی کاملاً تازه دوباره بپرس. اگر مدل واقعاً یک واقعیت را «بهیاد میآورد»، باید هر بار همان جواب را بدهد. ولی اغلب یک جوابِ دیگر میسازد — کتابِ دیگر، نویسندهٔ دیگر. همین بیثباتی خودش نشانه است: چیزی که هر بار عوض میشود یادآوری نیست، ساختن است.
توهم کجاها بیشتر رخ میدهد
توهم تصادفی پخش نشده؛ الگو دارد. هرچه چیزی که میپرسی کمیابتر و مشخصتر باشد، احتمالِ توهم بیشتر است. مراقبِ این دستهها باش:
- منبعِ دقیق — عنوانِ کتاب، آدرسِ مقاله، شمارهٔ صفحه، لینک. مدل بلد است منبعِ کاملاً واقعنما بسازد.
- عدد و آمارِ دقیق — درصدها، تاریخها، مقادیر. مدل عددها را هم میسازد.
- نقلِقولِ مستقیم — جملهای که ادعا میشود فلانی «عیناً» گفته.
- جزئیاتِ آدمهای کمشناخته — بیوگرافی، سِمَت، سالِ تولد.
- رویدادهای بعد از
knowledge cutoff— هر چیزی که بعد از پایانِ آموزشِ مدل رخ داده.
و برعکس، روی دانشِ پایدار و پرتکرار — مثلِ اینکه آب در سطحِ دریا در چند درجه میجوشد — مدل معمولاً محکم و درست است، چون اینها در دادهٔ آموزشی بارها و باکیفیت آمدهاند. یک نقشهٔ ذهنیِ طلایی: پیش از باورِ هر جواب، از خودت بپرس این موضوع «پایدار و پرتکرار» است یا «تازه و کمیاب».
یک نکتهٔ کمتر گفتهشده هم هست: توهم فقط دربارهٔ «حقایق» نیست. وقتی از مدل میخواهی کد بنویسد، گاهی یک تابع یا دستوری را صدا میزند که در آن کتابخانه اصلاً وجود ندارد — چون شبیهِ چیزی است که باید وجود داشته باشد. وقتی خلاصه میکند، گاهی جزئیاتی به متن اضافه میکند که در اصل نبوده. همان مکانیزم است: مدل جای خالی را با محتملترین چیز پُر میکند، چه آن جای خالی یک واقعیت باشد چه یک خطِ کد.
چند نمونهٔ واقعی
توهم فقط یک نگرانیِ نظری نیست؛ در دنیای واقعی هزینه ساخته:
- پروندههای قضاییِ جعلی در دادگاه. در چند پروندهٔ واقعیِ حقوقی، وکیلها لایحهای به دادگاه دادند که به آرای پیشین استناد میکرد — آرایی که دستیارِ هوش مصنوعی سرِ هم بافته بود و اصلاً وجود نداشتند. وقتی طرفِ مقابل و قاضی دنبالِ آن پروندهها گشتند و پیدایشان نکردند، وکیلها جریمه شدند. مدل کاملاً مطمئن بود؛ پروندهها کاملاً خیالی بودند.
- منبعِ علمیِ ساختگی. از مدل یک مقاله با نویسنده و مجله و سالِ انتشار بخواه؛ گاهی همهچیز واقعنماست ولی وقتی جستوجو میکنی، چنین مقالهای هرگز چاپ نشده.
- شمردنِ حروف. یک نمونهٔ بیخطر ولی گویا: از مدل بپرس در یک کلمه چند بار یک حرفِ خاص آمده. با اطمینانِ کامل ممکن است عددِ غلط بدهد، چون کلمه را بهصورتِ چند تکهٔ
tokenمیبیند نه حرفبهحرف.
چطور توهم را بگیری: عادتِ وارسی
خبر خوب این است که توهم را میشود مدیریت کرد، بهشرطی که یک عادت بسازی. در خودآموزِ همهوش سه قانونِ ثابت داریم که از همان فصلِ اول همراهِ یادگیرندهاند:
«اول خودت فکر کن» — «وارسی کن، خط به خط» — «مدل مطمئن است؛ دلیل نمیشود درست باشد».
و چند قدمِ عملی که همین حالا میتوانی بهکار ببری:
- هر ادعای واقعیِ مدل — یک اسم، تاریخ، عدد یا منبع — تا وقتی با یک منبعِ مستقل تطبیقش ندادهای «تأییدنشده» است؛ نه درست، نه غلط.
- عنوان و نویسنده و عدد را در یک موتورِ جستوجو یا فهرستِ کتابخانه بزن. اگر هیچ ردی نبود، ساختگی بوده.
- یک ادعای مهم را دو بار در دو گفتوگوی جدا بپرس؛ اگر جوابها با هم نخواندند، به هیچکدام بدونِ منبع اعتماد نکن.
- برای کارهای پرمخاطره — پزشکی، حقوقی، مالی — همیشه به یک متخصصِ انسانی یا مرجعِ معتبر برگرد.
پس یعنی به هوش مصنوعی اعتماد نکنیم؟
نه، درسِ درست این نیست. هوش مصنوعی بیفایده نیست؛ یک همکار است، نه یک اوراکل. یک همکارِ باهوش و پرکار و سریع که گاهی با اطمینانِ کامل اشتباه میکند — درست مثلِ یک همکارِ انسانیِ تازهکار، فقط روانتر. تو کارِ هر همکارِ تازه را بازبینی میکنی؛ اینجا هم همین است. نکته این نیست که از هوش مصنوعی بترسی یا کورکورانه باورش کنی؛ نکته این است که با آن بهعنوان همکاری کار کنی که خروجیاش را وارسی میکنی. همین یک عادت، تفاوتِ بینِ استفادهٔ حرفهای و افتادن در دام است.
جمعبندی
توهم عیبِ یک محصولِ خاص نیست؛ نتیجهٔ طبیعیِ این است که مدل متن را تولید میکند نه جستوجو. برای همین با عوضکردنِ مدل یا صبرکردن برای نسخهٔ بعدی هم کاملاً از بین نمیرود — کمتر میشود، ولی عادتِ وارسی همیشه لازم است. اگر فقط یک چیز از این نوشته بماند، بگذار این باشد: اطمینانِ لحنِ مدل هیچ ربطی به درستیِ حرفش ندارد.
در خودآموزِ همهوش از همان فصلِ اول همین عادت را میسازیم — نه ترس، نه اعتمادِ چشمبسته، بلکه کار کردن با هوش مصنوعی بهعنوان یک همکار که وارسیاش میکنی. اگر میخواهی بدانی چرا مدل اصلاً اینطور جواب میسازد، مدلهای زبانی چطور کار میکنند؟ نقطهٔ شروعِ خوبی است؛ و برای اینکه از همان اول جوابهای دقیقتری بگیری، پرامپتنویسی را ببین.
