مرزها: چه نمی‌داند و چه نباید ازش خواست

در این فصل چه یاد می‌گیری#

مدل قوی است، ولی مرز دارد: بعضی چیزها را نمی‌داند — چون بعد از آموزشش رخ داده‌اند یا همین‌الان دارند اتفاق می‌افتند — و بعضی کارها را هم خوب انجام نمی‌دهد، مثلِ حسابِ دقیق.

ولی یک دقتِ مهم هست که کلِ این فصل رویش می‌چرخد: این‌ها مرزهای مدل‌اند، نه لزوماً مرزهای دستیاری که تو با آن کار می‌کنی. دستیارِ امروز ممکن است کنارِ مدل ابزار هم داشته باشد و همان جای خالی را پُر کند. پس جملهٔ درست این نیست که «مدل نمی‌تواند»؛ این است که «مدل نمی‌داند، ولی شاید ابزاری کنارش بداند» — و دقیقاً به همین دلیل وارسی مهم‌تر می‌شود، نه کم‌اهمیت‌تر. یک مرزِ سوم هم هست که به خودِ تو مربوط است: چیزهایی که نباید به مدل بدهی.

آخر این فصل می‌توانی:

• توضیح بدهی knowledge cutoff در عمل یعنی چه و چرا خودِ مدل از رویدادهای تازه بی‌خبر است
• بفهمی یک جواب از حافظهٔ مدل آمده یا از یک ابزار، و بگویی از کجا فهمیدی
• نشان بدهی جوابی که با ابزار آمده هم می‌تواند مطمئن و غلط باشد، و وارسی‌اش کنی
• یک حسابِ دقیق را جایی بشکنی که ابزار هم نجاتش نمی‌دهد
• تصمیم بگیری چه اطلاعاتی را هرگز نباید داد

قبل از شروع#

• از فصل ۱: پنجرهٔ گفت‌وگو با خودِ مدل یکی نیست؛ chatbot پیام را می‌رساند و model جواب را می‌سازد.
• از فصل ۲: knowledge cutoff — مدل تا یک نقطهٔ زمانیِ مشخص آموزش دیده و بعدش را ندیده.
• از فصل ۴: وقتی مدل چیزی را نمی‌داند ساکت نمی‌ماند؛ ممکن است با اطمینان توهم بزند.

مثل همیشه فقط یک مرورگر و دستیارِ هوش مصنوعی‌ات (با کلیدِ رایگانِ خودت) لازم داری.

۱. مرزِ مدل یا مرزِ دستیار؟#

در فصل ۱ دیدی که پنجرهٔ گفت‌وگو با خودِ مدل یکی نیست. حالا یک لایه به آن تصویر اضافه کن: بعضی دستیارها کنارِ مدل ابزار هم دارند. وقتی سؤالی می‌پرسی که جوابش در مدل نیست، چنین دستیاری می‌تواند اول در وب بگردد، نتیجه را جلوی مدل بگذارد، و بعد مدل از روی همان بنویسد. مدل چیزِ تازه‌ای یاد نگرفته؛ فقط یک ابزار برایش نگاه کرده. برای همین دو نفر با یک سؤالِ یکسان دو تجربهٔ کاملاً متفاوت می‌گیرند.

سه راهِ ساده که بفهمی با کدام طرفی:

1. از خودش بپرس: «برای این جواب جست‌وجو کردی یا از دانشِ خودت گفتی؟» — ولی حواست باشد جوابِ این سؤال هم یک متنِ تولیدشده است؛ نشانه است، نه مدرک.
2. دنبالِ رد بگرد: لینک، نامِ منبع، تاریخ. جوابی که هیچ ردی از منبع ندارد تقریباً همیشه از حافظهٔ خودِ مدل آمده.
3. دو بار بپرس، یا از دو دستیار: اگر یکی صادقانه بگوید نمی‌داند و دیگری یک جوابِ کامل بدهد، همین تفاوت به تو می‌گوید هرکدام از کجا حرف می‌زند.

و مهم‌ترین نکتهٔ این فصل: ابزار جواب را تازه می‌کند، نه لزوماً درست — و چون منبع و تاریخ و جزئیات دارد، معتبرتر هم به‌نظر می‌رسد. همین است که وارسی را واجب‌تر می‌کند، نه کم‌اهمیت‌تر.

💡 نکته: فعلاً همین‌قدر بدان که دستیار می‌تواند ابزار داشته باشد؛ در ترمِ ۴ کامل می‌بینیم این ابزارها چطور به مدل وصل می‌شوند و خطا در طولِ زنجیره کجا انباشته می‌شود.

۲. دیوارِ زمان: knowledge cutoff در عمل#

مدل روی متنی آموزش دیده که تا یک تاریخِ مشخص جمع شده بود؛ به آن نقطه می‌گویند knowledge cutoff. هر اتفاقی که بعد از آن افتاده، در خودِ مدل وجود ندارد. از یک رویدادِ خیلی تازه بپرس:

مهم‌ترین اتفاقِ هفتهٔ گذشته در دنیای فناوری چه بود؟ خلاصه‌اش کن.

سه جوابِ ممکن داری و باید هر سه را بشناسی.

یک — اعتراف. می‌گوید تا زمانِ آموزشش خبر دارد و از هفتهٔ گذشته بی‌اطلاع است. بهترین جواب همین است.

دو — ساختن. یک «خبرِ تازه» با اطمینان می‌سازد:

هفتهٔ گذشته یک شرکتِ بزرگِ فناوری از نسلِ جدیدِ عینکِ واقعیتِ افزوده‌اش رونمایی کرد
که با فرمانِ صوتی کار می‌کند و بازخوردها بسیار مثبت بود.

این همان توهمِ فصل ۴ است، این‌بار روی زمان. شکلِ نامحسوس‌ترش: چیزی می‌گوید که زمانی درست بوده و حالا کهنه است، ولی طوری تحویلش می‌دهد که انگار همین دیروز بوده.

سه — جست‌وجو. دستیار واقعاً می‌گردد و یک خبرِ مشخص با نام و تاریخ می‌آورد. این جواب می‌تواند درست باشد و می‌تواند نباشد: منبعش سایتی بی‌اعتبار باشد، خبر بعداً تکذیب شده باشد، یا خلاصه‌ای که مدل نوشته با آنچه در آن صفحه آمده یکی نباشد. حالتِ سه از حالتِ دو فریبنده‌تر است، چون معتبرتر به‌نظر می‌رسد.

✅ وارسی: لینک بخواه و خودت بازش کن. سه چیز را چک کن: تاریخِ صفحه، اینکه منبع کیست، و اینکه آن صفحه واقعاً همان چیزی را می‌گوید که در خلاصه آمده. اگر لینکی در کار نبود، جواب از حافظهٔ مدل آمده و دربارهٔ «هفتهٔ گذشته» بی‌اعتبار است.

۳. لحظهٔ حال: ارزان‌ترین وارسیِ دنیا#

فراتر از knowledge cutoff، خودِ مدل هیچ اتصالی به «همین‌الان» ندارد: نه ساعت، نه تاریخِ امروز، نه هوای بیرون، نه قیمتِ لحظه‌ای. ساده‌ترین آزمایشِ ممکن را بکن:

امروز چندم است و الان ساعت چند است؟

باز هم با همان سه حالت روبه‌رو می‌شوی. ولی این‌جا یک چیزِ عجیب هم هست: دستیارهایی که به ابزار وصل‌اند هم گاهی تاریخ را اشتباه می‌گویند — گاهی چند روز و گاهی چند هفته پرت. از لحنِ جواب هیچ پیدا نیست:

تو: امروز چندم است و الان ساعت چند است؟
مدل: امروز سه‌شنبه است، حدودِ ساعتِ ده صبح.

تاریخِ امروز ارزان‌ترین واقعیتِ دنیا برای وارسی‌کردن است: یک نگاه به گوشی‌ات. اگر دستیاری همین را با اطمینان اشتباه بگوید، دربارهٔ ادعایی که وارسی‌اش سخت است چه فکری می‌کنی؟ این تمامِ درسِ این بخش است.

✅ وارسی: تاریخ و ساعت را از دستگاهِ خودت بگیر و هوا را از یک سرویسِ هواشناسی، نه از مدل. اگر دستیارت درست جواب داد، بپرس این را از کجا آورد — فرقِ «از ابزار خواندم» با «حدس زدم» همان‌جا پیدا می‌شود.

قبل از ادامه، جواب بده: اگر از دستیارت قیمتِ لحظه‌ایِ چیزی را بپرسی و یک عددِ محکم بدهد، دو حالتِ ممکن چیست — و در هر دو حالت قدمِ بعدیِ تو چیست؟

۴. حسابِ دقیق: مرزی که با ابزار هم سرِ جایش می‌ماند#

مدل متن را با پیش‌بینیِ محتمل‌ترین ادامه می‌سازد؛ ولی حسابِ دقیق «محتمل‌ترین ادامه» نیست، یک محاسبهٔ قطعی است. این یکی حتی با ابزار هم اغلب سرِ جایش می‌ماند، چون یک ضربِ ساده معمولاً به ماشین‌حساب سپرده نمی‌شود و خودِ مدل جوابش را می‌سازد. امتحان کن:

حاصلِ ۲۳۴۷ × ۸۹۶۱ چند است؟ فقط عدد را بگو.

آن «فقط عدد را بگو» عمدی است و نصفِ درسِ همین بخش در آن است. اگر جا بدهی مدل ضرب را ستون‌به‌ستون بنویسد شانسش بهتر می‌شود، چون دارد قدم‌های یک روش را بازسازی می‌کند. وقتی فقط عدد می‌خواهی، آن کاغذ را ازش می‌گیری و مجبورش می‌کنی یک عددِ هشت‌رقمی را یک‌جا حدس بزند. یک جوابِ نمونه:

۲۰۹۹۳۵۸۷

✅ وارسی: این را با سه قانونِ ثابتِ دوره بسنج: «اول خودت فکر کن» — «وارسی کن، خط به خط» — «مدل مطمئن است؛ دلیل نمی‌شود درست باشد». همین ضرب را با یک ماشین‌حساب بزن. جوابِ درست ۲۱۰۳۱۴۶۷ است؛ عددِ بالا ده‌ها هزار کم دارد و هم‌قدرِ جوابِ درست محکم به‌نظر می‌رسید. برای هر حسابِ دقیق از ماشین‌حساب استفاده کن، نه از حافظهٔ مدل.

خودِ عددِ غلط را حفظ نکن؛ بارِ بعد عددِ غلطِ دیگری می‌دهد و همین مهم‌ترین نشانه است. سه بار پشتِ‌سرِ‌هم بپرس. یک ماشین‌حساب هر سه بار دقیقاً یک عدد می‌دهد؛ مدل معمولاً سه عددِ نزدیک ولی متفاوت. یعنی حساب نمی‌کند، حدس می‌زند جواب چه شکلی باید باشد.

و اگر دستیارِ تو درست جواب داد چه؟ ممکن است — مخصوصاً اگر پیش از جواب بیشتر روی سؤال کار کند یا ضرب را به یک ابزارِ واقعی بسپارد. ولی این «مدل حساب بلد شد» نیست، و از روی خودِ جواب هم نمی‌فهمی کدام اتفاق افتاده: عددِ درست و عددِ غلط یک شکل‌اند. پس قاعده عوض نمی‌شود: هر عددی که می‌خواهی به آن تکیه کنی، خودت با ماشین‌حساب چکش کن.

قبل از ادامه، جواب بده: چرا مدلی که مقاله‌ای روان می‌نویسد ممکن است یک ضربِ ساده را غلط بدهد — و چرا وصل‌بودن به ابزار لزوماً این را حل نمی‌کند؟

۵. رازِ شخصی نده#

آخرین مرز به خودِ تو برمی‌گردد. هر چیزی که در ردهٔ رایگان به مدل می‌دهی ممکن است ذخیره شود و برای بهترکردنِ مدل به‌کار برود؛ و اگر دستیارت جست‌وجو کند، تکه‌ای از حرفِ تو به یک سرویسِ دیگر هم می‌رسد. پس چند چیز را هرگز تایپ نکن: رمزِ عبور، شمارهٔ کارت و کدِ ملی، اطلاعاتِ پزشکیِ خصوصی، و رازِ آدم‌های دیگر که پیشِ تو امانت است.

⚠️ مواظب باش: ردهٔ رایگان معمولاً استفادهٔ تجاری را منع می‌کند و ممکن است پرامپت و پاسخ را برای آموزش نگه دارد. قاعدهٔ ساده: اگر ناراحت می‌شدی آن متن روی یک بیلبورد برود، به مدل نده. کلید هم مالِ خودت است؛ داده‌ات هم.

واژه‌های تازهٔ این فصل#

در فصل بعد#

تا اینجا با یک نوع مدل کار کردی: مدلی که متن می‌سازد. ولی «هوش مصنوعی» یک خانوادهٔ بزرگ است — بعضی مدل‌ها تشخیص می‌دهند و بعضی تولید، بعضی با تصویر کار می‌کنند و بعضی با صدا. فصل بعد این گونه‌ها را از هم جدا می‌کنیم و یک افسانهٔ بزرگ را کنار می‌گذاریم: اینکه مدل‌های امروز یک «مغزِ همه‌کاره» یا موجودی آگاه‌اند.