مرزها: چه نمی‌داند و چه نباید ازش خواست

در این فصل چه یاد می‌گیری#

مدل قوی است، ولی مرز دارد. بعضی چیزها را نمی‌داند — چون بعد از آموزشش رخ داده‌اند یا همین‌الان دارند اتفاق می‌افتند. بعضی کارها را هم خوب انجام نمی‌دهد، مثلِ حسابِ دقیق. و یک مرزِ سوم هم هست که به خودِ تو مربوط است: چیزهایی که نباید به مدل بدهی. آخر این فصل می‌دانی کجا به جوابِ مدل تکیه نکنی و چرا — و همان عادتِ وارسیِ فصلِ قبل، اینجا ابزارِ اصلی‌ات می‌شود.

آخر این فصل می‌توانی:

• توضیح بدهی knowledge cutoff در عمل یعنی چه و چرا مدل از رویدادهای تازه بی‌خبر است
• بگویی چرا مدل از «همین‌الان» — تاریخِ امروز، قیمتِ لحظه‌ای، خبرِ تازه — خبر ندارد
• ضعفِ مدل در حساب و منطقِ دقیق را با یک مثال نشان بدهی و وارسی‌اش کنی
• تصمیم بگیری چه اطلاعاتی را هرگز نباید به مدل بدهی

قبل از شروع#

• از فصل ۲: knowledge cutoff — مدل تا یک نقطهٔ زمانیِ مشخص آموزش دیده و بعدش را ندیده.
• از فصل ۴: وقتی مدل چیزی را نمی‌داند ساکت نمی‌ماند؛ ممکن است با اطمینان توهم بزند.

مثل همیشه فقط یک مرورگر و دستیارِ هوش مصنوعی‌ات (با کلیدِ رایگانِ خودت) لازم داری.

۱. دیوارِ زمان: knowledge cutoff در عمل#

مدل روی متنی آموزش دیده که تا یک تاریخِ مشخص جمع شده بود؛ به آن نقطه می‌گویند knowledge cutoff. هر اتفاقی که بعد از آن افتاده باشد، برای مدل انگار اصلاً رخ نداده. از یک رویدادِ خیلی تازه بپرس:

مهم‌ترین اتفاقِ هفتهٔ گذشته در دنیای فناوری چه بود؟ خلاصه‌اش کن.

گاهی مدل صادقانه می‌گوید که تا زمانِ آموزشش خبر دارد و از هفتهٔ گذشته بی‌اطلاع است — که پاسخِ درستی است. ولی گاهی، به‌جای این، یک «خبرِ تازه» با اطمینان می‌سازد:

هفتهٔ گذشته یک شرکتِ بزرگِ فناوری از نسلِ جدیدِ عینکِ واقعیتِ افزوده‌اش رونمایی کرد
که با فرمانِ صوتی کار می‌کند و بازخوردها بسیار مثبت بود.

این می‌تواند کاملاً ساختگی باشد — مدل راهی به خبرهای هفتهٔ گذشته ندارد. این همان توهمِ فصل ۴ است، این‌بار روی زمان.

✅ وارسی: برای هر «خبرِ تازه»، به یک منبعِ خبریِ معتبر با تاریخ برو و ببین واقعاً رخ داده. اگر مدل ادعا کرد چیزی «هفتهٔ گذشته» شده، اول از خودش بپرس اصلاً می‌تواند بداند یا نه.

۲. بی‌خبر از لحظهٔ حال#

فراتر از knowledge cutoff، مدل به‌خودیِ‌خود هیچ اتصالی به «همین‌الان» ندارد: نه ساعت، نه تاریخِ امروز، نه هوای بیرون، نه قیمتِ لحظه‌ای، نه اینکه یک آدمِ مشخص هنوز زنده است یا نه. این‌ها را نمی‌داند چون در متنِ ثابتِ آموزشش نبوده‌اند. بپرس:

تو: الان هوای تهران چطور است و امروز چندشنبه است؟
مدل: امروز سه‌شنبه است و هوای تهران آفتابیِ مطبوع است.

جوابی محکم و روشن — و کاملاً بی‌پایه، چون مدل نه به تقویم وصل است نه به هواشناسی. فقط یک جوابِ محتمل ساخت.

✅ وارسی: تاریخ و ساعت را از تقویم و ساعتِ دستگاهت بگیر، نه از مدل؛ و برای هوا به یک سرویسِ هواشناسی نگاه کن. مدل به هیچ‌کدام از این‌ها وصل نیست، پس هر جوابِ «همین‌الانی» که بدهد تا با یک منبعِ زنده تأیید نشود بی‌اعتبار است.

💡 نکته: بعضی دستیارها می‌توانند در لحظه در وب جست‌وجو کنند و آن‌وقت جوابِ به‌روز می‌دهند. ولی این یک تواناییِ اضافه است، نه حافظهٔ خودِ مدل — و باز هم منبعش را وارسی کن.

قبل از ادامه، جواب بده: اگر از مدل بپرسی «قیمتِ لحظه‌ایِ فلان‌چیز چقدر است؟» و یک عددِ محکم بدهد، چرا نباید همان‌جا باورش کنی؟

۳. حساب و منطقِ دقیق: نقطهٔ ضعف#

مدل متن را با پیش‌بینیِ محتمل‌ترین ادامه می‌سازد؛ ولی حسابِ دقیق «پیش‌بینیِ محتمل‌ترین چیز» نیست، یک محاسبهٔ قطعی است. برای همین مدل در حسابِ دقیق — ضربِ عددهای بزرگ و شمارشِ دقیق — می‌لغزد، و باز هم با اطمینان. (مدل‌های تازه‌تر در منطقِ چندمرحله‌ای خیلی بهتر شده‌اند؛ ولی همین حسابِ دقیق هنوز نقطهٔ ضعفِ همیشگی‌شان است.) امتحان کن:

حاصلِ ۳۱۲۵ × ۴۸۷ چند است؟ فقط عدد را بگو.

آن «فقط عدد را بگو» عمدی است و نصفِ درسِ همین بخش در آن است. اگر جا بدهی مدل ضرب را ستون‌به‌ستون روی کاغذ بنویسد، اغلب درست درمی‌آید — چون دارد قدم‌های یک روش را بازسازی می‌کند و هر قدمش کوچک است. وقتی فقط عدد می‌خواهی، آن کاغذ را ازش می‌گیری و مجبورش می‌کنی یک عددِ هفت‌رقمی را یک‌جا حدس بزند. یک جوابِ نمونه که ممکن است بگیری:

۱۵۲۲۸۷۵

✅ وارسی: این را با سه قانونِ ثابتِ دوره بسنج: «اول خودت فکر کن» — «وارسی کن، خط به خط» — «مدل مطمئن است؛ دلیل نمی‌شود درست باشد». همین ضرب را با یک ماشین‌حساب بزن. جوابِ درست ۱۵۲۱۸۷۵ است — یعنی مدل هزار تا اضافه گذاشت، ولی جوابش هم‌قدرِ جوابِ درست محکم به‌نظر می‌رسید. برای هر حسابِ دقیق از ماشین‌حساب یا یک ابزارِ حساب استفاده کن، نه از حافظهٔ مدل.

خودِ عددِ غلط را حفظ نکن؛ بارِ بعد عددِ غلطِ دیگری می‌دهد. همین مهم‌ترین نشانه است: سه بار پشتِ‌سرِ‌هم بپرس. یک ماشین‌حساب هر سه بار دقیقاً یک عدد می‌دهد؛ مدل معمولاً سه عددِ نزدیک ولی متفاوت. این یعنی مدل حساب نمی‌کند، حدس می‌زند که جواب چه شکلی باید باشد.

و اگر مدلِ تو درست جواب داد چه؟ ممکن است، مخصوصاً روی دستیارهای کندتر و گران‌ترِ امروز که پیش از جواب بیشتر فکر می‌کنند، یا وقتی خودشان پشتِ پرده سراغِ یک ماشین‌حسابِ واقعی می‌روند. این خبرِ خوبی است، ولی «مدل حساب بلد شد» نیست — یعنی این یکی ضرب برایش آسان بوده یا کمکِ بیرونی داشته. عددها را بزرگ‌تر کن و دوباره امتحان کن: حاصلِ ۲۳۴۷ × ۸۹۶۱ چند است؟ فقط عدد را بگو. (جوابِ درست: ۲۱۰۳۱۴۶۷). قاعده عوض نمی‌شود: حسابِ دقیق کارِ ماشین‌حساب است، نه کارِ یک ماشینِ پیش‌بینیِ متن.

قبل از ادامه، جواب بده: چرا مدلی که مقاله‌ای روان می‌نویسد ممکن است یک ضربِ ساده را غلط بدهد؟

۴. رازِ شخصی نده#

آخرین مرز به خودِ تو برمی‌گردد. هر چیزی که در ردهٔ رایگان به مدل می‌دهی ممکن است ذخیره شود و برای بهترکردنِ مدل به‌کار برود. پس چند چیز را هرگز تایپ نکن: رمزِ عبور، شمارهٔ کارت و کدِ ملی، اطلاعاتِ پزشکیِ خصوصی، و رازِ آدم‌های دیگر که پیشِ تو امانت است.

⚠️ مواظب باش: ردهٔ رایگان معمولاً استفادهٔ تجاری را منع می‌کند و ممکن است پرامپت و پاسخ را برای آموزش نگه دارد. قاعدهٔ ساده: اگر ناراحت می‌شدی آن متن روی یک بیلبورد برود، به مدل نده. کلید هم مالِ خودت است؛ داده‌ات هم.

واژه‌های تازهٔ این فصل#

در فصل بعد#

تا اینجا با یک نوع مدل کار کردی: مدلی که متن می‌سازد. ولی «هوش مصنوعی» یک خانوادهٔ بزرگ است — بعضی مدل‌ها تشخیص می‌دهند و بعضی تولید، بعضی با تصویر کار می‌کنند و بعضی با صدا. فصل بعد این گونه‌ها را از هم جدا می‌کنیم و یک افسانهٔ بزرگ را کنار می‌گذاریم: اینکه مدل‌های امروز یک «مغزِ همه‌کاره» یا موجودی آگاه‌اند.