هم‌هوش — خودآموز هوش مصنوعی

فصل ۵ از ۸

پیشرفت ترم
۰٪

در این فصل چه یاد می‌گیری#

تا اینجا مدل فقط یک کار بلد بود: حرف‌زدن. هرچه می‌خواستی، در قالبِ متن جوابش را می‌داد. ولی نمی‌توانست حساب را دقیق بزند، از این لحظه خبر بگیرد، یا کاری واقعی در دنیا انجام بدهد. در این فصل می‌بینی چطور به مدل «ابزار» می‌دهند تا این کارها را بکند، و وقتی مدل چند قدمِ پشتِ‌هم برمی‌دارد و خودش تصمیم می‌گیرد قدمِ بعدی چیست، به آن agent می‌گویند. آخرِ فصل می‌فهمی چرا یک عاملِ چندقدمی هم قدرتمند است هم شکننده — و چرا یک لغزشِ کوچک در قدمِ دوم می‌تواند کلِ کار را خراب کند، بی‌آنکه در جوابِ نهایی دیده شود.

یک زنجیرهٔ افقی از چند بازوی مکانیکی که هرکدام یک ابزار در دست دارند و خروجیِ هرکدام به بازوی بعدی می‌رسد؛ بازوی دوم کمی کج نشسته و همین کجی در بازوهای بعدی بزرگ‌تر شده، به شکلِ یک مکانیزمِ برش‌خورده

آخر این فصل می‌توانی:

  • بگویی tool use یعنی چه و کدام ضعف‌های مدل را جبران می‌کند
  • توضیح بدهی یک agent چطور چند قدم را پشتِ‌هم برمی‌دارد
  • بگویی چرا خطا در طولِ زنجیره انباشته می‌شود
  • بگویی نظارتِ انسانی کجای این زنجیره لازم است

قبل از شروع#

  • از ترم ۱ فصل ۵: مدل در حسابِ دقیق و در خبرِ لحظهٔ حال ضعیف است.
  • از فصل ۴ همین ترم: retrieval یعنی مدل اول تکهٔ مربوط را پیدا کند، بعد جواب بدهد.

مثل بقیهٔ فصل‌های آزمایشگاهی، فقط یک مرورگر و دستیارِ هوش مصنوعی‌ات (با کلیدِ رایگانِ خودت) لازم داری.

۱. مدلی که فقط حرف می‌زند#

مدل را تا اینجا مثل یک مشاورِ خیلی باسواد تصور کن که در یک اتاقِ دربسته نشسته: نه تلفن دارد، نه اینترنت، نه ماشین‌حساب. هرچه بپرسی، فقط می‌تواند حرف بزند — از حافظه‌اش. اگر ازش بخواهی دو عددِ بزرگ را در هم ضرب کند، از حافظه یک عددِ محتمل می‌گوید که ممکن است دقیق نباشد (یادت هست در ترم ۱ دیدیم حسابِ دقیق نقطه‌ضعفش است؟). اگر بپرسی «الان هوا چطور است؟»، نمی‌داند، چون بعد از knowledge cutoff هیچ‌چیز ندیده. و اگر بگویی «برایم یک بلیت رزرو کن»، فقط می‌تواند دربارهٔ رزرو حرف بزند، نه اینکه واقعاً رزرو کند.

۲. tool use: دادنِ ابزار به مدل#

راهِ حل این است که به آن مشاورِ دربسته ابزار بدهیم. به‌جای اینکه مدل عددِ ضرب را از حافظه حدس بزند، بگذاریم بگوید «من به ماشین‌حساب نیاز دارم؛ لطفاً ۴۷ ضربدرِ ۸۹ را حساب کن». آن‌وقت یک ماشین‌حسابِ واقعی بیرون از مدل جواب را حساب می‌کند و برمی‌گرداند به مدل، و مدل با آن عددِ دقیق ادامه می‌دهد. به این می‌گویند tool use: مدل تشخیص می‌دهد کِی خودش کافی نیست، یک ابزار را صدا می‌زند، و از نتیجه‌اش استفاده می‌کند.

ابزارها همان حفره‌های مدل را پُر می‌کنند: ماشین‌حساب برای حسابِ دقیق، جست‌وجوی وب برای خبرِ تازه (که knowledge cutoff را دور می‌زند)، یک تقویم برای تاریخ. راستش retrievalِ فصلِ قبل هم یک نوع tool use بود — یک «ابزارِ جست‌وجو» که مدل یک‌بار صدایش می‌زند تا تکهٔ مربوط را پیدا کند. پس تو یک نمونه از این را قبلاً دیده‌ای.

۳. از یک ابزار تا یک زنجیره: agent#

حالا یک قدم جلوتر. تا اینجا مدل یک ابزار را یک‌بار صدا می‌زد. یک agent وقتی است که مدل برای رسیدن به یک هدف، چند قدمِ پشتِ‌هم برمی‌دارد و بعدِ هر قدم خودش تصمیم می‌گیرد قدمِ بعدی چیست — گاهی با ابزار، گاهی بی‌ابزار.

یک مثالِ ملموس: به عامل می‌گویی «برای شنبه یک برنامهٔ یک‌روزهٔ موزه‌گردی بریز». عامل خودش این قدم‌ها را برمی‌دارد:

قدم ۱ — تقویم را نگاه می‌کنم تا بدانم شنبه چه تاریخی است.
قدم ۲ — موزه‌های شهر و ساعتِ کارشان را جست‌وجو می‌کنم.
قدم ۳ — آن‌ها را طوری مرتب می‌کنم که در یک روز جا شوند.
قدم ۴ — برنامهٔ نهایی را می‌نویسم.

نکتهٔ مهم این است که خروجیِ هر قدم، ورودیِ قدمِ بعدی می‌شود: تاریخِ قدم ۱ تعیین می‌کند قدم ۲ ساعتِ کارِ کدام روز را بگیرد، و این‌طور تا آخر. آنچه تو در نهایت می‌بینی فقط قدمِ ۴ است: یک برنامهٔ تمیز و مرتب. کلِ زنجیرهٔ پشتش پنهان می‌ماند.

۴. چرا خطا در زنجیره انباشته می‌شود#

و دقیقاً همین‌جا خطرِ اصلی است. چون هر قدم رویِ قدمِ قبل ساخته می‌شود، اگر قدمِ دوم فقط کمی بلغزد، همهٔ قدم‌های بعدی رویِ یک پایهٔ غلط بنا می‌شوند — و جوابِ نهایی همان‌قدر تمیز و مطمئن به‌نظر می‌رسد. بیا همان عاملِ موزه‌گردی را با یک لغزشِ کوچک ببینیم (خروجیِ تو ممکن است فرق کند):

قدم ۱ — تقویم: امروز را پنجشنبه خواندم. ✓
قدم ۲ — «شنبه» را یک روز جابه‌جا حساب کردم و جمعه گرفتم. ✗  ← لغزشِ کوچک
قدم ۳ — ساعتِ کارِ موزه‌ها را برای جمعه گرفتم؛ موزهٔ اصلی جمعه‌ها تعطیل بود،
        یک جایگزین گذاشتم.
قدم ۴ — برنامهٔ نهایی: یک روزِ کاملِ مرتب و ساعت‌بندی‌شده.

برنامهٔ نهایی بی‌عیب به‌نظر می‌رسد: مرتب، ساعت‌بندی‌شده، منطقی. ولی برای روزِ اشتباه است. لغزشِ قدم ۲ (یک روز جابه‌جا) به قدم ۳ ارث رسید و آنجا حتی یک تصمیمِ تازه ساخت (موزهٔ جایگزین)، و قدم ۴ همه را تمیز جمع‌بندی کرد. اگر تو فقط قدمِ ۴ را ببینی — که پیش‌فرضِ اکثرِ آدم‌هاست — هیچ نشانه‌ای از آن لغزش نمی‌بینی.

این با یک جملهٔ غلطِ ساده فرق دارد. یک جملهٔ غلط را می‌شود با یک نگاه گرفت؛ ولی لغزشِ یک عامل وسطِ زنجیره دفن می‌شود و فقط اثرش در جوابِ نهایی می‌ماند، بی‌آنکه علتش دیده شود. هرچه زنجیره بلندتر باشد، جای بیشتری برای این لغزش‌ها هست و اثرشان بیشتر روی هم انباشته می‌شود.

۵. نظارتِ انسانی: نقطهٔ وارسی را کجا بگذاری#

پس با یک عامل چه می‌کنی؟ سه عادت:

  1. قدم‌ها را ببین، نه فقط جواب را. از عامل بخواه زنجیره‌اش را نشان بدهد. آن‌وقت به‌جای اینکه فقط قدمِ ۴ را باور کنی، می‌توانی قدم‌های میانی را مرور کنی و لغزش را همان‌جا بگیری.
  2. قبل از هر کارِ برگشت‌ناپذیر، یک نقطهٔ وارسیِ انسانی بگذار. هر کاری که پول خرج می‌کند، پیام می‌فرستد، چیزی را پاک می‌کند یا رزرو می‌کند، باید اول از جلوی چشمِ تو رد شود، نه اینکه عامل خودش انجامش بدهد.
  3. کلیدِ کارهای برگشت‌ناپذیر را دستِ یک عاملِ بی‌ناظر نده. یک عامل می‌تواند پیش‌نویس آماده کند؛ ولی دکمهٔ نهایی را تو بزن.

💡 نکته: در یک پنجرهٔ گفت‌وگوی ساده، «قدم‌ها» فقط متنی‌اند که مدل می‌نویسد و گزارشِ واقعیِ کاری که انجام شده نیستند. مدل ممکن است بگوید تقویم را نگاه کرده، بی‌آنکه چنین کرده باشد. ابزارهای واقعیِ agent معمولاً فهرستی از ابزارهای صدازده‌شده و نتیجه‌هایشان نشان می‌دهند، و آن فهرست از نوشته‌های خودِ مدل قابلِ‌اعتمادتر است.

⚠️ مواظب باش: یک عامل که اجازه دارد بی‌نظارت روی دنیای واقعی کار کند — ایمیل بفرستد، خرید کند، فایل پاک کند — خطرش با یک چت‌بات فرق دارد. آنجا نهایتاً یک جملهٔ غلط می‌گرفتی؛ اینجا یک کارِ غلط انجام می‌شود که شاید برگشت نداشته باشد.

✅ وارسی: وقتی یک عامل کاری برایت انجام می‌دهد، جوابِ نهایی را جدا کن و زنجیرهٔ قدم‌هایش را بخواه؛ هر قدمی را که یک واقعیت یا تصمیم دارد مستقل بسنج، نه با اعتماد به تمیزیِ جوابِ آخر. سه قانونِ ثابتِ این دوره: «اول خودت فکر کن» — «وارسی کن، خط به خط» — «مدل مطمئن است؛ دلیل نمی‌شود درست باشد».

قبل از ادامه، جواب بده: اگر یک عامل ۵ قدم بردارد و فقط قدمِ دومش کمی غلط باشد، چرا نگاه‌کردن به جوابِ نهایی به‌تنهایی برای گرفتنِ آن خطا کافی نیست؟

۶. مرزِ صادقانه#

عامل‌ها واقعاً قدرتمندند — کاری می‌کنند که مدل از حرف‌زدن به انجام‌دادن برسد. ولی همان‌قدر شکننده‌اند: هر قدم یک شانسِ کوچکِ لغزش دارد، و در یک زنجیرهٔ بلند این شانس‌ها روی هم جمع می‌شوند. برای همین قاعدهٔ درست این است: زنجیره را کوتاه نگه دار، قدم‌ها را ببین، و برای هر کارِ مهم یک انسان پشتِ فرمان باشد. عامل یک همکار است، نه راننده‌ای که چشم‌بسته سوارش شوی.

واژه‌های تازهٔ این فصل#

کلمه تلفظ به حروف فارسی یعنی چه
tool use تول یوز توانِ مدل در صدازدنِ یک ابزارِ بیرونی (ماشین‌حساب، جست‌وجوی وب، تقویم) و استفاده از نتیجه‌اش، به‌جای حدس‌زدن از حافظه
agent اِیجِنت مدلی که برای رسیدن به یک هدف چند قدمِ پشتِ‌هم برمی‌دارد و بعدِ هر قدم خودش تصمیم می‌گیرد قدمِ بعدی چیست — معمولاً همراهِ tool use

تمرین‌ها

اول خودت فکر کن یا امتحان کن — بعد اینجا را باز کن.

در فصل بعد#

حالا می‌دانی مدل چطور از حرف‌زدن به ابزار و عامل می‌رسد، و چرا زنجیره‌اش را باید زیرِ نظر داشته باشی. تا اینجا فرض کردیم مدل جایی دور، در یک دیتاسنترِ ابری، اجرا می‌شود. ولی راهِ دیگری هم هست: یک مدلِ کوچک‌تر روی خودِ دستگاهِ تو. فصلِ بعد این دو را کنارِ هم می‌گذاریم — open در برابر بسته، و بده‌بستانِ حریم خصوصی و کیفیت.

به آخر این فصل رسیدی!

اگر ساختی و جواب داد، این دکمه مال توست.