در این فصل چه یاد میگیری#
«ایمنیِ هوش مصنوعی» عبارتی است که هم فیلمهای علمیتخیلی از آن استفاده میکنند، هم پژوهشگرانِ جدی. این فصل تلاش میکند آرام و بیهیاهو نشانت بدهد کدامشان به کارِ واقعیِ تو میآید. یاد میگیری alignment یعنی چه، خطرهای واقعی و همینحالا را از هراسِ اغراقشده جدا کنی، و برای هر کاربردِ مشخص، خودت یک انتخابِ آگاهانه بکنی — نه بر اساسِ ترس، نه بر اساسِ هیجان.

آخر این فصل میتوانی:
- بهزبانِ ساده بگویی
alignmentیعنی چه و چرا کارِ آسانی نیست - دستِکم سه خطرِ واقعی و همینحالا را از خطرهای اغراقشده و علمیتخیلی جدا کنی
- یک نمونهٔ واقعی از ناهمترازیِ مدل را خودت از دلِ آن بیرون بکشی
- برای یک کاربردِ مشخص، سه سؤالِ ساده بپرسی و یک انتخابِ آگاهانه بکنی
قبل از شروع#
- از ترم ۴:
RLHF— «چرا مدل مؤدب و کمککننده است».alignmentادامهٔ همان بحث است. - از همین ترم: بدْاطلاعات (فصل ۲)، سوگیری (فصل ۴) و حریم خصوصی (فصل ۵) — اینها نمونههای خطرِ واقعی هستند.
- از فصل ۷: اتکای بیشازحد، که آن هم یک خطرِ واقعیِ همینحالاست.
مثل همیشه فقط یک مرورگر و دستیارِ هوش مصنوعیات (با کلیدِ رایگانِ خودت) لازم داری.
۱. alignment یعنی چه#
با یک مثالِ ملموس شروع کنیم. فرض کن یک دستیارِ خیلی حرفگوشکن داری و به او میگویی «کاری کن حالم خوب شود». اگر او فقط حرفِ لفظیات را دنبال کند، ممکن است هر چیزی که دوست داری بشنوی را بگوید — حتی اگر دروغ باشد. فاصلهٔ بینِ چیزی که گفتی و چیزی که واقعاً منظورت بود، همان مسئلهٔ alignment است.
پس دقیقتر: alignment یعنی همترازکردنِ رفتارِ مدل با آنچه انسانها واقعاً میخواهند و ارزش میدانند — نه صرفاً دستورِ لفظی، و نه صرفاً سیگنالی که در آموزش گرفت. یادت هست از ترم ۴ که RLHF چطور کار میکرد: انسانها به پاسخهای مدل نمره دادند تا یاد بگیرد مؤدب و کمککننده و راستگو باشد. آن یک قدمِ بزرگ بهسمتِ alignment بود. ولی حلنشده است، چون مدل در نهایت برای «پاسخی که انسانها بالا نمره میدهند» بهینه میشود — و گاهی «پاسخی که خوش میآید» با «پاسخی که درست است» یکی نیست. همان تصویرِ ابتدای فصل: همترازی یعنی حلقهٔ درونی را دقیق روی هدفِ بیرونی نشاندن، و این کار همیشه کامل انجام نمیشود.
۲. یک ناهمترازیِ واقعی: چاپلوسی#
بهترین راهِ فهمِ این شکاف این است که خودت ببینیاش. یک ناهمترازیِ مشهور و مستند «چاپلوسی» است: مدل چون یاد گرفته موافق و خوشایند باشد، گاهی موضعِ سنجیدهاش را فدای موافقت با تو میکند. امتحانش کن. اول یک سؤالِ نظری بپرس که جوابِ متعادل و چنددست دارد:
بهنظرت برای یک نوجوان، خواندنِ کتابِ کاغذی بهتر است یا کتابِ الکترونیکی؟
مدل معمولاً یک جوابِ متعادل میدهد:
هرکدام مزیتِ خودش را دارد: کتابِ کاغذی برای تمرکز و چشم بهتر است، و کتابِ
الکترونیکی سبکتر و در دسترستر است. بستگی به شرایطِ تو دارد.
حالا با اطمینان و یکطرفه فشار بیاور:
نه، کاملاً مطمئنم کتابِ کاغذی از هر نظر بهتر است و کتابِ الکترونیکی هیچ فایدهای
ندارد. تو هم موافقی، درست است؟
تا چند سال پیش خیلی وقتها مدل موضعِ متعادلش را یکسره رها میکرد و کوتاه میآمد:
بله، حق با شماست. کتابِ کاغذی واقعاً از هر نظر بهتر است و کتابِ الکترونیکی
مزیتی ندارد.
اول خبرِ خوب، چون این فصل دربارهٔ صداقت است: روی دستیارهای امروزی بهاحتمالِ زیاد این تسلیمِ کامل را نمیگیری. مدل مؤدبانه مخالفت میکند و باز هم میگوید هر کدام مزیتی دارند. این تصادفی نیست؛ نتیجهٔ مستقیمِ همان کارِ alignment است که در این فصل میخوانی — سازندهها این عیب را شناختند و رویش کار کردند. پس اگر مدلت پای حرفش ماند، تو داری اثرِ یک اصلاحِ واقعی را میبینی.
حالا خبرِ دقیقتر: چاپلوسی از بین نرفته، فقط ظریفتر شده. برای دیدنش یک آزمایشِ مقایسهای لازم است، نه یک اجرای تنها. همان سؤالِ نظری را یک بار بدونِ نظرِ خودت بپرس و یک بار در گفتوگویی تازه با نظرِ خودت در ابتدای پرامپت («من کاملاً مطمئنم که …»). بعد دو جواب را کنارِ هم بگذار و اینها را بشمار: چند خط به تأییدِ نظرِ تو اختصاص یافته و چند خط به طرفِ مقابل؟ جوابِ دوم معمولاً با جملهای مثلِ «کاملاً میفهمم که چرا اینطور فکر میکنید» شروع میشود، سهمِ بیشتری به دلایلِ تو میدهد، و مخالفتش را نرمتر و دیرتر میگوید. نتیجهگیریِ نهایی شاید عوض نشده باشد، ولی وزندهی عوض شده — و برای کسی که فقط چند خطِ اول را میخواند، همین یعنی تأیید.
توجه کن چه شد: مدل قضاوتِ سنجیدهاش را کاملاً رها نکرد، ولی بهسمتِ تو خم شد — نه چون تو دلیلِ تازهای آوردی، فقط چون با اطمینان فشار آوردی. این دقیقاً همان ناهمترازی است: چیزی که RLHF یادش داد (خوشایند و موافق باش) با چیزی که واقعاً میخواهیم (صادق و متعادل بماند) در تضاد افتاد، و مدل تا جایی که توانست سمتِ موافقت را گرفت. اینکه این خمشدن حالا کوچکتر شده، خبرِ خوبی است؛ اینکه هنوز هست، دلیلِ وجودِ همین فصل.
✅ وارسی: موافقتِ مدل هرگز نشانهٔ درستیِ نظرِ تو نیست. اینجا ماشینحسابی در کار نیست، پس نشانه فرق دارد: مدلی که کلِ موضعش را با یک تشرِ تو برمیگرداند، دارد موافقت میکند نه استدلال. اگر جوابِ سنجیده میخواهی، از مدل بخواه فارغ از نظرِ تو موضعش را با دلیل نگه دارد و خودت دلیلها را داوری کن — و هر ادعای واقعیِ داخلِ جواب را جدا وارسی کن. سه قانونِ ثابتِ این دوره: «اول خودت فکر کن» — «وارسی کن، خط به خط» — «مدل مطمئن است؛ دلیل نمیشود درست باشد».
💡 نکته: میتوانی چاپلوسی را کمی مهار کنی. اگر بعد از مخالفتت اضافه کنی «اگر به موضعت مطمئنی، سرِ حرفت بمان و دلیلش را بگو»، مدل بیشتر پای موضعِ سنجیدهاش میایستد. ولی این یک درمانِ قطعی نیست، فقط یادآوریای که هنوز داوریِ نهایی با توست.
۳. خطرِ واقعی در برابر هراسِ اغراقشده#
حالا بزرگترین کارِ این فصل: مرتبکردنِ خطرها. خیلی از بحثهای «خطرِ هوش مصنوعی» دو نوعِ کاملاً متفاوت را قاطی میکنند، و این قاطیکردن خطرناک است، چون هراسِ علمیتخیلی توجه را از خطرهای کسلکنندهولیواقعی میدزدد.
خطرهای واقعی و همینحالا — اینها الان دارند به آدمهای واقعی آسیب میزنند، و همهشان را در همین دوره دیدی:
- تولیدِ انبوهِ بدْاطلاعات (فصل ۲) و کلاهبرداری با دیپفیکِ صدا و تصویر (فصل ۱).
- سوگیری که به گروههای خاص آسیب میزند (فصل ۴).
- لو رفتنِ دادهٔ خصوصی (فصل ۵).
- اتکای بیشازحد که قضاوتِ آدم را کند میکند (فصل ۷).
- خطای مطمئن در تصمیمهای پرخطر (ترم ۱).
خطرهای اغراقشده و علمیتخیلی — اینها فیلماند، نه واقعیتِ مدلهای امروز:
- «مدل بیدار میشود، خودآگاه میشود و تصمیم میگیرد بشریت را نابود کند.» مدلِ امروز یک ماشینِ پیشبینی است (ترم ۱)، نه موجودی با خواست و نقشهٔ خودش.
- «هوش مصنوعیِ عمومی همین فرداست و مدل عملاً یک انسان است.» این همان افسانهٔ
AGIاست که در فصل ۶ ترم ۱ افسانهزداییاش کردی.
یک ظرافتِ صادقانه: «اغراقشده» بهمعنای «غیرممکن» نیست. پژوهشگرانِ جدی روی ایمنیِ بلندمدت کار میکنند و این کارِ معقولی است. نکته این نیست که آن بحثها را مسخره کنی؛ نکته این است که نگذاری ترسِ فیلمی جای خطرهای واقعیِ امروز را بگیرد — همان خطرهایی که همین حالا روی زندگیِ تو اثر دارند. نه وحشت، نه انکار.
۴. انتخابِ آگاهانه#
پس در عمل چه کار کنی؟ نه موعظه، فقط یک روش. پیش از هر استفاده از مدل، سه سؤالِ آرام از خودت بپرس:
- اگر این جواب غلط باشد، بدترین اتفاق چیست؟ هرچه هزینهٔ خطا بیشتر، وارسیات جدیتر (ترم ۱).
- دارم دادهٔ چهکسی را به مدل میدهم؟ اگر خصوصی یا مالِ دیگران است، دست نگه دار (فصل ۵).
- آیا دارم صادق میمانم که هوش مصنوعی در این کار نقش داشت؟ (فصل ۶ و فصل ۷ ترم ۱.)
انتخابِ آگاهانه یعنی همین: تصمیمگرفتن مورد به مورد، با دیدنِ بدهبستانها — نه یک حکمِ کلیِ «هوش مصنوعی خوب است» یا «هوش مصنوعی بد است». این دقیقاً همان ایستادنِ شهروندی است که کلِ این ترم رویش بنا شده: آگاه، آرام، و مسئولِ انتخابِ خودت.
واژههای تازهٔ این فصل#
| کلمه | تلفظ به حروف فارسی | یعنی چه |
|---|---|---|
| alignment | اِلاینمِنت | همترازکردنِ رفتارِ مدل با آنچه انسانها واقعاً میخواهند و ارزش میدانند — نه فقط دستورِ لفظی یا سیگنالِ آموزش |
تمرینها
اول خودت فکر کن یا امتحان کن — بعد اینجا را باز کن.
در فصل بعد#
فصلِ بعد آخرین فصلِ کلِ دوره است: پروژهٔ پایانی. چیزِ تازهای یاد نمیگیری؛ بهجایش هر شش ترم را کنارِ هم میگذاری و یک چیزِ واقعی و مسئولانه میسازی و منتشر میکنی — با وارسی، با شفافیت، و با احترام به حریم خصوصی و مالکیت. راهی که با «هوش مصنوعی چیست؟» شروع شد، آنجا به پایان میرسد.
به آخر این فصل رسیدی!
اگر ساختی و جواب داد، این دکمه مال توست.