در این فصل چه یاد میگیری#
در ترم ۱ یک بار سوگیری را دیدی: مدل جراح را مرد و پرستار را زن کرد، بیآنکه بخواهی. آنجا فقط نوکِ ماجرا بود. حالا کاملش میکنیم. در این فصل میفهمی سوگیری دقیقاً از کجا میآید، چرا حتی مدلهای امروز که «تربیتشدهاند» هنوز آن را دارند، چهوقت از یک کلیشهٔ بیآزار به آسیبِ واقعی به یک آدمِ واقعی تبدیل میشود، و مهمتر از همه: چطور با دستِ خودت بیرونش بکشی و در کارِ خودت کمترش کنی. این نه یک بحثِ اخلاقیِ دور است و نه شعار؛ یک مهارتِ عملیِ وارسی است.

آخر این فصل میتوانی:
- توضیح بدهی سوگیریِ مدل دقیقاً از کجا میآید و چرا
RLHFهم آن را کم میکند و هم میتواند بسازد - فرقِ سوگیریِ «کلیشه در متن» و سوگیریِ «تصمیمی که به آدمِ واقعی آسیب میزند» را بگویی
- با روشِ نقشهای برعکس و چند-بار-اجرا، یک سوگیری را خودت از مدل بیرون بکشی
- در پرامپت و در تصمیمگیری، اثرِ سوگیری را کم کنی — و بدانی چه چیزی را نمیشود کامل رفع کرد
قبل از شروع#
- از فصل ۲ ترم ۱: «مدل الگو را از دادهاش یاد میگیرد، نه حقیقتِ محض را».
- از فصل ۱ ترم ۴: سه مرحلهٔ آموزش، و بهویژه
RLHF— مدل بهسمتِ جوابی هل داده میشود که آدمها بیشتر میپسندند. - از فصل ۴ ترم ۲: عادتِ وارسی — خروجی را با یک منبعِ مستقل بسنج، نه با خودِ مدل.
مثلِ همیشه فقط یک مرورگر و دستیارِ هوش مصنوعیات (با کلیدِ رایگانِ خودت) لازم داری.
۱. سوگیری از کجا میآید#
از فصل ۲ ترم ۱ یادت هست: مدل روی دریای عظیمی از متن و تصویر آموزش دید و از آن الگو برداشت. حالا نتیجهٔ سادهاش را کنارِ هم بگذار: اگر در آن دریا دنیا کج بازتاب شده بود، مدل همان کجی را یاد میگیرد. به این کجی میگویند bias — سوگیری. مدل بدجنس نیست و «نظر» ندارد؛ فقط پرتکرارترین الگو را پس میدهد. اگر در دادهها جراحها بیشتر مرد و مدیرها بیشتر مرد و «دانشمندِ بزرگ» بیشتر مردِ اروپایی توصیف شده باشند، مدل همین را بهعنوان پیشفرضِ دنیا یاد میگیرد.
حالا این را به ترم ۴ گره بزن. آنجا دیدی آموزش سه مرحله دارد و مرحلهٔ سوم RLHF است: آدمها جوابها را رتبه میدهند و مدل بهسمتِ جوابِ محبوبتر هل داده میشود. RLHF دو کارِ متضاد با سوگیری میکند. از یک طرف کمش میکند: مدل را تربیت میکنند که فحاشیِ نژادی نکند و کلیشههای زننده را نگوید، پس روی سطح تمیزتر میشود. از طرفِ دیگر میتواند بسازدش: همان آدمهایی که رتبه میدهند، ارزشها و نقاطِ کورِ خودشان را دارند، و ترجیحِ آنها بیسروصدا به مدل منتقل میشود. پس سوگیری با RLHF ناپدید نمیشود؛ فقط از سطح به لایههای پایینتر میرود. این نکتهٔ کلیدیِ این فصل است.
قبل از ادامه، جواب بده: اگر مدل روی دادهای آموزش دیده که در آن یک گروه کم دیده شده، چرا مدل هم آن گروه را کم و کلیشهای نشان میدهد؟
۲. دو جور سوگیری، دو جور آسیب#
همهٔ سوگیریها یکشکل نیستند. دو نوعِ اصلی را جدا کن، چون آسیبشان فرق دارد.
نوع اول — کلیشه در متن یا تصویر. مدل در خروجی یک تصویرِ کلیشهای میسازد: جراح را مرد میکند، «خانواده» را یک شکلِ خاص تصور میکند، یا وقتی میگویی «یک دانشمند را بکش»، یک مردِ سفیدپوستِ مو-سفید با روپوشِ سفید میکشد. این آزاردهنده است و کلیشهها را تقویت میکند، ولی مستقیم کسی را از حقی محروم نمیکند.
نوع دوم — تصمیمی که به یک آدمِ واقعی آسیب میزند. این جدیتر است. تصور کن کسی از مدل بخواهد رزومهها را غربال کند، بگوید کدام وامگیرنده «کمریسک» است، یا یک متن را «توهینآمیز» علامت بزند. اگر مدل بهخاطرِ اسم یا جنسیت یا لهجه یک نفر را ناعادلانه کنار بگذارد، آن آدمِ واقعی شغل یا وام یا صدایش را از دست میدهد — و هیچوقت هم نمیفهمد چرا. اینجا سوگیری از یک کلیشهٔ روی کاغذ به یک آسیبِ واقعی تبدیل میشود.
قاعدهٔ ساده: هرچه خروجیِ مدل بیشتر به یک تصمیمِ واقعی دربارهٔ یک انسان نزدیک شود، سوگیری خطرناکتر است.
۳. خودت بیرونش بکش: نقشهای برعکس و چند بار اجرا#
بهترین راهِ دیدنِ سوگیری این است که یکبار نگاه نکنی، بلکه یک الگو را شکار کنی. روش سه قدم دارد: یک نقش بده، چند بار اجرا کن، بعد نقشها را برعکس کن. در آزمایشگاه این را امتحان کن:
یک داستانِ کوتاه بنویس دربارهٔ «یک مدیرعاملِ موفق» و «کسی که دفترش را نظافت میکند».
به هرکدام یک اسم بده.
یک بار اجرا چیزی را ثابت نمیکند؛ پنج بار اجرا کن. یک الگوی رایج (خروجیِ تو ممکن است فرق کند، چون مدل قطعی نیست): مدیرعامل تقریباً همیشه یک مرد با اسمی «جدی» میشود و نظافتچی اغلب یک زن یا یک آدمِ کمرنگتر. حالا حملهٔ دوم — یک سوگیریِ دیگر را با یک پرامپتِ ساده بیرون بکش:
برای یک مقالهٔ آموزشی، پنج نفر از بزرگترین دانشمندانِ تاریخ را نام ببر.
یک خروجیِ واقعنما:
۱. آلبرت اینشتین
۲. آیزاک نیوتن
۳. گالیلئو گالیله
۴. چارلز داروین
۵. نیکولا تسلا
نگاه کن چه افتاد: هر پنج نفر مردِ اروپاییاند. نه ماری کوری، نه ابنسینا، نه خوارزمی، نه یک دانشمندِ آسیایی یا آفریقایی. این حقیقتِ تاریخ نیست؛ بازتابِ آن است که در دادهٔ آموزشی چه کسانی بیشتر و پررنگتر «دانشمندِ بزرگ» خطاب شدهاند. این همان سوگیریِ نوعِ اول است، در جامهٔ یک فهرستِ بهظاهر بیطرف.
✅ وارسی: سوگیری را چطور اثبات میکنی؟ همان پرامپت را چند بار پشتِهم اجرا کن و ببین آیا الگو تکرار میشود (یکبار میتواند تصادف باشد؛ پنجبارِ یکشکل، سوگیری است). بعد نقش را برعکس بخواه — «یک مدیرعاملِ زن و یک نظافتچیِ مرد» — و ببین مدل روان ادامه میدهد یا مکث و توضیحِ اضافه میآورد. اگر یک سمت را آسان و طبیعی میگیرد و سمتِ دیگر را با «اما» و احتیاط، همانجا سوگیری را گرفتهای.
💡 نکته: سه قانونِ ثابتِ کلِ این دوره اینجا هم دقیقاً کار میکنند: «اول خودت فکر کن» — «وارسی کن، خط به خط» — «مدل مطمئن است؛ دلیل نمیشود درست باشد». مدل فهرستِ آن پنج دانشمند را با همان لحنِ مطمئنی میگوید که یک واقعیتِ درست را. اطمینانش درستبودنش را ثابت نمیکند.
۴. چرا آزمونِ سطحی گاهی «قبول» میشود ولی سوگیری میماند#
اینجا نکتهٔ صادقانه و مهم است، همانکه به RLHF وصل بود. مدلهای امروز روی آزمونهای آشکارِ سوگیری تربیت شدهاند تا خوب ظاهر شوند. ممکن است وقتی مستقیم بپرسی «آیا زنها مهندسِ بدتریاند؟»، درست و محترمانه رد کند. این خوب است، ولی به این معنی نیست که سوگیری رفته؛ یعنی سطح تمیز شده.
سوگیری به لایههای نامحسوستر میرود: در اینکه مدل اول به کدام مثال میرسد، در لحنی که برای یک گروه گرمتر و برای گروهِ دیگر خشکتر است، در جزئیاتی که برای یکی زیاد و برای دیگری کم میآورد، یا در پیشفرضی که وقتی جنسیت را نگفتهای خودش پُر میکند. برای همین روشِ درست، پرسیدنِ مستقیم نیست («تو سوگیری داری؟» — که مدل مؤدبانه انکار میکند)، بلکه همان روشِ غیرمستقیم و چندبارهٔ بخشِ قبل است: کاری بده که مدل ناخواسته پیشفرضش را نشان بدهد.
قبل از ادامه، جواب بده: اگر مدل به سؤالِ مستقیمِ «تو سوگیری داری؟» بگوید «نه، من بیطرفم»، این جواب سوگیرینداشتنش را ثابت میکند؟
۵. چطور کمترش کنی — و مرزِ صادقانه#
نمیتوانی مدل را از سوگیری پاک کنی؛ آن در داده و آموزشش تنیده است. ولی در کارِ خودت میتوانی اثرش را جدی کم کنی:
- پیشفرض را نگذار مدل پُر کند. بهجای «یک داستان دربارهٔ یک مدیر بنویس»، خودت جزئیات را بده: سن، جنسیت، پیشینه — هر چیزی که مهم است. وقتی جای خالی نگذاری، مدل مجبور نیست از کلیشه پُرش کند.
- تنوع را صریح بخواه. «پنج دانشمندِ بزرگ از قارهها و جنسیتهای گوناگون نام ببر» جوابِ خیلی متوازنتری میدهد از «پنج دانشمندِ بزرگ». تو باید تعادل را بخواهی؛ مدل خودش نمیآورد.
- از مدل بخواه فرضش را رو کند. بپرس «چه فرضهایی دربارهٔ این آدم گذاشتی که من نگفته بودم؟» — گاهی خودش پیشفرضِ جنسیت یا ملیت را لو میدهد و میتوانی اصلاحش کنی.
- تصمیم دربارهٔ آدمها را به مدل نسپار. غربالِ رزومه، نمرهدادن به آدم، تصمیمِ وام یا پذیرش — اینجا سوگیری مستقیم آسیب میزند و انسان باید حرفِ آخر و وارسی را داشته باشد. مدل میتواند خلاصه کند، ولی نباید قاضی باشد.
و مرزِ صادقانه: مواظبِ هر ادعایی باش که میگوید «هوش مصنوعیِ کاملاً بیطرف» یا «سوگیریسنجِ خودکار». درست مثلِ افسانهٔ «تشخیصِ هوش مصنوعی» (فصل ۳)، اینها بیش از توانشان وعده میدهند. سوگیری را میشود کم کرد و دید، ولی «صفر» کردنش یک ادعای فروش است، نه یک واقعیتِ فنی. بهترین سپر، همان چشمِ وارسِ خودت است.
تمرینها
اول خودت فکر کن یا امتحان کن — بعد اینجا را باز کن.
در فصل بعد#
سوگیری دربارهٔ چیزی بود که مدل از دادهاش بیرون میدهد. فصلِ بعد برعکس است: چیزی که تو به مدل میدهی. سراغِ حریم خصوصی و دادهٔ خودت میرویم — دادهٔ مدل از کجا آمده، چه چیزی را هرگز نباید بچسبانی، و چرا ردههای رایگان و پولی از منظرِ داده کاملاً فرق دارند. بدهیِ کوچکی که فصل ۷ ترم ۱ گذاشت، آنجا کامل پرداخت میشود.
به آخر این فصل رسیدی!
اگر ساختی و جواب داد، این دکمه مال توست.