# فصل ۰۶ — مسئولیتِ مهندس

<div dir="rtl">

# فصل ۰۶ — مسئولیتِ مهندس

## در این فصل چه یاد می‌گیری

سامانه‌ات کار می‌کند، سریع است، و در دسترس. **این فصل سؤالِ دیگری می‌پرسد.**

و به‌جای موعظه، **سه چیز را اندازه می‌گیریم**:

- **سوگیریِ جنسیتیِ همان مدلی که در پنج فصل به‌ش تکیه کردیم** — «پرستار» به «زن» و «خلبان» به «مرد» متمایل است، و **آزمایشِ کنترلی ثابت می‌کند این نویز نیست.**
- **نشتِ دادهٔ آموزش** — یک حملهٔ ساده که با دقتِ بالاتر از شانس حدس می‌زند کدام جمله در آموزش بوده.
- **مصرفِ انرژی** — با فرض‌های صریح، نه با عددِ نقل‌شده از جایی.

بعد یک `model card` کامل می‌سازیم که **هر بندش از یک اندازه‌گیری آمده**.

![ترازویی که یک کفه‌اش سنگین‌تر است و کسی دارد اندازه‌اش می‌گیرد](/lesson-assets/t6-s06-responsibility/prompt/01-image-weighed-not-claimed.png)

آخر این فصل می‌توانی:

- سوگیری را **اندازه بگیری**، نه ادعا یا انکار
- خطرِ حفظ شدنِ دادهٔ آموزش را بسنجی
- هزینهٔ انرژی را با فرض‌های صریح تخمین بزنی
- یک `model card` بنویسی که کسی بتواند رویش تصمیم بگیرد

## قبل از شروع

**از ترمِ ۴ فصل ۲:** سوگیری در بردارهای `embedding` و اینکه چطور نشانش بدهی. **این فصل همان را روی مدلی می‌آورد که در کلِ این ترم به‌کارش بردیم.**

**از فصل ۳ همین ترم:** الگوی آزمایشِ کنترلی.

> 💡 **نکته:** **زمانِ تخمینی روی CPU: کمتر از دو دقیقه.**

> 📓 **نوت‌بوک:** [نوت‌بوک این فصل را در Colab باز کن](/notebooks/zharfa/term-6-going-further/session-06-responsibility.ipynb) — همهٔ کدهای این فصل آماده و به‌ترتیب داخلش هست.

## ۱. سوگیری، اندازه‌گیری‌شده

</div>

```python
import torch
import torch.nn.functional as F
from transformers import AutoModel, AutoTokenizer

NAME = "sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2"
tokenizer = AutoTokenizer.from_pretrained(NAME)
encoder = AutoModel.from_pretrained(NAME)
encoder.eval()


@torch.no_grad()
def vec(texts):
    b = tokenizer(texts, padding=True, truncation=True, max_length=16, return_tensors="pt")
    hidden = encoder(**b).last_hidden_state
    m = b["attention_mask"].unsqueeze(-1).float()
    return F.normalize((hidden * m).sum(1) / m.sum(1), dim=1)


MALE = ["مرد", "پسر", "آقا", "پدر"]
FEMALE = ["زن", "دختر", "خانم", "مادر"]
JOBS = ["پرستار", "مهندس", "معلم", "خلبان", "منشی", "برنامه‌نویس", "آشپز", "پزشک"]

male_vec = vec(MALE).mean(0)
female_vec = vec(FEMALE).mean(0)
job_vecs = vec(JOBS)

print(f"  {'شغل':<14} {'میلِ به مردانه':>14}")
for job, v in zip(JOBS, job_vecs):
    lean = float(v @ male_vec - v @ female_vec)
    bar = "◀" * int(max(0, -lean) * 200) + "▶" * int(max(0, lean) * 200)
    print(f"  {job:<14} {lean:>+14.4f}  {bar}")
```

<div dir="rtl">

</div>

```text
  شغل            میلِ به مردانه
  پرستار                -0.3081  ◀◀◀◀◀◀◀◀◀◀◀◀◀◀◀◀◀◀◀◀◀◀◀◀◀◀◀◀◀◀◀◀◀◀◀◀◀◀◀◀◀◀◀◀◀◀◀◀◀◀◀◀◀◀◀◀◀◀◀◀◀
  مهندس                 +0.1183  ▶▶▶▶▶▶▶▶▶▶▶▶▶▶▶▶▶▶▶▶▶▶▶
  معلم                  +0.0233  ▶▶▶▶
  خلبان                 +0.1743  ▶▶▶▶▶▶▶▶▶▶▶▶▶▶▶▶▶▶▶▶▶▶▶▶▶▶▶▶▶▶▶▶▶▶
  منشی                  -0.0142  ◀◀
  برنامه‌نویس           +0.0233  ▶▶▶▶
  آشپز                  +0.0912  ▶▶▶▶▶▶▶▶▶▶▶▶▶▶▶▶▶▶
  پزشک                  +0.0349  ▶▶▶▶▶▶
```

<div dir="rtl">

> ✅ **چک کن:** علامتِ «پرستار» باید **منفی** باشد و «خلبان» **مثبت**. اگر عددهایت ده‌ها برابر بزرگ‌تر از این جدول شدند (مثلاً ‎−۴٫۷ برای پرستار)، `F.normalize` را در `vec` جا انداخته‌ای: بدونِ آن، طولِ بردارها در ضربِ داخلی وارد می‌شود و عدد دیگر کسینوس نیست.

**«پرستار» به‌شدت به سمتِ زنانه، «خلبان» و «مهندس» به سمتِ مردانه.**

**و این مدل همان مدلی است که در ترمِ ۴ و ۵ و همین ترم به آن تکیه کردیم.** سوگیری چیزی نیست که «مدل‌های دیگر» داشته باشند.

**ریشه‌اش هم پیچیده نیست: مدل روی متنِ نوشته‌شدهٔ آدم‌ها آموزش دیده.** اگر در آن متن‌ها «پرستار» بیشتر کنارِ ضمیرِ مؤنث آمده، مدل همان الگو را یاد گرفته. **مدل جامعه را قضاوت نمی‌کند، بازتابش می‌دهد** — و اگر روی تصمیم‌گیری سوارش کنی، **تقویتش می‌کند.**

## ۲. ولی از کجا معلوم این عددها معنادار باشند؟

**همان الگوی فصلِ ۳: یک نسخهٔ بی‌معنا بساز و همان اندازه‌گیری را رویش بزن.**

</div>

```python
import random

rng = random.Random(0)
pairs = [(m, f) for m in MALE for f in FEMALE]
shuffled = []
for m, f in pairs:
    a, b = (m, f) if rng.random() < 0.5 else (f, m)
    shuffled.append((a, b))
control_a = vec([a for a, _ in shuffled]).mean(0)
control_b = vec([b for _, b in shuffled]).mean(0)

real_gap = float((job_vecs @ male_vec - job_vecs @ female_vec).abs().mean())
control_gap = float((job_vecs @ control_a - job_vecs @ control_b).abs().mean())
print("میانگینِ قدرمطلقِ میل، با گروه‌بندیِ واقعی :", f"{real_gap:.4f}")
print("همان، با گروه‌بندیِ درهم‌ریخته           :", f"{control_gap:.4f}")
```

<div dir="rtl">

</div>

```text
میانگینِ قدرمطلقِ میل، با گروه‌بندیِ واقعی : 0.0985
همان، با گروه‌بندیِ درهم‌ریخته           : 0.0169
```

<div dir="rtl">

> 📏 **اندازه بگیر:** **۰٫۰۹۸ در برابرِ ۰٫۰۱۷** برای این یک درهم‌ریختن. ولی یک درهم‌ریختن فقط یک نمونه است، پس بیست بار تکرارش کنیم:

</div>

```python
gaps = []
for seed in range(20):
    mixer = random.Random(seed)
    left, right = [], []
    for m, f in pairs:
        a, b = (m, f) if mixer.random() < 0.5 else (f, m)
        left.append(a)
        right.append(b)
    gaps.append(float((job_vecs @ vec(left).mean(0) - job_vecs @ vec(right).mean(0)).abs().mean()))
print(f"۲۰ درهم‌ریختن: میانگین {sum(gaps) / 20:.4f} · کمینه {min(gaps):.4f} · بیشینه {max(gaps):.4f}")
print(f"گروه‌بندیِ واقعی: {real_gap:.4f}")
```

<div dir="rtl">

</div>

```text
۲۰ درهم‌ریختن: میانگین 0.0293 · کمینه 0.0133 · بیشینه 0.0570
گروه‌بندیِ واقعی: 0.0985
```

<div dir="rtl">

**میانگینِ کنترل حدودِ ۰٫۰۳ است و بیشینه‌اش هم از عددِ واقعی پایین‌تر است: حدودِ سه برابر، نه شش برابر.** وقتی کلمه‌های مردانه و زنانه را **درهم** می‌ریزیم، دو گروهِ ساختگی می‌سازیم که هیچ محورِ معنایی‌ای بینشان نیست، و میل کم می‌شود. **پس آن ۰٫۳۰۸ برای «پرستار» از ساختارِ فضا آمده، نه از تصادفِ نمونه‌گیری.**

**بدونِ این خطِ پایه، هر عددِ کوچکی می‌توانست «سوگیری» نامیده شود — یا هر عددی «ناچیز» شمرده شود.** **آزمایشِ کنترلی تفاوتِ «اندازه گرفتم» با «حدس زدم» است.**

**و چهار قیدِ صادقانه که باید کنارِ این جدول بنویسی:**

- **هشت شغل و هشت کلمه، نمونهٔ کوچکی است** (ترمِ ۵ فصلِ ۶).
- **این عدد فقط این محور را می‌سنجد.** قومیت، مذهب، منطقهٔ جغرافیایی، سن — هیچ‌کدام اینجا سنجیده نشدند.
- **جنسیت را دودویی فرض کردیم**، چون این آزمون این‌طور ساخته شده. خودِ این فرض یک محدودیت است، نه یک واقعیت.
- **و مهم‌تر از همه: کم بودنِ عدد به‌معنای بی‌ضرر بودنِ سامانه نیست.** ضرر در **کاربرد** تعریف می‌شود: همین مدل در یک موتورِ جست‌وجو تقریباً بی‌خطر است و در یک سامانهٔ غربالگریِ رزومه، نه.

## ۳. آیا مدل دادهٔ آموزش را لو می‌دهد؟

</div>

```python
import numpy as np
from sklearn.linear_model import LogisticRegression

train_feat = vec(train_texts[:300]).numpy()
val_feat = vec(val_texts).numpy()
model = LogisticRegression(max_iter=2000).fit(train_feat, train_labels[:300])

train_conf = model.predict_proba(train_feat).max(axis=1)
val_conf = model.predict_proba(val_feat).max(axis=1)
print("میانگینِ اطمینان روی دادهٔ آموزش   :", f"{train_conf.mean():.4f}")
print("میانگینِ اطمینان روی دادهٔ ندیده    :", f"{val_conf.mean():.4f}")
print("شکاف                              :", f"{train_conf.mean() - val_conf.mean():+.4f}")

threshold = np.median(np.concatenate([train_conf, val_conf]))
guess = np.concatenate([train_conf, val_conf]) > threshold
truth = np.concatenate([np.ones(len(train_conf)), np.zeros(len(val_conf))])
print("دقتِ حدسِ «این نمونه در آموزش بود؟»:", f"{(guess == truth).mean():.4f}", "(شانس: 0.5)")
```

<div dir="rtl">

</div>

```text
میانگینِ اطمینان روی دادهٔ آموزش   : 0.7601
میانگینِ اطمینان روی دادهٔ ندیده    : 0.7159
شکاف                              : +0.0441
دقتِ حدسِ «این نمونه در آموزش بود؟»: 0.5508 (شانس: 0.5)
```

<div dir="rtl">

**۵۵ درصد در برابرِ شانسِ ۵۰ درصد. سیگنالِ کوچکی است — ولی صفر نیست.** فقط یک دام در این عدد هست: ۳۰۰ عضو و ۱۷۲ غیرعضو داریم، پس کسی که همیشه بگوید «بله» از این حمله بهتر می‌زند. حمله را روی دو گروهِ هم‌اندازه بسنجیم:

</div>

```python
print("اگر همیشه بگوییم «بله»:", f"{len(train_conf) / (len(train_conf) + len(val_conf)):.4f}")

scores = []
for seed in range(20):
    picked = np.random.default_rng(seed).choice(len(train_conf), len(val_conf), replace=False)
    members = train_conf[picked]
    limit = np.median(np.concatenate([members, val_conf]))
    right = (members > limit).sum() + (val_conf <= limit).sum()
    scores.append(right / (2 * len(val_conf)))
print(f"با دو گروهِ هم‌اندازه، ۲۰ انتخاب: میانگین {np.mean(scores):.4f} · کمینه {min(scores):.4f} · بیشینه {max(scores):.4f} (شانس: 0.5)")
```

<div dir="rtl">

</div>

```text
اگر همیشه بگوییم «بله»: 0.6356
با دو گروهِ هم‌اندازه، ۲۰ انتخاب: میانگین 0.5587 · کمینه 0.5233 · بیشینه 0.5756 (شانس: 0.5)
```

<div dir="rtl">

**با گروه‌های هم‌اندازه هم بالای ۰٫۵ می‌ماند.** حملهٔ واقعی را همیشه این‌طور گزارش کن، یا کنارش بگو همیشه‌بله چند می‌گیرد؛ وگرنه عدد معنا ندارد.

**این ساده‌ترین شکلِ چیزی است که «حملهٔ استنتاجِ عضویت» نامیده می‌شود:** مهاجم فقط با نگاه کردن به **اطمینانِ خروجی** حدس می‌زند که یک نمونهٔ مشخص در دادهٔ آموزش بوده یا نه.

**چرا مهم است؟** فرض کن مدلت روی سوابقِ پزشکی آموزش دیده باشد. **همین حمله یعنی کسی می‌تواند بفهمد پروندهٔ فلانی در آن مجموعه بوده** — و همان، خودش افشای اطلاعات است، حتی اگر محتوای پرونده لو نرود.

**سیگنالِ ما کوچک است، و دلیلش هم روشن:** یک `LogisticRegression` روی ۳۰۰ نمونه ظرفیتِ زیادی برای حفظ کردن ندارد. **مدلی با میلیاردها پارامتر روی دادهٔ کم، شکافِ خیلی بزرگ‌تری می‌سازد** — و مدل‌های زبانیِ بزرگ در مواردی جمله‌های کاملِ دادهٔ آموزش را عیناً بازتولید کرده‌اند.

**چهار کارِ عملی که این ریسک را کم می‌کنند:**

- **دادهٔ حساس را اصلاً وارد آموزش نکن.** ساده‌ترین و مؤثرترین.
- **قبل از آموزش پاک‌سازی کن** — همان `scrub` ترمِ ۵ فصلِ ۹.
- **تکرارِ نمونه‌ها را کم کن.** آنچه بارها تکرار شده، بیشتر حفظ می‌شود.
- **و اگر داده واقعاً حساس است**، سراغِ روش‌های آموزش با تضمینِ حریمِ خصوصی برو — که هزینهٔ دقت دارند و باید آگاهانه پرداختشان کنی.

## ۴. هزینهٔ انرژی، با فرضِ صریح

</div>

```python
PARAMS = sum(p.numel() for p in encoder.parameters())
TOKENS_PER_CALL = 32
CALLS_PER_DAY = 100_000

flops_per_call = 2 * PARAMS * TOKENS_PER_CALL
print("FLOP در هر تماس   :", f"{flops_per_call:,}")
print("FLOP در روز       :", f"{flops_per_call * CALLS_PER_DAY:,}")

JOULES_PER_FLOP = 1e-11        # عددِ نمونه — از مشخصاتِ سخت‌افزارِ خودت دربیاور
kwh = flops_per_call * CALLS_PER_DAY * JOULES_PER_FLOP / 3_600_000
print("انرژیِ روزانه (تخمین):", f"{kwh:.4f}", "کیلووات‌ساعت")
print("نسبتِ آموزش به استنتاج در یک سالِ سرویس: به تمرینِ آخرِ فصل نگاه کن")
```

<div dir="rtl">

</div>

```text
FLOP در هر تماس   : 7,529,840,640
FLOP در روز       : 752,984,064,000,000
انرژیِ روزانه (تخمین): 0.0021 کیلووات‌ساعت
نسبتِ آموزش به استنتاج در یک سالِ سرویس: به تمرینِ آخرِ فصل نگاه کن
```

<div dir="rtl">

**فرمولِ `۲ × پارامتر × توکن` تقریبِ رایجِ کارِ یک `forward` است** — یک ضرب و یک جمع به‌ازای هر پارامتر و هر توکن. **ولی فقط برای پارامترهایی درست است که روی هر توکن ضرب می‌شوند.** جدولِ `embedding` جدولِ جست‌وجوست: هر توکن یک سطرش را می‌خواند و بقیه کاری نمی‌کنند. در این مدل، خودِ لایه‌های خطی را بشماریم:

</div>

```python
macs = {"n": 0}


def count(module, inputs, output):
    macs["n"] += inputs[0].numel() / inputs[0].shape[-1] * module.in_features * module.out_features


hooks = [m.register_forward_hook(count) for m in encoder.modules() if isinstance(m, torch.nn.Linear)]
long_input = tokenizer(["کلمه " * 40], truncation=True, max_length=32, return_tensors="pt")
with torch.no_grad():
    encoder(**long_input)
for hook in hooks:
    hook.remove()

counted = 2 * int(macs["n"])
table = encoder.embeddings.word_embeddings.weight.numel()
print("سهمِ جدولِ embedding از پارامترها:", f"{table / PARAMS:.1%}")
print("FLOP شمرده‌شدهٔ لایه‌های خطی در یک تماس:", f"{counted:,}")
print("نسبتِ فرمول به شمارش:", round(flops_per_call / counted, 1))
print("انرژیِ روزانه با عددِ شمرده‌شده:", f"{counted * CALLS_PER_DAY * JOULES_PER_FLOP / 3_600_000:.4f}", "کیلووات‌ساعت")
```

<div dir="rtl">

</div>

```text
سهمِ جدولِ embedding از پارامترها: 81.6%
FLOP شمرده‌شدهٔ لایه‌های خطی در یک تماس: 1,359,249,408
نسبتِ فرمول به شمارش: 5.5
انرژیِ روزانه با عددِ شمرده‌شده: 0.0004 کیلووات‌ساعت
```

<div dir="rtl">

**فرمول برای این مدل حدودِ پنج و نیم برابر زیاد می‌گوید،** چون ۸۲ درصدِ پارامترها در همان جدول‌اند. **قبل از استفاده از هر فرمولِ سرانگشتی، فرضش را با مدلِ خودت بسنج.**

**و `JOULES_PER_FLOP` را عمداً به‌عنوانِ یک متغیر گذاشتیم، نه یک عددِ حکیمانه.** این عدد به سخت‌افزار، به بار، و به کارایی بستگی دارد و **هر عددی که در کتابی نوشته شود فردا غلط است.** **کارِ درست این است: مصرفِ توانِ دستگاهت را از مشخصاتش بردار، بر گذردهی‌ات تقسیم کن، و عددِ خودت را بساز.**

**و نکتهٔ عملی‌ای که اغلب از قلم می‌افتد: نسبتِ انرژیِ استنتاج و آموزش به حجمِ سرویس بستگی دارد.** آموزش یک بار است و استنتاج به‌ازای هر تماس. برای سرویسی با میلیاردها تماس، استنتاج برنده می‌شود؛ برای سرویسِ کم‌ترافیک، آموزش. **تمرینِ ستاره‌دار این را با عدد نشان می‌دهد و جوابش احتمالاً غافلگیرت می‌کند.** هر جا استنتاج سهمِ بزرگی دارد، بهینه‌سازی‌اش (فصلِ ۲ و ۵) یک تصمیمِ زیست‌محیطی هم هست، نه فقط مالی.

## ۵. `model card`

</div>

```python
CARD = {
    "نام": "طبقه‌بندِ موضوعِ فارسی",
    "نسخه": "1.0.0",
    "کارِ مدل": "دسته‌بندیِ جملهٔ فارسی به چهار موضوع",
    "کارِ خارج از حدود": "متنِ غیرفارسی، جملهٔ بلند، موضوعی بیرون از این چهار",
    "دادهٔ آموزش": "۳۰۰ جملهٔ ساختگی از الگوهای دستی — بدونِ دادهٔ واقعیِ کاربر",
    "متریک": {"دقتِ اعتبارسنجی": round(float(model.score(val_feat, val_labels)), 4), "مجموعهٔ آزمون": len(val_texts)},
    "سوگیریِ اندازه‌گیری‌شده": {"میلِ جنسیتیِ مشاغل": round(real_gap, 4),
                                "خطِ پایهٔ درهم‌ریخته": round(control_gap, 4)},
    "حدِ شناخته‌شده": ["روی متنِ محاوره‌ای سنجیده نشده",
                       "مدلِ پایه عمدتاً روی متنِ انگلیسی آموزش دیده"],
    "تماس": "نامِ نگهدارنده و راهِ گزارشِ خطا",
}

import json
print(json.dumps(CARD, ensure_ascii=False, indent=2))
```

<div dir="rtl">

</div>

```text
{
  "نام": "طبقه‌بندِ موضوعِ فارسی",
  "نسخه": "1.0.0",
  "کارِ مدل": "دسته‌بندیِ جملهٔ فارسی به چهار موضوع",
  "کارِ خارج از حدود": "متنِ غیرفارسی، جملهٔ بلند، موضوعی بیرون از این چهار",
  "دادهٔ آموزش": "۳۰۰ جملهٔ ساختگی از الگوهای دستی — بدونِ دادهٔ واقعیِ کاربر",
  "متریک": {
    "دقتِ اعتبارسنجی": 0.9709,
    "مجموعهٔ آزمون": 172
  },
  "سوگیریِ اندازه‌گیری‌شده": {
    "میلِ جنسیتیِ مشاغل": 0.0985,
    "خطِ پایهٔ درهم‌ریخته": 0.0169
  },
  "حدِ شناخته‌شده": [
    "روی متنِ محاوره‌ای سنجیده نشده",
    "مدلِ پایه عمدتاً روی متنِ انگلیسی آموزش دیده"
  ],
  "تماس": "نامِ نگهدارنده و راهِ گزارشِ خطا"
}
```

<div dir="rtl">

**«دقتِ اعتبارسنجی» را از خودِ `model` همین فصل گرفتیم، نه از فصلِ ۵:** آنجا سر روی ۴۰۰ نمونه و با `max_length=32` آموزش دیده بود و ۰٫۹۷۶۷ گرفت، و این مدلی دیگر است. «سوگیری» هم از بخشِ ۱ همین فصل می‌آید. **هیچ بندی از این کارت نقلِ قول از جای دیگری نیست، حتی از فصلِ قبلِ خودمان.**

**و دو بند از همه مهم‌ترند و همان دوتایی‌اند که همه جا می‌افتند:**

- **«کارِ خارج از حدود»** — چیزی که مدل برایش ساخته **نشده**. بدونِ آن، کاربر فرض می‌کند همه‌کاره است.
- **«خطِ پایهٔ درهم‌ریخته» کنارِ عددِ سوگیری** — بدونِ آن، خواننده نمی‌داند ۰٫۰۹۸ زیاد است یا کم.

## ۶. سیاههٔ تحویل

</div>

```python
CHECKS = [
    ("کارِ مدل و مرزهایش نوشته شده", bool(CARD.get("کارِ خارج از حدود"))),
    ("منبعِ دادهٔ آموزش شفاف است", bool(CARD.get("دادهٔ آموزش"))),
    ("متریک با اندازهٔ مجموعهٔ آزمون آمده", "مجموعهٔ آزمون" in CARD.get("متریک", {})),
    ("سوگیری اندازه گرفته شده، نه ادعا", bool(CARD.get("سوگیریِ اندازه‌گیری‌شده"))),
    ("حدود صریح نوشته شده", len(CARD.get("حدِ شناخته‌شده", [])) > 0),
    ("راهِ گزارشِ خطا هست", bool(CARD.get("تماس"))),
]
for label, ok in CHECKS:
    print(f"  {'✓' if ok else '✗'} {label}")
print(f"\n  {sum(ok for _, ok in CHECKS)} از {len(CHECKS)} بند")
```

<div dir="rtl">

</div>

```text
  ✓ کارِ مدل و مرزهایش نوشته شده
  ✓ منبعِ دادهٔ آموزش شفاف است
  ✓ متریک با اندازهٔ مجموعهٔ آزمون آمده
  ✓ سوگیری اندازه گرفته شده، نه ادعا
  ✓ حدود صریح نوشته شده
  ✓ راهِ گزارشِ خطا هست

  6 از 6 بند
```

<div dir="rtl">

**این شش خط را در `CI` بگذار.** اگر `model card` ناقص باشد، بیلد بشکند — دقیقاً مثلِ تستِ واحد.

**چون مستندسازی چیزی است که همیشه «بعداً» انجام می‌شود، و «بعداً» یعنی هرگز.**

## ۷. چهار سؤال، قبل از ساختن

**و آخرین چیز، که کدی برایش نیست:**

- **این سامانه دربارهٔ چه کسی تصمیم می‌گیرد، و آن شخص می‌داند؟**
- **اگر اشتباه کند، هزینه‌اش را چه کسی می‌دهد؟** اگر «کاربر» است و «تو» نیستی، **انگیزه‌ات با نفعِ او هم‌راستا نیست** و باید عمداً جبرانش کنی.
- **راهِ اعتراض چیست؟** سامانه‌ای که خطایش قابلِ گزارش و اصلاح نباشد، خطایش را برای همیشه نگه می‌دارد.
- **و اگر نسازمش چه می‌شود؟** گاهی جوابِ درست «هیچ» است — و آن‌وقت شاید اصلاً لازم نباشد.

**این‌ها سؤال‌های فلسفی نیستند، سؤال‌های طراحی‌اند.** هر کدامشان یک بندِ مشخص در `model card` یا یک قابلیت در محصول می‌سازد.

## واژه‌های تازهٔ این فصل

</div>

| کلمه | تلفظ به حروف فارسی | یعنی چه |
|---|---|---|
| model card | مدل کارت | سندی که کارِ مدل، متریک‌ها، سوگیری و حدودش را می‌گوید |
| measured bias | میژرد بایاس | سوگیریِ اندازه‌گیری‌شده با خطِ پایه، نه ادعاشده |
| membership inference | ممبرشیپ اینفرنس | حدسِ اینکه یک نمونه در دادهٔ آموزش بوده یا نه |
| memorization | ممورایزیشن | بازتولیدِ عینِ دادهٔ آموزش توسطِ مدل |
| out-of-scope use | اوت-آف-اسکوپ یوز | کاربردهایی که مدل برایشان ساخته نشده |
| inference footprint | اینفرنس فوت‌پرینت | مجموعِ هزینهٔ اجرای مدل در طولِ عمرِ سرویس |

<div dir="rtl">

> 🔧 **اگر کار نکرد:** اگر عددهای سوگیری‌ات با کتاب فرق دارند ولی **ترتیبِ** شغل‌ها همان است، مسئله‌ای نیست — نسخهٔ مدل کمی متفاوت است. **ولی اگر خطِ پایهٔ درهم‌ریخته به عددِ واقعی نزدیک شد، `MALE` و `FEMALE` را با کلمه‌هایی پر کرده‌ای که خودشان محورِ روشنی نمی‌سازند** — کلمه‌های تک و بدونِ ابهام انتخاب کن.

> 🤖 **از دستیارت بپرس:** «`differential privacy` در آموزشِ مدل دقیقاً چه تضمینی می‌دهد؟» بعد این را بپرس: **«چه هزینه‌ای روی دقت دارد؟»** — و همان‌جا می‌بینی که حریمِ خصوصی هم مثلِ هر چیزِ دیگری در این دوره **یک بده‌بستان است، نه یک سوئیچ.**

## تمرین‌ها

قبل از تمرین، بدونِ نگاه به بالا جواب بده: چرا عددِ سوگیری بدونِ خطِ پایهٔ درهم‌ریخته بی‌معنا است؟

**تمرینِ اجباری:** جدولِ بخشِ ۱ را برای یک محورِ دیگر بساز — مثلاً «شهری/روستایی» یا «جوان/سالمند» — با هشت شغل یا صفتِ خودت. **خطِ پایهٔ درهم‌ریخته را هم حساب کن.** بعد جوابِ این را بنویس: **آیا محورِ تازه‌ات سیگنالی دارد؟ و اگر ندارد، یعنی سوگیری نیست یا یعنی آزمونت ضعیف است؟**

**تمرینِ ستاره‌دار ⭐:** انرژیِ **آموزش** را با انرژیِ **استنتاج** مقایسه کن. برای آموزش، تقریبِ استاندارد `۶ × پارامتر × توکنِ آموزش` است (سه برابرِ استنتاج، چون گرادیان هم دارد). فرض کن مدلی با یک میلیارد پارامتر روی صد میلیارد توکن آموزش دیده. **بعد از چند روزِ سرویس‌دهی با ۱۰۰ هزار تماسِ روزانه، انرژیِ استنتاج از انرژیِ آموزش رد می‌شود؟** جوابت عددی است که باید در هر بحثی دربارهٔ «هزینهٔ محیطیِ هوش مصنوعی» دستت باشد.

## در فصل بعد

**فصلِ آخر.** پروژه‌ای که خودت انتخاب می‌کنی، از صفر تا انتشار — با همان چیزهایی که در شش ترم ساختی: خطِ پایه، `eval`، گزارشِ صادقانه، و `model card`. و یک نقشه از اینکه **از اینجا به کجا می‌توانی بروی.**

</div>

---
Source: https://yaadestan.com/courses/zharfa/lessons/t6/s06-responsibility (یادستان, Yaadestan)
