# فصل ۰۸ — پروژه: دفترِ آزمایشِ یک مدل

<div dir="rtl">

# فصل ۰۸ — پروژه: دفترِ آزمایشِ یک مدل

## در این فصل چه یاد می‌گیری

هفت فصل، هفت تکه. اینجا همه‌شان یک چیز می‌شوند: **بیست اجرای ثبت‌شده، یک جدولِ مقایسه، یک آزمونِ جفت‌شده، یک ارزیابیِ زمانی، و یک تصمیمِ مکتوب که خودش خودش را می‌سنجد.**

**و آن تصمیم «مستقر نشود» است.**

منتخب آفلاین `F1` برابرِ **۰٫۷۰۸۵** می‌دهد، روی برشِ زمانیِ بعدی **۰٫۴۲۸۰**، و هزینه‌اش **۸۶٫۰** در برابرِ **۷۳٫۷** برای قاعده‌ای که هیچ مدلی لازم ندارد. **و این بدشانسیِ یک نامزد نیست: هر ۴۳۲ پیکربندیِ فضا را روی همان برش سنجیدیم و ارزان‌ترینشان ۷۷٫۴ بود — هیچ‌کدام از خطِ پایه جلو نزدند.**

![یک دفترِ ثبت که آخرین برگه‌اش یک مهرِ «نه» را با همهٔ شواهدِ پشتش نشان می‌دهد](/lesson-assets/t3-s08-project-lab-notebook/prompt/01-image-lab-ledger.png)

آخر این فصل می‌توانی:

- یک دفترِ آزمایش بسازی که پیکربندی و محیط و متریک را با هم ثبت کند
- از بیست اجرا به یک نامزد برسی، با آزمونِ جفت‌شده و نه با نگاه به جدول
- نامزد را روی برشِ زمانی و در برابرِ خطِ پایهٔ بی‌مدل بسنجی
- تصمیم را طوری بنویسی که کسی که آنجا نبوده بتواند بازبینی‌اش کند

## قبل از شروع

**هیچ مفهومِ تازه‌ای در این فصل نیست.** ردیاب از فصلِ ۲، محیط از فصلِ ۳، بودجه و جست‌وجوی تصادفی از فصلِ ۴، آزمونِ جفت‌شده از فصلِ ۵، فراداده و پیوند از فصلِ ۶، و برشِ زمانی و هزینه از فصلِ ۷.

> 📓 **نوت‌بوک:** [نوت‌بوک این فصل را در Colab باز کن](/notebooks/darbast/term-3-experiments/session-08-project-lab-notebook.ipynb) — همهٔ کدهای این فصل آماده و به‌ترتیب داخلش هست.

</div>

| اجرا | زمانِ تقریبی |
|---|---|
| کلِ نوت‌بوک روی CPU | یک تا دو دقیقه |
| GPU | لازم نیست |

<div dir="rtl">

## ۱. دفترچه

</div>

```python
import hashlib
import inspect
import json
import platform
import random
import sqlite3
import statistics
from datetime import datetime
from importlib.metadata import version

LAB = sqlite3.connect(WORK / "lab.db")
LAB.executescript("""
CREATE TABLE runs (
    run_id      TEXT PRIMARY KEY,
    config_json TEXT NOT NULL,
    env_fp      TEXT NOT NULL,
    code_fp     TEXT NOT NULL,
    data_fp     TEXT NOT NULL,
    started_at  TEXT NOT NULL,
    status      TEXT NOT NULL
);
CREATE TABLE metrics (
    run_id TEXT NOT NULL, name TEXT NOT NULL, value REAL NOT NULL,
    PRIMARY KEY (run_id, name)
);
""")

ENV = {"python": platform.python_version(), "machine": platform.machine(),
       **{p: version(p) for p in ("scikit-learn", "numpy", "scipy")}}
ENV_FP = hashlib.sha256(json.dumps(ENV, sort_keys=True).encode()).hexdigest()[:12]
CODE_FP = hashlib.sha256(inspect.getsource(run).encode()).hexdigest()[:12]
DATA_FP = hashlib.sha256(
    "\n".join(f"{t}|{g}|{y}|{x}" for t, g, y, x in zip(T, G, Y, X)).encode()
).hexdigest()[:12]


def canonical(cfg):
    return json.dumps(DEFAULTS | cfg, sort_keys=True, ensure_ascii=False)


def log_run(cfg):
    rid = hashlib.sha256(canonical(cfg).encode()).hexdigest()[:12]
    LAB.execute("INSERT INTO runs VALUES (?, ?, ?, ?, ?, ?, ?)",
                (rid, canonical(cfg), ENV_FP, CODE_FP, DATA_FP,
                 datetime.now().isoformat(timespec="seconds"), "running"))
    metrics = run(cfg)
    LAB.executemany("INSERT INTO metrics VALUES (?, ?, ?)",
                    [(rid, k, v) for k, v in metrics.items()])
    LAB.execute("UPDATE runs SET status = 'done' WHERE run_id = ?", (rid,))
    LAB.commit()
    return rid


print("دفترچه آماده است · env_fp:", ENV_FP != "", "· data_fp:", DATA_FP)
```

```text
دفترچه آماده است · env_fp: True · data_fp: 50c6fba97e38
```

<div dir="rtl">

**سه اثرِ انگشت کنارِ هر اجرا: محیط، کد، داده.** فصلِ ۲ دوتایش را داشت؛ سومی از فصلِ ۳ آمد.

## ۲. بیست اجرا، با بودجه

</div>

```python
SPACE = {"features": ["text", "meta", "text+meta"],
         "balance": ["none", "oversample", "weight"],
         "ngram": [1, 2], "min_df": [1, 2, 3, 5],
         "C": [0.03, 0.1, 0.3, 1.0, 3.0, 10.0]}
rng = random.Random(0)
tried, drawn = [], 0
while len(tried) < 20:
    drawn += 1
    cfg = {k: rng.choice(v) for k, v in SPACE.items()}
    try:
        log_run(cfg)
        tried.append(cfg)
    except sqlite3.IntegrityError:
        LAB.rollback()
print("قرعه‌ها:", drawn, "· اجراهای تازه:", len(tried),
      "· تکراری:", drawn - len(tried))
```

```text
قرعه‌ها: 20 · اجراهای تازه: 20 · تکراری: 0
```

<div dir="rtl">

**جست‌وجوی تصادفی با بودجهٔ ۲۰ — همان چیزی که فصلِ ۴ نشان داد از شبکهٔ هم‌بودجه بهتر است.** و حلقه‌اش با `IntegrityError` کنار می‌آید، پس **می‌شود همین سلول را دوباره اجرا کرد و فقط چیزهای تازه اضافه شوند.**

</div>

```python
BOARD = """
SELECT r.config_json, MAX(CASE WHEN m.name='f1' THEN m.value END) AS f1
FROM runs r JOIN metrics m ON m.run_id = r.run_id
WHERE r.status = 'done' GROUP BY r.run_id ORDER BY f1 DESC LIMIT 5
"""


def label(cfg):
    diff = {k: v for k, v in cfg.items() if DEFAULTS[k] != v and k != "seed"}
    return " ".join(f"{k}={v}" for k, v in sorted(diff.items())) or "پیش‌فرض"


top = [(json.loads(cj), f1) for cj, f1 in LAB.execute(BOARD)]
print(f"  {'#':<3}{'F1':>8}  پیکربندی")
for i, (cfg, f1) in enumerate(top, start=1):
    print(f"  {i:<3}{f1:>8.4f}  {label(cfg)}")
```

```text
  #        F1  پیکربندی
  1    0.7085  balance=weight features=text+meta min_df=5
  2    0.6868  C=0.3 balance=oversample features=text+meta min_df=5
  3    0.6587  C=0.03 balance=oversample features=text+meta ngram=2
  4    0.6559  C=0.3 balance=oversample features=text+meta min_df=2 ngram=2
  5    0.6534  C=0.03 balance=weight features=text+meta min_df=5 ngram=2
```

<div dir="rtl">

**هر پنج ردیف `features=text+meta` دارند.** با بیست قرعه، **مهم‌ترین محور خودش را نشان می‌دهد** — و این تنها چیزی است که یک جست‌وجوی کوچک واقعاً به‌ت می‌گوید.

## ۳. رتبهٔ ۱ در برابرِ رتبهٔ ۲

</div>

```python
import itertools

SEEDS = list(range(5))


def with_seeds(cfg):
    return [run({k: v for k, v in cfg.items() if k != "seed"} | {"seed": s})["f1"]
            for s in SEEDS]


first, second = with_seeds(top[0][0]), with_seeds(top[1][0])
d = [a - b for a, b in zip(first, second)]
observed = abs(statistics.mean(d))
p = sum(1 for signs in itertools.product((1, -1), repeat=len(d))
        if abs(statistics.mean([s * v for s, v in zip(signs, d)])) >= observed) / 2 ** len(d)
print(f"رتبهٔ ۱ با پنج seed: {statistics.mean(first):.4f}"
      f"  [{min(first):.3f}–{max(first):.3f}]")
print(f"رتبهٔ ۲ با پنج seed: {statistics.mean(second):.4f}"
      f"  [{min(second):.3f}–{max(second):.3f}]")
print(f"اختلافِ جفت‌شده: {statistics.mean(d):+.4f} · p = {p:.4f}")
```

```text
رتبهٔ ۱ با پنج seed: 0.6939  [0.660–0.711]
رتبهٔ ۲ با پنج seed: 0.6770  [0.638–0.715]
اختلافِ جفت‌شده: +0.0169 · p = 0.1250
```

<div dir="rtl">

**`p` برابرِ ۰٫۱۲۵ است، و با پنج جفت کمترین `p` ممکن ۰٫۰۶۲۵ است.** پس این آزمون در بهترین حالتش هم نمی‌توانست به آستانهٔ ۰٫۰۵ برسد — **محدودیت در داده نیست، در تعدادِ `seed` است.**

**گزارشِ صادقانه: رتبهٔ ۱ را برمی‌داریم چون میانگینش بالاتر است، ولی نمی‌توانیم ادعا کنیم بهتر است.** این دو جمله فرق دارند و هر دو در تصمیم‌نامه نوشته می‌شوند.

## ۴. آزمونِ واقعی

</div>

```python
from sklearn.feature_extraction.text import CountVectorizer
from sklearn.linear_model import LogisticRegression

MISS, ALARM = 5, 1
CUT = int(0.75 * len(Y))
TR, TE = list(range(CUT)), list(range(CUT, len(Y)))


def deploy_eval(cfg, seed=0):
    cfg = DEFAULTS | cfg | {"seed": seed}
    texts = texts_for(cfg)
    tr = oversample(TR, seed) if cfg["balance"] == "oversample" else TR
    vec = CountVectorizer(min_df=cfg["min_df"], ngram_range=(1, cfg["ngram"]))
    model = LogisticRegression(
        max_iter=2000, C=cfg["C"], random_state=seed,
        class_weight="balanced" if cfg["balance"] == "weight" else None)
    model.fit(vec.fit_transform([texts[i] for i in tr]), [Y[i] for i in tr])
    pred = model.predict(vec.transform([texts[i] for i in TE]))
    gold = [Y[i] for i in TE]
    tp = sum(1 for a, b in zip(pred, gold) if a == 1 and b == 1)
    fp = sum(1 for a, b in zip(pred, gold) if a == 1 and b == 0)
    fn = sum(1 for a, b in zip(pred, gold) if a == 0 and b == 1)
    f1 = 2 * tp / (2 * tp + fp + fn) if tp else 0.0
    return {"f1": f1, "fp": fp, "fn": fn,
            "cost": 100 * (MISS * fn + ALARM * fp) / len(TE)}


FINAL = {k: v for k, v in top[0][0].items() if k != "seed"}
res = deploy_eval(FINAL)
always = 100 * ALARM * sum(1 for i in TE if Y[i] == 0) / len(TE)
never = 100 * MISS * sum(Y[i] for i in TE) / len(TE)
print(f"منتخب — F1 آفلاین  : {top[0][1]:.4f}")
print(f"منتخب — F1 روی آینده: {res['f1']:.4f}")
print(f"هزینهٔ منتخب        : {res['cost']:.1f}")
print(f"هزینهٔ «همیشه هشدار» : {always:.1f}")
print(f"هزینهٔ «هیچ‌وقت هشدار»: {never:.1f}")
print("منتخب از خطِ پایه ارزان‌تر است؟", res["cost"] < min(always, never))
```

```text
منتخب — F1 آفلاین  : 0.7085
منتخب — F1 روی آینده: 0.4280
هزینهٔ منتخب        : 86.0
هزینهٔ «همیشه هشدار» : 73.7
هزینهٔ «هیچ‌وقت هشدار»: 131.6
منتخب از خطِ پایه ارزان‌تر است؟ False
```

<div dir="rtl">

**۰٫۷۰۸۵ روی کاغذ، ۰٫۴۲۸۰ در عمل، و در آخر یک `False`.**

**حالا سؤالِ درست را بپرس: چه چیزی باید عوض شود تا این `False` به `True` تبدیل شود؟**

</div>

```python
breakeven = (always - res["fp"] * ALARM * 100 / len(TE)) / (res["fn"] * 100 / len(TE))
print(f"نسبتِ هزینهٔ فعلی (نادیده گرفتن به هشدارِ بی‌جا): {MISS}")
print(f"نسبتی که در آن منتخب و خطِ پایه برابر می‌شوند : {breakeven:.2f}")
print("پس منتخب فقط وقتی می‌ارزد که این نسبت کمتر از آن باشد.")
```

```text
نسبتِ هزینهٔ فعلی (نادیده گرفتن به هشدارِ بی‌جا): 5
نسبتی که در آن منتخب و خطِ پایه برابر می‌شوند : 3.96
پس منتخب فقط وقتی می‌ارزد که این نسبت کمتر از آن باشد.
```

<div dir="rtl">

**۳٫۹۶ عددِ قابلِ گفتگویی است و ۸۶٫۰ نیست.**

جملهٔ «مدل خوب نیست» بحث‌ناپذیر است. جملهٔ **«اگر نادیده گرفتنِ یک تشدید حدودِ دو تا چهار هشدارِ بی‌جا برایتان هزینه دارد، این مدل می‌ارزد؛ کمتر از آن «هیچ‌وقت هشدار نده» ارزان‌تر است و بیشتر از آن «همیشه هشدار بده»»** یک سؤالِ مشخص به کسی می‌دهد که جوابش را می‌داند و تو نمی‌دانی.

**و برای اینکه معلوم شود این مالِ یک نامزدِ بدشانس نیست:**

</div>

```python
grid = [dict(zip(SPACE, v)) for v in itertools.product(*SPACE.values())]
costs = [deploy_eval(c)["cost"] for c in grid]
print("همهٔ پیکربندی‌های فضا:", len(grid))
print(f"ارزان‌ترینشان روی برشِ آینده: {min(costs):.1f}")
print(f"خطِ پایهٔ «همیشه هشدار بده»  : {always:.1f}")
print("چند تا از خطِ پایه ارزان‌ترند:", sum(1 for c in costs if c < always))
```

```text
همهٔ پیکربندی‌های فضا: 432
ارزان‌ترینشان روی برشِ آینده: 77.4
خطِ پایهٔ «همیشه هشدار بده»  : 73.7
چند تا از خطِ پایه ارزان‌ترند: 0
```

<div dir="rtl">

**صفر از ۴۳۲.** این دیگر دربارهٔ انتخابِ ابرپارامتر نیست؛ **دربارهٔ این است که این خانوادهٔ مدل، روی این داده، با این معیارِ هزینه، هنوز به دردِ استقرار نمی‌خورد.**

> 📏 **اندازه بگیر:** **با چه چیزی مقایسه شد؟** با دو خطِ پایهٔ بی‌مدل، و با کلِ فضای جست‌وجو. **روی کدام داده؟** ۳۹۹ ردیفِ آخرِ زمانی که هیچ‌کدام در آموزش نبودند. **با چند `seed`؟** جدولِ نامزدها با پنج‌تا؛ ارزیابیِ زمانی با یکی، **چون تقسیمش ثابت است و `seed` فقط ترتیبِ فرانمونه را عوض می‌کند** — و همین را باید در تصمیم‌نامه نوشت، نه پنهان کرد.

## ۵. تصمیم‌نامه

</div>

```python
DECISION = WORK / "decision.json"
record = {
    "تاریخ": "ثبت‌شده در دفترچه",
    "نامزدها": len(tried),
    "منتخب": FINAL,
    "f1_آفلاین": round(top[0][1], 4),
    "f1_آینده": round(res["f1"], 4),
    "شکاف": round(top[0][1] - res["f1"], 4),
    "p_برابرِ_رتبهٔ_دوم": round(p, 4),
    "هزینهٔ_منتخب": round(res["cost"], 1),
    "هزینهٔ_خط_پایه": round(min(always, never), 1),
    "نسبتِ_سربه‌سر": round(breakeven, 2),
    "تصمیم": "مستقر نشود",
    "دلیل": "روی برشِ زمانیِ بعدی از قاعدهٔ یک‌خطیِ «همیشه هشدار بده» گران‌تر است",
    "شرطِ_بازنگری": "اگر نسبتِ هزینه کمتر از نسبتِ سربه‌سر باشد، یا با پنجرهٔ لغزان بازآموزی شود",
    "env_fp": ENV_FP, "code_fp": CODE_FP, "data_fp": DATA_FP,
}
DECISION.write_text(json.dumps(record, ensure_ascii=False, indent=1), encoding="utf-8")
for k, v in record.items():
    print(f"  {k:<20}{v}")
```

```text-approx
  تاریخ               ثبت‌شده در دفترچه
  نامزدها             20
  منتخب               {'C': 1.0, 'balance': 'weight', 'features': 'text+meta', 'min_df': 5, 'ngram': 1, 'split': 'random'}
  f1_آفلاین           0.7085
  f1_آینده            0.428
  شکاف                0.2805
  p_برابرِ_رتبهٔ_دوم  0.125
  هزینهٔ_منتخب        86.0
  هزینهٔ_خط_پایه      73.7
  نسبتِ_سربه‌سر       3.96
  تصمیم               مستقر نشود
  دلیل                روی برشِ زمانیِ بعدی از قاعدهٔ یک‌خطیِ «همیشه هشدار بده» گران‌تر است
  شرطِ_بازنگری        اگر نسبتِ هزینه کمتر از نسبتِ سربه‌سر باشد، یا با پنجرهٔ لغزان بازآموزی شود
  env_fp              645d3df95dd6
  code_fp             021b7189d7d5
  data_fp             50c6fba97e38
```

<div dir="rtl">

**«شرطِ بازنگری» مهم‌ترین سطرِ این تصمیم‌نامه است.** یک تصمیمِ «نه» بدونِ شرطِ بازنگری، یک بن‌بست است؛ با شرطِ بازنگری، **یک وظیفه برای آینده** است.

## ۶. سیاههٔ تحویل

</div>

```python
def checklist():
    n_runs = LAB.execute("SELECT count(*) FROM runs").fetchone()[0]
    n_ids = LAB.execute("SELECT count(DISTINCT run_id) FROM runs").fetchone()[0]
    envs = LAB.execute("SELECT count(DISTINCT env_fp) FROM runs").fetchone()[0]
    saved = json.loads(DECISION.read_text(encoding="utf-8"))
    checks = [
        ("هر اجرا پیکربندیِ کامل دارد",
         all(set(json.loads(cj)) == set(DEFAULTS)
             for (cj,) in LAB.execute("SELECT config_json FROM runs"))),
        ("هیچ اجرای تکراری ثبت نشده", n_runs == n_ids),
        ("همهٔ اجراها در یک محیط بوده‌اند", envs == 1),
        ("تصمیم روی چند seed گرفته شده", len(SEEDS) >= 5),
        ("اختلافِ دو نامزدِ اول با آزمونِ جفت‌شده سنجیده شده", "p_برابرِ_رتبهٔ_دوم" in saved),
        ("منتخب روی برشِ زمانی هم سنجیده شده", "f1_آینده" in saved),
        ("عددِ نهایی با خطِ پایهٔ بی‌مدل مقایسه شده", "هزینهٔ_خط_پایه" in saved),
        ("تصمیم و دلیلش مکتوب است", bool(saved["تصمیم"]) and bool(saved["دلیل"])),
    ]
    for name, ok in checks:
        print(("  [درست] " if ok else "  [غلط ] ") + name)
    return all(ok for _n, ok in checks)


print("سیاههٔ تحویل کامل است:", checklist())
```

```text
  [درست] هر اجرا پیکربندیِ کامل دارد
  [درست] هیچ اجرای تکراری ثبت نشده
  [درست] همهٔ اجراها در یک محیط بوده‌اند
  [درست] تصمیم روی چند seed گرفته شده
  [درست] اختلافِ دو نامزدِ اول با آزمونِ جفت‌شده سنجیده شده
  [درست] منتخب روی برشِ زمانی هم سنجیده شده
  [درست] عددِ نهایی با خطِ پایهٔ بی‌مدل مقایسه شده
  [درست] تصمیم و دلیلش مکتوب است
سیاههٔ تحویل کامل است: True
```

<div dir="rtl">

**هشت ادعا، هشت‌تا اجراشدنی — و هیچ‌کدامشان نمی‌گویند «مدل خوب است».**

**همه‌شان دربارهٔ فرآیندند، نه دربارهٔ نتیجه**، و این عمدی است: **یک سیاههٔ تحویل نمی‌تواند تضمین کند مدلت کار می‌کند؛ فقط می‌تواند تضمین کند اگر کار نکند، خودت اولین کسی هستی که می‌فهمد.**

> 🔧 **اگر کار نکرد:** اگر بندِ «همهٔ اجراها در یک محیط بوده‌اند» `[غلط]` شد، یعنی نوت‌بوک را در دو نشستِ متفاوت با نسخه‌های متفاوت اجرا کرده‌ای و جدولت اجراهایی از دو دنیا دارد. **علاجش پاک کردنِ آن اجراها نیست؛ افزودنِ `env_fp` به گروه‌بندیِ جدولِ مقایسه است** تا فقط چیزهای هم‌سنگ با هم مقایسه شوند. و اگر بندِ «هیچ اجرای تکراری» غلط شد، جایی `INSERT OR REPLACE` نوشته‌ای — همان تلهٔ فصلِ ۲.

> ✅ **چک کن:** یک بندِ نهم اضافه کن: **«منتخب از خطِ پایه ارزان‌تر است»**. حالا سیاهه `False` می‌دهد. **همان‌جا بگذارش.** یک سیاههٔ تحویلی که همیشه سبز است، هیچ‌وقت چیزی به‌ت نگفته.

> 🤖 **از دستیارت بپرس:** «یک تصمیم‌نامهٔ مدل چه بخش‌هایی باید داشته باشد؟» بعد این را هم بپرس: **«اگر شش ماه بعد داده عوض شده باشد، کدام بخش‌های این تصمیم‌نامه دیگر معتبر نیستند؟»** — جوابِ دوم دقیقاً همان چیزی است که ترمِ ۵ رویش ساخته می‌شود.

## واژه‌های تازهٔ این فصل

</div>

| کلمه | تلفظ به حروف فارسی | یعنی چه |
|---|---|---|
| lab notebook | لب نوت‌بوک | دفترِ ثبتِ همهٔ آزمایش‌ها و تصمیم‌ها |
| decision record | دسیژن رکورد | نوشتنِ تصمیم، دلیلش، و شرطِ بازنگری‌اش |
| break-even ratio | بریک-ایون ریشیو | نسبتی که در آن دو گزینه هزینهٔ برابر پیدا می‌کنند |
| delivery checklist | دلیوری چک‌لیست | فهرستِ ادعاهایی که خودشان اجرا و سنجیده می‌شوند |

<div dir="rtl">

## تمرین‌ها

قبل از تمرین، بدونِ نگاه به بالا جواب بده: چرا بندهای سیاهه دربارهٔ فرآیندند و نه دربارهٔ کیفیتِ مدل؟

**تمرینِ اجباری:** بودجه را از ۲۰ به ۶۰ ببر و کلِ دفترچه را دوباره اجرا کن. **منتخب عوض شد؟ `f1_آینده` بهتر شد؟ هزینه چطور؟** بعد مهم‌ترین قسمتش: **تصمیم عوض شد؟** اگر نه، این را در تصمیم‌نامه به‌عنوان یک شواهدِ تازه اضافه کن — **«با سه برابر بودجه هم به نتیجهٔ دیگری نرسیدیم» یک جملهٔ ارزشمند است**، چون جلوی تکرارِ همین کار توسطِ نفرِ بعدی را می‌گیرد.

**تمرینِ ستاره‌دار ⭐:** یک مدلِ سوم به رقابت اضافه کن که **هیچ یادگیری‌ای ندارد**: قاعدهٔ «اگر تیکت یکی از این سه شکایتِ پرتکرار باشد هشدار بده، وگرنه نه» — سه شکایتی که خودت از دادهٔ گذشته پیدایشان می‌کنی. آن را روی همان برشِ زمانی بسنج و هزینه‌اش را در جدول بگذار. **از مدل‌های یادگرفته ارزان‌تر است؟** بعد سؤالِ آخرِ این ترم: **اگر بله، چه چیزی را در هشت فصلِ گذشته اشتباه فرض کرده بودیم؟** جوابت به تنها قاعده‌ای می‌رسد که هیچ‌وقت نباید فراموشش کنی: **خطِ پایه، اولین آزمایش است، نه آخرینش.**

## در فصل بعد

دفترِ آزمایشت کامل است، تصمیمت مکتوب، و مدلت — با شواهد — مستقر نشد. **ترمِ بعد همان مدلی را برمی‌دارد که مستقر می‌شود و می‌پرسد: چطور به دستِ کاربر می‌رسد؟** بسته‌بندی، سرویس، صف، `cache`، انتشارِ تدریجی، و طرحِ برگشت. **و اولین چیزی که آنجا لازم می‌شود، دقیقاً همان `artifact_sha` و همان تصمیم‌نامه‌ای است که اینجا ساختیم** — چون استقراری که نداند چه چیزی را مستقر می‌کند، برگشت هم ندارد.

</div>

---
Source: https://yaadestan.com/courses/darbast/lessons/t3/s08-project-lab-notebook (یادستان, Yaadestan)
