# فصل ۰۵ — مقایسهٔ صادقانه

<div dir="rtl">

# فصل ۰۵ — مقایسهٔ صادقانه

## در این فصل چه یاد می‌گیری

دو پیکربندی که فقط در یک عدد فرق دارند. **با `seed=0` اولی ۰٫۷۱۲۶ و دومی ۰٫۷۰۴۵ می‌دهد — اولی برنده است.** با ده `seed`، میانگینشان ۰٫۶۹۵۳ و ۰٫۶۹۸۷ می‌شود: **دومی جلو افتاد، و آزمونِ جایگشت می‌گوید حتی همین هم معنادار نیست.**

سه ابزار که این را ممکن می‌کنند و هر سه‌شان چند خط کدند:

- **جفت‌کردن**، که بدونِ یک اجرای اضافه نویز را **۳٫۴ برابر** کم می‌کند.
- **آزمونِ جایگشت**، که با ۱۰۲۴ ترکیبِ علامت یک `p` دقیق می‌دهد.
- و شمردنِ **دامِ مقایسهٔ چندگانه**: همین یک پیکربندی را بیست بار اجرا کن و بهترینش را گزارش کن — **۰٫۰۳۱ از عددِ واقعی‌اش جلو زده‌ای.**

![دو خط‌کش که یکی روی یک تختهٔ لرزان و دیگری روی یک تختهٔ محکم بسته شده](/lesson-assets/t3-s05-honest-comparison/prompt/01-image-paired-ruler.png)

آخر این فصل می‌توانی:

- آزمونِ جفت‌شده بنویسی و بگویی چرا از مقایسهٔ دو میانگین دقیق‌تر است
- `p` را با آزمونِ جایگشت از صفر حساب کنی، بدونِ هیچ کتابخانهٔ آماری
- بگویی یک تفاوت واقعی است یا نویز، و عددش را بدهی
- سوگیریِ انتخاب را اندازه بگیری و نشان بدهی چه چیزی خنثایش می‌کند

## قبل از شروع

**از فصلِ ۱ و ۴:** نوسانِ `seed` روی این پیکره حدودِ ۰٫۰۳۷ است، و در فصلِ ۴ دو بار «این دو داخلِ نویزِ همدیگرند» را با چشم گفتیم.

**از ژرفا ترمِ ۵:** `bootstrap` — نمونه‌گیریِ مکررِ با جایگذاری برای تخمینِ نوسانِ یک عدد. **همان‌جا هم `eval` نشان داد یک مجموعهٔ کوچک تفاوت‌های کوچک را نمی‌بیند.** اینجا همان ایده روی اجراها به‌کار می‌رود، نه روی نمونه‌ها.

> 📓 **نوت‌بوک:** [نوت‌بوک این فصل را در Colab باز کن](/notebooks/darbast/term-3-experiments/session-05-honest-comparison.ipynb) — همهٔ کدهای این فصل آماده و به‌ترتیب داخلش هست.

</div>

| اجرا | زمانِ تقریبی |
|---|---|
| کلِ نوت‌بوک روی CPU | یک تا دو دقیقه |
| GPU | لازم نیست |

<div dir="rtl">

## ۱. یک اجرا، یک نتیجه‌گیریِ غلط

</div>

```python
import statistics

A = {"features": "text+meta", "balance": "weight", "min_df": 1}
C = {"features": "text+meta", "balance": "weight", "min_df": 3}

print("با seed=0 :", run(A | {"seed": 0})["f1"], "در برابرِ", run(C | {"seed": 0})["f1"])
```

```text
با seed=0 : 0.7126 در برابرِ 0.7045
```

<div dir="rtl">

**۰٫۷۱۲۶ در برابرِ ۰٫۷۰۴۵.** `A` هشت هزارمِ واحد جلوتر است. اگر همین‌جا تمامش کنی، در گزارش می‌نویسی «`min_df=1` بهتر است».

</div>

```python
SEEDS = list(range(10))
fa = [run(A | {"seed": s})["f1"] for s in SEEDS]
fc = [run(C | {"seed": s})["f1"] for s in SEEDS]
print(f"A (min_df=1): میانگین {statistics.mean(fa):.4f} · "
      f"دامنه [{min(fa):.4f}–{max(fa):.4f}]")
print(f"C (min_df=3): میانگین {statistics.mean(fc):.4f} · "
      f"دامنه [{min(fc):.4f}–{max(fc):.4f}]")
print("A چند بار از C جلو زد:", sum(1 for x, y in zip(fa, fc) if x > y), "از 10")
```

```text
A (min_df=1): میانگین 0.6953 · دامنه [0.6570–0.7273]
C (min_df=3): میانگین 0.6987 · دامنه [0.6713–0.7402]
A چند بار از C جلو زد: 4 از 10
```

<div dir="rtl">

**نتیجه برعکس شد، و `A` فقط در ۴ اجرا از ۱۰ اجرا جلو بود.**

**و به دامنه‌ها نگاه کن: ۰٫۶۵۷ تا ۰٫۷۲۷ در برابرِ ۰٫۶۷۱ تا ۰٫۷۴۰.** تقریباً کاملاً روی هم افتاده‌اند. با این دو دامنه هیچ ادعایی نمی‌شود کرد — **ولی دقیقاً همین‌جاست که بیشترِ گزارش‌ها متوقف می‌شوند و می‌نویسند «تفاوت معنادار نبود».**

**می‌شود بهتر از این عمل کرد، و بدونِ یک اجرای اضافه.**

## ۲. جفت‌کردن: همان اجراها، نویزِ کمتر

**نکته این است که `seed` شمارهٔ ۳ برای هر دو پیکربندی *همان تقسیمِ داده* را می‌سازد.** پس اگر آن تقسیم اتفاقاً سخت بوده، **هر دو** را با هم پایین برده. آن سختی یک عاملِ مشترک است و با تفریق حذف می‌شود.

</div>

```python
import math

d = [x - y for x, y in zip(fa, fc)]
sd_a, sd_c, sd_d = (statistics.pstdev(v) for v in (fa, fc, d))
unpaired = math.sqrt(sd_a ** 2 + sd_c ** 2)
print(f"انحرافِ معیارِ A            : {sd_a:.4f}")
print(f"انحرافِ معیارِ C            : {sd_c:.4f}")
print(f"انحرافِ اختلاف، جفت‌نشده    : {unpaired:.4f}")
print(f"انحرافِ اختلافِ جفت‌شده      : {sd_d:.4f}")
print(f"جفت‌کردن نویز را چند برابر کم کرد: {unpaired / sd_d:.1f}")
```

```text
انحرافِ معیارِ A            : 0.0189
انحرافِ معیارِ C            : 0.0186
انحرافِ اختلاف، جفت‌نشده    : 0.0265
انحرافِ اختلافِ جفت‌شده      : 0.0079
جفت‌کردن نویز را چند برابر کم کرد: 3.4
```

<div dir="rtl">

**۰٫۰۲۶۵ شد ۰٫۰۰۷۹، با همان بیست اجرا.**

این یعنی بخشِ بزرگی از پراکندگیِ هر دو ستون **مالِ خودشان نبود، مالِ تقسیمِ داده بود** — و چون هر دو یک تقسیم را دیدند، آن بخش با تفریق رفت.

> 🌱 **ریشه‌اش کجاست:** اینکه «میانگین به‌تنهایی هیچ نمی‌گوید و همیشه باید پراکندگی کنارش باشد» درسِ [ریشه، ترم ۶ فصل ۶ — میانگین، میانه، پراکندگی](/courses/risheh/lessons/term-6-probability-statistics/session-06-center-spread) است، و همان‌جا این جملهٔ دقیق آمده: **«مقایسهٔ دو گروه فقط از روی میانگینشان، اگر پراکندگی‌ها متفاوت باشد، تقریباً بی‌معنی است.»** آنچه اینجا اضافه می‌کنیم یک قدم جلوتر است: **وقتی دو گروه یک عاملِ مشترک دارند، به‌جای مقایسهٔ دو میانگین، میانگینِ اختلاف‌ها را نگاه کن** — و آن ۳٫۴ برابر دقیقاً همان چیزی است که این کار می‌خرد.

## ۳. `p`، بدونِ هیچ کتابخانهٔ آماری

**سؤالِ درست این است: اگر این دو پیکربندی واقعاً هیچ فرقی نداشته باشند، چقدر پیش می‌آید که اختلافی به بزرگیِ چیزی که دیدیم پیدا شود؟**

اگر فرقی نباشد، **علامتِ هر اختلاف تصادفی است** — به‌همان اندازه ممکن بود مثبت باشد یا منفی. پس همهٔ ۱۰۲۴ ترکیبِ ممکنِ علامت را می‌سازیم و می‌شماریم چند تایشان به‌اندازهٔ مالِ ما یا بیشتر افراطی‌اند.

</div>

```python
import itertools
import random


def sign_flip_p(diffs):
    """آزمونِ جایگشتِ دقیق: هر ۲ به توانِ n ترکیبِ علامت را می‌شمارد."""
    observed = abs(statistics.mean(diffs))
    total = extreme = 0
    for signs in itertools.product((1, -1), repeat=len(diffs)):
        total += 1
        if abs(statistics.mean([s * v for s, v in zip(signs, diffs)])) >= observed:
            extreme += 1
    return extreme / total


def paired_bootstrap(diffs, rounds=2000, seed=0):
    rng = random.Random(seed)
    n = len(diffs)
    means = sorted(statistics.mean([diffs[rng.randrange(n)] for _ in range(n)])
                   for _ in range(rounds))
    return means[int(0.05 * rounds)], means[int(0.95 * rounds)]


low, high = paired_bootstrap(d)
print(f"میانگینِ اختلافِ جفت‌شده : {statistics.mean(d):+.4f}")
print(f"بازهٔ ۹۰٪ با bootstrap  : {low:+.4f} تا {high:+.4f}")
print(f"p آزمونِ جایگشت        : {sign_flip_p(d):.4f}  (روی {2 ** len(d)} ترکیب)")
```

```text
میانگینِ اختلافِ جفت‌شده : -0.0034
بازهٔ ۹۰٪ با bootstrap  : -0.0072 تا +0.0008
p آزمونِ جایگشت        : 0.2266  (روی 1024 ترکیب)
```

<div dir="rtl">

**بازه صفر را در بر می‌گیرد و `p` برابرِ ۰٫۲۳ است. یعنی: نمی‌دانیم.**

**نه اینکه «فرقی ندارند»** — این دو جمله یکی نیستند و خلطشان یکی از رایج‌ترین اشتباه‌هاست. چیزی که داریم می‌گوییم این است: **با ده `seed`، اگر تفاوتی هم هست، آن‌قدر کوچک است که این اندازه‌گیری نمی‌بیندش.**

> 🌱 **ریشه‌اش کجاست:** آن عددِ ۰٫۲۲۶۶ یک احتمال است، و «احتمال» اینجا دقیقاً همان معنایی را دارد که [ریشه، ترم ۶ فصل ۲ — احتمال یعنی چه](/courses/risheh/lessons/term-6-probability-statistics/session-02-probability) می‌سازد: **نسبتِ بلندمدت.** ما ۱۰۲۴ دنیای ممکن ساختیم و شمردیم در ۲۳۲تایشان اختلافی به این بزرگی یا بزرگ‌تر دیده می‌شود. **این «شمردن» است، نه فرمول** — و برای همین است که آزمونِ جایگشت را می‌شود در شش خط نوشت.

## ۴. جفت‌کردن هر دو طرف را می‌بُرد

آن ابزار فقط ادعاهای پوچ را رد نمی‌کند؛ **تفاوت‌های واقعیِ کوچک را هم پیدا می‌کند.**

</div>

```python
D = {"features": "text+meta", "balance": "weight", "min_df": 1, "C": 3.0}
fd = [run(D | {"seed": s})["f1"] for s in SEEDS]
d2 = [x - y for x, y in zip(fa, fd)]
low2, high2 = paired_bootstrap(d2)
print("با seed=0 اختلافِ A و D فقط:", round(fa[0] - fd[0], 4))
print(f"میانگینِ اختلافِ جفت‌شده : {statistics.mean(d2):+.4f}")
print(f"بازهٔ ۹۰٪ با bootstrap  : {low2:+.4f} تا {high2:+.4f}")
print(f"p آزمونِ جایگشت        : {sign_flip_p(d2):.4f}")
print("A چند بار از D جلو زد   :", sum(1 for v in d2 if v > 0), "از 10")
```

```text
با seed=0 اختلافِ A و D فقط: 0.0063
میانگینِ اختلافِ جفت‌شده : +0.0159
بازهٔ ۹۰٪ با bootstrap  : +0.0109 تا +0.0213
p آزمونِ جایگشت        : 0.0020
A چند بار از D جلو زد   : 10 از 10
```

<div dir="rtl">

**این دو نتیجه را کنارِ هم بگذار و کلِ فصل همین است:**

- `A` در برابرِ `C`: با یک `seed` اختلافِ **۰٫۰۰۸۱** — و واقعی نبود.
- `A` در برابرِ `D`: با یک `seed` اختلافِ **۰٫۰۰۶۳** — یعنی حتی کوچک‌تر — **و کاملاً واقعی است.** ده از ده، با `p` برابرِ ۰٫۰۰۲.

**پس بزرگیِ اختلاف در یک اجرا هیچ چیزی دربارهٔ واقعی بودنش نمی‌گوید.** چیزی که می‌گوید، **پایداریِ اختلاف روی `seed`های مختلف** است.

> 📏 **اندازه بگیر:** **با چه چیزی مقایسه شد؟** هر پیکربندی با رقیبش، **روی همان ده تقسیمِ داده** — که همان چیزی است که جفت‌شدن یعنی. **روی کدام داده؟** تقسیمِ تصادفیِ ۲۵ درصدی؛ برای ادعایی دربارهٔ مشتریِ تازه باید `split="group"` می‌شد و عددها کوچک‌تر می‌شدند. **با چند `seed`؟** ده‌تا، و آزمونِ جایگشت روی همان ده‌تا **دقیق** است، نه تقریبی — چون هر ۱۰۲۴ ترکیب شمرده شد.

> ✅ **چک کن:** `SEEDS` را به پنج‌تا کم کن و همان مقایسهٔ `A` و `D` را بزن. **`p` چه می‌شود؟** کمترین `p` ممکن با پنج جفت `2/32 = 0.0625` است — یعنی **با پنج `seed` هیچ‌وقت نمی‌توانی به `p` کمتر از ۰٫۰۶ برسی، هر چقدر هم اختلاف بزرگ باشد.** این سقف را قبل از طراحیِ آزمایش بدان، نه بعدش.

## ۵. دامِ مقایسهٔ چندگانه

</div>

```python
twenty = [run(A | {"seed": s})["f1"] for s in range(20)]
print(f"همان یک پیکربندی، ۲۰ اجرا: میانگین {statistics.mean(twenty):.4f}")
print(f"بهترینِ آن ۲۰ اجرا       : {max(twenty):.4f}")
print(f"تورمِ «بهترین را گزارش کن»: {max(twenty) - statistics.mean(twenty):+.4f}")
```

```text
همان یک پیکربندی، ۲۰ اجرا: میانگین 0.6963
بهترینِ آن ۲۰ اجرا       : 0.7273
تورمِ «بهترین را گزارش کن»: +0.0310
```

<div dir="rtl">

**یک پیکربندی. هیچ‌چیز عوض نشده. و «بهترین نتیجه‌ای که گرفتم» ۰٫۰۳۱ بالاتر از حقیقت است.**

این عدد را با هر «بهبود»ی که در این ترم دیده‌ای مقایسه کن. **بیشترشان از این کوچک‌ترند.** یعنی صرفِ اجرا کردنِ چیزی بیست بار و گزارشِ بهترینش، بزرگ‌تر از اکثرِ پیشرفت‌های واقعی است.

**حالا سؤالِ عملی: وقتی بیست پیکربندیِ متفاوت را مقایسه می‌کنی و برنده را برمی‌داری، چقدر از برتریِ برنده همین تورم است؟**

</div>

```python
CANDIDATES = [{"features": "text+meta", "balance": b, "min_df": m, "C": c}
              for b in ("weight", "oversample")
              for m in (1, 2, 3, 5)
              for c in (0.3, 1.0, 3.0)][:20]
FINAL = list(range(5, 10))
final = [statistics.mean([run(c | {"seed": s})["f1"] for s in FINAL])
         for c in CANDIDATES]


def selection_bias(pick_seeds):
    """چقدر از برتریِ برنده فقط از خودِ انتخاب کردن آمده، نه از خودِ پیکربندی."""
    pick = [statistics.mean([run(c | {"seed": s})["f1"] for s in pick_seeds])
            for c in CANDIDATES]
    best = max(range(len(CANDIDATES)), key=lambda i: pick[i])
    shift = statistics.mean([p - f for p, f in zip(pick, final)])
    return pick[best], final[best], shift, (pick[best] - final[best]) - shift


print(f"  {'انتخاب با':<12}{'برندهٔ انتخاب':>14}{'همان در نهایی':>15}"
      f"{'جابه‌جاییِ همه':>15}{'سوگیریِ انتخاب':>16}")
for name, seeds in (("یک seed", [0]), ("پنج seed", list(range(5)))):
    p_best, f_best, shift, bias = selection_bias(seeds)
    print(f"  {name:<12}{p_best:>14.4f}{f_best:>15.4f}{shift:>15.4f}{bias:>16.4f}")
print("بهترینِ ارزیابیِ نهایی:", round(max(final), 4))
```

```text
  انتخاب با    برندهٔ انتخاب  همان در نهایی جابه‌جاییِ همه  سوگیریِ انتخاب
  یک seed             0.7126         0.6974         0.0096          0.0056
  پنج seed            0.6957         0.7018        -0.0062          0.0000
بهترینِ ارزیابیِ نهایی: 0.7018
```

<div dir="rtl">

**ستونِ آخر جوابِ فصل است: با یک `seed` سوگیریِ انتخاب ۰٫۰۰۵۶ بود؛ با پنج `seed` صفر شد.**

**و ستونِ سومش را جدی بگیر، چون بدونش کلِ این اندازه‌گیری غلط می‌شد.** «جابه‌جاییِ همه» می‌گوید مجموعهٔ `seed`های ارزیابی به‌طورِ کلی از مجموعهٔ انتخاب آسان‌تر یا سخت‌تر بوده — **و این جابه‌جایی روی هر بیست نامزد یکسان اثر می‌گذارد، پس ربطی به انتخاب ندارد و باید از افتِ برنده کم شود.** اگر این تصحیح را نمی‌کردیم، ردیفِ دوم «افتِ منفی» نشان می‌داد و به نتیجهٔ بی‌معنیِ «انتخاب کردن نتیجه را بهتر می‌کند» می‌رسیدیم.

**و نتیجهٔ منفیِ مهم‌تر: در ردیفِ دوم هیچ سوگیری‌ای پیدا نکردیم.** یعنی مقایسهٔ چندگانه یک نفرین نیست که همیشه با تو باشد؛ **یک مسئلهٔ اندازه‌گیری است که با میانگین‌گیری روی چند `seed` قابلِ حل است.** ولی اگر بیست نامزد را با یک `seed` بسنجی، همان ۰٫۰۰۵۶ را در گزارشت داری و اسمش را می‌گذاری بهبود.

**سه قاعدهٔ عملی که از این فصل بیرون می‌آید:**

- **۱)** **قبل از دیدنِ نتیجه** بگو چه چیزی را با چه چیزی مقایسه می‌کنی. هر مقایسه‌ای که بعد از دیدنِ جدول به ذهنت رسیده، یک مقایسهٔ اضافه است و شانسِ خطا را بالا می‌برد.
- **۲)** برای انتخاب و برای گزارش، **دو مجموعهٔ `seed` جدا** به‌کار ببر. عددی که در گزارش می‌نویسی باید از `seed`هایی بیاید که در انتخاب دخالت نداشتند.
- **۳)** اگر با `k` مقایسه سروکار داری، آستانه‌ات را سخت‌تر کن. ساده‌ترین شکلش تقسیمِ آستانه بر `k` است: **با بیست مقایسه، `p` کمتر از ۰٫۰۵ کافی نیست؛ ۰٫۰۰۲۵ لازم است.**

> 🔧 **اگر کار نکرد:** اگر `sign_flip_p` را با `seed`های زیاد صدا بزنی، زمان با هر `seed` اضافه دو برابر می‌شود: `2 ** 15` یعنی ۳۲۷۶۸ ترکیب و چند ثانیه صبر، `2 ** 20` یعنی بیش از یک میلیون ترکیب و حدودِ یک دقیقه، و با سی `seed` نوت‌بوک عملاً قفل می‌شود. **علاجش این نیست که صبر کنی؛ این است که به‌جای شمردنِ همهٔ ترکیب‌ها، چند هزارتا از آن‌ها را تصادفی نمونه بگیری** — یعنی `[rng.choice((1, -1)) for _ in diffs]` در یک حلقهٔ ۱۰۰۰۰تایی. **جوابِ تقریبی در کمتر از یک ثانیه بهتر از جوابِ دقیقی است که هرگز نمی‌آید.**

> 🤖 **از دستیارت بپرس:** «تفاوتِ آزمونِ جفت‌شده با آزمونِ مستقل چیست و چرا جفت‌شده توانِ بیشتری دارد؟» بعد این را هم بپرس: **«اگر بخواهم سه مدل را با هم مقایسه کنم نه دوتا، چه چیزی عوض می‌شود؟»** — جوابِ دوم دقیقاً همان دامِ مقایسهٔ چندگانه است، این بار از سمتِ تعدادِ مدل‌ها.

## واژه‌های تازهٔ این فصل

</div>

| کلمه | تلفظ به حروف فارسی | یعنی چه |
|---|---|---|
| paired test | پیرد تست | مقایسهٔ دو گزینه روی **همان** شرایط، با تفریقِ نتیجه‌ها |
| permutation test | پرمیوتیشن تست | شمردنِ همهٔ ترتیب‌های ممکن برای گرفتنِ `p` |
| p-value | پی-ولیو | احتمالِ دیدنِ چنین اختلافی وقتی هیچ تفاوتی وجود ندارد |
| confidence interval | کانفیدنس اینتروال | بازه‌ای که مقدارِ واقعی محتمل است داخلش باشد |
| multiple comparisons | مالتیپل کامپریزنز | زیاد شدنِ شانسِ خطا وقتی مقایسه‌های زیادی می‌کنی |
| selection bias | سلکشن بایاس | تورمِ نتیجه فقط به‌خاطرِ اینکه بهترین را انتخاب کرده‌ای |

<div dir="rtl">

## تمرین‌ها

قبل از تمرین، بدونِ نگاه به بالا جواب بده: چرا اختلافِ ۰٫۰۰۶۳ واقعی بود و اختلافِ ۰٫۰۰۸۱ نبود؟

**تمرینِ اجباری:** یک تابعِ `compare(cfg_a, cfg_b, seeds)` بنویس که یک سطرِ آماده برای گزارش برگرداند: میانگینِ اختلاف، بازهٔ ۹۰٪، `p`، و تعدادِ بردها. حالا با آن **پنج نامزدِ اولِ بخشِ ۵ را با نامزدِ اولشان مقایسه کن** و جدولش را چاپ کن. بعد آستانهٔ ۰٫۰۵ را به ۰٫۰۵ تقسیم بر تعدادِ مقایسه‌ها سخت‌تر کن. **چند مقایسه از سخت‌ترین آستانه رد می‌شوند؟** و اگر هیچ‌کدام رد نشدند، **این خودش یک نتیجه است — بنویسش.**

**تمرینِ ستاره‌دار ⭐:** `sign_flip_p` را با نسخهٔ نمونه‌گیریِ تصادفی جایگزین کن (۱۰ هزار ترکیبِ تصادفی به‌جای همهٔ ترکیب‌ها) و برای همان `d` هر دو را مقایسه کن. **چقدر اختلاف دارند؟** بعد سؤالِ اصلی: نسخهٔ نمونه‌گیری را ده بار با `seed`های مختلف بزن و **پراکندگیِ خودِ `p` را گزارش کن.** جوابت به یک نکتهٔ ظریف می‌رسد: **`p` هم یک تخمین است و خودش نوسان دارد** — و کسی که `p` برابرِ ۰٫۰۴۹ را «معنادار» و ۰٫۰۵۱ را «بی‌معنا» می‌خواند، این را ندیده.

## در فصل بعد

حالا می‌توانی برنده را صادقانه انتخاب کنی. **مسئلهٔ بعدی نگه‌داشتنِ آن برنده است:** فایلِ مدل کجا می‌رود، چطور به اجرایی که ساختش وصل می‌ماند، و چطور شش ماه بعد می‌فهمی مدلی که در تولید است دقیقاً از کدام داده و کدام کد درآمده. **فصلِ بعد رجیستریِ مدل را می‌سازد** — و اولین چیزی که ثابت می‌کنیم این است که مدلِ بارگذاری‌شده از رجیستری **دقیقاً همان عددی را می‌دهد که موقعِ ثبت گزارش شده بود.**

</div>

---
Source: https://yaadestan.com/courses/darbast/lessons/t3/s05-honest-comparison (یادستان, Yaadestan)
