মডেল মাপা: প্রিসিশন, রিকল ও কনফিউশন ম্যাট্রিক্স

import numpy as np

# 1 = স্প্যাম, 0 = স্প্যাম না, ১২টা ইমেইলের জন্য
actual    = np.array([1, 1, 1, 1, 0, 0, 0, 0, 0, 0, 0, 0])
predicted = np.array([1, 1, 1, 0, 1, 0, 0, 0, 0, 0, 0, 0])

tp = np.sum((predicted == 1) & (actual == 1))    # ধরা পড়া স্প্যাম
fp = np.sum((predicted == 1) & (actual == 0))    # ভালো ইমেইল ভুল করে চিহ্নিত
fn = np.sum((predicted == 0) & (actual == 1))    # যে স্প্যাম ফাঁক গলে ঢুকেছে
tn = np.sum((predicted == 0) & (actual == 0))    # ভালো ইমেইল যেমন ছিল

print(f"TP={tp} FP={fp} FN={fn} TN={tn}")
precision = tp / (tp + fp)
recall = tp / (tp + fn)
print(f"accuracy  {(tp + tn) / len(actual):.2f}")
print(f"precision {precision:.2f}")
print(f"recall    {recall:.2f}")
print(f"F1        {2 * precision * recall / (precision + recall):.2f}")

TP=3 FP=1 FN=1 TN=7
accuracy  0.83
precision 0.75
recall    0.75
F1        0.75

import numpy as np

rng = np.random.default_rng(4)
actual = (rng.random(10_000) < 0.01).astype(int)   # ১% লেনদেন প্রতারণা

lazy = np.zeros_like(actual)                       # এমন একটা "মডেল", যা কখনো প্রতারণা বলে না
print(f"accuracy of always saying 'not fraud': {np.mean(lazy == actual):.1%}")
print(f"frauds it catches (recall): {np.sum((lazy == 1) & (actual == 1))} of {actual.sum()}")

accuracy of always saying 'not fraud': 98.9%
frauds it catches (recall): 0 of 109

import numpy as np

rng = np.random.default_rng(8)
actual = rng.random(2000) < 0.2                          # ২০% পজিটিভ
# একটা মডেলের সম্ভাবনা: আসল পজিটিভের জন্য গড়ে বেশি
score = np.clip(np.where(actual, rng.normal(0.7, 0.15, 2000), rng.normal(0.35, 0.15, 2000)), 0, 1)

for threshold in [0.3, 0.5, 0.7]:
    pred = score >= threshold
    tp = np.sum(pred & actual)
    precision = tp / pred.sum()
    recall = tp / actual.sum()
    print(f"threshold {threshold}: precision {precision:.2f}, recall {recall:.2f}")

threshold 0.3: precision 0.27, recall 1.00
threshold 0.5: precision 0.56, recall 0.89
threshold 0.7: precision 0.93, recall 0.49