Overfitting আর Underfitting কী? সহজ উদাহরণে
Overfitting ও underfitting কী, training ও test error দেখে কীভাবে চিনবেন এবং কীভাবে ঠিক করবেন, ছোট চালানো যায় এমন উদাহরণসহ।
ছোট উত্তর: Overfitting মানে model তার training data, এমনকি noise-সহ মুখস্থ করে ফেলেছে, তাই দেখা ডেটায় ভালো করে কিন্তু নতুন ডেটায় খারাপ করে। Underfitting উল্টো: model এত সহজ যে আসল নকশাই শিখতে পারেনি, তাই দুই ক্ষেত্রেই খারাপ করে। ভালো model থাকে এ দুইয়ের মাঝখানে এবং কখনো না-দেখা ডেটাতেও ভালো করে।
সহজ ভাষায় overfitting কী?
ভাবুন একজন ছাত্র গত বছরের পরীক্ষার উত্তর শব্দে শব্দে মুখস্থ করেছে। সেই পরীক্ষায় সে পূর্ণ নম্বর পাবে, কিন্তু প্রশ্ন বদলালে ফেল করবে। এটাই overfitting: উদাহরণ শেখা, উদাহরণের পেছনের ধারণা নয়।
Underfitting কী?
এবার ভাবুন আরেক ছাত্র শুধু শিখেছে "উত্তর সাধারণত B"। বিষয়টা সে বোঝেইনি, তাই পুরোনো ও নতুন দুই পরীক্ষাতেই খারাপ করে। অতি সহজ model, কম training বা অকাজের input থাকলে model একই রকম আচরণ করে।
দুটির পার্থক্য কীভাবে বুঝবেন?
Training ডেটার error-এর সঙ্গে আলাদা একটি test set-এর error তুলনা করুন, যার ওপর model কখনো training পায়নি।
Underfitting | ভালো fit | Overfitting | |
|---|---|---|---|
Training error | বেশি | কম | খুবই কম |
Test error | বেশি | কম, training-এর কাছাকাছি | training-এর চেয়ে অনেক বেশি |
Model | অতি সহজ | প্রায় ঠিক | অতি জটিল বা অতিরিক্ত training |
কোডে কি দেখা যায়?
এই ছোট script-এ কোনো library লাগে না। আসল নকশা হলো noise-সহ একটি সরলরেখা। আমরা তুলনা করছি এমন model, যে input উপেক্ষা করে; এমন model, যে training point মুখস্থ করে; এবং একটি fit করা রেখা।
import random
random.seed(1)
data = [(x, 2 * x + random.gauss(0, 3)) for x in range(20)]
random.shuffle(data)
train, test = data[:10], data[10:]
def mse(model, rows):
return sum((model(x) - y) ** 2 for x, y in rows) / len(rows)
# Underfit: ignores x and always predicts the training average
avg = sum(y for _, y in train) / len(train)
too_simple = lambda x: avg
# Overfit: memorises the training set and copies the closest training point
memoriser = lambda x: min(train, key=lambda r: abs(r[0] - x))[1]
# Good fit: a straight line found by least squares
mx = sum(x for x, _ in train) / len(train)
slope = sum((x - mx) * (y - avg) for x, y in train) / sum((x - mx) ** 2 for x, _ in train)
line = lambda x: avg + slope * (x - mx)
for name, m in [("too simple", too_simple), ("memoriser", memoriser), ("line", line)]:
print(f"{name:10} train {mse(m, train):7.1f} test {mse(m, test):7.1f}")একটি সাধারণ রান এ রকম কিছু ছাপে (সঠিক মান random seed থেকে আসে):
too simple train 91.1 test 222.5
memoriser train 0.0 test 18.9
line train 6.6 test 12.4"too simple" model সবখানে খারাপ। Memoriser-এর training error শূন্য, কিন্তু test error রেখার চেয়ে বেশি। রেখার training error সামান্য এবং test error সবচেয়ে কম। ভালো fit দেখতে এমনই হয়।
Overfitting ও underfitting কীভাবে কমাবেন?
Overfitting: বেশি training data নিন, model সহজ করুন, আগে training থামান, regularization ব্যবহার করুন, অথবা neural network-এ dropout ব্যবহার করুন।
Underfitting: আরও সক্ষম model নিন, কাজের feature যোগ করুন, অথবা বেশি সময় training দিন।
সবসময়: test set রাখুন, ডেটা কম হলে cross-validation ব্যবহার করুন, যাতে performance সৎভাবে মাপা যায়।
Model ঠিকভাবে মাপার আরও বিষয়ে দেখুন precision, recall, F1 ও confusion matrix এবং machine learning-এর ধরন।
সাধারণ ভুল
শুধু training score দেখে model বিচার করা।
বারবার test set দেখে model টিউন করা। এতে test ডেটা সিদ্ধান্তে ঢুকে যায়। একটি চূড়ান্ত set অস্পৃশ্য রাখুন।
ধরে নেওয়া যে বড় model সবসময় ভালো।
মূল কথা
Overfitting মুখস্থ করে, underfitting কখনো শেখে না। Training ও test error তুলনা করুন এবং এমন model চান, যা নতুন ডেটায় ভালো করে।
শুরু করতে চান? Model মূল্যায়নের পেছনের গণিত ও পরিসংখ্যান শিখুন, গড় ও error থেকে probability পর্যন্ত। শুরু করুন ফ্রি কোর্স AI-এর জন্য গণিত ও পরিসংখ্যান: মূল বিষয় দিয়ে।
সম্পর্কিত লেখা
মেশিন লার্নিং বিভাগের আরও লেখা
Training, Validation ও Test data: কেন তিন ভাগ?
Machine learning-এর ডেটা কেন training, validation ও test এই তিন ভাগে ভাগ হয়, প্রতিটির কাজ, কীভাবে ভাগ করবেন এবং data leakage কীভাবে এড়াবেন।
3 মিনিট পড়া১৩ নভে, ২০২৬Classification আর Regression: পার্থক্য কী?
Classification ক্যাটাগরি অনুমান করে আর regression সংখ্যা। পার্থক্য, উদাহরণ, metric এবং দুটোর একটি ছোট Python demo দেখুন।
3 মিনিট পড়া১০ নভে, ২০২৬Deep learning-এর ১০টি বাস্তব ব্যবহার
Deep learning চালায় speech recognition, অনুবাদ, recommendation, chatbot ও আরও অনেক কিছু। ১০টি ব্যবহার এবং প্রতিটির পেছনের model জানুন।
3 মিনিট পড়া৫ নভে, ২০২৬মেশিন লার্নিং-এর জন্য কতটুকু গণিত লাগে?
লক্ষ্য অনুযায়ী সৎ উত্তর: machine learning-এর জন্য linear algebra, probability, statistics ও calculus কতটুকু লাগে, শুরুতে কী বাদ দেবেন, আর coding-এর পাশাপাশি কীভাবে শিখবেন।
4 মিনিট পড়া৩ নভে, ২০২৬নিউরাল নেটওয়ার্ক কী ও কীভাবে কাজ করে? সহজ ভাষায়
Neuron, weight, bias, layer এবং network কীভাবে নিজের ভুল থেকে শেখে, সহজ ভাষায়, হাতের লেখা সংখ্যার উদাহরণসহ, কঠিন অঙ্ক ছাড়া।
4 মিনিট পড়া৩০ অক্টো, ২০২৬মেশিন লার্নিং-এর প্রকারভেদ: Supervised, Unsupervised ও Reinforcement
Machine learning-এর প্রধান তিনটি ধরন আছে। দৈনন্দিন উদাহরণ ও তুলনার ছকসহ জানুন supervised, unsupervised ও reinforcement learning-এর পার্থক্য।
3 মিনিট পড়া৩০ অক্টো, ২০২৬
মন্তব্য
আলোচনায় যোগ দিতে সাইন ইন করুন।

