Training, Validation ও Test data: কেন তিন ভাগ?
Machine learning-এর ডেটা কেন training, validation ও test এই তিন ভাগে ভাগ হয়, প্রতিটির কাজ, কীভাবে ভাগ করবেন এবং data leakage কীভাবে এড়াবেন।
ছোট উত্তর: Training set হলো যে ডেটা থেকে model শেখে, validation set ব্যবহার হয় model বানানোর সময় tuning ও তুলনার জন্য, আর test set শেষ পর্যন্ত অস্পৃষ্ট রাখা হয় যেন চূড়ান্ত model নতুন ডেটায় কেমন কাজ করে তা মাপা যায়। তিন ভাগে train test split মূল্যায়নকে সৎ রাখে, কারণ যে ডেটা model আগেই দেখেছে তাতে সে সবসময় ভালো দেখায়।
শুধু Training ডেটাতেই কেন test করা যায় না?
একটি model তার training উদাহরণ মুখস্থ করে ফেলতে পারে। সেই একই উদাহরণে পরীক্ষা নিলে আপনি জানবেন সে কতটা মনে রাখতে পারে, কিন্তু কখনো না-দেখা ডেটায় কেমন করবে তা জানবেন না। machine learning এই ফারাকটাই কমাতে চায়, আর ডেটা ভাগ করার কারণও এটাই।
তিনটি Set কীসের জন্য?
Set | কীসের জন্য | কখন |
|---|---|---|
Training | model এখান থেকে তার parameter শেখে | training-এর সময় |
Validation | সেটিং (hyperparameter) বাছা, model তুলনা, কখন থামবে ঠিক করা | development-এর সময়, বহুবার |
Test | একটি চূড়ান্ত, পক্ষপাতহীন স্কোর | শেষে, একবার |
একজন শিক্ষার্থীর কথা ভাবুন। Training set হলো পাঠ্যবই ও বাড়ির কাজ, validation set হলো অনুশীলন পরীক্ষা, যা দেখে সে পড়ার ধরন ঠিক করে, আর test set হলো আসল পরীক্ষা, যা সে আগে কখনো দেখেনি।
ডেটা কীভাবে ভাগ করবেন?
কোনো একটিমাত্র সঠিক অনুপাত নেই। ৭০/১৫/১৫ বা ৮০/১০/১০ সাধারণ শুরুর বিন্দু। খুব বড় dataset-এ অল্প শতাংশেও যথেষ্ট validation ও test উদাহরণ পাওয়া যায়। ছোট dataset-এ অনেকে একটি নির্দিষ্ট validation set-এর বদলে cross-validation ব্যবহার করেন। কোনো library ছাড়াই একটি split:
import random
def split_data(items, train=0.7, val=0.15, seed=42):
items = list(items)
random.Random(seed).shuffle(items)
n = len(items)
n_train = int(n * train)
n_val = int(n * val)
return items[:n_train], items[n_train:n_train + n_val], items[n_train + n_val:]
data = list(range(100))
train, val, test = split_data(data)
print(len(train), len(val), len(test)) # 70 15 15
print(set(train) & set(val), set(train) & set(test), set(val) & set(test)) # set() set() set()
নির্দিষ্ট seed দিয়ে shuffle করলে split পুনরায় একই হয়, আর শেষ লাইন প্রমাণ করে তিনটি set-এ কোনো মিল নেই। বাস্তবে scikit-learn-এর train_test_split এটি করে দেয়, যা দেখানো আছে Python for AI টিউটোরিয়ালে scikit-learn দিয়ে প্রথম model অংশে।
Data Leakage কী?
Data leakage ঘটে যখন validation বা test ডেটার তথ্য training-এ ঢুকে পড়ে। সাধারণ কারণ: ভাগ করার আগে পুরো dataset scale বা clean করা, আলাদা set-এ ডুপ্লিকেট থাকা, অথবা সময়ক্রমিক ডেটা shuffle করে model-কে ভবিষ্যৎ দেখিয়ে দেওয়া। Leakage থাকলে স্কোর দারুণ দেখায়, কিন্তু বাস্তবে ফল হতাশাজনক হয়। time series-এ এলোমেলোভাবে নয়, সময় ধরে ভাগ করুন।
সাধারণ ভুল
Test set-এ tuning করা। test ফল দেখে model বদলালে test set আসলে validation set হয়ে যায়, আর পক্ষপাতহীন থাকে না।
Preprocessing-এর পরে split করা। আগে ভাগ করুন, তারপর scaler বা encoder শুধু training ডেটায় fit করুন।
Class-এর ভারসাম্য উপেক্ষা করা। কোনো class বিরল হলে stratified split ব্যবহার করুন, যাতে প্রতিটি set ন্যায্য অংশ পায়।
language-model অ্যাপেও একই ধারণা খাটে: কিছু উদাহরণ আলাদা করে রাখুন, যার বিপরীতে কখনো prompt পাল্টাবেন না। দেখুন AI ও LLM সিস্টেমের কার্যকারিতা কীভাবে মূল্যায়ন করবেন।
মূল কথা
শিখতে train, বাছতে validate, বিচার করতে test একবার। Test set তালা দিয়ে রাখুন, preprocessing-এর আগে split করুন, তাহলে আপনার স্কোরের একটা মানে থাকবে।
শুরু করতে চান? আপনি সেই probability ও statistics শিখবেন, যা মূল্যায়ন, split ও model স্কোর বোঝার ভিত্তি। শুরু করুন ফ্রি কোর্স AI-এর জন্য গণিত ও পরিসংখ্যান: মূল বিষয় দিয়ে।
সম্পর্কিত লেখা
মেশিন লার্নিং বিভাগের আরও লেখা
Precision, Recall আর F1 score সহজ ভাষায়
Precision, recall ও F1 score কী, confusion matrix থেকে কীভাবে হিসাব করবেন, আর আপনার সমস্যায় কোনটি বেশি জরুরি তা কীভাবে বুঝবেন।
4 মিনিট পড়া১৬ নভে, ২০২৬Classification আর Regression: পার্থক্য কী?
Classification ক্যাটাগরি অনুমান করে আর regression সংখ্যা। পার্থক্য, উদাহরণ, metric এবং দুটোর একটি ছোট Python demo দেখুন।
3 মিনিট পড়া১০ নভে, ২০২৬Overfitting আর Underfitting কী? সহজ উদাহরণে
Overfitting ও underfitting কী, training ও test error দেখে কীভাবে চিনবেন এবং কীভাবে ঠিক করবেন, ছোট চালানো যায় এমন উদাহরণসহ।
3 মিনিট পড়া৮ নভে, ২০২৬Deep learning-এর ১০টি বাস্তব ব্যবহার
Deep learning চালায় speech recognition, অনুবাদ, recommendation, chatbot ও আরও অনেক কিছু। ১০টি ব্যবহার এবং প্রতিটির পেছনের model জানুন।
3 মিনিট পড়া৫ নভে, ২০২৬মেশিন লার্নিং-এর জন্য কতটুকু গণিত লাগে?
লক্ষ্য অনুযায়ী সৎ উত্তর: machine learning-এর জন্য linear algebra, probability, statistics ও calculus কতটুকু লাগে, শুরুতে কী বাদ দেবেন, আর coding-এর পাশাপাশি কীভাবে শিখবেন।
4 মিনিট পড়া৩ নভে, ২০২৬নিউরাল নেটওয়ার্ক কী ও কীভাবে কাজ করে? সহজ ভাষায়
Neuron, weight, bias, layer এবং network কীভাবে নিজের ভুল থেকে শেখে, সহজ ভাষায়, হাতের লেখা সংখ্যার উদাহরণসহ, কঠিন অঙ্ক ছাড়া।
4 মিনিট পড়া৩০ অক্টো, ২০২৬
মন্তব্য
আলোচনায় যোগ দিতে সাইন ইন করুন।

