অধ্যায় 5 · মান, রিলিজ ও সামনের পথ
সফটওয়্যারের মান, টেস্টিং ও QA
- পৃষ্ঠা 15 / 18
- 19 মিনিট পড়া
ClinicQueue প্রায় তৈরি। রোগীরা স্লট বুক করতে পারেন, ফারহানের ল্যাপটপে SMS রিমাইন্ডার কাজ করছে, আর রিনা একটা ডেমোতে কিউ স্ক্রিন দেখেছেন। নাদিয়া স্বাভাবিক প্রশ্নটাই করেন: "আসল রোগীদের জন্য চালু করার মতো ভালো কি না?" অনুভূতি দিয়ে এর উত্তর কেউ দিতে পারে না। উত্তর আসে পুরো প্রজেক্ট জুড়ে করা মানের কাজ থেকে, আর এমন টেস্টিং থেকে যেটা আগে থেকে পরিকল্পনা করা, তাৎক্ষণিক বানানো নয়।
আগের পাতা কোড রিভিউ, ভার্সন কন্ট্রোল ও টিমের কাজের ধারা-তে দেখেছেন, একটা টিম কীভাবে মেইন ব্রাঞ্চকে রিলিজযোগ্য রাখে। এই পাতা হলো, টিম কীভাবে জানে যে সেটা সত্যিই রিলিজযোগ্য। আপনি কোয়ালিটি অ্যাসিওরেন্সকে টেস্টিং থেকে আলাদা করবেন, চারটা টেস্ট লেভেল আর টেস্ট পিরামিডের সাথে পরিচিত হবেন, দুটো ক্লাসিক কৌশলে টেস্ট কেস (test case) বানিয়ে Python-এর বিল্ট-ইন unittest দিয়ে চালাবেন, একটা কাজের বাগ রিপোর্ট লিখবেন, আর দেখবেন এমন একটা ফিচার কীভাবে টেস্ট করতে হয় যার আউটপুট একটা AI মডেল লেখে। এখানকার ClinicQueue-এর প্রতিটা সংখ্যা আর নিয়ম কাল্পনিক।
যা শিখবেন
- কোয়ালিটি অ্যাসিওরেন্স, কোয়ালিটি কন্ট্রোল আর টেস্টিংয়ের পার্থক্য, আর ভেরিফিকেশন ও ভ্যালিডেশনের পার্থক্য।
- প্রচলিত চারটা টেস্ট লেভেল (ইউনিট, ইন্টিগ্রেশন, সিস্টেম, অ্যাকসেপ্টেন্স) আর টেস্ট পিরামিডের ধারণা।
- ইকুইভ্যালেন্স পার্টিশনিং আর বাউন্ডারি ভ্যালু দিয়ে কীভাবে টেস্ট কেস বাছবেন, আর
assertওunittestদিয়ে সেগুলো চালাবেন। - ভালো বাগ রিপোর্ট কীভাবে লিখবেন, সিভিয়ারিটি আর প্রায়োরিটি কেন আলাদা, আর একটা ডিফেক্ট তার লাইফ সাইকেলে কীভাবে এগোয়।
- সম্ভাব্য সব আউটপুটের তালিকা করা না গেলে একটা AI ফিচার কীভাবে টেস্ট করবেন।
মান, QA ও টেস্টিং
"মান" (quality) শব্দটা অস্পষ্ট শোনায়, কিন্তু আগের পাতাগুলোতে আপনি এটাকে নির্দিষ্ট করে ফেলেছেন: ফাংশনাল রিকোয়ারমেন্ট বলে ClinicQueue-কে কী করতে হবে, নন-ফাংশনাল রিকোয়ারমেন্ট (রিকোয়ারমেন্টের পাতাগুলোর ISO/IEC 25010 চেকলিস্ট থেকে) বলে কতটা ভালোভাবে, আর অ্যাকসেপ্টেন্স ক্রাইটেরিয়া বলে নাদিয়া কীভাবে সেটা যাচাই করবেন। মান মানে প্রোডাক্টটা সেই চাহিদাগুলো পূরণ করে। তিনটা কাজ মানকে রক্ষা করে, আর মানুষ প্রায়ই এদের নাম গুলিয়ে ফেলে।
QA, QC ও টেস্টিং
ISTQB Certified Tester Foundation Level সিলেবাস (v4.0.1), সফটওয়্যার টেস্টারদের জন্য একটা আন্তর্জাতিক সিলেবাস, সীমারেখাটা এভাবে টানে। কোয়ালিটি অ্যাসিওরেন্স (QA) হলো "process-oriented, preventive approach", অর্থাৎ প্রক্রিয়ামুখী, প্রতিরোধমূলক পদ্ধতি: এটা টিমের কাজের ধরন উন্নত করে, যাতে শুরু থেকেই কম ডিফেক্ট তৈরি হয়, আর এটা "the responsibility of everyone on a project", মানে প্রজেক্টের সবার দায়িত্ব। টেস্টিং হলো "product-oriented, corrective approach", অর্থাৎ প্রোডাক্টমুখী, সংশোধনমূলক পদ্ধতি: এটা প্রোডাক্ট পরীক্ষা করে ডিফেক্ট খুঁজে বের করে, যাতে সেগুলো ঠিক করা যায়। টেস্টিং হলো "a major form of quality control (QC)", কোয়ালিটি কন্ট্রোলের একটা প্রধান রূপ; QC হলো প্রোডাক্টটাকেই যাচাই করার কাজগুলোর পরিবার।
| কোয়ালিটি অ্যাসিওরেন্স | কোয়ালিটি কন্ট্রোল (টেস্টিংসহ) | |
|---|---|---|
| কী দেখে | প্রক্রিয়া: টিম কীভাবে কাজ করে | প্রোডাক্ট: টিম কী বানিয়েছে |
| লক্ষ্য | ডিফেক্ট প্রতিরোধ | ডিফেক্ট খুঁজে বের করা, যাতে ঠিক করা যায় |
| ClinicQueue-এর উদাহরণ | প্রতিটা পুল রিকোয়েস্টে রিভিউ লাগে; কাজ শুরুর আগে প্রতিটা স্টোরির অ্যাকসেপ্টেন্স ক্রাইটেরিয়া থাকে; টিম একটা Definition of Done ঠিক করে | কোয়ামে বুকিং ফ্লোর সিস্টেম টেস্ট চালান; প্রতিটা push-এ ফারহানের ইউনিট টেস্ট চলে; একজন রিভিউয়ার diff পড়েন |
| কে করে | সবাই | টেস্টার, ডেভেলপার, রিভিউয়ার, আর অ্যাকসেপ্টেন্সের সময় কাস্টমার |
তাই কোয়ামে এমন "মানের লোক" নন যিনি শেষে সবার ভুল ধরবেন; তিনি টেস্টিংয়ের বিশেষজ্ঞ, এমন একটা টিমে যেখানে মানের দায় সবার।
ভেরিফিকেশন ও ভ্যালিডেশন
ISTQB ভেরিফিকেশন (verification)-এর সংজ্ঞা দেয় "checking whether the system meets specified requirements", অর্থাৎ সিস্টেমটা নির্দিষ্ট করে লেখা রিকোয়ারমেন্ট পূরণ করে কি না তা যাচাই করা; আর ভ্যালিডেশন (validation)-এর সংজ্ঞা "checking whether the system meets users' and other stakeholders' needs in its operational environment", অর্থাৎ ব্যবহারের আসল পরিবেশে সিস্টেমটা ইউজার ও অন্য স্টেকহোল্ডারদের চাহিদা মেটায় কি না তা যাচাই করা। মনে রাখার প্রচলিত উপায়: ভেরিফিকেশন জিজ্ঞেস করে "ঠিকভাবে বানিয়েছি কি না?", ভ্যালিডেশন জিজ্ঞেস করে "ঠিক জিনিসটা বানিয়েছি কি না?"
কাল্পনিক পরিস্থিতি:
Requirement REQ-05: "The queue screen shall list today's patients in order of appointment time."
Verification: Kwame checks the screen with 12 test bookings. They appear in time order.
REQ-05 passes.
Validation: Rina uses the screen for one real morning at the front desk. Patients who arrive
early are served early, so the time order is not the order she actually calls them.
She needs an "arrived" mark and a second list. REQ-05 was met, but the need was not.দুটো যাচাইই দরকার: সফটওয়্যার লিখিত রিকোয়ারমেন্টের সাথে হুবহু মিলেও তার ইউজারদের কাছে ব্যর্থ হতে পারে। এ কারণেই আসল ইউজারদের নিয়ে, তাঁদের আসল পরিবেশে অ্যাকসেপ্টেন্স টেস্টিং প্রতিটা পরিকল্পনায় থাকা উচিত।
এরর, ডিফেক্ট, ফেইলিওর
টেস্টাররা তিনটা শব্দ সাবধানে ব্যবহার করেন। ISTQB-এর ভাষায়: "Human beings make errors (mistakes), which produce defects (faults, bugs), which in turn may result in failures." অর্থাৎ মানুষ ভুল (error) করে, সেই ভুল থেকে ডিফেক্ট (fault, বাগ) তৈরি হয়, আর ডিফেক্ট থেকে ফেইলিওর (failure) ঘটতে পারে। ফারহান নিয়মটা ভুল বোঝেন (একটা এরর), <=-এর বদলে < লেখেন (একটা ডিফেক্ট, বা বাগ), আর একজন রোগী ১৪ দিন আগে বুক করতে পারেন না (একটা ফেইলিওর, ভুল আচরণ যা কেউ দেখতে পায়)। কিছু ডিফেক্ট কখনো ফেইলিওর ঘটায় না (সেই কোড কখনো চলেই না), আর কিছু ফেইলিওরের কারণ অন্য কিছু, যেমন ভরে যাওয়া ডিস্ক।
জেনে রাখার মতো সাতটা নীতি
একই সিলেবাসে টেস্টিংয়ের সাতটা নীতি আছে। মুখস্থ করার দরকার নেই, কিন্তু প্রতিটা নীতি আপনার টেস্ট পরিকল্পনা বদলে দেয়:
| নীতি | ClinicQueue-এর জন্য এর মানে |
|---|---|
| ১ টেস্টিং ডিফেক্টের উপস্থিতি দেখায়, অনুপস্থিতি নয় | "সব টেস্ট পাস" মানে কোনো টেস্ট বাগ খুঁজে পায়নি, বাগ নেই এমন নয়। |
| ২ সম্পূর্ণ (exhaustive) টেস্টিং অসম্ভব | প্রতিটা তারিখ, সময় আর ফোন নম্বর চেষ্টা করা যায় না, তাই কৌশল দিয়ে টেস্ট কেস বাছতে হয় (পরের অংশগুলো)। |
| ৩ আগেভাগে টেস্টিং সময় ও টাকা বাঁচায় | কোডিংয়ের আগে অ্যাকসেপ্টেন্স ক্রাইটেরিয়া রিভিউ করলে সমস্যা ধরা পড়ে তখন, যখন তার দাম একটা আলোচনা, নতুন করে লেখা নয়। |
| ৪ ডিফেক্ট একসাথে জটলা বাঁধে | তারিখ সামলানোর কোডে তিনটা বাগ থাকলে চতুর্থটার জন্য সেখানেই বেশি খুঁজুন। |
| ৫ টেস্ট পুরোনো হয়ে যায় | একই টেস্ট চিরকাল চালালে নতুন বাগ কম ধরা পড়ে; কোড বদলালে নতুন কেস যোগ করুন। |
| ৬ টেস্টিং প্রেক্ষাপটের ওপর নির্ভর করে | ক্লিনিকের বুকিং অ্যাপের টেস্টিং একটা গেম বা বেতন হিসাবের সিস্টেম থেকে আলাদা। |
| ৭ ডিফেক্ট-শূন্যতার ভ্রান্তি | বাগহীন কিন্তু রিনা ব্যবহার করতে পারেন না এমন কিউ স্ক্রিনও ব্যর্থ (ওপরের ভ্যালিডেশনের ঘটনা)। |
টেস্ট লেভেল ও টেস্ট পিরামিড
একবারে সিস্টেমের কতটা অংশ চালানো হয় তার ভিত্তিতে টেস্টকে লেভেলে ভাগ করা হয়। রোডম্যাপের চারটা লেভেল প্রচলিত নাম; ISTQB ইউনিট টেস্টিংকে বলে "component testing", আর ইন্টিগ্রেশনকে কম্পোনেন্ট ইন্টিগ্রেশন ও সিস্টেম ইন্টিগ্রেশন টেস্টিংয়ে ভাগ করে।
| লেভেল | কী যাচাই করে | ClinicQueue-এর উদাহরণ | সাধারণত কে করে |
|---|---|---|---|
| ইউনিট (কম্পোনেন্ট) | একটা ফাংশন বা ক্লাস, আলাদাভাবে | can_book(14) True ফেরত দেয় | ডেভেলপার, স্বয়ংক্রিয়ভাবে |
| ইন্টিগ্রেশন | কয়েকটা অংশ একসাথে কাজ করে কি না | বুকিং API ডেটাবেসে একটা সারি সেভ করে আর SMS মডিউল সেটা তুলে নেয় | ডেভেলপার ও টেস্টার |
| সিস্টেম | পুরো প্রোডাক্ট, শুরু থেকে শেষ, রিকোয়ারমেন্টের সাথে মিলিয়ে | কোয়ামে একটা টেস্ট সার্ভারে ব্রাউজারে বুক, বাতিল আর আবার বুক করেন, তারপর SMS আর কিউ স্ক্রিন যাচাই করেন | টেস্টার |
| অ্যাকসেপ্টেন্স | কাস্টমার ও ইউজাররা আসল ব্যবহারের জন্য এটা গ্রহণ করেন কি না | নাদিয়া আর রিনা টেস্ট সার্ভারে রিকোয়ারমেন্টের পাতাগুলোর Given/When/Then ক্রাইটেরিয়া চালান | কাস্টমার ও ইউজার, টিমের সাথে |
আগে Given/When/Then আকারে যে অ্যাকসেপ্টেন্স ক্রাইটেরিয়া লিখেছিলেন, সেগুলো আসলে অপেক্ষমাণ অ্যাকসেপ্টেন্স টেস্ট। "Given একটা স্লট খালি, when একজন রোগী সেটা বুক করেন, then স্লটটা বাকি সবার কাছে বুক করা দেখায়" অ্যাকসেপ্টেন্স লেভেলে একটা নির্দিষ্ট যাচাই হয়ে যায়, আর প্রায়ই নিচের লেভেলে একটা ছোট স্বয়ংক্রিয় টেস্টও।
টেস্ট পিরামিড
মাইক কোনের টেস্ট পিরামিড (তিনি প্রথম এটা আঁকেন ২০০৩ থেকে ২০০৪ সালের দিকে, আর ২০০৯ সালের বই Succeeding with Agile-এ এর নাম দেন "Test Automation Pyramid") আকারের একটা নিয়ম দেয়: ধীর, বিস্তৃত টেস্টের চেয়ে দ্রুত, নিচের লেভেলের টেস্ট অনেক বেশি রাখুন।
উদাহরণ:
/\
/ \ few end-to-end / UI tests
/ UI \ (slow, break easily, but test what users see)
/------\
/ \ some integration / service tests
/ service \ (API + database + SMS stub)
/------------\
/ \ many unit tests
/ unit \ (milliseconds each, run on every push)
/------------------\কেন এই আকার? can_book-এর একটা ইউনিট টেস্ট এক সেকেন্ডের ভগ্নাংশে চলে, আর ফেল করলে একটা নির্দিষ্ট ফাংশন দেখিয়ে দেয়। পুরো বুকিং ফ্লোর একটা ব্রাউজার টেস্ট অনেক বেশি সময় নেয়, পাতা দেরিতে লোড হলেও ফেল করতে পারে, আর শুধু জানায় "বুকিংয়ে কিছু একটা ভেঙেছে"। পিরামিড ভারসাম্যের ধারণা, নির্দিষ্ট অনুপাত নয়; প্রতিটা স্তরে কত শতাংশ, তার কোনো নির্ভরযোগ্য নিয়ম নেই। যেসব অ্যাপ মূলত বিভিন্ন সার্ভিস জোড়া দেয়, সেখানে কিছু অভিজ্ঞ লোক ইন্টিগ্রেশন টেস্টকে বড় ভাগ দেন। যেভাবেই হোক, প্রধানত ধীর এন্ড-টু-এন্ড টেস্টের ওপর ভরসা করবেন না।
টেস্ট কেস বাছাই: পার্টিশন ও বাউন্ডারি
নীতি ২ বলে, সবকিছু টেস্ট করা যায় না। ব্ল্যাক-বক্স কৌশল কোড না দেখে শুধু স্পেসিফিকেশন থেকে টেস্ট কেস বাছে। সবচেয়ে কাজের দুটো কৌশল একসাথে চলে।
রিকোয়ারমেন্ট থেকে ClinicQueue-এর একটা কাল্পনিক নিয়ম: একজন রোগী ১ থেকে ১৪ দিন আগে পর্যন্ত একটা স্লট বুক করতে পারেন। আজকের দিন (০ দিন আগে) চলবে না, কারণ ফ্রন্ট ডেস্ক আগের দিন সন্ধ্যায় প্রতিটা দিনের পরিকল্পনা করে।
ইকুইভ্যালেন্স পার্টিশনিং
সম্ভাব্য ইনপুটগুলোকে এমন দলে (পার্টিশন) ভাগ করুন, যাদের সাথে সফটওয়্যারের একই আচরণ করার কথা। একটা দলের একটা মান কাজ করলে বাকিগুলোও খুব সম্ভবত করবে, তাই শুরুতে প্রতি পার্টিশনে একটা টেস্টই যথেষ্ট।
| পার্টিশন | মান | প্রত্যাশিত | একটা টেস্ট মান |
|---|---|---|---|
| খুব আগে | ০ ও তার কম | প্রত্যাখ্যাত | -3 |
| অনুমোদিত | ১ থেকে ১৪ | গৃহীত | 7 |
| খুব দেরিতে | ১৫ ও তার বেশি | প্রত্যাখ্যাত | 30 |
বাউন্ডারি ভ্যালু অ্যানালাইসিস
ডিফেক্ট কিনারা ভালোবাসে: <=-এর জায়গায় < লেখা, ১-এর বদলে ০ থেকে গোনা শুরু করা। তাই পার্টিশনগুলোর প্রতিটা সীমানার দুই পাশেই টেস্ট মান যোগ করুন। এখানে সীমানা ০ আর ১-এর মধ্যে, আর ১৪ আর ১৫-এর মধ্যে, তাতে চারটা বাউন্ডারি ভ্যালু পাওয়া যায়: ০, ১, ১৪ আর ১৫। মাঝের মান ৭ কিনারার ভুল কখনো ধরবে না; বাউন্ডারি ভ্যালু ধরবে।
প্রথম যাচাইয়ে সাধারণ assert ব্যবহার করা যায়; কোনো শর্ত মিথ্যা হলে এটা একটা AssertionError দিয়ে থেমে যায়:
MAX_DAYS_AHEAD = 14
def can_book(days_ahead):
"""ClinicQueue rule: a slot can be booked from 1 to 14 days ahead."""
return 1 <= days_ahead <= MAX_DAYS_AHEAD
# quick checks with plain assert: one value per partition, then the boundaries
assert can_book(-3) is False # partition "too early" (the past)
assert can_book(7) is True # partition "allowed"
assert can_book(30) is False # partition "too late"
for days in [0, 1, 14, 15]:
print(days, can_book(days))0 False
1 True
14 True
15 Falseতিনটা assert নিঃশব্দে পাস করে (প্রতি পার্টিশনে একটা মান), আর লুপটা দেখায় চারটা বাউন্ডারি ভ্যালু নিয়ম অনুযায়ীই আচরণ করছে।
যাচাইগুলোকে একটা unittest স্যুটে রূপ দেওয়া
দ্রুত যাচাইয়ের জন্য আলগা assert ঠিক আছে, কিন্তু টিম এমন টেস্ট চায় যা কোডের পাশেই থাকে, এক কমান্ডে চলে আর প্রতিটা কেসের নাম ধরে ফল জানায়। এর জন্য Python-এর স্ট্যান্ডার্ড লাইব্রেরিতে unittest আছে। আপনি unittest.TestCase থেকে উত্তরাধিকার নেওয়া একটা ক্লাস লেখেন; যে মেথডের নাম test দিয়ে শুরু, সেটা একটা টেস্ট কেস, আর assertTrue ও assertFalse-এর মতো মেথড ফেল করলে একটা পরিষ্কার বার্তা দেয়। প্রতিটা বার্তায় নিয়মটা কী আশা করে তা লেখা থাকে, তাই ফেল করলে ফলাফল নিজেই কারণ বলে দেয়।
ছোট run_tests হেল্পারটা ক্লাসটা চালায় আর প্রতিটা টেস্টের জন্য এক লাইন ও একটা ছোট সারাংশ প্রিন্ট করে। (সাধারণত আপনি কমান্ড লাইন থেকে টেস্ট চালাবেন; হেল্পারটা আউটপুট ছোট রাখে আর সময়ের হিসাব ছাড়া প্রতিবার হুবহু এক রাখে।)
import io
import unittest
class TestCanBook(unittest.TestCase):
def test_today_is_too_early(self):
self.assertFalse(can_book(0), "0 days ahead (today) must be refused")
def test_first_allowed_day(self):
self.assertTrue(can_book(1), "1 day ahead is the first allowed day")
def test_middle_of_range(self):
self.assertTrue(can_book(7), "7 days ahead must be allowed")
def test_last_allowed_day(self):
self.assertTrue(can_book(14), "14 days ahead is the last allowed day")
def test_first_day_too_late(self):
self.assertFalse(can_book(15), "15 days ahead must be refused")
def run_tests(case):
"""Run one TestCase class; print one line per test and a summary without timings."""
suite = unittest.defaultTestLoader.loadTestsFromTestCase(case)
names = [test.id() for test in suite] # read before running: the suite empties itself
result = unittest.TextTestRunner(stream=io.StringIO(), verbosity=2).run(suite)
problems = {test.id(): trace for test, trace in result.failures + result.errors}
for name in names:
short = name.split(".")[-1]
if name in problems:
print(f"FAIL {short}: {problems[name].strip().splitlines()[-1]}")
else:
print(f"ok {short}")
print("all passed:", result.wasSuccessful(), "| tests run:", result.testsRun)
run_tests(TestCanBook)ok test_first_allowed_day
ok test_first_day_too_late
ok test_last_allowed_day
ok test_middle_of_range
ok test_today_is_too_early
all passed: True | tests run: 5unittest মেথডগুলো তাদের নামের বর্ণানুক্রমে চালায়, তাই ভালো টেস্ট কখনো একে অপরের ক্রমের ওপর নির্ভর করে না।
টেস্টের আসল দাম: একটা রিগ্রেশন
দুই সপ্তাহ পরে আইকো বুকিং মডিউলটা গোছান আর নিয়মটা এমনভাবে আবার লেখেন যা দেখতে একই রকম লাগে। তাঁর পরিবর্তনের ওপর পুরোনো টেস্টগুলো আবার চলে, যেমন প্রতিটা push-এ চলে। কোনো পরিবর্তনের পর পুরোনো টেস্ট আবার চালিয়ে নিশ্চিত হওয়া যে আগে যা কাজ করত তা এখন ভাঙেনি, একে বলে রিগ্রেশন টেস্টিং (regression testing)।
def can_book(days_ahead):
"""Refactored version with a slip: < instead of <=."""
return 0 < days_ahead < MAX_DAYS_AHEAD
run_tests(TestCanBook)ok test_first_allowed_day
ok test_first_day_too_late
FAIL test_last_allowed_day: AssertionError: False is not true : 14 days ahead is the last allowed day
ok test_middle_of_range
ok test_today_is_too_early
all passed: False | tests run: 5শুধু ১৪-এর বাউন্ডারি টেস্টটা ফেল করে; মাঝামাঝি মানের টেস্ট তখনো পাস করে। বাউন্ডারি ভ্যালু না থাকলে বাগটা রোগীদের কাছে পৌঁছাত এই রূপে: "দুই সপ্তাহ আগে বুক করা যায় না"। ফেল বার্তায় নিয়মটার নাম আছে, তাই কাউকে ব্যাখ্যা করার আগেই আইকো জানেন কী ঠিক করতে হবে। তিনি তুলনাটা আবার <= করে দেন, পাঁচটা টেস্টই আবার পাস করে, আর কোড রিভিউয়ার পুল রিকোয়েস্টে টেস্টগুলো দেখতে পান।
টেস্টও কোড: যে নিয়ম রক্ষা করে তার নামে নাম দিন, ছোট রাখুন, আর রিভিউ করুন। যা-ই ভাঙুন না কেন, যে টেস্ট কখনো ফেল করে না, সেটা কিছুই টেস্ট করে না।
বাগ: রিপোর্ট ও ট্র্যাকিং
কোনো টেস্ট বা ইউজার একটা ফেইলিওর খুঁজে পেলে পরের ধাপ হলো টিমের ইস্যু ট্র্যাকারে একটা বাগ রিপোর্ট (ISTQB একে বলে defect report)। ভালো রিপোর্ট পড়ে একজন ডেভেলপার একটা প্রশ্নও না করে সমস্যাটা আবার ঘটাতে পারেন।
টেমপ্লেট:
Title: Booking refused for exactly 14 days ahead
ID / date: CQ-212, 2026-11-20, reported by Kwame
Environment: test server, build 0.9.3, desktop browser
Steps: 1. Open the booking page as a patient
2. Choose Dr. Rahman and a free slot on 2026-12-04 (14 days after 2026-11-20)
3. Press "Book"
Expected: Booking is saved (rule: 1 to 14 days ahead is allowed)
Actual: Message "This date cannot be booked"; no booking saved
Evidence: screenshot attached; 13 days ahead works, 15 days ahead is refused correctly
Severity: medium (a valid booking is blocked; patients can still book other days)
Priority: high (fix before go-live)
Status: openযা একে ভালো করে: প্রতি রিপোর্টে একটা সমস্যা, হুবহু ধাপ, প্রত্যাশিত বনাম আসল ফল, পরিবেশ ও ভার্সন, আর পাশের মানগুলো যা কারণটা সংকুচিত করে। এড়িয়ে চলুন "বুকিং নষ্ট", দোষারোপ ("আইকোর পরিবর্তন এটা ভেঙেছে") আর এক রিপোর্টে কয়েকটা সমস্যা।
সিভিয়ারিটি বনাম প্রায়োরিটি
ISTQB এ দুটোকে আলাদা ঘর হিসেবে দেখায়: সিভিয়ারিটি (severity) হলো ডিফেক্টের "degree of impact", মানে প্রভাবের মাত্রা, আর প্রায়োরিটি (priority) হলো কত জরুরি ভিত্তিতে ঠিক করতে হবে। প্রায়ই দুটো একসাথে চলে, কিন্তু সবসময় নয়, আর এই পার্থক্যটা ইন্টারভিউতে প্রায়ই জিজ্ঞেস করা হয়।
| ঘটনা | সিভিয়ারিটি | প্রায়োরিটি | কেন |
|---|---|---|---|
| রিমাইন্ডার ভুল রোগীর ফোনে যায় | উচ্চ | উচ্চ | রোগীদের ক্ষতি আর ব্যক্তিগত তথ্য ফাঁস; এখনই থামিয়ে ঠিক করুন |
| বার্ষিক পরিসংখ্যানের এক্সপোর্ট ক্র্যাশ করে; এরপর লাগবে এগারো মাস পরে | উচ্চ | নিম্ন | ফিচারটা পুরো অচল, কিন্তু শিগগির কারও দরকার নেই |
| বুকিং পাতায় ক্লিনিকের নামের বানান ভুল | নিম্ন | উচ্চ | কিছুই ভাঙে না, কিন্তু লঞ্চের দিন প্রত্যেক রোগী এটা দেখবেন |
| একটা অ্যাডমিন স্ক্রিনের টুলটিপে টাইপো | নিম্ন | নিম্ন | কেউ ওই স্ক্রিনে কাজ করার সময় ঠিক করে দিন |
সিভিয়ারিটি সাধারণত টেস্টার প্রস্তাব করেন, কারণ এটা একটা কারিগরি বিচার। প্রায়োরিটি ব্যবসায়িক সিদ্ধান্ত, তাই শেষ কথা প্রোডাক্ট ওনারের (ClinicQueue-এ নাদিয়া)।
ডিফেক্টের লাইফ সাইকেল
একটা ডিফেক্ট রিপোর্ট বন্ধ হওয়া পর্যন্ত কয়েকটা অবস্থার (status) মধ্য দিয়ে যায়। ইস্যু ট্র্যাকারগুলো আলাদা আলাদা নাম ব্যবহার করে; নিচের অবস্থাগুলো ISTQB-এর দেওয়া উদাহরণ।
উদাহরণ:
open --+--> waiting to be fixed --(fix)--> awaiting confirmation testing --(passes)--> closed
| ^ |
| | (fails)
| +------------ re-opened <-------------+
+--> rejected (works as intended, not a bug)
+--> duplicate (already reported)
+--> deferred (fix in a later release)কীভাবে পড়বেন: নতুন রিপোর্ট open থাকে। টিম এটাকে rejected করতে পারে (এটাই উদ্দেশ্যমূলক আচরণ), duplicate চিহ্নিত করতে পারে, পরের রিলিজ পর্যন্ত deferred রাখতে পারে, অথবা waiting to be fixed হিসেবে গ্রহণ করতে পারে। ঠিক করার পর টেস্টার একটা কনফার্মেশন টেস্ট (confirmation test) চালান, মানে আগের ধাপগুলো আবার। পাস করলে রিপোর্ট closed; না করলে re-opened হয়ে আবার ডেভেলপারের কাছে যায়। একই সময়ে বাগটার জন্য একটা রিগ্রেশন টেস্ট যোগ করুন, যাতে এটা কারও চোখ এড়িয়ে ফিরে আসতে না পারে।
একটা AI ফিচার টেস্ট করা
ClinicQueue-এর পরের ফিচারটা প্রতিটা বুকিংয়ের রিমাইন্ডার টেক্সটের খসড়া লিখতে একটা AI মডেলকে বলে। এতে এইমাত্র শেখা অভ্যাসটা কাজ করে না: can_book(14)-এর ঠিক একটাই সঠিক উত্তর আছে, কিন্তু একটা মডেল একই রিমাইন্ডার হাজারো গ্রহণযোগ্য উপায়ে লিখতে পারে, আর প্রতিবার আলাদা উত্তরও দিতে পারে। "প্রত্যাশিত আউটপুট এই বাক্যটার সমান" লেখা যায় না।
যা করা যায় তা হলো এমন নিয়ম টেস্ট করা যা প্রতিটা গ্রহণযোগ্য আউটপুটকে মানতে হবে, আর সেগুলো আসলের মতো দেখতে ইনপুটের একটা নমুনার ওপর চালানো:
- এতে রোগীর নামের প্রথম অংশ, আর এই বুকিংয়ের তারিখ ও সময় থাকতেই হবে।
- এটা টিমের দৈর্ঘ্যসীমার মধ্যে থাকতে হবে (২০০ অক্ষর, ClinicQueue-এর একটা কাল্পনিক নিয়ম)।
- এতে টেস্টের ফল বা ওষুধের মতো চিকিৎসা-সংক্রান্ত তথ্য থাকা চলবে না, কারণ SMS অন্যরাও পড়তে পারে।
# Booking details and three drafts produced by the AI feature (all invented)
booking = {"first_name": "Mitu", "date": "2026-12-03", "time": "10:30"}
drafts = [
"Hello Mitu, this is a reminder of your ClinicQueue appointment on 2026-12-03 at 10:30.",
"Hi Mitu! See you tomorrow at 10:30. Please bring your blood test results.",
"Dear patient, your appointment is on 2026-12-03 at 10:30. Reply STOP to opt out.",
]
BANNED_WORDS = ["test results", "diagnosis", "medicine"] # no medical details in an SMS
def check_reminder(text, booking, max_length=200):
"""Return a list of rule violations for one drafted reminder (empty list = passes)."""
problems = []
for field in ["first_name", "date", "time"]:
if booking[field] not in text:
problems.append(f"missing {field}")
if len(text) > max_length:
problems.append(f"too long ({len(text)} characters)")
for word in BANNED_WORDS:
if word in text.lower():
problems.append(f"medical detail: '{word}'")
return problems
for number, text in enumerate(drafts, 1):
problems = check_reminder(text, booking)
print(f"draft {number}:", "ok" if not problems else "; ".join(problems))draft 1: ok
draft 2: missing date; medical detail: 'test results'
draft 3: missing first_nameখসড়া ১ পাস করে। খসড়া ২ তারিখের বদলে "tomorrow" লেখে (SMS দেরিতে পৌঁছালে সমস্যা) আর মডেলের বানানো একটা চিকিৎসা-তথ্য যোগ করে। খসড়া ৩ নামটা ভুলে গেছে। আসল ফিচারে ফেল করা খসড়া পাঠানো হয় না: ClinicQueue তখন একটা নির্দিষ্ট টেমপ্লেট টেক্সটে ফিরে যায়, আর ফেইলিওরটা লগে রাখা হয় যাতে টিম দেখতে পারে কত ঘন ঘন এটা ঘটে। যেসব খসড়া পাস করে, সেগুলোও শুরু থেকে পরিকল্পনামতো ক্লিনিকের একজন মানুষ অনুমোদন করেন; তারিখ ও সময় ClinicQueue নিজেই বসায় (রিস্ক ম্যানেজমেন্ট), তাই এই চেকগুলো দ্বিতীয় স্তরের সুরক্ষা।
কোড যা ধরতে পারে, নিয়মভিত্তিক যাচাই তা-ই ধরে। ভঙ্গি বা ভদ্রতা এরা বিচার করতে পারে না, তাই কোয়ামে প্রতি সপ্তাহে খসড়ার একটা নমুনা নিজে পড়েন, আর টিম কিছু নির্দিষ্ট টেস্ট বুকিং রাখে (লম্বা নামের একজন রোগী, মাঝরাতের ঠিক পরের একটা অ্যাপয়েন্টমেন্ট, বাংলা লিপিতে একটা নাম), যা প্রম্পট বা মডেল বদলালেই আবার চালানো হয়। এটা AI-এর জন্য প্রম্পট ইঞ্জিনিয়ারিং: বিগিনার-এ শেখা AI আউটপুট যাচাইয়ের অভ্যাসের ওপরই দাঁড়িয়ে: ভালো উত্তরে কী থাকতেই হবে তা লিখে রাখুন, প্রত্যাশিত আউটপুটসহ একটা টেস্ট ইনপুট সংরক্ষণ করুন, আর প্রম্পট বা মডেল বদলালে আবার টেস্ট করুন। এখানে একই যাচাইগুলো কোডে রূপ নেয়, তাই একটা নয়, অনেক উদাহরণের ওপর চালানো যায়।
কাজের জায়গায় এটা কোথায় লাগে
- বেশির ভাগ টিম প্রতিটা push বা পুল রিকোয়েস্টে ইউনিট ও ইন্টিগ্রেশন টেস্ট স্বয়ংক্রিয়ভাবে চালায়; একটা লাল টেস্ট মার্জ আটকে দেয়।
- টেস্টাররা কোড শেষ হওয়ার আগেই রিকোয়ারমেন্ট আর অ্যাকসেপ্টেন্স ক্রাইটেরিয়া থেকে টেস্ট কেস লেখেন, তাতে প্রায়ই অস্পষ্ট রিকোয়ারমেন্ট আগেভাগে ধরা পড়ে।
- বাগ ট্রিয়াজ মিটিং, প্রায়ই সাপ্তাহিক, প্রোডাক্ট ওনারের সাথে নতুন রিপোর্টের প্রায়োরিটি ঠিক করে।
- AI ফিচারওয়ালা টিম মূল্যায়নের উদাহরণের একটা সেট রাখে, আর প্রম্পট বা মডেল বদলালেই সেটা আবার চালায়।
সাধারণ ভুল
- শুধু সহজ পথটা (happy path) টেস্ট করা। ৭ দিন আগের একটা বুকিং প্রায় কিছুই প্রমাণ করে না। সমাধান: প্রতি পার্টিশনে একটা টেস্ট, আর প্রতিটা সীমানার দুই পাশে বাউন্ডারি ভ্যালু।
- টেস্টিং শেষের জন্য আর একজনের জন্য রেখে দেওয়া। ডিফেক্ট জমে যায় আর রিলিজ পিছিয়ে যায়। সমাধান: প্রতিটা পরিবর্তনের সাথে ইউনিট টেস্ট, রিকোয়ারমেন্টের সময় থেকেই টেস্টারের অংশগ্রহণ, আর QA সবার কাজ।
- অস্পষ্ট বাগ রিপোর্ট। "বুকিং নষ্ট" লিখলে এক দফা প্রশ্নোত্তরে সময় যায়। সমাধান: ধাপ, প্রত্যাশিত, আসল, পরিবেশ ও ভার্সন, প্রতি রিপোর্টে একটা সমস্যা, কোনো দোষারোপ নয়।
- সিভিয়ারিটি আর প্রায়োরিটি গুলিয়ে ফেলা। তখন জরুরি দেখতে-খারাপ সমস্যা অপেক্ষা করে আর নিরীহ ক্র্যাশ লাইনের সামনে চলে আসে। সমাধান: দুটো আলাদা লিখুন, আর প্রায়োরিটির সিদ্ধান্ত ব্যবসার দিকের মানুষকে নিতে দিন।
- "ঠিকঠাক দেখাল" এমন একটা উদাহরণ দিয়ে AI ফিচার টেস্ট করা। সমাধান: প্রতিটা আউটপুটকে মানতে হবে এমন নিয়ম লিখুন, একটা নমুনায় যাচাই করুন, আর ফেল করা খসড়ার জন্য একটা বিকল্প রাখুন।
নিজে চেষ্টা করুন
- সহজ: ClinicQueue-এ একজন রোগী বুকিংয়ে ০ থেকে ৩০০ অক্ষরের একটা নোট যোগ করতে পারেন (০ মানে নোট নেই)। কোন ইকুইভ্যালেন্স পার্টিশন আর কোন বাউন্ডারি ভ্যালু টেস্ট করবেন, প্রতিটার প্রত্যাশিত ফলসহ লিখুন।
- মাঝারি: প্রতিটা ডিফেক্টকে সিভিয়ারিটি আর প্রায়োরিটি (উচ্চ বা নিম্ন) অনুযায়ী ভাগ করুন, এক বাক্যের যুক্তিসহ: (ক) ক্লিনিক খোলার সময় প্রতিদিন সকাল ০৯:০০-এ কিউ স্ক্রিন আটকে যায়; (খ) সেটিংস পাতায়, যা শুধু নাদিয়া ব্যবহার করেন, "Cancel" বোতামের বাংলা অনুবাদ নেই; (গ) কিছু রোগীর কাছে SMS রিমাইন্ডার দুবার যায়।
- কঠিন: নাদিয়া একটা নিয়ম যোগ করেন: "একজন রোগীর একসাথে সর্বোচ্চ ২টা ভবিষ্যৎ বুকিং থাকতে পারে"। একটা ফাংশন
can_add_booking(future_bookings)আর বাউন্ডারি টেস্টসহ একটাunittest.TestCaseলিখুন, তারপর এই পাতারrun_testsদিয়ে চালান। এই নিয়মের জন্য ইউনিটের ওপরের লেভেলের একটা টেস্টের নামও বলুন।
উত্তর
- পার্টিশন: ০-এর কম (দৈর্ঘ্যের জন্য অসম্ভব, তাই এটা আসল ইনপুট নয় আর টেস্ট লাগে না), ০ থেকে ৩০০ গৃহীত, ৩০১ ও তার বেশি প্রত্যাখ্যাত। বাউন্ডারি ভ্যালু: ০ (গৃহীত, নোট নেই), ১ (গৃহীত), ৩০০ (গৃহীত), ৩০১ (প্রত্যাখ্যাত)। মাঝের একটা মান, যেমন ১৫০ (গৃহীত), বৈধ পার্টিশনের প্রতিনিধি। ভালো উত্তর খেয়াল করে যে নিচের কিনারাটা একটা আসল বিশেষ ক্ষেত্র (খালি নোটে কোনো এরর হওয়া চলবে না), আর ওপরের কিনারার দুই পাশই টেস্ট করে।
- (ক) উচ্চ সিভিয়ারিটি, উচ্চ প্রায়োরিটি: প্রতিদিনের সবচেয়ে ব্যস্ত মুহূর্তে ফ্রন্ট ডেস্কের প্রধান স্ক্রিন থেমে যায়। (খ) নিম্ন সিভিয়ারিটি, নিম্ন প্রায়োরিটি: একজন মানুষের জন্য কম ব্যবহৃত একটা স্ক্রিন, যিনি ইংরেজি পড়েন; সেটিংসের পরের পরিবর্তনের সাথে ঠিক করুন (যে টিম পুরো বাংলা সাপোর্টের প্রতিশ্রুতি দিয়েছে, তারা প্রায়োরিটি বাড়াতে পারে)। (গ) উচ্চ সিভিয়ারিটি, উচ্চ প্রায়োরিটি: রোগীরা বিরক্ত হন আর রিমাইন্ডারে আস্থা হারাতে পারেন, আর প্রতিটা বাড়তি SMS-এ খরচ হয়। যুক্তিতে প্রভাব (সিভিয়ারিটি) আর জরুরিতা (প্রায়োরিটি) আলাদা থাকলে ভিন্ন উত্তরও ঠিক হতে পারে।
- মডেল উত্তর:
def can_add_booking(future_bookings): return future_bookings < 2। টেস্ট:test_none_yet০-এর জন্য True যাচাই করে,test_one_booking১-এর জন্য True (শেষ মান যেখানে আরেকটা চলবে),test_two_bookings২-এর জন্য False (প্রথম মান যেখানে প্রত্যাখ্যান)। ক্লাসটার ওপরrun_testsচালালে তিনটা "ok" লাইন আর "all passed: True | tests run: 3" প্রিন্ট হয়। ভালো উত্তর ১ আর ২-এর মাঝের সীমানার দুই পাশই টেস্ট করে, প্রতিটা assertion-এ নিয়মটা লেখা একটা বার্তা দেয়, আর একটা সিস্টেম বা ইন্টিগ্রেশন টেস্ট যোগ করে, যেমন "দুবার বুক করুন, একটা বাতিল করুন, তারপর তৃতীয় বুকিং সফল হয়", কারণ সংখ্যাটা ডেটাবেস থেকে আসতে হবে আর বাতিলের পর হালনাগাদ হতে হবে।
সারসংক্ষেপ
- QA প্রক্রিয়ামুখী ও প্রতিরোধমূলক, আর এর দায় সবার; টেস্টিং প্রোডাক্টমুখী, কোয়ালিটি কন্ট্রোলের একটা প্রধান রূপ। ভেরিফিকেশন স্পেসিফিকেশন যাচাই করে; ভ্যালিডেশন আসল চাহিদা যাচাই করে।
- চার লেভেলে টেস্ট করুন (ইউনিট বা কম্পোনেন্ট, ইন্টিগ্রেশন, সিস্টেম, অ্যাকসেপ্টেন্স), আর মাইক কোনের টেস্ট পিরামিড মেনে ধীর বিস্তৃত টেস্টের চেয়ে দ্রুত নিচের লেভেলের টেস্ট অনেক বেশি রাখুন, কোনো নির্দিষ্ট অনুপাত ছাড়াই।
- ইকুইভ্যালেন্স পার্টিশন আর বাউন্ডারি ভ্যালু দিয়ে টেস্ট কেস বাছুন;
unittestদিয়ে সেগুলো স্বয়ংক্রিয় করুন, যাতে প্রতিটা পরিবর্তনে রিগ্রেশন টেস্ট হিসেবে চলে। - ভালো বাগ রিপোর্ট আবার ঘটানো যায় আর তাতে দোষারোপ থাকে না; সিভিয়ারিটি (প্রভাব) আর প্রায়োরিটি (জরুরিতা) আলাদা; একটা কনফার্মেশন টেস্টের পরেই কেবল ফিক্স বন্ধ হয়।
- AI ফিচারের জন্য এমন নিয়ম টেস্ট করুন যা প্রতিটা আউটপুটকে মানতে হবে, নমুনার ওপর, একটা বিকল্প পথ আর নিয়মিত মানুষের রিভিউসহ।
এরপর: সফটওয়্যার রিলিজ ও রক্ষণাবেক্ষণ: ClinicQueue কীভাবে একটা ভার্সন নম্বর পায়, নিরাপদে আসল রোগীদের কাছে পৌঁছায়, আর লঞ্চের পর বছরের পর বছর সুস্থ থাকে।

