Chunking কী? RAG-এ ডকুমেন্ট ভাগ করার কৌশল
Chunking কীভাবে document-কে RAG system-এর search করার উপযোগী টুকরোয় ভাগ করে। Chunk size, overlap, প্রধান কৌশল আর পরীক্ষার উপায়, code সহ।
ছোট উত্তর: RAG-এ chunking মানে হলো embed ও সংরক্ষণ করার আগে আপনার document-কে ছোট ছোট টুকরো (chunk) করে ভাগ করা, যাতে system প্রশ্নের উত্তর দেয় এমন কয়েকটি টুকরোই খুঁজে আনতে পারে। ভালো chunk এতটা ছোট যে নির্দিষ্ট, আবার এতটা বড় যে একা পড়লেও অর্থ বোঝা যায়। একটি RAG system কত ভালো উত্তর দেয়, তার একটি বড় নিয়ামক হলো chunking।
RAG-এ chunking কেন লাগে?
Retrieval-augmented generation-এ model আপনার document থেকে আনা text দিয়ে উত্তর দেয়। প্রতিটি প্রশ্নের সাথে ২০০ পাতার পুরো manual পাঠানো যায় না: এটি context window-তে নাও ধরতে পারে, ধীর হয়, আর দরকারি অংশটি অপ্রাসঙ্গিক লেখার ভিড়ে হারিয়ে যায়।
দ্বিতীয় কারণও আছে। একটি embedding একটি text-কে একটিমাত্র vector-এ পরিণত করে। সেই text দশটি বিষয় নিয়ে হলে vector হয় দশটির ঝাপসা গড়, ফলে search তাকে ভালোভাবে খুঁজে পায় না। একটি বিষয়ের chunk হলে vector স্পষ্ট হয়।
Chunking ধাপটি দেখতে কেমন?
Document load করে পরিষ্কার করুন (menu, পাতা নম্বর, বারবার আসা header সরান)।
এটিকে chunk-এ ভাগ করুন।
প্রতিটি chunk-এর embedding বানিয়ে উৎসের নাম ও অবস্থানসহ একটি vector database-এ রাখুন।
প্রশ্নের সময় সবচেয়ে মিল থাকা chunk-গুলো খুঁজে model-কে দিন।
একটি chunk কত বড় হওয়া উচিত?
সবার জন্য একটি নির্দিষ্ট সংখ্যা নেই, আর পরীক্ষা না করে কেউ সংখ্যা বললে তা অনুমান। লেনদেনটা এমন:
ছোট chunk | বড় chunk | |
|---|---|---|
Search-এর নির্ভুলতা | বেশি: খুব নির্দিষ্ট | কম: মিশ্র বিষয় |
Model-এর জন্য context | আশেপাশের বিবরণ নাও থাকতে পারে | বেশি সম্পূর্ণ |
খরচ ও গতি | সংরক্ষণ ও search-এর জন্য বেশি chunk | প্রতি প্রশ্নে model-কে বেশি text পাঠাতে হয় |
শুরু করার একটি বাস্তব উপায় হলো প্রতি chunk-এ কয়েকশো শব্দ (বা কয়েকশো token), তারপর বাস্তব প্রশ্ন দিয়ে পরীক্ষা করে বদলানো।
Chunk overlap কী?
Overlap মানে প্রতিটি chunk আগের chunk-এর শেষ অংশ আবার ধারণ করে। "Refunds are allowed within 14 days, except for sale items"-এর মতো বাক্য chunk-এর সীমায় দুই ভাগ হয়ে গেলে কোনো অর্ধেকই প্রশ্নের উত্তর দেয় না। Overlap সীমানার বাক্যগুলোকে অন্তত একটি chunk-এ একসাথে রাখে। পরিমাণ মাঝারি রাখুন: বেশি overlap জায়গা নষ্ট করে এবং প্রায় একই রকম ফল ফেরত দেয়।
প্রধান chunking কৌশলগুলো কী কী?
কৌশল | কীভাবে কাজ করে | কোথায় ভালো |
|---|---|---|
Fixed-size | প্রতি N অক্ষর বা token পরপর কাটা, overlap সহ | সাধারণ text, দ্রুত প্রথম সংস্করণ |
Paragraph বা sentence অনুযায়ী | স্বাভাবিক সীমায় ভেঙে আকারের সীমা পর্যন্ত একসাথে করা | প্রবন্ধ, নীতিমালা, নোট |
কাঠামো অনুযায়ী | heading, section, list item, code block, table row ব্যবহার | Manual, documentation, FAQ |
Semantic | বিষয় বদলালে নতুন chunk শুরু (embedding দিয়ে ধরা) | লম্বা, আলগা কাঠামোর text |
সহজ থেকে শুরু করুন। কাঠামো-সচেতন ভাগ সাধারণত সাদামাটা fixed-size কাটার চেয়ে ভালো, আর semantic chunking চালাতে খরচ বেশি, তাই পরীক্ষায় লাভ দেখলে তবেই ব্যবহার করুন।
Code-এ chunking দেখতে কেমন?
শুধু standard library ব্যবহার করে দুটি ছোট function:
def chunk_text(text, size=200, overlap=40):
"""Fixed-size chunks; each repeats the last `overlap` characters of the one before."""
if overlap >= size:
raise ValueError("overlap must be smaller than size")
chunks, start = [], 0
while start < len(text):
chunks.append(text[start:start + size])
start += size - overlap
return chunks
def chunk_paragraphs(text, max_chars=300):
"""Group whole paragraphs together until a size limit is reached."""
chunks, current = [], ""
for para in text.split("\n\n"):
if current and len(current) + len(para) + 2 > max_chars:
chunks.append(current)
current = para
else:
current = f"{current}\n\n{para}" if current else para
if current:
chunks.append(current)
return chunks
doc = ("Shipping takes three days.\n\nExpress shipping takes one day.\n\n"
"Returns need a receipt.\n\nRefunds are paid within 14 days.")
for chunk in chunk_paragraphs(doc, max_chars=60):
print(repr(chunk))
দ্বিতীয় function কখনো কোনো paragraph মাঝখানে কাটে না, ফলে প্রতিটি ধারণা অক্ষত থাকে। (সীমার চেয়ে লম্বা একটিমাত্র paragraph তবু একটি বড় chunk হয়; বাস্তব tool সেটিকে আরও ভাগ করে।)
আপনার chunking কাজ করছে কীভাবে বুঝবেন?
চোখে দেখে বিচার করবেন না। ২০ থেকে ৫০টি বাস্তব প্রশ্ন লিখুন, প্রতিটির উত্তর কোন অংশে থাকা উচিত তা টুকে রাখুন, আর দেখুন retrieval সেই অংশটি উপরের দিকে আনছে কি না। Chunk size বা কৌশল বদলে আবার পরীক্ষা করুন, যেটা সবচেয়ে ভালো আনে সেটা রাখুন। এই ধরনের পরীক্ষা নিয়ে আছে AI ও LLM system কীভাবে evaluate করবেন পোস্টে, আর RAG ingestion ও citation প্রবাহ tutorial-এ একটি কাজ করা pipeline বানানো হয়েছে।
কমন ভুল
বাক্যের মাঝখানে কাটা বা table-কে তার heading থেকে আলাদা করা।
Context হারানো। প্রতিটি chunk-এর সাথে document-এর শিরোনাম ও section-এর heading রাখুন।
খুব বড় chunk, ফলে retrieval অনেক বাড়তি আবর্জনা আনে।
কখনো পরীক্ষা না করা। "সঠিক" মান নির্ভর করে আপনার document ও প্রশ্নের উপর।
মূল কথা
আপনার RAG system কী খুঁজে পাবে, তা ঠিক করে chunking। স্বাভাবিক সীমায় ভাগ করুন, অল্প overlap রাখুন, উৎসের তথ্য সংরক্ষণ করুন, আর বাস্তব প্রশ্ন দিয়ে পরীক্ষা করে chunk size ঠিক করুন।
শুরু করতে চান? ধাপে ধাপে একটি কাজ করা RAG pipeline বানান: ingestion, chunking, embeddings, retrieval ও evaluation। শুরু করুন ফ্রি কোর্স LLM দিয়ে AI ইঞ্জিনিয়ারিং: বিগিনার দিয়ে।
সম্পর্কিত লেখা
AI Engineering বিভাগের আরও লেখা
LLM API key কীভাবে নেবেন (OpenAI ও Gemini) আর খরচ কীভাবে হিসাব হয়
OpenAI বা Gemini API key কোথায় বানাবেন, token ভিত্তিক বিল কীভাবে কাজ করে, খরচ কীভাবে আন্দাজ করবেন এবং key নিরাপদ রাখবেন কীভাবে।
4 মিনিট পড়া১১ নভে, ২০২৬Function calling কী? LLM কীভাবে tool ব্যবহার করে
function calling-এ LLM আপনার code-কে একটি tool চালাতে বলে আর ফলাফল ব্যবহার করে। ধাপে ধাপে প্রক্রিয়া, চালানোর মতো উদাহরণ ও নিরাপত্তার নিয়ম জানুন।
3 মিনিট পড়া৭ নভে, ২০২৬LangChain কী? কখন ব্যবহার করবেন, কখন নয়
LangChain হলো LLM অ্যাপ বানানোর একটি framework। এর মূল building block, একটি ছোট স্কেচ এবং কখন সাধারণ কোড ভালো, জেনে নিন।
3 মিনিট পড়া৪ নভে, ২০২৬AI বা LLM System-এর Performance কীভাবে Evaluate করবেন?
একটি AI system তৈরি করাই যথেষ্ট নয়। এটি কতটা accurate, reliable, safe এবং useful—তা measure করাও অত্যন্ত গুরুত্বপূর্ণ।
2 মিনিট পড়া৬ সেপ, ২০২৬
AI Hallucination কী? কেন হয় এবং কীভাবে কমানো যায়?
AI hallucination মানে model আত্মবিশ্বাসের সাথে ভুল বা বানানো উত্তর দেওয়া। LLM কেন hallucinate করে, একটি বাস্তব উদাহরণ, আর এটি কমানোর ৬টি কার্যকর উপায় জানুন।
3 মিনিট পড়া৫ সেপ, ২০২৬RAG বনাম Fine-Tuning: পার্থক্য কী এবং কখন কোনটি ব্যবহার করবেন?
RAG উত্তর দেওয়ার মুহূর্তে model-কে সঠিক তথ্য দেয়। Fine-tuning model-এর আচরণ বদলায়। পার্থক্য, কখন কোনটি ব্যবহার করবেন আর কখন দুটো একসাথে, সহজ বাংলায় জানুন।
3 মিনিট পড়া৪ সেপ, ২০২৬
মন্তব্য
আলোচনায় যোগ দিতে সাইন ইন করুন।



