LLM-এ Token ও Tokenization কী? কেন গুরুত্বপূর্ণ?
LLM মানুষের মতো সরাসরি পুরো text process করে না। এটি text-কে token হিসেবে process করে। Context window, API cost, model limitation এবং LLM performance বোঝার জন্য Tokenization সম্পর্কে জানা অত্যন্ত গুরুত্বপূর্ণ।
Token কী?
Token হলো text-এর একটি ছোট unit, যা LLM process করে।
একটি token হতে পারে:
সম্পূর্ণ একটি word
Word-এর একটি অংশ
Punctuation
Text-এর অন্য কোনো ছোট অংশ
উদাহরণ:
"Artificial Intelligence is powerful."
Tokenizer এই sentence-টিকে কয়েকটি token-এ ভাগ করতে পারে। Exact tokenization কোন model ও tokenizer ব্যবহার করা হচ্ছে তার ওপর নির্ভর করে।
Tokenization কী?
Tokenization হলো human-readable text-কে এমন ছোট ছোট token-এ convert করার process, যা AI model process করতে পারে।
সাধারণ workflow:
Text → Tokenizer → Tokens → Token IDs → LLM
Model সরাসরি raw text process করে না; এটি numerical token IDs নিয়ে কাজ করে।
Tokens কেন গুরুত্বপূর্ণ?
Tokens গুরুত্বপূর্ণ কারণ এগুলো সরাসরি প্রভাব ফেলে:
১. Context Window
প্রতিটি LLM-এর একটি maximum context limit থাকে।
Prompt ও conversation অনেক বড় হয়ে গেলে context limit exceed করতে পারে।
২. API Cost
অনেক LLM API-তে input এবং output token-এর সংখ্যার ওপর usage ও cost নির্ভর করে।
বেশি token → সাধারণত বেশি cost।
৩. Response Length
Model কতটুকু text generate করতে পারবে তার ওপরও token limit-এর প্রভাব রয়েছে।
৪. Performance
অনেক বড় prompt process করতে বেশি computation এবং processing time লাগতে পারে।
সহজ উদাহরণ
আপনি যদি লিখেন:
"Explain machine learning in simple terms."
System এই sentence-টি সরাসরি neural network-এ পাঠায় না।
Workflow:
Text → Tokenization → Token IDs → Model → Output Tokens → Detokenization → Text
শেষে output tokens আবার human-readable text-এ convert হয়।
Interview Tip
এভাবে বলবেন না:
"একটি token মানেই একটি word."
এটি ভুল।
একটি token পুরো word, word-এর অংশ, punctuation অথবা text-এর অন্য অংশ হতে পারে।
এছাড়া model এবং language অনুযায়ী tokenization ভিন্ন হতে পারে।
Key Takeaway
Token হলো LLM-এর process করা text-এর basic unit।
Tokenization human-readable text-কে token এবং ultimately numerical token IDs-তে convert করে।
LLM, context window, API cost, prompt optimization এবং production AI system ভালোভাবে বুঝতে Tokens এবং Tokenization সম্পর্কে পরিষ্কার ধারণা থাকা অত্যন্ত গুরুত্বপূর্ণ।