LLM-এ Token ও Tokenization কী? কেন গুরুত্বপূর্ণ?
LLM মানুষের মতো সরাসরি পুরো text process করে না। এটি text-কে token হিসেবে process করে। Context window, API cost, model limitation এবং LLM performance বোঝার জন্য Tokenization সম্পর্কে জানা অত্যন্ত গুরুত্বপূর্ণ।
Token কী?
Token হলো text-এর একটি ছোট unit, যা LLM process করে।
একটি token হতে পারে:
সম্পূর্ণ একটি word
Word-এর একটি অংশ
Punctuation
Text-এর অন্য কোনো ছোট অংশ
উদাহরণ:
"Artificial Intelligence is powerful."
Tokenizer এই sentence-টিকে কয়েকটি token-এ ভাগ করতে পারে। Exact tokenization কোন model ও tokenizer ব্যবহার করা হচ্ছে তার ওপর নির্ভর করে।
Tokenization কী?
Tokenization হলো human-readable text-কে এমন ছোট ছোট token-এ convert করার process, যা AI model process করতে পারে।
সাধারণ workflow:
Text → Tokenizer → Tokens → Token IDs → LLM
Model সরাসরি raw text process করে না; এটি numerical token IDs নিয়ে কাজ করে।
Tokens কেন গুরুত্বপূর্ণ?
Tokens গুরুত্বপূর্ণ কারণ এগুলো সরাসরি প্রভাব ফেলে:
১. Context Window
প্রতিটি LLM-এর একটি maximum context limit থাকে।
Prompt ও conversation অনেক বড় হয়ে গেলে context limit exceed করতে পারে।
২. API Cost
অনেক LLM API-তে input এবং output token-এর সংখ্যার ওপর usage ও cost নির্ভর করে।
বেশি token → সাধারণত বেশি cost।
৩. Response Length
Model কতটুকু text generate করতে পারবে তার ওপরও token limit-এর প্রভাব রয়েছে।
৪. Performance
অনেক বড় prompt process করতে বেশি computation এবং processing time লাগতে পারে।
সহজ উদাহরণ
আপনি যদি লিখেন:
"Explain machine learning in simple terms."
System এই sentence-টি সরাসরি neural network-এ পাঠায় না।
Workflow:
Text → Tokenization → Token IDs → Model → Output Tokens → Detokenization → Text
শেষে output tokens আবার human-readable text-এ convert হয়।
Interview Tip
এভাবে বলবেন না:
"একটি token মানেই একটি word."
এটি ভুল।
একটি token পুরো word, word-এর অংশ, punctuation অথবা text-এর অন্য অংশ হতে পারে।
এছাড়া model এবং language অনুযায়ী tokenization ভিন্ন হতে পারে।
Key Takeaway
Token হলো LLM-এর process করা text-এর basic unit।
Tokenization human-readable text-কে token এবং ultimately numerical token IDs-তে convert করে।
LLM, context window, API cost, prompt optimization এবং production AI system ভালোভাবে বুঝতে Tokens এবং Tokenization সম্পর্কে পরিষ্কার ধারণা থাকা অত্যন্ত গুরুত্বপূর্ণ।
সম্পর্কিত লেখা
LLM বিভাগের আরও লেখা
মন্তব্য
আলোচনায় যোগ দিতে সাইন ইন করুন।