LLM-এর Context Window কী? কেন এটি গুরুত্বপূর্ণ?

Context Window কী?

Context Window হলো একটি LLM একটি নির্দিষ্ট request বা interaction-এর সময় সর্বোচ্চ যতটুকু information বিবেচনা করে process করতে পারে।

এর মধ্যে থাকতে পারে:

• System instructions

• User prompt

• Conversation history

• Retrieved documents

• Previous messages

• Model-এর generated output

Context সাধারণত token দিয়ে পরিমাপ করা হয়, শুধু word বা character দিয়ে নয়।

সহজ উদাহরণ

ধরুন একটি LLM-এর context window 100,000 tokens।

আপনার application পাঠাচ্ছে:

System Instructions + Conversation + RAG Documents + User Question + Output

এগুলোর মোট token যদি model-এর limit অতিক্রম করে, তাহলে request fail করতে পারে অথবা application-কে context কমাতে হবে।

কেন গুরুত্বপূর্ণ?

Context window AI application-এর architecture এবং design-এ সরাসরি প্রভাব ফেলে।

বড় context window সাহায্য করতে পারে:

• Long documents

• Large conversations

• Complex instructions

• Multiple document analysis

• RAG applications

তবে বড় context window মানেই সবসময় ভালো performance নয়।

অপ্রয়োজনীয় information পাঠালে cost ও latency বাড়তে পারে এবং কখনও কখনও answer quality-ও কমতে পারে।

Context Window বনাম Memory

এই দুটি concept অনেকেই confuse করেন।

Context Window:
বর্তমান interaction-এ model-কে যে information দেওয়া হয়।

Memory:
একটি system যেভাবে interaction-এর বাইরে information store এবং পরে retrieve করে।

উদাহরণস্বরূপ, chatbot কোনো user's preference database-এ সংরক্ষণ করতে পারে এবং পরবর্তী সময়ে শুধু relevant information context-এর মধ্যে দিতে পারে।

Interview Tip

এভাবে বলবেন না:

"Context window হলো AI কত information permanently মনে রাখতে পারে।"

এটি ভুল।

Context window হলো model একটি interaction-এর সময় কতটুকু context process করতে পারে, permanent memory নয়।

Key Takeaway

Context Window = একটি LLM একটি interaction-এ যত token-based context process করতে পারে।

একজন AI Engineer হিসেবে বিশেষ করে RAG, long conversation, document analysis এবং production AI system তৈরি করার সময় context সঠিকভাবে manage করা অত্যন্ত গুরুত্বপূর্ণ।