LLM Context Window কী? কেন এটি গুরুত্বপূর্ণ?

Context Window কী?

Large Language Model নিয়ে কাজ করার সময় Context Window শব্দটি প্রায়ই শুনতে পাওয়া যায়।

কিন্তু এটি আসলে কী?

Context Window কী?

Context Window হলো একটি LLM এক সময়ে সর্বোচ্চ যতটুকু information বিবেচনা করে response তৈরি করতে পারে।

এই information-এর মধ্যে থাকতে পারে:

• User Prompt

• Previous Conversation

• Documents

• System Instructions

• Tool Results

• Model-এর Generated Response

Context সাধারণত Token দিয়ে পরিমাপ করা হয়, শুধু word বা character দিয়ে নয়।

Token কী?

Token হলো text-এর একটি ছোট অংশ, যেটিকে AI model processing-এর জন্য ব্যবহার করে।

উদাহরণ:

"Artificial Intelligence is powerful."

Model এই sentence-টিকে processing-এর আগে বিভিন্ন token-এ ভাগ করে।

কতগুলো token হবে তা tokenizer এবং language-এর ওপর নির্ভর করে।

Context Window কেন গুরুত্বপূর্ণ?

ধরুন আপনি একটি AI model-কে একটি বিশাল document দিয়ে বললেন:

"Summarize this document."

যদি document-এর size model-এর context window-এর চেয়ে বেশি হয়, তাহলে model পুরো document একসাথে process করতে পারবে না।

এর ফলে হতে পারে:

• গুরুত্বপূর্ণ information বাদ পড়া

• আগের context হারিয়ে যাওয়া

• Incomplete answer

• Accuracy কমে যাওয়া

RAG-এ Context Window

এই কারণেই RAG system-এ document chunking এবং retrieval ব্যবহার করা হয়।

একটি সাধারণ workflow:

Document → Chunking → Embeddings → Retrieval → Relevant Context → LLM

পুরো knowledge base LLM-কে দেওয়ার পরিবর্তে শুধু relevant information context-এর মধ্যে পাঠানো হয়।

Context Window বনাম Memory

দুটিকে একই বিষয় মনে করা ঠিক নয়।

Context Window:
বর্তমান request-এর সময় model যে information দেখতে বা বিবেচনা করতে পারে।

Memory:
AI application ভবিষ্যতে ব্যবহারের জন্য যে information সংরক্ষণ এবং retrieve করতে পারে।

একটি AI application external database বা memory system ব্যবহার করে প্রয়োজনের সময় relevant information আবার model-এর context-এ দিতে পারে।

Interview Tip

একটি common misconception হলো:

"বড় Context Window মানেই AI সবকিছু আরও ভালোভাবে বুঝবে।"

সবসময় তা নয়।

বড় context window বেশি information process করার সুযোগ দেয়। কিন্তু information-এর quality, relevance, retrieval strategy এবং model capability এখনও অত্যন্ত গুরুত্বপূর্ণ।

সবসময় বেশি context মানেই ভালো context নয়।

Key Takeaway

Context Window নির্ধারণ করে একটি LLM এক সময়ে কতটুকু information বিবেচনা করতে পারে।

Long documents, conversations, RAG, AI Agents এবং large-scale AI applications তৈরি করার ক্ষেত্রে Context Window বোঝা অত্যন্ত গুরুত্বপূর্ণ।