Transformer কী? “Attention” সহজ ভাষায়
আধুনিক language model-এর পেছনের ডিজাইন Transformer-এর সহজ ব্যাখ্যা: attention মানে কী, ধাপে ধাপে কীভাবে কাজ করে, আর নিজে চালানোর মতো ছোট একটি Python উদাহরণ।
ছোট উত্তর: Transformer হলো ChatGPT-র মতো আধুনিক language model-এর পেছনের neural network ডিজাইন। এর মূল ধারণা attention: প্রতিটি শব্দ (token) বোঝার জন্য model লেখার বাকি সব শব্দ দেখে ঠিক করে কোনগুলো সবচেয়ে গুরুত্বপূর্ণ। ফলে যে পুরোনো model কঠোরভাবে এক শব্দ করে পড়ত, তার চেয়ে এটি context অনেক ভালো সামলায়।
Transformer কেন আবিষ্কার হলো?
আগের language model, যাদের recurrent network বলা হয়, একটি বাক্য এক শব্দ পর এক শব্দ পড়ত এবং একটি স্মৃতি সামনে বয়ে নিত। এটি ধীর ছিল, কারণ প্রতিটি ধাপ আগেরটির জন্য অপেক্ষা করত, আর লম্বা লেখায় শুরুর শব্দের স্মৃতি ফিকে হয়ে যেত।
Transformer পরিচিত হয় ২০১৭ সালের “Attention Is All You Need” নামের একটি research paper-এ। এটি লেখার সব token একসাথে প্রসেস করে, যা আধুনিক hardware-এর উপযোগী, আর দূরের শব্দগুলোকেও সরাসরি যুক্ত করে। এ কারণেই এটি আজকের large language model-এ রূপ নিতে পেরেছে।
সহজ ভাষায় “Attention” মানে কী?
বাক্যটি ধরুন: “The bank near the river was flooded.” “bank” মানে টাকা রাখার জায়গাও হতে পারে, নদীর পাড়ও হতে পারে। মানুষ “river” আর “flooded” দেখে সিদ্ধান্ত নেয়। Attention-ও তাই করে: “bank” নিয়ে কাজ করার সময় model “river”-কে বেশি ওজন দেয় আর “the”-কে কম।
ফলে “bank”-এর একটি নতুন রূপ তৈরি হয়, যা আশপাশের শব্দগুলোর ওজনযুক্ত মিশ্রণ, তাই এখন তাতে সঠিক অর্থ আছে।
Attention ধাপে ধাপে কীভাবে কাজ করে?
Token হয় vector। লেখা ভাগ হয় token-এ, আর প্রতিটি token একটি সংখ্যার তালিকায় (embedding) পরিণত হয়। শব্দের ক্রম বোঝাতে অবস্থানের তথ্য যোগ করা হয়।
প্রতিটি token চায় ও দেয়। প্রতিটি vector থেকে model তিনটি রূপ বানায়: query (আমি কী খুঁজছি?), key (আমার মধ্যে কী আছে?) এবং value (আমি কোন তথ্য পাঠাব?)।
Score হিসাব হয়। একটি token-এর query প্রতিটি key-র সাথে মেলানো হয়। মিল যত বেশি, score তত বেশি।
Score হয় ওজন। softmax নামের একটি function score-গুলোকে এমন ওজনে বদলায় যাদের যোগফল ১।
Value মেশানো হয়। token-এর নতুন vector হলো সব value-র ওজনযুক্ত যোগফল।
Python-এ ছোট একটি Attention উদাহরণ
এই খেলনা সংস্করণে শেখা query, key, value layer নেই এবং বানানো দুই সংখ্যার vector ব্যবহার হয়েছে, তবু এতে score, softmax আর মেশানোর ধাপগুলো দেখা যায়।
import math
def softmax(scores):
exps = [math.exp(s) for s in scores]
total = sum(exps)
return [e / total for e in exps]
def dot(a, b):
return sum(x * y for x, y in zip(a, b))
# toy vectors for the words "the", "bank", "river"
vectors = {"the": [0.1, 0.0], "bank": [1.0, 0.5], "river": [0.9, 1.0]}
query = vectors["bank"]
words = list(vectors)
scores = [dot(query, vectors[w]) for w in words]
weights = softmax(scores)
for w, wt in zip(words, weights):
print(w, round(wt, 2))
# new representation of "bank": a weighted mix of all the word vectors
mixed = [sum(wt * vectors[w][i] for w, wt in zip(words, weights)) for i in range(2)]
print([round(x, 2) for x in mixed])
এটি “the”-এর জন্য প্রায় 0.13, “bank”-এর জন্য 0.4 এবং “river”-এর জন্য 0.47 ওজন দেখায়। “river” সবচেয়ে বেশি attention পায়, তাই “bank”-এর নতুন vector তার দিকে ঝুঁকে যায়।
পূর্ণ Transformer-এর ভেতরে কী থাকে?
অংশ | কী করে |
|---|---|
Embedding ও অবস্থান | Token-কে এমন vector বানায় যা লেখায় নিজের স্থানও জানে |
Multi-head attention | একসাথে কয়েকটি attention হিসাব চালায়, প্রতিটি আলাদা সম্পর্ক লক্ষ করতে পারে |
Feed-forward layer | Attention-এর পর প্রতিটি token-এর vector আরও প্রসেস করে |
Stacked layer | এই ব্লক অনেকবার পুনরাবৃত্তি করে, ফলে বোঝা গভীর হয় |
Output layer | পরের token-এর সম্ভাবনা তৈরি করে |
GPT-এর মতো model এই ডিজাইন ব্যবহার করে বারবার পরের token অনুমান করে, এভাবেই তারা লেখা তৈরি করে। BERT-এর মতো অন্য model একই ধারণা মূলত লেখা বোঝার কাজে লাগায়। Transformer ছবি, অডিও ও code-এর ক্ষেত্রেও ব্যবহৃত হয়।
সীমাবদ্ধতা কী?
Attention token-গুলোকে একে অপরের সাথে তুলনা করে, তাই লেখা লম্বা হলে কাজ দ্রুত বেড়ে যায়। এ কারণেই প্রতিটি model-এর একটি context window থাকে। Transformer train করতে প্রচুর ডেটা ও কম্পিউটিং শক্তি লাগে, আর এটি তবু আত্মবিশ্বাসের সাথে ভুল করতে পারে।
কমন ভুল
ভাবা যে attention মানে model মানুষের মতো “বোঝে”: এটি সংখ্যার উপর শেখা গণিত
খোঁজার সময় Transformer-কে সিনেমা বা বৈদ্যুতিক transformer-এর সাথে গুলিয়ে ফেলা
মনে করা যে প্রতিটি AI model-ই transformer: আরও অনেক ডিজাইন আছে
মূল কথা
Transformer সব token একসাথে পড়ে এবং attention দিয়ে ঠিক করে প্রতিটির জন্য কোন token কতটা গুরুত্বপূর্ণ। এই ধারণাকে অনেক স্তরে সাজিয়ে বিশাল লেখার উপর train করলেই পাওয়া যায় আধুনিক chatbot-এর language model।
শুরু করতে চান? Token, model আর LLM কীভাবে উত্তর তৈরি করে তা সহজ ব্যাখ্যায় বুঝুন, ভারী গণিত ছাড়াই। শুরু করুন ফ্রি কোর্স এআই কীভাবে কাজ করে: সবার জন্য ভিত্তি দিয়ে।
সম্পর্কিত লেখা
LLM বিভাগের আরও লেখা
Open-source LLM কী? Ollama দিয়ে নিজের কম্পিউটারে চালান
Open-source LLM কী, কেন মানুষ লোকালি চালায় এবং Ollama দিয়ে কয়েকটি কমান্ডে কীভাবে একটি model ডাউনলোড ও ব্যবহার করবেন।
3 মিনিট পড়া৯ নভে, ২০২৬LLM-এ Top-k ও Top-p কী? AI Output কীভাবে নিয়ন্ত্রণ করে?
Top-k এবং Top-p হলো sampling technique, যা LLM কোন candidate token থেকে পরবর্তী token নির্বাচন করবে তা নিয়ন্ত্রণ করতে সাহায্য করে। AI output-এর creativity, diversity এবং consistency বোঝার জন্য এগুলো গুরুত্বপূর্ণ।
2 মিনিট পড়া৩০ আগ, ২০২৬LLM-এ Token ও Tokenization কী? কেন গুরুত্বপূর্ণ?
LLM মানুষের মতো সরাসরি পুরো text process করে না। এটি text-কে token হিসেবে process করে। Context window, API cost, model limitation এবং LLM performance বোঝার জন্য Tokenization সম্পর্কে জানা অত্যন্ত গুরুত্বপূর্ণ।
2 মিনিট পড়া২৯ আগ, ২০২৬LLM-এর Context Window কী? কেন এটি গুরুত্বপূর্ণ?
Context window হলো একটি request-এ LLM কতগুলো token বিবেচনা করতে পারে: নির্দেশনা, chat history, document আর তার নিজের উত্তর। কেন এটি গুরুত্বপূর্ণ আর কীভাবে সামলাবেন জানুন।
3 মিনিট পড়া২৯ আগ, ২০২৬AI automation কী? কাজ ও ব্যবসায় বাস্তব উদাহরণ
AI automation হলো workflow-এর এলোমেলো, লেখা-নির্ভর ধাপে language model বসানো। বাস্তব উদাহরণ, একটি ছোট code প্যাটার্ন এবং ঝুঁকিগুলো জানুন।
4 মিনিট পড়া১৪ নভে, ২০২৬Portfolio-র জন্য beginners-দের ৭টি AI প্রজেক্ট আইডিয়া
Beginner portfolio-র জন্য সাতটি ছোট, শেষ করা যায় এমন AI project idea, প্রতিটি কী শেখায় এবং কীভাবে উপস্থাপন করলে অন্যরা আপনার কাজে আস্থা পাবে।
3 মিনিট পড়া১৪ নভে, ২০২৬
মন্তব্য
আলোচনায় যোগ দিতে সাইন ইন করুন।


