LLM-এ Top-k ও Top-p কী? AI Output কীভাবে নিয়ন্ত্রণ করে?
Top-k এবং Top-p হলো sampling technique, যা LLM কোন candidate token থেকে পরবর্তী token নির্বাচন করবে তা নিয়ন্ত্রণ করতে সাহায্য করে। AI output-এর creativity, diversity এবং consistency বোঝার জন্য এগুলো গুরুত্বপূর্ণ।
Top-k ও Top-p কী?
LLM যখন text generate করে, তখন পরবর্তী সম্ভাব্য token-এর জন্য probability তৈরি করে।
উদাহরণ:
"The sky is..."
Model এমন probability দিতে পারে:
blue → 70%
cloudy → 15%
clear → 10%
green → 1%
others → 4%
Top-k এবং Top-p ঠিক করে এই candidate token-গুলোর কোনগুলো থেকে model নির্বাচন করতে পারবে।
Top-k কী?
Top-k Sampling model-কে শুধু সবচেয়ে বেশি probability পাওয়া k সংখ্যক token থেকে নির্বাচন করতে দেয়।
যেমন:
Top-k = 3
হলে model শুধুমাত্র top 3 candidate বিবেচনা করবে।
Lower k → বেশি focused
Higher k → বেশি diverse
Top-p কী?
Top-p বা Nucleus Sampling একটি probability threshold ব্যবহার করে।
যেমন:
Top-p = 0.90
হলে model সবচেয়ে বেশি probability থাকা token-গুলো থেকে এমন একটি ছোট group নির্বাচন করবে, যাদের cumulative probability প্রায় 90% পর্যন্ত পৌঁছায়।
Top-k-এর মতো candidate সংখ্যা fixed নয়; generation-এর প্রতিটি step-এ এটি পরিবর্তিত হতে পারে।
Top-k বনাম Top-p
Top-k | Top-p |
|---|---|
Fixed number of candidates ব্যবহার করে | Probability threshold ব্যবহার করে |
যেমন: k = 20 | যেমন: p = 0.9 |
Candidate সংখ্যা fixed | Candidate সংখ্যা পরিবর্তন হতে পারে |
Candidate pool-এর size নিয়ন্ত্রণ করে | Probability mass নিয়ন্ত্রণ করে |
কেন গুরুত্বপূর্ণ?
এগুলো LLM output-এর:
Predictability ↔ Diversity
এর balance নিয়ন্ত্রণ করতে সাহায্য করে।
উদাহরণ:
Customer Support → বেশি controlled output
Creative Writing → বেশি diverse output
Brainstorming → বেশি variation
Interview Tip
Top-k/Top-p এবং Temperature এক জিনিস নয়।
Temperature sampling-এর probability distribution পরিবর্তন করে।
Top-k/Top-p কোন candidate token sampling-এর জন্য বিবেচনা করা হবে তা সীমিত করে।
Model বা provider অনুযায়ী এগুলো একসাথে ব্যবহার করা যেতে পারে।
Key Takeaway
Top-k → k সংখ্যক সবচেয়ে probable token থেকে নির্বাচন করে।
Top-p → নির্দিষ্ট cumulative probability পর্যন্ত candidate token নির্বাচন করে।
এই techniques একজন AI Engineer-কে LLM-এর output কতটা focused, diverse এবং creative হবে তা নিয়ন্ত্রণ করতে সাহায্য করে।
সম্পর্কিত লেখা
LLM বিভাগের আরও লেখা
মন্তব্য
আলোচনায় যোগ দিতে সাইন ইন করুন।