Open-source LLM কী? Ollama দিয়ে নিজের কম্পিউটারে চালান
Open-source LLM কী, কেন মানুষ লোকালি চালায় এবং Ollama দিয়ে কয়েকটি কমান্ডে কীভাবে একটি model ডাউনলোড ও ব্যবহার করবেন।
ছোট উত্তর: Open-source LLM হলো এমন language model, যার weights ডাউনলোড করে নিজে চালানো যায়, কোনো কোম্পানির hosted সেবা ডাকার বদলে। Ollama একটি বিনামূল্যের টুল, যা কয়েকটি কমান্ডে এমন model আপনার নিজের কম্পিউটারে ডাউনলোড ও চালায় এবং একটি local API দেয়, যা আপনার কোড ডাকতে পারে।
Open-source LLM কী?
Large language model হলো টেক্সট দিয়ে প্রশিক্ষিত একটি neural network (দেখুন Large language model কী)। Hosted model-এ আপনি ইন্টারনেটে provider-কে prompt পাঠান। Open model-এ প্রশিক্ষিত weights প্রকাশিত থাকে, তাই নিজের hardware-এ চালানো যায়।
কঠোরভাবে বললে, এদের অনেকটাই "open-weight": weights পাওয়া যায়, কিন্তু প্রশিক্ষণের ডেটা ও কোড নাও পাওয়া যেতে পারে। লাইসেন্সও আলাদা, কোনোটি বাণিজ্যিক ব্যবহার সীমিত করে, তাই বেছে নেওয়া model-এর লাইসেন্স পড়ে নিন।
কেন LLM লোকালি চালাবেন?
কারণ | মানে |
|---|---|
গোপনীয়তা | আপনার prompt নিজের মেশিনেই থাকে, যা সংবেদনশীল টেক্সটে কাজে লাগে। নিজের নিয়ম ও আইন দেখে নিন। |
খরচ নিয়ন্ত্রণ | প্রতি token-এর বিল নেই। বদলে নিজের hardware ও বিদ্যুতের খরচ। |
অফলাইন ব্যবহার | model ডাউনলোডের পর ইন্টারনেট ছাড়াই চলে। |
শেখা ও নিয়ন্ত্রণ | বিভিন্ন model ও সেটিংস নিজের মতো পরীক্ষা করা যায়। |
বিনিময়ও বাস্তব। ল্যাপটপে ধরে এমন model সাধারণত ছোট এবং সবচেয়ে বড় hosted model-এর চেয়ে কম সক্ষম। বড় model দ্রুত চালাতে বেশি memory ও ভালো GPU লাগে।
Ollama কী?
Ollama এমন একটি টুল, যা open model ডাউনলোড, সংরক্ষণ ও চালানো সামলায়। Ollama-র অফিশিয়াল ওয়েবসাইট থেকে ইনস্টল করে terminal ব্যবহার করুন। Model-এর নাম Ollama library থেকে আসে, তাই ঘুরে দেখে কম্পিউটারের memory-র সঙ্গে মানায় এমন একটি বেছে নিন। ছোট model সাধারণ hardware-এও চলে।
ollama pull your-model-name # download a model from the Ollama library
ollama run your-model-name # chat with it in the terminal
ollama list # show models on your computeryour-model-name-এর জায়গায় library-র আসল নাম দিন। Ollama নিজেও সময়ের সঙ্গে কমান্ড বদলাতে পারে, তাই কিছু না মিললে তাদের documentation দেখুন।
কোড থেকে local model কীভাবে ব্যবহার করবেন?
Ollama চালু থাকলে এটি আপনার কম্পিউটারেই একটি HTTP API চালায়, সাধারণত port 11434-এ। এই Python script শুধু standard library দিয়ে সেটি ডাকে:
import json
import urllib.request
payload = {
"model": "your-model-name", # a model you pulled, shown by `ollama list`
"prompt": "Explain what an API is in two sentences.",
"stream": False, # return one JSON object instead of a stream
}
request = urllib.request.Request(
"http://localhost:11434/api/generate",
data=json.dumps(payload).encode("utf-8"),
headers={"Content-Type": "application/json"},
)
with urllib.request.urlopen(request) as response:
print(json.load(response)["response"])এটি সাধারণ HTTP API, তাই অন্য যেকোনো API-র মতোই (দেখুন API কী)। local ও hosted বিকল্প তুলনায় দেখুন ChatGPT, Gemini নাকি Claude।
সাধারণ ভুল
memory-র চেয়ে বড় model ডাউনলোড করা, ফলে খুব ধীর চলে বা ব্যর্থ হয়।
"open" মানে যেকোনো ব্যবহার বৈধ ধরে নেওয়া। লাইসেন্স পড়ুন।
ছোট local model কঠিন কাজে সবচেয়ে বড় hosted model-এর সমান হবে আশা করা। নিজের কাজে পরীক্ষা করুন।
সুরক্ষা ছাড়া local API ইন্টারনেটে খুলে দেওয়া।
মূল কথা
Open model নিজের মেশিনে LLM চালাতে দেয় এবং Ollama তা কয়েকটি কমান্ডে সহজ করে। আপনার hardware-এর সঙ্গে মানায় এমন model বেছে নিন, লাইসেন্স পড়ুন এবং আসল কাজে পরীক্ষা করুন।
শুরু করতে চান? LLM কীভাবে কাজ করে শিখে তা দিয়ে AI ফিচার বানান, hosted বা local model-এ যুক্ত করা যায় এমন provider-neutral client-সহ। শুরু করুন ফ্রি কোর্স LLM দিয়ে AI ইঞ্জিনিয়ারিং: বিগিনার দিয়ে।
সম্পর্কিত লেখা
LLM বিভাগের আরও লেখা
LLM-এ Top-k ও Top-p কী? AI Output কীভাবে নিয়ন্ত্রণ করে?
Top-k এবং Top-p হলো sampling technique, যা LLM কোন candidate token থেকে পরবর্তী token নির্বাচন করবে তা নিয়ন্ত্রণ করতে সাহায্য করে। AI output-এর creativity, diversity এবং consistency বোঝার জন্য এগুলো গুরুত্বপূর্ণ।
2 মিনিট পড়া৩০ আগ, ২০২৬LLM-এ Token ও Tokenization কী? কেন গুরুত্বপূর্ণ?
LLM মানুষের মতো সরাসরি পুরো text process করে না। এটি text-কে token হিসেবে process করে। Context window, API cost, model limitation এবং LLM performance বোঝার জন্য Tokenization সম্পর্কে জানা অত্যন্ত গুরুত্বপূর্ণ।
2 মিনিট পড়া২৯ আগ, ২০২৬LLM-এর Context Window কী? কেন এটি গুরুত্বপূর্ণ?
Context window হলো একটি request-এ LLM কতগুলো token বিবেচনা করতে পারে: নির্দেশনা, chat history, document আর তার নিজের উত্তর। কেন এটি গুরুত্বপূর্ণ আর কীভাবে সামলাবেন জানুন।
3 মিনিট পড়া২৯ আগ, ২০২৬Portfolio-র জন্য beginners-দের ৭টি AI প্রজেক্ট আইডিয়া
Beginner portfolio-র জন্য সাতটি ছোট, শেষ করা যায় এমন AI project idea, প্রতিটি কী শেখায় এবং কীভাবে উপস্থাপন করলে অন্যরা আপনার কাজে আস্থা পাবে।
3 মিনিট পড়া১৪ নভে, ২০২৬Hugging Face কী? AI model আর dataset-এর হাব
Hugging Face হলো শেয়ার করা AI model, dataset ও demo অ্যাপের হাব, সাথে সেগুলো চালানোর open-source library। কী কী পাওয়া যায় আর কীভাবে শুরু করবেন তা জানুন।
4 মিনিট পড়া১৩ নভে, ২০২৬Prompt injection কী? AI অ্যাপের নতুন নিরাপত্তা ঝুঁকি
Prompt injection AI অ্যাপকে আক্রমণকারীর নির্দেশ মানাতে বাধ্য করে। জানুন এর ধরন, কেন বিপজ্জনক এবং ঝুঁকি কমানোর একাধিক স্তর।
4 মিনিট পড়া১২ নভে, ২০২৬
মন্তব্য
আলোচনায় যোগ দিতে সাইন ইন করুন।


