অধ্যায় 6 · মডেল মাপা ও পরের ধাপ
সারসংক্ষেপ, সূত্রের তালিকা ও এরপর কী
- পৃষ্ঠা 17 / 17
- 3 মিনিট পড়া
এখন আপনি যা পারেন
- ডেটাকে ভেক্টর আর ম্যাট্রিক্স হিসেবে প্রকাশ, দূরত্ব আর মিল মাপা, আর সংখ্যার কোডে শেপ পড়া।
- মডেল কীভাবে শেখে ব্যাখ্যা করা: ডেরিভেটিভ, গ্রেডিয়েন্ট, গ্রেডিয়েন্ট ডিসেন্ট, লার্নিং রেট আর লস ফাংশন।
- মধ্যমা, বিস্তার আর পার্সেন্টাইল দিয়ে সৎভাবে একটা ডেটাসেট বর্ণনা, ফিচার স্কেল করা, আর কোরিলেশন থেকে কারণ আলাদা করা।
- স্ট্যান্ডার্ড এরর আর বুটস্ট্র্যাপ ইন্টারভাল দিয়ে বিচার করা দুটো ফলাফলের পার্থক্য আসল কিনা।
- সম্ভাবনার নিয়ম আর বেইজের উপপাদ্য ব্যবহার, আর টেম্পারেচার ও স্যাম্পলিং কীভাবে একটা LLM-এর আউটপুট গড়ে, তা ব্যাখ্যা।
- কনফিউশন ম্যাট্রিক্স, প্রিসিশন, রিকল আর F1 দিয়ে একটা ক্লাসিফায়ার মূল্যায়ন, আর থ্রেশহোল্ড বাছাই।
সূত্রের তালিকা
| ধারণা | সূত্র | NumPy |
|---|---|---|
| ভেক্টরের দৈর্ঘ্য | ‖a‖ = √(Σ aᵢ²) | np.linalg.norm(a) |
| ডট প্রোডাক্ট | a · b = Σ aᵢbᵢ | a @ b |
| কোসাইন সিমিলারিটি | a · b / (‖a‖ ‖b‖) | a @ b / (norm(a) * norm(b)) |
| একটা লেয়ার | z = W x + b | W @ x + b |
| ম্যাট্রিক্সের শেপ | (m × n)(n × p) → (m × p) | (A @ B).shape |
| গ্রেডিয়েন্ট ডিসেন্ট | w ← w − η ∂L/∂w | w -= lr * grad |
| সিগময়েড | 1 / (1 + e⁻ᶻ) | 1 / (1 + np.exp(-z)) |
| সফটম্যাক্স | eᶻⁱ / Σ eᶻʲ | np.exp(z) / np.exp(z).sum() |
| MSE | mean((ŷ − y)²) | np.mean((pred - y) ** 2) |
| ক্রস-এনট্রপি | −log p(সঠিক) | -np.log(p) |
| স্ট্যান্ডার্ড ডেভিয়েশন | √ mean((x − x̄)²) | x.std() |
| z-স্কোর | (x − x̄) / σ | (x - x.mean()) / x.std() |
| স্ট্যান্ডার্ড এরর (accuracy) | √(p(1 − p) / n) | np.sqrt(p * (1 - p) / n) |
| বেইজ | P(A|B) = P(B|A) P(A) / P(B) | পাতা ১৪ |
| প্রিসিশন / রিকল | TP/(TP+FP) / TP/(TP+FN) | sklearn.metrics |
শব্দকোষ
| শব্দ | মানে |
|---|---|
| ভেক্টর / ম্যাট্রিক্স | সংখ্যার তালিকা / সংখ্যার টেবিল |
| এমবেডিং | এমন ভেক্টর, যা একই রকম অর্থকে কাছাকাছি রাখে |
| গ্রেডিয়েন্ট | প্রতিটা ওয়েটের ঢালের তালিকা; ওপরের দিক দেখায় |
| লার্নিং রেট | গ্রেডিয়েন্ট ডিসেন্টের প্রতিটা ধাপ কত বড় |
| লস | মডেল কতটা ভুল তা বলা একটা সংখ্যা; ট্রেনিং এটা ছোট করে |
| লজিট | সফটম্যাক্সের আগে মডেলের কাঁচা স্কোর |
| স্ট্যান্ডার্ডাইজেশন | একটা ফিচারকে গড় ০ আর স্ট্যান্ডার্ড ডেভিয়েশন ১-এ আনা |
| কনফাউন্ডার | লুকানো চলক, যা অন্য দুটোকে চালায় আর বিভ্রান্তিকর কোরিলেশন বানায় |
| কনফিডেন্স ইন্টারভাল | এমন একটা পরিসর, যাতে আসল মান সম্ভবত আছে |
| প্রায়োর / পোস্টেরিয়র | প্রমাণ দেখার আগের / পরের বিশ্বাস |
| টেম্পারেচার | যে সেটিং একটা LLM-এর পরের-টোকেনের সম্ভাবনাকে তীক্ষ্ণ (কম) বা চ্যাপ্টা (বেশি) করে |
| প্রিসিশন / রিকল | "হ্যাঁ" কতবার সঠিক / আসল "হ্যাঁ"-এর কতগুলো খুঁজে পাওয়া গেল |
নিজেকে যাচাই করুন
তিনটা কুইজ ক্রমানুসারে দিন: সহজ (অধ্যায় ২, ভেক্টর আর ম্যাট্রিক্সের পর), মাঝারি (অধ্যায় ৪, ক্যালকুলাস আর পরিসংখ্যানের পর) আর কঠিন চূড়ান্ত পরীক্ষা (অধ্যায় ৬-এর পর, সম্ভাবনা আর মাপসহ সবকিছু)। যে উত্তর ভুল হবে তার ব্যাখ্যা পড়ুন, তারপর সেই পাতায় ফিরে যান।
এরপর কী
Level 0 পথের পরের বিষয় SQL ও ডেটা নিয়ে কাজ: ডেটাবেস থেকে ডেটা বের করে মডেলের দরকারি আকারে আনা। এরপর আসবে Git, API ও বেসিক ব্যাক-এন্ড, প্রম্পট ইঞ্জিনিয়ারিং আর AI নৈতিকতা।
আরও পড়ুন
- 3Blue1Brown: Essence of linear algebra আর Essence of calculus
- Mathematics for Machine Learning (বিনামূল্যের বই)
- OpenIntro Statistics (বিনামূল্যের বই)
- scikit-learn: মেট্রিক আর স্কোরিং