AI Lifecycle Overview
একটি ML model শুধু train হয় না — সেটার একটা পুরো জীবনচক্র থাকে। এই chapter সেই 8 ধাপের সম্পূর্ণ map।
একটি model-এর জন্মদিন থেকে অবসর
ভাবুন একটি model হলো একজন employee। তাকে hire করতে হয় (problem framing), train করতে হয় (training), performance review হয় (evaluation), promotion হয় (deployment), এবং একদিন retire-ও হয় (replaced by new version)। MLOps মূলত এই সম্পূর্ণ HR system — কিন্তু মডেলের জন্য।
AI Lifecycle কি?
AI lifecycle হলো একটি repeatable loop যেখানে data → model → service → feedback → আবার data — এই চক্র চলতেই থাকে। Traditional software-এ deploy করলেই শেষ, কিন্তু ML-এ deploy করার পর থেকেই আসল কাজ শুরু হয়।
8 Stage Lifecycle
Business সমস্যাকে ML সমস্যায় রূপ দেওয়া — classification, regression, ranking ইত্যাদি।
Source identify, ingestion pipeline এবং versioning (DVC, LakeFS)।
Cleaning, feature engineering, train/val/test split, schema validation।
Experiment tracking (MLflow, W&B), hyperparameter search।
Offline metrics, business metric mapping, fairness check।
Pickle / ONNX, model registry-তে version tag।
FastAPI + Docker + Kubernetes বা serverless serving।
Drift, latency, accuracy track — trigger হলে retrain।
Loop, না Line
অনেকেই lifecycle-কে straight line ভাবে — train → deploy → শেষ। বাস্তবে এটা একটি loop। প্রতিটি deployment থেকে নতুন data আসে, সেই data থেকে drift detect হয়, drift থেকে retraining trigger হয়, এবং আবার নতুন version deploy হয়।
Data → Train → Evaluate → Deploy → Monitor → Drift → Retrain → Deploy → …Industry তে কেমন দেখায়
- Airbnb Bighead — সম্পূর্ণ lifecycle automate, prototype থেকে production এক click।
- Meta FBLearner — daily হাজারো model retrain হয় এই platform-এ।
- Google TFX — open-source end-to-end lifecycle framework।
Mini lifecycle script
একটি ছোট script যেখানে আমরা data load → train → evaluate → save — চারটি ধাপ একসাথে।
# lifecycle.py
import joblib, json
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.ensemble import RandomForestClassifier
from sklearn.metrics import accuracy_score
# 1. Data
X, y = load_iris(return_X_y=True)
Xtr, Xte, ytr, yte = train_test_split(X, y, test_size=0.2, random_state=42)
# 2. Train
model = RandomForestClassifier(n_estimators=100).fit(Xtr, ytr)
# 3. Evaluate
acc = accuracy_score(yte, model.predict(Xte))
print(f"Accuracy: {acc:.3f}")
# 4. Package
joblib.dump(model, "model.joblib")
with open("metrics.json", "w") as f:
json.dump({"accuracy": acc}, f)ব্যাখ্যা: এই script-এ একটি mini-lifecycle implement করা হয়েছে — data, train, evaluate, package। Production system-এ এই প্রতিটা step আলাদা service হিসেবে চলে এবং orchestrator (Airflow, Kubeflow) তাদের connect করে।
সচরাচর ভুল
- Lifecycle-কে one-time project ভাবা — আসলে এটা continuous।
- Evaluation metrics business metric-এর সাথে align না করা।
- Data versioning skip করা — পরে কোন data থেকে এই মডেল এসেছিল বোঝা যায় না।
- Monitoring stage সম্পূর্ণ skip করা।
অনুশীলন
- উপরের
lifecycle.pyচালান এবংmetrics.jsonদেখুন। n_estimatorsপরিবর্তন করে দেখুন accuracy কেমন বদলায় — এটাই experiment tracking-এর basis।- প্রতিটি lifecycle stage-এর জন্য একটি আলাদা folder বানিয়ে কোড organize করুন।
Mini Project — Lifecycle Logger
একটি Python script লিখুন যা প্রতিটি lifecycle stage execute করার সময় timestamp ও duration log করবে একটি lifecycle.log file-এ। এটাই future-এ MLflow tracking-এর foundation।
এই chapter থেকে যা শিখলাম
- AI lifecycle 8টি stage — সবগুলো interconnected।
- এটা loop, line না — continuous improvement-ই core।
- প্রতিটি stage আলাদা tool ও responsibility-এর জায়গা।