Язык и библиотеки для работы с данными.
- Python
- NumPy, Pandas
- SQL
- Jupyter
loss ↓softmax(z)∇θ LReLUp(y | x)Attention(Q,K,V)θ ← θ − η∇Lσ(x)
Роадмап
Machine Learning
От основ и классического ML до LLM-инженерии и ML system design.
12 уровней64 тем
0
Уровень 0
ОСНОВЫ
4 тем
Без них не сможешь работать в команде.
- Git
- venv / conda
- Terminal
Контейнеризация. Обязателен для MLOps.
- Dockerfile
- docker-compose
- Volumes
- Networks
Фундамент для понимания алгоритмов.
- Линалгебра: векторы, матрицы
- SVD, собственные значения
- Производные, градиенты
- Chain rule для матриц
- Backpropagation вручную
1
Уровень 1
МАТЕМАТИКА ML
3 тем
ML предсказывает вероятности, не точные ответы.
- Распределения
- Условная вероятность
- Теорема Байеса
- Мат. ожидание
Основа для inference. Спрашивают ВСЕГДА!
- MLE / MAP
- p-value, A/B
- Ошибки I/II рода
- Bootstrap, ЦПТ
Как модель учится — минимизация ошибки.
- Градиентный спуск
- SGD, Adam, AdamW
- Learning rate
- Сходимость
2
Уровень 2
КЛАССИЧЕСКИЙ ML
5 тем
Предсказать ответ, когда есть размеченные данные.
- Линейная регрессия
- Логистическая регрессия
- Деревья решений
- Random Forest
- XGBoost, CatBoost
Найти структуру в данных без меток.
- K-Means, DBSCAN
- PCA
- t-SNE, UMAP
Почему модель работает или не работает.
- Bias-Variance tradeoff
- Переобучение
- Кросс-валидация
- Регуляризация
Как измерить качество модели.
- Accuracy, Precision, Recall
- F1-score
- ROC-AUC
- MSE, MAE
Мало разметки? Используй unlabeled!
- Pseudo-labeling
- MixMatch, FixMatch
- Label propagation
- Co-training
3
5 МОДЕЛЕЙ = 50% СОБЕСА
5 тем
регрессия
регрессия
решений
Forest
XGBoost/CatBoost
4
Уровень 2.5
ВЕРОЯТНОСТНЫЙ ML
4 тем
Не точка, а распределение. Оценка неопределённости.
- Prior, Posterior
- Байесовская регрессия
- Сопряжённые распределения
Как вычислить сложное распределение.
- MCMC
- Variational Inference
- ELBO
Явные связи между переменными.
- Байесовские сети
- HMM
- Марковские поля
Регрессия с оценкой неопределённости.
- GP регрессия
- Kernels
- Bayesian Optimization
5
Уровень 3
ГЛУБОКОЕ ОБУЧЕНИЕ
15 тем
Нейросети автоматически учат признаки из данных.
- Нейрон, слои, веса
- Функции активации
- Backpropagation
- Dropout
Свёрточные сети для обработки картинок.
- Convolution, Pooling
- ResNet
- Transfer Learning
Исторически важно, но заменено Transformer.
- LSTM
- GRU
- Seq2Seq
Архитектура для всего современного ML.
- Self-Attention
- Multi-Head Attention
- Positional Encoding
- BERT, GPT
Создание новых данных: картинки, текст, музыка.
- GAN
- VAE
- Diffusion
Спрашивают часто.
- BatchNorm
- LayerNorm
- RMSNorm
- GroupNorm
Основа LLM и Vision. Учимся без разметки.
- SimCLR, MoCo
- BERT (masked)
- MAE (patches)
- Contrastive loss
Данные — это связи: соцсети, молекулы.
- GCN, GAT
- GraphSAGE
- Message Passing
Анализ изображений и видео.
- Object Detection (YOLO)
- Segmentation
- CLIP, ViT
Показать пользователю релевантный контент.
- Collaborative Filtering
- Matrix Factorization
- Two-Tower, NCF
Предсказание будущего по историческим данным.
- ARIMA, Prophet
- LSTM, Informer
- Anomaly Detection
Понимание текста: классификация, сущности.
- Word2Vec, BERT
- Sentiment Analysis
- Text Classification
Главный фреймворк. 0% покрытие было!
- nn.Module
- DataLoader
- Training loop
- AMP, DDP
Почему это работает?
- Double descent
- NTK theory
- Loss landscape
- Implicit bias
- Grokking
Генерация SOTA. Stable Diffusion внутри.
- DDPM
- Score matching
- Stable Diffusion
- ControlNet
6
Уровень 4
ИНЖЕНЕРИЯ ДАННЫХ
5 тем
Форматы и хранилища для больших данных.
- Parquet, Arrow
- S3, GCS
- Data Lake / Warehouse
Пайплайны для терабайтов данных.
- Spark
- Airflow
- Dask
Real-time обработка за секунды.
- Kafka
- Flink
- Event-driven
На собеседовании обязательно спросят. Критичный скилл.
- Extraction
- Transformation
- Selection
- Feature Store
Данные = качество модели. Гарбейдж ин = аут.
- Great Expectations
- dbt tests
- Data contracts
- Data lineage
7
Уровень 5
MLOps
5 тем
Воспроизводимость и отслеживание.
- MLflow, W&B
- DVC
- Optuna
Где и как обучать модели.
- GPU / TPU
- Облака (AWS, GCP)
- Kubernetes
Модель в проде 24/7.
- FastAPI, TorchServe
- A/B тесты
- Мониторинг drift
LLM Автоматизация.
- GitHub Actions
- Pre-commit hooks
- ML-тесты
- Linting (ruff)
Быстрее и дешевле. Критично для прода.
- Quantization (INT8)
- ONNX, TensorRT
- Pruning
- Distillation
8
Уровень 6
ОЦЕНКА И ЭКСПЕРИМЕНТЫ
4 тем
Анализ до продакшена.
- Slice-based eval
- Error analysis
- Confusion matrix
- Метрики по срезам
Эксперименты в проде.
- A/B тестирование
- Sample size calc
- Multi-armed bandits
- Shadow deployment
Доверяй вероятностям.
- Platt scaling
- Temperature scaling
- Isotonic regression
- Reliability diagrams
Когда модель не уверена.
- MC Dropout
- Deep Ensembles
- Conformal prediction
- Epistemic/Aleatoric
9
Уровень 7
LLM ИНЖЕНЕРИЯ
5 тем
Как устроены большие языковые модели.
- Токенизация (BPE)
- KV-Cache
- FlashAttention
Адаптация LLM под свою задачу.
- Full fine-tuning
- LoRA, QLoRA
- Instruction tuning
Сделать LLM полезным и безопасным.
- RLHF
- DPO
- Guardrails
LLM + внешняя база знаний.
- Embeddings
- Vector DB
- Chunking
LLM вызывает инструменты.
- Function calling
- ReAct, CoT
- Multi-agent
10
Уровень 8
ПРОДВИНУТОЕ
3 тем
Обучение через награды.
- MDP, Bellman
- DQN, Double DQN
- PPO, A2C/A3C
- Model-based RL
- Offline RL
Объяснимость, честность, приватность.
- SHAP, LIME
- Fairness
- Federated Learning
Куда движется индустрия.
- Multimodal
- Video Generation
- World Models
11
Уровень 9
ML SYSTEM DESIGN
6 тем
Фреймворк из 8 блоков для собеса по MLSD.
- Формулировка задачи
- Baseline first!
- ML → Бизнес метрики
- Данные и разметка
- Итерации моделей
- Архитектура прода
- Ресурсы и сроки
- A/B тестирование
Типовые задачи на собесах в FAANG и BigTech.
- Рекомендации (Netflix)
- Поиск (Google, Яндекс)
- Антифрод (банки)
- Скоринг (кредиты)
- Ads ranking (таргет)
- Feed ranking (лента)
- Чат-бот / RAG
Компромиссы — ключевое в ML System Design.
- Accuracy vs Latency
- Precision vs Recall
- Freshness vs Cost
- Complexity vs Maint.
- Memory vs Speed
- Online vs Offline
- Batch vs Real-time
Как выкатить модель в production.
- Feature Store
- Model Registry
- A/B framework
- FAISS / Milvus
- Batching strategies
- Мониторинг drift
- Canary deploys
Полный цикл от сырых данных до продакшена.
- Сбор → ETL → Валидация → Разметка
- Preprocessing → Train/Val/Test split
- Feature Engineering → Обучение → Оценка
- A/B тест → Деплой → Мониторинг
- Регуляризация: L1/L2, Dropout, Early stopping
Почему начинаем с простого? Логрег за 2-3 дня одним мидлом даёт точку отсчёта.
- Классификация: Логрег → RF → XGBoost → BERT
- Рекомендации: Популярное → CF → Two-tower → DL
- LightGBM → CatBoost → DL (если данных много)
- Для каждой итерации: прирост метрик, время, ресурсы