Деплой моделей машинного обучения
Static vs Dynamic Training
Static vs Dynamic Training
Static vs Dynamic Serving
Deployment patterns:
- on user's device
- on server
Dynamic deployment on a server:
- deployment on a virtual machine
- deployment in a container
- serverless deployment
Deployment strategies:
- single deployment
- silent deployment
- canary deployment
- multi-armed bandit
A typical ML workflow
API JSON
JSON
JSON (JavaScript Object Notation) - простой формат обмена данными, удобный для чтения и написания как человеком, так и компьютером.
Создание проекта
- Pycharm
- venv
- версия python и requirements.txt
Web-фреймворк для API
Обработка ошибок
Логгирование
Тестирование
По уровню тестирование бывает:
- Модульное / юнит-тестирование – проверка корректной работы отдельных единиц ПО. Этот вид тестирования могут выполнять сами разработчики.
- Интеграционное тестирование – проверка взаимодействия между несколькими единицами ПО.
- Системное – проверка работы всей системы на соответствие заявленным требованиям к программному продукту.
Модульное тестирование
Фреймворк PyTest
python -m pytest -vv
Пример работы с фронт-системой
Production server
Gunicorn
Gunicorn 'Green Unicorn' is a Python WSGI HTTP Server for UNIX.
gunicorn -w 4 -b 127.0.0.1:5000 app:app
Тестирование производительности
ab - Apache HTTP server benchmarking tool
ab -c 100 -n 1000 http://127.0.0.1:5000/
-c concurrency - количество параллельных запросов в единицу времени.
-n requests - количество запросов, которое необходимо выполнить в течение сессии тестирования.
-n requests - количество запросов, которое необходимо выполнить в течение сессии тестирования.
Deploy to Heroku
Procfile:
web: gunicorn app:app
Buildpacks:
heroku/python
https://github.com/heroku/heroku-buildpack-jvm-common.git
gRPC
gRPC - это высокопроизводительный фреймворк разработанный компанией Google для вызов удаленных процедур (RPC), работает поверх HTTP/2.
Protobuf - формат сериализации, использует строгую типизацию полей и бинарный формат для передачи и данных потребляет значительно меньше ресурсов чем JSON.
Protobuf - формат сериализации, использует строгую типизацию полей и бинарный формат для передачи и данных потребляет значительно меньше ресурсов чем JSON.
Platforms for managing the machine learning lifecycle
Thank you
Деплой моделей машинного обучения
{"metaMigratedAt":"2023-06-15T15:06:45.756Z","metaMigratedFrom":"YAML","title":"Model Deployment","breaks":false,"description":"deploy ML models","slideOptions":"{\"transition\":\"none\",\"progress\":false,\"slideNumber\":true,\"theme\":\"white\"}","contributors":"[{\"id\":\"afb6236d-117e-49ec-841e-c28a3996a432\",\"add\":4158,\"del\":256}]"}