Автоматизация ML и DL с помощью Jenkins и Docker

Постановка задачи:

1. Создайте образ контейнера с Python3 и Keras или numpy, установленным с помощью файла dockerfile.

2. Когда мы запускаем этот образ, он должен автоматически запускать обучение модели в контейнере.

3. Создайте цепочку заданий job1, job2, job3, job4 и job5, используя плагин конвейера сборки в Jenkins.

4. Job1: автоматическое получение репозитория Github, когда некоторые разработчики отправляют репозиторий на Github.

5. Job2: просмотрев код или программный файл, Дженкинс должен автоматически запустить соответствующее программное обеспечение для машинного обучения, установить интерпретатор, установить контейнер образа, чтобы развернуть код и начать обучение (например, если код использует CNN, тогда Дженкинс должен запустить контейнер, который уже установлено все программное обеспечение, необходимое для обработки cnn).

6. Job3: Обучите свою модель и предскажите точность или показатели.

7. Job4: если точность метрик меньше 80%, то необходимо настроить архитектуру модели машинного обучения.

8. Job5: переобучить модель или уведомить, что создается лучшая модель

9. Создайте одно дополнительное задание job6 для монитора: если контейнер, в котором запущено приложение. происходит сбой по какой-либо причине, то это задание должно автоматически снова запускать контейнер с того места, где осталась последняя обученная модель.

Сначала нам нужно создать две разные среды для ML и DL. Для этого мы создаем два отдельных каталога и создаем Dockerfile. Мы пишем файл Docker с библиотеками в соответствии с нашими требованиями.

Вы можете найти код Python и наборы данных в моем github по ссылке https://github.com/SatyaBhashiniNandigam/ML-DL