По ходу стажировки я работаю над созданием новых и доработкой существующих пайплайнов. Эти конвейеры являются частью цикла обучения для модели машинного обучения. В конвейере есть несколько компонентов (или, как любит выражаться Dagster , активы ): 1) база данных BigQuery , 2) веб-приложение аннотации React-Flask-Postgres, которое оценивает обучение и тестовые примеры, и где все это объединяется, 3) Dagster, платформа оркестровки данных . С помощью этих компонентов различные..