Публикации по теме 'data-engineering'
Хронологический порядок: как написать Cron для планирования конвейеров
Как писать cron-выражения и зачем их знать дата-инженерам.
Cron — это сокращение от утилиты командной строки и планировщика заданий в системах, использующих unix . Cron используется для указания времени выполнения повторяющихся заданий и может учитывать минуты, часы, дни, месяцы, дни недели.
Генерация фиктивных данных для проектов данных: упрощение разработки и тестирования с помощью Python и…
Создание фиктивных данных — обычная практика в проектах данных, особенно на этапах разработки и тестирования. К фиктивным данным относятся искусственно сгенерированные данные, которые имитируют структуру и характеристики реальных данных, но не содержат реальной информации. Это позволяет моделировать реальные сценарии и тестировать конвейер данных или приложение без использования конфиденциальных данных.
Вот как вы можете генерировать фиктивные данные с помощью Python:
Библиотека..
Быстрое проектирование функций с помощью SQL
Разработка функций — один из наиболее важных аспектов экосистемы машинного обучения. Он попал в центр внимания в последние пару лет и, вероятно, подорвал слой из более ранних жизненных циклов машинного обучения.
Функция — это атрибуты/пояснительные переменные из данных, которые полезны для обучения и вывода модели ML, полученные на основе опыта бизнеса/предметной области. (например, средний рейтинг продукта). Разработка функций — это процесс получения набора данных и создания независимых..
На этой неделе в подготовке данных (26 октября 2020 г.)
Этот еженедельный пост с новостями с рынка подготовки данных доставляет вам компания The Data Value Factory , компания, предлагающая Data Preparer .
11 ссылок в публикации на этой неделе: 4 авторских статьи (об искусственном интеллекте, машинном обучении и ценности данных от dotData, FirstMark, Accenture's Mudano и Sainsbury's), 4 обновления компании (от Landing AI, InterSystems, Alluxio и re.alto), 1 объявление о партнерстве (между Trifacta и Fivetran) и 2 приобретения (Qlik приобретает..
Создание вашей первой модели машинного обучения на Python:
Пошаговое руководство
Машинное обучение – это мощный инструмент, с помощью которого можно создавать интеллектуальные системы, способные делать прогнозы, классифицировать данные и принимать решения на их основе. В этой статье мы рассмотрим шаги по созданию простой модели машинного обучения с использованием языка программирования Python и предоставим пример кода.
Для начала вам нужно будет установить Python и несколько библиотек, которые мы будем использовать в этом..
Динамичный дуэт мира ИИ: вычисления и хранение
Динамичный дуэт мира ИИ: вычисления и хранение
Однажды в мире ИИ…
В стране искусственного интеллекта появились два неразлучных героя: Compute и Storage. Этот смелый дуэт перенес ИИ из скромного зарождения персептронов в умопомрачительные возможности, которыми мы обладаем сегодня. Итак, берите попкорн и давайте погрузимся в их эпическую историю!
Роль и применение вычислений и хранения в мире ИИ
В первые дни наши герои Compute и Storage были просто помощниками главного героя —..
Введение в онтологию
Юрий Чернышов, руководитель R&D Center
В нашем мире ежедневно появляются новые вещи. Новые области знаний, о которых еще несколько лет назад и не думали, появляются регулярно, а старые исчезают, не выдерживая конкуренции. Каждая предметная область определяется конкретными знаниями, описывающими объекты предметной области и их свойства. Практическое использование этих знаний поддерживается экспертами. Кроме того, профессиональные компетенции экспертов определяются владением конкретными..
