Распространение Apache Spark растет, но сложности остаются

Apache Spark вышел за рамки этапа раннего внедрения и теперь является основным. Крупные предприятия, работающие с данными, обращаются к Spark для решения всех задач по обработке данных, начиная от загрузки через ETL и обработки качества данных и заканчивая задачами расширенной аналитики и машинного обучения.

Однако, несмотря на растущую популярность, Spark все еще развивается. Наряду с крутой кривой обучения разработчикам требуется время для разработки, интеграции и тестирования кода в Spark, чтобы решить основные сложности.

Кроме того, создание функционально богатых приложений Spark требует интеграции с различными технологиями больших данных, такими как широкий спектр источников данных и целей данных (например, несколько разрозненных источников данных в реальном времени, таких как Kafka, HDFS, Hive, RabbitMQ, Amazon S3 и т. д.), данные процессоры, расширенная аналитика и инструменты машинного обучения.

Следовательно, разработчикам и корпоративным ИТ-командам может быть сложно идти в ногу с развивающимся ландшафтом больших данных и сложностями использования Spark.

Разработка с низким кодом абстрагируется от сложностей Apache Spark

Визуальный инструмент с низким кодом — это решение сложностей, связанных с созданием приложений Spark корпоративного уровня. Платформа с низким кодом позволяет визуализировать рабочие процессы вместо ручного программирования, чтобы сократить время разработки и ввода в эксплуатацию приложений. Это также помогает визуализировать источники данных приложения, подготовку данных, бизнес-логику и сторонние интерфейсы. Этот подход может расширить возможности широкого круга пользователей, от разработчиков до бизнес-пользователей, и может повысить эффективность в 10 раз по сравнению с конвейерами Spark с ручным кодированием.

Gathr, платформа конвейера данных «все-в-одном», позволяет разработчикам создавать готовые к эксплуатации приложения Spark с богатыми функциональными возможностями с помощью интуитивно понятного пользовательского интерфейса с возможностью перетаскивания и широкого набора предварительно созданных операторов Spark.

Узнайте, как с помощью Gathr упростить разработку приложений Spark.

Особенности инструмента разработки с низким кодом

  • Уровень абстракции для упрощения использования сложных технологий. Базовая инфраструктура платформы разработки должна быть хорошо настроена, чтобы вы могли сосредоточиться на бизнес-логике. Например, Gathr предоставляет уровень абстракции для Spark и полный набор технологий больших данных, таких как источники данных и цели данных (например, Kafka, HDFS, Hive, RDBMS, Rabbit MQ, Azure Event-hub, Amazon Kinesis, Amazon S3 и др.). ElasticSearch), набор обработчиков данных, а также набор средств расширенной аналитики и обучения Sparkmachine, таких как Spark Mlib, ML, PMML, TensorFlow и H2O.
  • Визуальные элементы.Платформы Spark для разработки с минимальным объемом кода предлагают привлекательный визуальный интерфейс, который значительно повышает производительность разработчика, предоставляя готовые к использованию операторы для выбора, перетаскивания, подключения и настройки. Gathr предоставляет визуальный дизайнер конвейера Spark, инструменты мониторинга и отладки, а также встроенные панели мониторинга в реальном времени для поддержки быстрой разработки приложений Spark и более быстрого развертывания.
  • Сквозное управление жизненным циклом приложения. Платформы разработки с малым объемом кода не только ориентированы на разработку приложений, но и должны предоставлять интегрированную среду разработки (IDE) для поддержки всего жизненного цикла доставки приложений. Gathr плавно перемещает приложения по жизненному циклу от проектирования, сборки, тестирования и развертывания до управления на одном узле. Помимо инструментов визуальной разработки, платформа также включает в себя вариант развертывания одним щелчком мыши, инструменты управления приложениями (такие как проверка данных и происхождение данных) и возможность масштабирования на нескольких кластерах.
  • Расширяемость. Хотя простой в использовании пользовательский интерфейс с функцией перетаскивания значительно сокращает время разработки приложений, спрос на пользовательские приложения никогда не был выше. Платформа должна свести к минимуму ручное кодирование, но должна позволять легко интегрировать написанную от руки пользовательскую логику в конвейеры Spark. Gathr поддерживает запросы SQL через потоковую передачу Spark, а также в хранилище статических данных, а также встроенную поддержку языков и инструментов, таких как Java, Scala и MVEL.

Упрощение Apache Spark может способствовать более широкому внедрению на предприятии

Визуальные средства разработки с малым кодом ускоряют темпы разработки программного обеспечения. Постоянные инновации обеспечивают беспрецедентный уровень удобства использования и мощности этих платформ.

Ручное кодирование и развертывание функционально богатого, готового к работе приложения Spark могут занять месяцы. С платформой Spark с низким кодом вы можете предоставить приложение с большей гибкостью в течение нескольких недель, используя всего 30% вашей команды за небольшую часть предполагаемой стоимости.

Такие платформы, как Gathr, также решают проблему нехватки талантов Spark. При минимальных требованиях к кодированию существующие команды могут значительно увеличить использование и производительность Spark, а также поддержать существующие инициативы Spark.

Кроме того, использование ИИ на платформах разработки с низким кодом становится прорывной тенденцией. Платформы Spark с низким кодом выводят абстракцию кодирования на уровень, который позволяет предприятиям разрабатывать основанные на моделях подходы к разработке программного обеспечения с поддержкой ИИ, предоставляя разработчикам возможность автоматического построения сложной логики процессов для создания приложений.

Внедрение платформ с низким кодом будет расти, поскольку все больше и больше корпоративных ИТ-команд становятся более быстрыми и гибкими в использовании Spark и доставляют корпоративные приложения практически без ручного кодирования. Бизнес-пользователи также начнут использовать эти платформы для создания функциональных приложений без написания единой строки кода. Новые подходы, основанные на искусственном интеллекте, и будущие инновации сделают эти платформы более декларативными для бизнеса и проложат дорожную карту для будущего этих решений.

Чтобы создавать приложения Spark на Gathr за считанные минуты, начните бесплатную пробную версию сегодня.

Первоначально опубликовано на https://www.gathr.one.