Публикации по теме 'apache-kafka'
Упрощение потребления данных в Apache Kafka
В McAfee мы широко используем Apache Kafka. Мы создали OpenDXL SDK , обертывающий обычный Java-клиент Apache Kafka, чтобы добавить пользовательскую схему закодированных сообщений. OpenDXL SDK предоставляет Consumer, Producers и остальные клиентские функции Kafka.
Потребительские приложения
Потребитель — это объект, который позволяет считывать данные из кластера Kafka с использованием модели извлечения. Как правило, пользователи OpenDXL SDK реализуют потребительские приложения,..
Использование GitHub Actions для автоматизации разработки на основе Redpanda
Легко автоматизируйте, создавайте и тестируйте свой проект разработки на основе Redpanda с помощью Redpanda GitHub Action.
Эта запись была написана пользователем Celso Fernandes и первоначально опубликована в блоге Redpanda .
Если вы уже используете Redpanda , то вы знаете, что одним из самых заманчивых его достоинств является стремление максимально упростить разработку потоковой передачи данных.
Отбросив сложность, следующим логическим шагом было создание простого и..
Введение в Apache Kafka
Узнайте о популярной системе сообщений
Эта статья о популярной системе обмена сообщениями, известной как Kafka. Если вы не знаете, что такое Кафка, вы попали в нужное место.
Вам не нужно беспокоиться, если вы знакомы с одним языком программирования, но не знаком с другим, поскольку он не зависит от языка. Мы расскажем об основах, о том, как это работает, и о терминологии компонентов системы.
Что такое Кафка?
Kafka - это система распределенного обмена сообщениями. Он следует..
Вопросы по теме 'apache-kafka'
Как кодировать / декодировать сообщения Kafka с помощью двоичного кодировщика Avro?
Я пытаюсь использовать Avro для чтения / записи сообщений в Kafka. Есть ли у кого-нибудь пример использования двоичного кодировщика Avro для кодирования / декодирования данных, которые будут помещены в очередь сообщений?
Мне нужна часть Avro...
53363 просмотров
schedule
23.05.2024
Как запустить производителя кафки в eclipse?
Я новичок в кафке. Я скачал кафку 2.9.2-0.8.1.1. Я запустил зоопарк, брокер, производитель и потребитель из командной строки. Я успешно создал тему и отправил сообщение.
Теперь я хочу запустить производителя из eclipse. Но я не знаю, как это...
6848 просмотров
schedule
11.05.2024
отправьте этот фрейм данных потоковой передачи искры в hbase, используя scala
Я получаю kafka в потоке искры и обрабатываю свои данные для создания фрейма данных, который выглядит следующим образом:...
636 просмотров
schedule
26.05.2024
SpringXD и Spring Integration: Читайте из темы kafka каждые X минут, затем отправляйте в другую тему
Я пытаюсь реализовать решение для создания потока SpringXD, состоящего из источника kafka, модуля моста и приемника kafka.
Итак, у меня есть что-то вроде:
<channel id="pollable">
<queue />
</channel>
<bridge...
180 просмотров
schedule
04.05.2024
Процесс журнала сервера приложений
У меня есть требование от моего клиента обработать файл журнала сервера приложений (Tomcat) для внутреннего сервера приложений на основе REST, который развернут в кластере. Клинт хочет создать отчет «доступ» и «частота» из этих данных с разными...
78 просмотров
schedule
03.06.2024
Поддерживаемые протоколы члена группы несовместимы с протоколами существующих участников.
У меня проблема, связанная с Кафкой.
У меня есть текущая служба ( Producer ), которая отправляет сообщение в тему Kafka ( events ). Сервис использует kafka_2.12 v1.0.0 , написанный на Java.
Я пытаюсь интегрировать его с примером проекта...
4835 просмотров
schedule
01.05.2024
kafka-zookeeper не подключается к docker-compose
Я хочу запустить kafka-zookeeper через docker-compose. Я создал один файл docker-compose.yml, и он работает, просто нажав docker-compose.yml up --build из cmd (в каталоге docker-compose.yml), затем откройте приложение kafka-tool и подключите его. ....
1159 просмотров
schedule
06.03.2024
Как распечатать сообщения Kafka на консоли с помощью Spring-Cloud-Stream-Binder-Kafka
Мой вопрос очень близок к Выводить ввод Kafka Stream на консоль? с небольшой разницей: я использую StreamsBuilder вместо Kstreambuilder. (К сожалению, git с таким разрешением недоступен из-за ошибки 404).
Мой слушатель:...
260 просмотров
schedule
03.06.2024
Lagom Framework: тема Kafka не создается
Я пытаюсь написать небольшой микросервис, используя лагом-фреймворк со стороной чтения, реализованной для поддержки mysql. https://github.com/codingkapoor/lagom-scala-slick
Цель этой службы — предоставить API для создания, обновления и чтения...
203 просмотров
schedule
29.04.2024
Динамическое потребление сообщений из темы кафка
Мне нужно получать сообщения из тем, которые динамически создаются производителем. Я использовал подход шаблона темы в потребителе @KafkaListener (topicPattern = "topicname _. *" Для этого, а также установил metadata.max.age.ms = 3000. Но, очевидно,...
679 просмотров
schedule
18.03.2024
Проект Spring Cloud Stream с ошибкой "Не удалось получить информацию о разделе"
Когда я использую эту конфигурацию:
spring:
cloud:
stream:
kafka:
binder:
min-partition-count: 1
replication-factor: 1
kafka:
producer:
transaction-id-prefix: tx-
retries: 1
acks: all...
193 просмотров
schedule
11.04.2024