Упростите работу над интеграциями с Apache Kafka

Брокер сообщений Apache Kafka — распределённая потоковая платформа, способная обрабатывать миллионы событий ежедневно. Kafka гарантирует простоту интеграции в инфраструктуру проекта, надёжность и масштабируемость системы.

Kafka Connect — фреймворк Apache Kafka, обеспечивающий масштабируемость и гибкость перемещения данных между Kafka и другими хранилищами. Этот фреймворк позволяет брокеру выступать в роли сервисной шины ESB.

Потоковая обработка Kafka работает с данными в режиме реального времени со скоростью генерации сообщений. Обработка сообщений происходит непрерывно и без блокировки. Многие бизнес-процессы также осуществляются непрерывно и не требуют ответа для обработки. Потоковая обработка данных необходима для таких бизнес-процессов, как оповещение о подозрительных транзакциях или отслеживание почтовой доставки.

Любые сообщения, возникающие в приложении, могут быть опубликованы в специальной теме (topic) Kafka. Например, каждый документ ERP-системы или каждое действие пользователей на сайте: клики, добавление в избранное, добавление/удаление из «Корзины», заполнение форм, просмотр страниц (и его глубина) — можно отправлять и распределять по специально заданным темам Kafka. Так, другие темы (потребители) могут подписаться на необходимые темы для различных целей — мониторинг, анализ, составление отчётов, персонализация и т. д.

Kafka позволяет вести журналы и мониторить логи. Логи можно публиковать в темах Kafka, а журналы — хранить и обрабатывать в кластере в течение необходимого количества времени. Если у вас есть специальное приложение для мониторинга, оно сможет получать данные из тем Kafka в режиме реального времени.

Kafka добавляет в журнал (сохраняет на диске) каждое сообщение и хранит там вплоть до момента очистки журнала от старых сообщений, который пользователь назначает заранее. Благодаря этому Kafka может использоваться как достоверный источник данных (в отличие от RabbitMQ, который удаляет сообщения сразу после доставки).