Apache Kafka

Apache Kafka — распределённый программный брокер сообщений, проект с открытым исходным кодом, разрабатываемый в рамках фонда Apache. Написан на языках программирования Java и Scala.

Спроектирован как распределённая, горизонтально масштабируемая система, обеспечивающая наращивание пропускной способности как при росте числа и нагрузки со стороны источников, так и количества систем-подписчиков. Подписчики могут быть объединены в группы. Поддерживается возможность временного хранения данных для последующей пакетной обработки. Одной из особенностей реализации инструмента является применение техники, сходной с журналами транзакций, используемыми в системах управления базами данных^[1].

Изначально разработан компанией LinkedIn, исходные коды проекта открыты в начале 2011 года, включение в Apache Incubator состоялось 23 октября 2012 года.

Примечания

↑ The Log: What every software engineer should know about real-time data’s unifying abstraction Архивная копия от 17 марта 2014 на Wayback Machine // LinkedIn Engineering Blog

Ссылки

kafka.apache.org — официальный сайт Apache Kafka
Проект Apache Kafka на сайте GitHub
Apache Kafka // presentation by Morten Kjetland
Comparison with RabbitMQ // Quora
Comparison with RabbitMQ // Kafka mailing list

[1] The Log: What every software engineer should know about real-time data’s unifying abstraction Архивная копия от 17 марта 2014 на Wayback Machine // LinkedIn Engineering Blog

[1]