Apache Beam
| Apache Beam | |
|---|---|
.svg){kind=logo} | |
| Автор | |
| Разработчик | Apache Software Foundation |
| Написана на | Java, Python, Go |
| Операционная система | Cross-platform |
| Первый выпуск | 15 июня 2016 |
| Лицензия | Apache License 2.0 |
| Сайт | beam.apache.org |
Apache Beam — это унифицированная модель программирования с открытым кодом, созданная для описания и выполнения конвейров обработки данных, предназначенных для таких процессов, как ETL, а также для пакетной и многопоточной обработки данных. [1] Конвейры Beam создаются с помощью одного из представленных комплектов для разработки программного обеспечения и выполняются одним из поддерживаемых Beam “исполнителях”, в состав которых входят Apache Flink, Apache Samza, Apache Spark и Google Cloud Dataflow.[2]
История
Apache Beam [2] — является одной из реализаций модели потока данных Dataflow компании Google.[3] Она основана на предыдущей работе компании Google связанной с абстракциями распределенных вычислений, в частности на FlumeJava[4] и Millwheel.[5][6]
В 2014 году компания Google выпустила реализацию модели Dataflow в виде комплекта для разработки программного обеспечения с открытым исходным кодом, а также распределенную (в виде одного из сервисов "Oблачной платформы Google") и локальную (не распределенную) среды выполнения.
Хронология
Второстепенные релизы Apache Beam выходят раз в 6 недель.[7]
| Версия | Дата выхода |
|---|---|
| 2.41.0 | 2022-08-23 |
| 2.40.0 | 2022-06-27 |
| 2.39.0 | 2022-05-25 |
| 2.38.0 | 2022-04-20 |
| 2.37.0 | 2022-03-04 |
| 2.36.0 | 2022-02-07 |
| 2.35.0 | 2021-12-29 |
| 2.34.0 | 2021-11-11 |
| 2.33.0 | 2021-10-07 |
| 2.32.0 | 2021-08-25 |
| 2.31.0 | 2021-07-08 |
| 2.30.0 | 2021-06-09 |
| 2.29.0 | 2021-04-27 |
| 2.28.0 | 2021-02-22 |
| 2.27.0 | 2021-01-08 |
| 2.26.0 | 2020-12-11 |
| 2.25.0 | 2020-10-23 |
| 2.24.0 | 2020-09-18 |
| 2.23.0 | 2020-07-29 |
| 2.22.0 | 2020-06-08 |
| 2.21.0 | 2020-05-27 |
| 2.20.0 | 2020-04-15 |
| 2.19.0 | 2020-02-04 |
| 2.18.0 | 2020-01-23 |
| 2.17.0 | 2020-01-06 |
| 2.16.0 | 2019-10-07 |
| 2.15.0 | 2019-08-22 |
| 2.14.0 | 2019-08-01 |
| 2.13.0 | 2019-05-22 |
| 2.12.0 | 2019-04-25 |
| 2.11.0 | 2019-02-26 |
| 2.10.0 | 2019-02-01 |
| 2.9.0 | 2018-12-13 |
| 2.8.0 | 2018-10-29 |
| 2.7.0 (LTS) | 2018-10-03 |
| 2.6.0 | 2018-08-08 |
| 2.5.0 | 2018-06-26 |
| 2.4.0 | 2018-03-20 |
| 2.3.0 | 2018-01-30 |
| 2.2.0 | 2017-12-02 |
| 2.1.0 | 2017-08-23 |
| 2.0.0 | 2017-05-17 |
| 0.6.0 | 2017-03-11 |
| 0.5.0 | 2017-02-02 |
| 0.4.0 | 2016-12-29 |
| 0.3.0 | 2016-10-31 |
| 0.2.0 | 2016-08-08 |
| 0.1.0 | 2016-06-15 |
Легенда: Старая версия, не поддерживается Старая поддерживаемая версия Текущая версия | |
Ссылки
- ↑ Woodie, Alex Apache Beam's Ambitious Goal: Unify Big Data Development. Datanami (22 April 2016). Дата обращения: 4 августа 2016.
- ↑ 2,0 2,1 Cloud Dataflow - Batch & Stream Data Processing.
- ↑ (1 August 2015) «The dataflow model». Proceedings of the VLDB Endowment 8 (12): 1792–1803. doi:10.14778/2824032.2824076.
- ↑ (1 January 2010) «FlumeJava: Easy, Efficient Data-parallel Pipelines». Proceedings of the 31st ACM SIGPLAN Conference on Programming Language Design and Implementation (ACM): 363–375. doi:10.1145/1806596.1806638.
- ↑ (27 August 2013) «MillWheel». Proceedings of the VLDB Endowment 6 (11): 1033–1044. doi:10.14778/2536222.2536229.
- ↑ Pointer, Ian Apache Beam wants to be uber-API for big data. InfoWorld. Дата обращения: 4 августа 2016.
- ↑ Policies. beam.apache.org. Дата обращения: 21 апреля 2022.
| Свободное и открытое программное обеспечение Google | |||||||||
|---|---|---|---|---|---|---|---|---|---|
| Программное обеспечение |
| ||||||||
| Связанное | |||||||||
