微信号:qconchina

介绍:QCon是由InfoQ主办的全球顶级技术盛会,每年在伦敦、北京、东京、纽约、圣保罗、上海、旧金山召开.QCon内容源于实践并面向社区,演讲嘉宾依据热点话题,面向5年以上的技术团队负责人、架构师、工程总监、高级开...

凝聚着 Google 多年大数据基础设施研发经验的 Apache Beam 成

2017-01-12 09:49 臧秀涛

1 月 10 日,Apache 软件基金会宣布,Apache Beam 成功孵化,成为该基金会的一个新的顶级项目。


Apache Beam 由 Google 捐献给开源社区,凝聚着 Google 研发大数据基础设施的多年经验。


Beam 来源于 Batch(批处理)和 strEAM (流处理)这两个词,意在提供一个统一的编程模型,同时支持批处理和流处理。


Apache Beam 是:


  • 统一的:使用一个编程模型支持批处理和流处理用例。

  • 可移植的:可以在多种执行引擎上执行作业,包括 Apache Apex、Apache Flink、Apache Spark 和 Google Cloud Dataflow 等。

  • 可扩展的:支持编写和共享新的 SDK、IO connector 和 transformation 库。


Apache Beam 目前最新版本是 0.4.0 (https://beam.apache.org/get-started/downloads/)。


在 QCon 旧金山 2016 上,Apache Beam 的创始人 Tyler Akidau 分享了该项目的设计理念、架构,我们一起来看看。







在 4 月的 QCon 北京 2017 上,我们将邀请 PayPal 架构师、Apache Beam 贡献者 & PPMC 成员 Amit Sela 来进一步分享 Apache Beam 相关技术。




感兴趣的读者可以扫描下图中的二维码或点击阅读原文,进一步了解 QCon 的内容设置。




 
QCon 更多文章 Google为什么要把 20 亿行代码放到一个仓库中? 2016 年不可错过的 QCon 精彩演讲 QCon 热点演讲视频及幻灯片索引 QCon 热点演讲视频及幻灯片索引 QCon 热点演讲视频及幻灯片索引
猜您喜欢 重磅!《中国公有云用户体验报告》 【视频】请受徒弟一拜!来看看大神手把手教你画性感妹子 苹果开发者网站被黑 部分信息可能已经泄漏 2015年新兴安全技术大会都分享了些什么? 使用 Storyboards 开发的10个小技巧