微信号:infoqchina

介绍:有内容的技术社区媒体

Elastic Mesos服务实现EC2中集群自动化部署

2013-12-24 18:03 InfoQ

EC2用户现在能够自动化部署Apache Mesos了,后者是一个能够在多个数据处理框架之间共享集群资源的开源工具,可以通过大数据创业公司Mesosphere所提供的一个称为Elastic Mesos的新Web服务实现规模化。


该服务在本质上类似于Amazon的Elastic MapReduce,因为它会在Amazon EC2实例上安装Mesos依赖的所有内容,包括Zookeeper和HDFS,同时会交付一个准备就绪的集群。最重要的是,没有任何与Elastic Mesos相关的费用,所以你只需要为自己使用的EC2付费。Elastic Mesos现在建议的集群大小限制为6个或者us-east-1区域中的18个m1.large实例,这受制于按需实例的价格。


你能够通过Elastic Mesos用户界面中所提供的三步操作完成一个Mesos集群的部署,在此过程中你只需要指定想要的集群大小、EC2证书和一个接收通知的email地址即可。完成时间很大程度上取决于EC2实例的配置时间,不同的人可能不一样,Mesosphere估计集群准备好之前大约需要20分钟的时间。


Mesos最初是由UC Berkeley作为一个研究项目开发的,之后Twitter迅速将它变成了一个功能完整的平台以便于处理自己爆发式的增长。随着Twitter的高级副总裁Christopher Fry将Mesos看作是“自己版本的弹性计算”,现在它已经是Apache的一个顶级项目了。围绕着Mesos开发一款产品对于Mesosphere而言非常有意义,它的创建者Flo Leibert和Tobi Knaup之前在Twitter和Airbnb工作,这两家公司是Mesos的两个最大采用者。 Mesos 的支持者每个月都在增长,现在你能够在Mesos的技术支持名单中找到像Vimeo、OpenTable或者UC Berkeley这样的大牌。


Elastic Mesos类似于 Apache Whirr,后者是一个能够运行并管理云端服务的开源类库,但是Whirr 并不支持Mesos 。即使是这样,Elastic Mesos提供了一个自包含的服务,而Whirr则更多的是面向对集群的整个生命周期有更多控制权的系统管理员。


这是Mesos向主流采用迈出的第一大步,人们经常搞混的一个项目是Hadoop YARN。这两个项目确实都有同样的目标,也就是实现无缝地、有效地共享集群,但是到目前为止YARN的采用率更高,因为它是Hadoop 2事实上的调度器。


虽然这样做对它的采用会有多大的推动作用尚不能知晓,但是Twitter上的社区响应大部分都是正面的。在2013年12月份的Spark Summit 上也已经有了一个教程,该教程详细描述了如何在Elastic Mesos上运行Spark,该教程在Spark社区中引起了非常好的反响。


***********************************

本文来自InfoQ微信公众账号:infoqchina

1、回复“今日新闻”,查看今天更新的新闻;

2、回复“今日英文”,查看今天英文站的更新;

3、回复“文章 +关键词”,搜索关键词相关内容;

4、回复“QCon”,了解QCon大会相关信息;

5、回复“活动”,了解最近InfoQ组织的线下沙龙;

6、回复“架构师”,获取《架构师》下载地址;

7、回复“投稿”,了解投稿和加入编辑团队的流程。

***********************************

 
InfoQ 更多文章 Facebook如何实现PB级别数据库自动化备份 学术派Google软件工程师Matt Welsh谈移动开发趋势 Spotify为什么要使用一些“无聊”的技术? 妹纸们放假了,汉纸们做啥? 大多数重构可以避免
猜您喜欢 如何提升编码速度 哪些厉害的人是师徒关系? I/O Schedulers 评测国产操作系统优麒麟:乏善可陈 万亿级调用系统:微信序列号生成器架构设计及演变