微信号:programmer_club

介绍:程序员第一自媒体,与你探讨码农人生路上遇到的各类泛技术话题,定期为你推荐码农人生思考、感悟以及启迪!

亚马逊的云计算到底有多大?

2016-01-17 21:59 程序员之家

译者: 灯下鼠

译文:http://www.jianshu.com/p/e01e61e82a30

原文:http://www.enterprisetech.com/2014/11/14/rare-peek-massive-scale-aws/


8 年前,亚马逊发布了第一个云计算产品。亚马逊一直坚持云计算的目的,就是屏蔽底层的硬件,为开发者提供计算资源以运行应用程序。 对于 AWS,还有其母公司亚马逊,硬件都是一个竞争优势。亚马逊一向不大愿意过多谈论自己的数据中心和系统。 但是那些竞争对手们,包括 GOOGLE, MICROSOFT 和 IBM,则大肆宣传在云计算上的投入和创新。亚马逊也就不得不稍稍揭开一点自己的神秘面纱。


原因很简单。亚马逊的在线零售业务,是一个700亿美金的庞然大物,大虽大,但耗费现金并不多。 Jeff Bezos,亚马逊的创始人兼 CEO,对于利润的兴趣很小,对于改变世界的兴趣倒是很大。然而,云计算毕竟是这个世界上,资本最为密集的行业之一。Google 可以在数据中心上花费几百亿美金而毫不心痛,背后有垄断性业务“搜索引擎”的支撑。 Microsoft,则在桌面软件和数据中心软件方面有着垄断的地位,钱袋一样深不可测,自然也一样敢于一掷千金。


Google 和 Microsoft 在烧钱上的本事,无人能及。 但他们的基础设施和平台服务,面对亚马逊时的竞争力,还是令人生疑。 但若从长期来看,亚马逊能否跟得上 google 和 microsoft 的脚步,却很成问题了。 于是,AWS 的副总裁,卓越的工程师,James Hamilton 透露了AWS 云的规模和范围。目的自然为了告诉大家,亚马逊的领先地位以及对云计算的决心。


最重要的,永远是规模。做在线零售的亚马逊,当然清楚这个。 亚马逊很少谈及公有云,因为在亚马逊的理论中,云计算就不该是私有云。亚马逊认为,长期来看,公有云的巨大规模,意味着大部分的组织和机构都不需要运营自己的数据中心。


在 AWS 的 Re:Invent 大会上,jassy又一次强调,自云计算业务开始以来,他和亚马逊的 CTO Werner Vogels 就支持这个论点。(亚马逊为美国中央情报局建设过一个特殊的 AWS 私有云,签署了为期10 年,6.6 亿美金的合同。但那只不过是一个例外。云计算本质上还应该是公有的)。 Jassy and Vogels的信念很简单: 只有覆盖了全区域,具备大容量,提供最丰富功能的云,才能胜出。会有一些例外,比如说金融服务云,或者那种100%运行特殊硬件和软件的巨型计算中心。 公有云的资源不仅足够好,而且一定会超越大部分的私有云。


AWS 将底层的计算能力、存储和网络功能,抽象出来,这样开发者就可以专注于应用开发。抽象出来的资源,要么形成纯粹的基础设施,要么在其上继续抽象出一层平台服务,便于进一步实现自动化部署和对中间件、数据库和支持应用的其他服务的管理。但这并不是说底层的基础设施不重要。 实际上,亚马逊投入了巨大资金,用来设计和建设数据中心,并优化各方面的设施从内存条到数据中心的墙壁。基础设施确实重要,绝对能够形成竞争优势。


网络的事,比服务器还麻烦


和许多超级数据中心一样,亚马逊的服务器,刚开始也是从一线的服务器制造商那里购买。亚马逊成了rackable system(现在是 SGI 旗下公司)最大的客户。 后来,亚马逊决定自行制造系统,以便针对自己的工作性质进行精确调优。尤为重要的,是为了能够与其数据中心、电力、制冷系统严丝合缝的配合。数据中心在与时俱进的发展,系统也需要步调一致的前进。


过去,亚马逊在其基础设施的规模问题上,只含糊其辞,从不给出准确的数据。从2004年开始,AWS 每一天都要安装足够多的服务器以支撑亚马逊的在线零售业务。那个时候,亚马逊的收入规模,仅为70亿美金,仅为现在的1/10。


“去年发生的那些变化?”Hamilton反问道,然后开玩笑说:“我们都执行过365次了。”


换句话说,去年 AWS 增添了足够多的容量,以支撑2.55万亿的在线零售业务。


那么,AWS 到底容量多大? 答案是:比很多人想的还要大。


下面就是关于服务器的计算了。 亚马逊在全球11个地区拥有数据中心。 每一个地区拥有最少2个可用区,这样所有地区一共拥有28个可用区。 (包括两周前在德国法兰克福启动的新地区)这些可用区为本地的工作负荷,提供隔离的和冗余的能力。类似那种串联或者分层的容错系统,在数据中心和服务的层次上工作,而不是在两个系统之间严格步调一致。每个可用区最少有一个数据中心,有些则多达6个数据中心。 (2013年1月,Hamilton 在 Re:Invent 会议上说,仅只美东地区便有超过10个数据中心,但在2014年的Re:Invent 会议上他的演讲中,又说没有可用区拥有超过6个数据中心。)目的是为了让客户能够构建自己的应用,运行在不同的可用区上,以实现本地数据保护。更进一步,实现跨地区部署,达到更高层次的可用性。 亚马逊通过增加新的数据中心,以为每个可用区提升容量。


基本上,和企业客户增加的机架一样,数据中心实际上就是 AWS 的新机架。


好了,这一切都还是很有意思的。 Hamilton 说 AWS 的每一个区域都最少有两个可用区,每个可用区则最少有1个数据中心。然后他又补充说,一个典型的数据中心最少有5万台服务器,有的超过8万台。 另外,数据中心的规模效益在到达顶峰后便即下降。随着规模扩大,在某一个点,数据中心的边际成本开始上升,而不是下降。 更重要的是,在到达某一个数值后,一旦发生灾难型事故导致数据中心失效,则殃及的“爆炸半径”太大,使得过多的负载无法转移。


做一点计算吧。 假设 AWS 有28个可用分区,每一个数据中心只有5万服务器。这是 AWS 基础设施最小的容量了。这样,全球共有140万服务器。如果你不相信,说每个分区有8万台服务器(我们知道这不是真的,只不过设置一个错误的最高界线),那么就是224万机器。 为了更准确的猜测 AWS 基础设施的规模,你必须猜测可用区中,数据中心数量的分布情况。 我认为很少情况下,只有一个数据,大部分都是2个数据中心,拥有更多数据中心的情况则越来越少,直到到达最大值6个数据中心。我把数据摆弄来摆弄去,觉得28个分区,一共87个数据中心这样的估算还是靠谱的。 每个分区平均3个数据中心还要多一点。 如果假设每个可用区平均6万5千个服务器,那么你会看到数值很大:564万服务器。如果平均5万服务器,则降低到全球420万机器。如果假设每个可用区的数据中心少一些-比如平均2个-那么一共280万台机器。 由此,答案是 AWS 可能拥有280万到560万服务器。 我也意识到很可能误差很大,可是也只能这样猜测了。


总的来说,规模是巨大的。 还不止这些,亚马逊还投入了巨大资金,制造自有的网络设备,并建设了私有网络,从而把所有数据中心连接在一起形成一个巨大的全球集群。 这是 Hamilton 谈起来最兴奋的东西,因为网络是计算能力最大的瓶颈。


“对我们而言,网络互联是当前最大的危机” Hamilton解释道“网络建设的成本,与所有其它设备的成本都相关,不断攀升。在这方面是反摩尔定律的。我们所有的设备都在降低成本,我们也在压低价格,但网络成本则反向而行。这是个大问题。往前再看远几年,网络的问题越发严重。同时网络是反摩尔定律的,网络建设对计算能力的占比也在上升。”


Hamilton 说,部分原因,是由于每一代的cpu都带来更多的计算能力,而每单元计算能力的成本则在下降。 越来越多的人,做越来越多的数据分析,而数据分析工作对网络的需求巨大,给网络带来巨大压力。(这是因为数据分析,和超级计算机的运作一样,在节点之间要进行大量通信,也就是所谓的“东西流量”。而另一种“南北流量”则是 web 应用从服务器上请求一点数据并在互联网上显示出来。二者区别很大。)


所以约五年前,当问题刚刚出现时,AWS 设计了自己的网络路由器并去原厂制造硬件,并组建团队在硬件上开发网络软件。


亚马逊从定制网络设备中学习到的第一件事,和它很久以前从服务器和存储中学到的一样: 如果你用极简主义理念,自主制造所需的设备,那么就会便宜很多。“仅仅网络设备的服务合同,常常就要几千万美金。”


但即便对 Hamilton 而言,也是颇为惊奇的事:网络的可用性上升了,而不是下降。 这是因为 AWS 交换机和路由器只具备 AWS 在网络上所需的功能。 但商业网络操作系统,则必须覆盖所有可能需要的场景和协议,因而往往需要几千万行的代码,从而带来维护上的困难。 “我们的设备更可靠,因为我不需要面对那些更麻烦的问题。能完成任务的,就是好方法。”


另一件事,亚马逊,尤其是 AWS 热衷于测试并收集运行数据。 当亚马逊第一次测试自己的网络时,用了8000台服务器,容量3兆瓦的数据中心。而这个数据中心的建设成本约为4千万美金。任何一家最大的网络设备提供商都做不到,但 AWS 可以,而且做到了。 严格来说,亚马逊是从自己那里租了这巨大规模的数据中心用以测试,在几个月里花费了几十万美金。今天亚马逊所有网络都在使用这自有的网络软件。与拥有软件和详细测试一样重要的是,亚马逊持续开发代码并投入生产。 “也许开始的时候确实差一点,但确实越来越好。”


简单来说,这就是超级系统的独特之处。 总是从简陋,到还凑活,一直到完善状态。 走一条稳定、革新的路,当然这条路会时时被新的理念打断均衡的过程。


AWS 当前有11个地区,2年前是9个地区,还将增加更多以接近客户,并满足业务上对政府管辖权的需求。(德国地区就是因为德国的商业机构和政府机构,不能在爱尔兰存储数据而创建的)这是他们分布的位置:




所有的地区都连接在一起,通过私有光纤通道,而不是通过购买第三方的通道。原因很简单: 这样做,不会因为运营商的问题而导致网络带宽缺乏,而且网络是你自己的,你清楚知道网络的效率。也更加经济,对于亚马逊这么大的规模,自己拥有网络,在每个字节上的单位价格一定更便宜。 另外,自有的网络也比较快,亚马逊不会缓冲自己的流量。而运营商遇到过载的时候,就会对流量进行缓冲。 “更可靠、更经济、也更少延迟” Hamilton这样说。




美东地区,弗吉尼亚州的阿什本,共有5个可用区。这些可用区都是受保护的区域,各自分离并隔开几公里,由高速、低延迟网络连接。这样一来,同步的复制就是可能的,而且地理上的隔离足够远,两个可用区(存储数据和应用的多个版本)同时出现事故的可能性就很小。 可用区单元由光纤联接,使用密集型波分复用传送数据包。在美东地区,一共有82864条光纤。 可用区在延迟方面通常都小于1毫秒,绝对小于2毫秒;这个速度是可以进行同步数据复制的。要知道,固态硬盘的数据保存也要在1-2毫秒之间。


企业经常在关键应用上,通常都会进行跨区域复制。但在麻烦一些的场景中,比方说,一个数据中心在纽约,一个在洛杉矶,则延迟大约为74毫秒。这种情况下,就无法进行同步复制,这就意味着一次失败,数据就会在到达备份系统的传输途中丢失。这样一来,就只能使用日志恢复,而这则要花费数天时间了。


这就是为什么亚马逊在 2000 年要发明可用区。 这种方法一定程度上,更加昂贵,但灾难恢复更快。 可用区在美东地区有 25Tb/sec 的带宽,为了应用的可靠性,这个花费还是值得的。对于在线零售商来说,这肯定是必须的。 想像一下你开车去沃尔玛,而整个库存却都空了。如果发生了愚蠢的错误,例如负载均衡失效,则可用区中的一个就会承担负荷并继续工作,重建同步随即便可开始。




让我们进入一个可用区看看。 美东地区的可用区中,每个数据中心之间网络传输只需1/4毫秒,而且没有一个数据中心跨越2个分区。 实际上,如上所述,一个可用区可以有多个数据中心,美东看上去有10个数据中心,而据说有些可用区有多达6个数据中心。 可用区中有多个冗余交换中心。这样,即使亚马逊丢掉一个交换中心和多个可用区,一切都还可以正常运行。


进入一个可用区的数据中心,如上所述,有50000服务器,有时候还会多达80000机器。 一个aws数据中心大概在25兆瓦到30兆瓦之间,如果一共有87个数据中心,则总共有2.17吉瓦(2.17个十亿瓦)到2.6吉瓦电力消耗。 Hamilton 说亚马逊可以运行60兆瓦的数据中心,但问题是,从2000个机架到2500个机架,成本并不会降低很多,而且灾难范围,也就是他所说的“爆炸半径”,太巨大。 “从某个点开始,价值降低而成本升高。在我们看来,这大概就是正确的数字了”Hamilton这样评价亚马逊为数据中心定义的大小。


记下来吧,竞争对手们。


一个单独的数据中心,有高达102 Tb/sec 带宽的分配,这是美东地区的可用区之间的带宽的4倍。Hamilton补充说数据中心内部的带宽还要“远超” 102Tb/sec。




再到一个机架里看看,到一个服务器和虚拟网卡里看看。 网卡支持SR-IOV,这是PCI-Express协议的扩展。 PCI-Express 协议对物理网络设备的资源进行虚拟化。 SR-IOV绕过操作系统上运行的通常软件协议栈,以及网络驱动和支撑他们的hypervisor层。从应用到网卡,需要几毫秒。 通过网卡只需要微秒,而通过光纤到达另一个服务器的网卡接口则只需要几个纳秒(十亿分之一秒)。“这就是说最麻烦的就是两端软件上的延迟” Hamilton解释。 SR-IOV非常轻量,给虚拟机上的每一个客户分区一个自己的虚拟网卡。这些虚拟网卡来自物理网卡。


为什么亚马逊实现这些这么难? 因为需要为网络协议栈添加安全、隔离、计量、控制和效率衡量等去掉的功能。 这些都需要耗费时间。 AWS 的新实例类型都有SR-IOV功能,也将在所有实例类型中普及。

 
程序员之家 更多文章 我们这一代人的困惑 神剪辑,揭秘程序员加班内幕,不能看,看完想笑又想哭! 美国12位创新型程序员:让科技永远改变 说说怎么写clean code 500,000+年薪程序猿出身哪里 猎聘网揭秘前十大学校
猜您喜欢 【崩溃】那些经典的程序员幽默段子 互联网重新定义产品 2016 var-vs-let 的停火协定 程序员如何从“职业倦怠”中恢复过来 高智商美女 CEO 的创业之路:解析 Wantedly 如何成长为日本第一大商务社交网络