微信号:infoqchina

介绍:有内容的技术社区媒体

【访谈】UCloud邱模炯:为什么内核是云平台稳定性的关键

2014-09-25 18:13 杨赛

评估一个云平台的SLA,一般以可用性、数据可靠性为主要指标,而因为单机稳定性存在天花板以及云计算系统的集群属性,谈及云计算SLA时讨论的重点主要在分布式系统而非单机。但在今年ArchSummit大会上,UCloud资深工程师邱模炯的分享《Linux内核在UCloud云平台上的实践》则主要着眼于单机上的云主机稳定性,UCloud广泛应用的Linux内核热补丁技术可以实现宿主机不重启的情况下完成内核升级,从而避免对上面云主机的业务中断。


InfoQ中文站编辑跟邱模炯进行了一次交流,了解UCloud关注单机稳定性背后的原因。


嘉宾简介


邱模炯,UCloud资深工程师,2007年研究生毕业于北京大学计算机系,之后分别在VMware、腾讯工作过,目前供职于UCloud。技术经历上以Linux内核、虚拟化技术和数据中心自动化运维等方面为主。热爱服务器和数据中心的各种技术,研发和运维兼顾,硬件和软件兼顾,底层和应用兼顾。


邱模炯是2014年10月QCon上海大会《扩展性、可用性和高性能》专场的出品人。


InfoQ:云平台的稳定性是怎么定义的?它跟我们说的“可用性”是否是一个概念?它从整体的统计角度和从用户的角度,分别意味着什么?


邱模炯:稳定性和可用性两个概念本来是很接近,说说我的看法。


稳定性是指持续一段时间内一个系统不出故障的概率,也可以把它转化为“一段时间内系统有多少次故障”。


可用性是指一段时间内这个系统可以正常运行的时间是多少。


举个例子,比如说一个小时内一个系统出了10次故障,但每次故障只要十秒钟就恢复了,那么这一个小时就一百秒出问题。另一个情况是,我一个小时内出一次故障,这一个故障花了半小时。这两个谁更严重?从稳定性的角度来讲,前面一个更严重,虽然它故障的时间只有一百秒;从可用性的角度来讲的话,后面一个更加严重一些,因为一个小时有半个小时都不能工作。这是关于稳定性、可用性的概念。


这两个指标都是用户可以感知的:稳定性关系到给用户带来的打扰次数,可用性关系到用户的业务能够保持正常运行的时间。我们现在对云平台的可用性一般会设置一个量化指标,比如UCloud对外的服务,云主机的可用性是99.95%,存储的可用性比如说是四个九、五个九。而另一方面,很少有人在量化指标里去提稳定性,大家更关心的是可用性的概念。


InfoQ:你们在内部,如何把稳定性目标转化为可监控、可量化的指标?


邱模炯:从研发角度来看,稳定性和可用性同样的重要。我们不能说把一次故障时间尽量的压缩,比如压缩到十秒内,然后我们就可以一个小时内打扰用户十次,这样对用户业务也同样会产生很大的影响。


稳定性这个指标以云主机为例,我们会统计它的宕机次数,宕机次数反映稳定性,相对于宕机累计的时间则反映可用性。


影响稳定性、可用性的因素,涉及到整个云平台技术方方面面。从上往下看整个云平台技术,首先是一个云管理平台——如OpenStack这样的平台,然后是虚拟化技术——也是云平台的一个核心技术,下面是Linux内核,然后是硬件——云平台最终是把数据中心的硬件、资源给池化,然后卖给用户,所以涉及到硬件技术。然后,我们这么多的硬件,我们的内核、虚拟化、云管理平台,我们要怎么样运维它。这些方面都影响稳定性、可用性,哪个环节做得不好都会导致稳定性、可用性的下降。


在这些因素里边,我个人认为内核技术是最关键的。为什么呢?内核是个承上启下的东西。


所谓承上,就是上面有云管理平台、虚拟化,而虚拟化技术跟内核技术也是紧密相关的。内核就像地基一样,地基不稳,上面就是搭空架子。


所谓启下是说,因为硬件有不可避免的故障率,总是会有问题,但是我们可以通过内核技术去降低硬件的故障率。我们还可以通过内核的工作去减少运维的工作量。比如我们在UCloud开发了热补丁技术,做到免重启修复内核。如果没有热补丁技术,每次内核升级不但运维非常痛苦,因为他要重启所有机器;而且用户也会被打扰,一重启,用户云主机就中断了。但是热补丁技术解决了这个问题:运维很Happy,不用重启机器了,用户也很Happy,他感受不到中断。


InfoQ:你这个观点挺有意思,因为一般我们听到的观点是说,云计算用分布式系统加上自动化的运维模式,去除单点,把底层故障对系统造成的影响隐蔽掉,这个关注点在于故障预测、快速的自动恢复。是什么原因造成你们的关注点不同?


邱模炯:你说的对,大家提到云平台,非常容易想到有个大的分布式系统,有分布式存储、分布式网络。


但分布式存储追求的是什么?我们平时为了提升性能,为了数据可靠性,往往通过分布式系统里边的一些技术,比如说通过写多份去避免单份失效,通过集群去解决总体性能。


但是云主机这个基础产品,在性能上面是单点:因为一台特定的云主机只能来自于一台物理服务器。


云主机在可用性上也是单点。分布式系统追求的是怎么样去避免单点故障,但是我们现在看到各种分布式技术里面,它没有办法有效地解决云主机这个性能和可用性单点。所以我们现在尽可能地去挖掘单台物理器的性能的极限,还有可用性的极限。


UCloud的团队成员主要是来自于国内顶级的互联网公司,所以对于分布式系统方面非常有经验,大家想到的第一印象的东西——分布式系统、分布式存储、SDN网络——我们已经具备深厚的技术背景,已经把这方面做得很好了。所以我们进一步要把这个事情从良好做到优秀,就要挖掘内核。我们越做,越觉得内核在这里边起到的作用非常关键。


你刚刚提到我们做内核工作是要去提升它的稳定性和可用性。我们做这些工作,追求的是:云主机永远不要宕机。听起来好像有点夸张,其实我们已经非常接近这个目标了。


云主机的宕机有几个因素影响:一个是内核不稳定,另一个是下面的硬件故障,主要是这两个。内核不稳定,我们有热补丁技术给它修复,宿主机内核还是云主机内核都可以。至于下面的硬件——特别是内存,内存是硬件宕机故障的大头,那我们通过内核技术把内存硬件故障给隔离开,避免它引发宕机。


我昨天还想了想,过去至少连续三个月,我都没有收到任何一起宿主机内核引发宕机的报警短信。


InfoQ:所以其实你们认为云主机完全不出故障是一个可以实现的目标?


邱模炯:对。除非出现一些不可抗力,比如说一个机房、一台服务器突然断电,那我是没有办法。


InfoQ:你在演讲中提到内核工作的第二个目标是提升性能,包括IO加速模块,将IO读写顺序化记入Cache盘组,然后获得IOPS的性能还是非常高的。但是它是不是可能会对数据可靠性有影响?你们做过持续很长时间的测试,它的表现怎么样?


邱模炯:我们不光是测试,我们已经在生产环境下面稳定运营了快一年,从来没有发现过可靠性的问题。相反,其实我们恰恰是从可靠性的角度来做这项工作的。


用户是我们的核心资产,UCloud以用户为中心,从用户角度看待我们的产品。我们的研发、产品的工作都是围绕我们的用户而作的。


我们的用户需要那么高的IOPS,怎么办?用SSD。但是,虽然现在厂商认为SSD已经非常稳定了,过去还是发生过一些事件,导致SSD盘的数据丢失。SSD盘数据丢失和我们平时那些机械盘数据丢失是不同的概念,SSD盘要是坏了一个点,就有可能整个盘的数据没法恢复。所以说,我们是从数据可靠性的角度来做这项工作,不光是性能。


InfoQ:能有一个量级的提升吗?


邱模炯:数据可靠性有一个量级的提升,性能是两个量级的提升:对于IOPS机械盘一般是一百到两百,我们把它提升到两万到三万。


InfoQ:最后一个问题是有关内核人才这方面。国内的内核人才其实比较稀缺,而UCloud现在还算是一个初创企业。你们怎么去评估自己维护内核团队是不是划算这件事情?


邱模炯:UCloud内核团队现在不到十个人。大家觉得不到两百人的公司为什么需要十个人的内核团队,是不是太多了?相反我觉得人数少了,应该再多一些。你想我们十人服务上万家客户,分给每个客户只有0.1个人,对不对。而我们的客户,他们也要追求稳定性,追求数据的可靠性,内核技术对他们也很重要。


大公司为什么需要内核团队?因为他们有很多的服务器。UCloud也有大量的服务器,我们目前有万台级别的服务器。公司是否需要内核团队,其实是由服务器的数量、数据中心的规模,以及我们的客户是否需要来决定的。


国内的内核人才确实比较稀缺。现在我们收简历,能收到一大堆做分布式系统、或者做前端开发的简历,但是很少收到内核人才的,即使收到,也很少说对云平台有非常深的认识和钻研,因为云平台也很新。但内核技术对于云平台技术又非常关键,考虑到这个情况,UCloud大概一年半之前就开始建内核团队,现在正在发挥非常重要的作用。


Linux内核是开源的,UCloud的内核成果从开源中吸取,从开源中发展。UCloud不但掌握内核,而且发展内核,最终是希望把内核成果回馈给我们的用户,我们的业界同行。以后希望通过类似InfoQ的活动,把我们的实践与思考不断地反馈给大家。


 
InfoQ 更多文章 Facebook如何实现PB级别数据库自动化备份 学术派Google软件工程师Matt Welsh谈移动开发趋势 Spotify为什么要使用一些“无聊”的技术? 妹纸们放假了,汉纸们做啥? 大多数重构可以避免
猜您喜欢 大数据时代的调查研究面临四个转变 达内荣膺“2014中国高成长连锁企业50强”奖项 Folly源码分析系列(一) — ThreadLocalPtr CIO掌控技术采购大全的三大理由 对于初学python的你,该做什么?