微信号:infoqchina

介绍:有内容的技术社区媒体

林仕鼎谈数据中心计算(一):整体大于部分之和

2013-04-09 18:25 InfoQ

《失控》中提到一个很普遍的现象,就是整体大于部分之和。比如,把5只蜜蜂加起来,仍然是5只蜜蜂;把10000只蜜蜂加起来,可就不仅仅是10000只蜜蜂了:它是一个蜂群,具备很多只有蜂群才有(而蜜蜂没有)的特性。


那么,把一万台服务器加起来,我们能得到什么?


在IDC时代,这一万台服务器就是一万台服务器,各自做各自的事情,使用各自的计算能力和存储,互相之间的交集无非是抢夺一下网络带宽。


现在,情况已经在转变:我们尝试让这些服务器把资源共享出来,服从统一的管理。一万台服务器现在变成了一个集群,同时它还有另一个名字:云。


我现在就是把数据中心当做一台机器来看。


林仕鼎如是说。


从百度基础架构部主任架构师到基础体系首席架构师,林仕鼎对数据中心各层架构的理解和构思,逐渐都投射为百度云的实现。从学术界到工业界的跨界背景,在操作系统内核、存储系统、分布式系统等领域的多重经验,决定了他独特的眼界和架构理念。


2013年年初,林仕鼎公开介绍了百度在南京的数据中心,并提到了百度定制的SSD和将在今年取代BDDB的新型存储系统CCDB。在微博中,林仕鼎说道:


下一个我要隆重介绍的神器是百度SSD,这是我一直鼓吹的Datacenter Computing领域中application-driven, software-defined设计理念的典型实践。


根据林仕鼎的介绍,百度SSD的性能达到PCIe Flash的两倍,SATA SSD的六倍。这是如何做到的?这个定制SSD搭配CCDB的设计理念跟以前的存储思路有何不同?这会对其他底层软件的设计思路产生怎样的影响?


带着这些问题,InfoQ编辑与林仕鼎先生进行了一次深度交流。在这次将近两个小时的对话当中,仕鼎谈到了基于PC的设备和基于数据中心的设备的根本性不同,设计针对数据中心的底层软件都需要考虑到哪些方面,百度在软件定义硬件的其他方向的一些工作,以及关于12306的一些看法。在未来的一段时间内,InfoQ会将这次对话的内容分批整理、发布。


今天的主题是:为什么要针对数据中心设计一套与以前不同的存储系统?


正如同很多蜜蜂构成蜂群一样,由很多服务器构成的集群,拥有很多不同于单机的特性。但是,在数据中心发展的过程中,单机一直被当做最小单元来处理,正如同蜂群的最小单元是蜜蜂一样——如果把单只蜜蜂再往下分解,会造成无法重组回蜂群的情况。


就自然界而言,这样的处理方式最为灵活,很能满足蜜蜂这个族群的发展需求。但是,自然界的选择有一个最大的问题,那就是效率低下。对于数据中心而言,其实并没有必要把单机作为最小的单元来处理。这就是林仕鼎提出的数据中心计算的核心思想:让蜂群的意志直接操作最基本的组件。


从单机到数据中心,有三个方面发生了根本性的变化:使用场景、硬件并行度、以及对容错的处理思路。


全文较长,请点击“阅读原文”查看:)

 
InfoQ 更多文章 Facebook如何实现PB级别数据库自动化备份 学术派Google软件工程师Matt Welsh谈移动开发趋势 Spotify为什么要使用一些“无聊”的技术? 妹纸们放假了,汉纸们做啥? 大多数重构可以避免
猜您喜欢 梯度下降法求解线性回归之matlab实现 抓包,只为让DBA过的更开心 干货 | 深入不浅出 :客户细分那些事 实录分享 | 微服务访问安全设计方案全探索 【烧脑巨作,不容错过】像hacker一样思考