微信号:bigdata_ren

介绍:大数据人是一个专注大数据的社区型网站,致力于成为中国大数据第一社区.报道大数据企业(大数据产品、大数据方案、大数据人物等);分享大数据干货(大数据书籍、大数据报告、大数据视频等).旗下有大数据门户、...

易观CTO郭炜:混合云是大数据分析服务的“基石”

2016-04-14 07:23 易观智库



报道大数据企业:大数据产品、大数据方案、

  大数据人物

分享大数据干货:大数据书籍、大数据报告、

大数据视频

本文系易观智库投稿大数据人。欢迎更多优质原创文章投稿给大数据人:289585305@qq.com


摘要:大数据和云计算结合已经成为趋势。易观CTO郭炜在2016第八届云计算中国峰会上分享了在使用云服务时的几点体会。


业内知名大数据专家、易观CTO郭炜


大数据分析服务的四个层面

 大数据分析服务其实分为四个层面:

一个是基础服务,比如像saas这些基础技术软件硬件平台搭建,它给我们上层应用提供了基础;

二是数据服务,如PASS这些数据处理平台;

三是分析服务,如AAS或MAS这些分析与模型服务;

四是业务服务,主要是营销类服务。

易观处于第三层,是云服务和云化的支持者。前两层是我们的供应商,第四层是我们的合作伙伴,他们会基于我们的分析服务最终得到营销服务。


大数据分析服务四个层面

 

坚持云化,但大数据使用公有云尚美中不足

我们既要保证有数据出来,同时要保证集群扩展性好,所以刚开始我们选择用三家不同的公有云,通过一些MQ组件去接受数据,通过Hadoop去处理数据。

公有云优势在于可以快速部署,快速实现。很短的时间就可以把集群搭起来,没有采购的成本,不需要做很多攻击防护的事情,硬件本身也是免维护的。但当数据量非常大时,它的缺陷就暴露了,根据我们的使用经验,也有一些无法回避的缺陷:

(1)数据量大,执行效率低

不管使用哪家公有云,我们都遇到了这样的瓶颈,特别是月活超过1亿后更加明显。一个是执行效率低,一个是数据量非常大,每次这个时候查询再加优化,要30分钟左右,这个时间我是不能忍受的。

(2)公有云单位成本高

公有云单价成本高,好机器年度投入超过三万块。

(3)IO瓶颈明显

因为我们这种是高密度,高CPU型IO的计算。无论换哪一家公有云,IO瓶颈还是很明显的,和线下集群对比是几倍的关系。

(4)不确定性强

因为公有云是大家共享一个计算池子,所以使用的时候会出现CPU抢占的情况。因为我是高密集计算,这样抢占对CPU切分不是很好,有的跑十来分钟有的跑一个小时,这样对我们大数据应用来讲存在不可确定性。

(5)防护策略少

因为我们是在做大数据Hadoop的东西,它的网络的千兆的交换,再加上虚拟机,像网口方面会形成瓶颈。因为我们数据是源源不断到云端的,它的防护策略也比较少,我们这么大量的数据实时传到云端,很多时候公有云会把它当做攻击,把这些给清掉。

不过,即使公有云有这么多缺陷,但它帮助我们快速地进入数据分析领域,迅速满足了我们需求,所以我们还会坚持云化的策略。


解决方案——兼顾性能与灵活性的混合云

数据越来越多,怎么让集群更有效呢?我们想到了混合云的策略。

(1)混合云让集群更有效

最简单来讲,易观所有数据分析服务是在公有云上面在给大家提供的,底下所有的集群则从云端迁到了线下。如果一个公司想在基础的云服务之上再加一些软件提供,我觉得单一的软件是不能满足企业需要的。一个集群一定是多空间、多组件混合在一起,才能满足业务需求。

(2)公有云、私有云难打通问题

如何把原来公有云的数据和私有云,包括底层使用打通这件事也颇费脑筋。当时用到了云的计算,像加密各种方法,最后用了一个光纤,先到公有云的机房,然后把集群跟光纤做互通,达到目前混合云的效果。

混合云的优点在于大数据平台性能非常稳定,云端也比较能够灵活的做些配置,云端和线下集群可以相互转换。但麻烦的是,公有云和私有云打通并不是那么容易。

第一,它的结构非常复杂,如果出现一些问题需要排查,会对我们人员造成比较大的负担。

第二,它的管理成本比较高,因为线上线下同时监控。

这对技术管理提出了更高的要求,目前易观基于开源工具,优化一套DevOps工具,在使用混合云便利的同时,优化整个维护流程,从而降低管理复杂度。

    郭炜:现任大数据分析公司易观CTO,负责公司的技术架构以及开发者生态产品研发、生态市场运营工作。加入易观前,曾任联想大数据总监、万达电商数据部总经理 




版权声明文由易观智库(生态关系中心王丽荣)投稿于大数据人(www.bigdata.ren),转载请注明出处!

原文地址:http://www.bigdata.ren/portal.php?mod=view&aid=1210

千人QQ群:325414822

投稿邮箱:admin@bigdata.ren




 
大数据人 更多文章 【大数据人】微信公众号正式上线 两会代表热议:大数据如何让中国变得更美好 跟着李克强学“大数据”:“人在干,云在算” 大数据能为穹顶之下的环保做什么? 抓住大数据与数字营销碰撞出的新机遇
猜您喜欢 10个iOS 9你可能并不知道的重要功能 程序员的成长路线 CSS in Action: @font-face,你用好了吗? 美国联邦政府加密标准AES-Ruby 【福利】说出你与腾讯GAD大咖们的故事获取丰厚Q币!