微信号:dellemc_tech

介绍:为戴尔易安信客户提供技术支持服务,为广大IT行业用户分享技术文章与行业信息。

PB级的数据量,每年还增加100TB,怎么破?

2017-08-15 17:20 戴尔易安信技术支持

要说当下科技界的大热门是什么?小编觉得非“大脑”莫属,前有人工智能、深度学习和神经网络,后有埃隆·马斯克成立脑机接口公司,实现人脑与机器对接(额滴乖乖,《阿凡达》现实版?)。作为全世界最复杂的器官,破解大脑的奥秘一直是全世界众多科研人员多年来的奋斗目标,而今天要说的案例,就和大脑有关。



案例的主角名叫INI,它的全名是神经影像与信息学研究所,来自美国南加州大学。INI拥有全球最大的神经学扫描系统,对于脑部损伤或疾病的治疗和研究发挥至关重要的作用。正是如此,这个研究所吸引着全球各地的科研人员,由于涉及脑部成像,每天都有大量图像数据产生。在INI,每年新增的数据量超过100-150TB。



过去,INI采用磁盘和磁带存储数据,随着数据量的不断增长,传统存储在性能与扩展性方面的不足,已经对INI的科研进度造成了影响。“我们的科研人员,包括来自全球的研究人员在调取神经成像时需要花费大量时间,许多时间在等待过程中被浪费了,降低了我们的效率。”INI高级管理人员Grace Liang-Franco说。


XtremIO+Isilon为INI科研之路保驾护航

为了解决这个问题,INI决定采用EMC Isilon横向扩展存储和EMC XtremIO全闪存存储。通过这样一套解决方案,INI希望能够确保高级临床研究所需的快速、全球接入的脑部扫描,并为其宣布最新发现的网站保持高性能。


INI部署了63台EMC Isilon NL系列节点,提供5.5 PB的可用存储空间。目前已使用2.5PB用来存放活跃数据,这些数据主要为来自全球的8000名科研和临床研究人员访问。 Isilon还支持在裸机服务器上运行的MySQL应用程序,在研究人员需要的时候提取,转换和加载(ETL)映像。


INI还依靠Isilon软件,包括SmartConnect,SmartPools和SnapshotIQ,用于简化存储管理和数据保护。此外,INI使用17个Isilon加速器和EMC NetWorker将Isilon数据备份到磁带。


XtremIO为INI提供140台VMware虚拟机的存储空间,约占其计算环境的75%。虚拟机运行各种Web服务,如LAMP和Tomcat,在上面运行55个网站。




借助Isilon,INI的研究人员可以更快访问神经成像数据,一开始,INI使用的33个节点Isilon每秒I/O为22万,之后又扩展至63个节点,每秒I/O增加到35万。节点数量与性能线性提升 。


Liang-Franco表示:“Isilon的表现令人惊叹。我们的研究人员可以快速获得大量数据集,并进行更加复杂的研究,这将促进我们更快地获取得新的研究成果。”不止于此,Isilon还帮助科研人员节约了大量时间。INI主任Arthur Toga博士指出:“Isilon让我们可以预处理图像,因此研究人员可以即时访问它们,而不是等待ETL的步骤。”


数据研究规模从400TB跨越至1PB

几年前,一个典型的研究项目将使用400 TB的数据集,研究人员需要在两三个月内进行研究。现在有了Isilon,同样的过程以PB级的要求来完成。Arthur Toga博士说:“我们正在进行大规模研究计划,Isilon使我们的研究人员能够动态地测试和完善理论,加快获取新发现的速度。“


Liang-Franco补充说:“借助Isilon,我们能够提供比其他机构更多的资源和工具,也帮助我们吸引了更多科研人员。


节省时间与金钱,加速科研突破

科研需要投入大量资金,而Isilon和XtremIO却在帮助INI不断地做减法。Toga说:“Isilon的管理方便,自从使用Isilon后,我们的存储管理人员减少了80%,并且由于Isilon运行无故障,数据库开放人员能够有更多的时间编写工具,减少了大量无意义时减。



随着INI继续扩大研究能力,Isilon和XtremIO提供了强大的功能来满足不同的应用需求。例如,XtremIO可以轻松处理越来越多的虚拟机,通过数据压缩和重复数据删除,XtremIO可以减少存储增长并确保高效的存储利用率。“当我们需要扩大规模时,我们只需再添加一个XtremIO即可,”Toga说。“除了XtremIO之外,Isilon可以承担神经图像的所有首要请求,无论工作负载大小如何。”


“Isilon和XtremIO组合对我们来说非常强大,我们不再需要担心不可预测的需求高峰,相反,我们可以将更多的精力放在科研工作当。”Toga高兴地说。





更多精彩内容,请点击阅读原文”进行查看!

如何每天都能收到如此精彩的文章?

①点击右上角点击查看官方账号”→点击关注

②长按并识别下图中的二维码,直接访问EMC中文支持论坛



 
戴尔易安信技术支持 更多文章 联盟企业混合云 3.5:基础架构和操作管理指南 RAID 类型介绍 EMC产品日志收集方法汇总 存储基础知识 - 磁盘寻址 VMAX全闪存资料汇总
猜您喜欢 Nodejs新手须知 Java的常见误区与细节 活动招募 | 人人都能学编程 IT公司男老板专招女员工,偷拍上厕所视频;10块钱就能看浴室床头的摄像头直播?我们的隐私值多少钱? 2B创业说 | 需求是商业的核心驱动力,而非其它