微信号:dellemc_tech

介绍:为戴尔易安信客户提供技术支持服务,为广大IT行业用户分享技术文章与行业信息。

假期回归上班心神不定?来根定海神针吧!

2018-10-08 11:38 戴尔易安信技术支持

长假最后一天晚上,老于辅导五年级的儿子做奥数题。

“还有10道题,做完就去睡觉吧。”他看着埋进书桌里的儿子,轻轻叹了口气:小于一直嚷着放假要去迪斯尼玩,哪想妈妈提前一个月就给他报了十个辅导班,七天里没一天闲着,临开学了,还得补作业,哎,现在的娃娃苦啊……

“爸,我想睡觉。”小于嘟着嘴,一脸苦相。

“乖,做完这些题再睡。”老于轻声哄着。

“太难了,我做不出来。”

“怎么会,你不是比你们班小陈的数学好吗,我昨天听他妈说小陈都写完了,加油,你也可以。”

“爸,你也不看看他脑袋多大,能存多少东西啊,奥数这种大量复杂计算就得要脑袋大的能存东西的,我脑袋小,空间不够,做不来。”

“你……”老于一时语塞,最终在逼着小于继续做题和挨妈妈一顿说之间选择了后者。

哄儿子睡觉之后,老于却睡不着了,最近他心里翻江倒海,一直在为工作上的事担忧,就像儿子说的,他们的项目也卡在存储瓶颈,费尽心血部署的高性能计算没法有效开展。一时不知如何是好。

一直以来,高性能计算HPC的主要目的就是提高运算速度,解决大规模科学计算和海量数据处理的问题。高性能计算每秒万亿次级的强大计算能力,使其成为石油、生物勘探、气象预测、生命科学研究等领域的重要技术选择。

在人工智能AI方面,随着深度学习等理论体系的成熟,先进的算法封装成易于使用的产品和服务应用于实际场景,是推动AI落地的关键。人工智能算法的改进和应用,离不开计算能力和大数据的支撑。

计算能力的飞速发展,对于推动AI技术进步、降低AI应用成本起着不容忽视的作用。过去5-10年间,计算能力的提升,特别是并行计算与GPU计算的有效应用,大大提高了AI算法模型的效率和准确度。当前人工智能普遍采用的神经网络技术,其算法模型训练过程中就需要大量的浮点计算。

数据层面,有统计称,全球90%的数据产生于过去2年中。移动互联网、物联网技术的发展,使数据的来源和类型更为丰富。过去几年也成为AI发展最快的时期。

然而随着数据量和数据价值的不断增长,金融、电信、互联网等领域对高性能计算和AI的需求不断增加。技术在发展,计算系统的处理能力也越来越强,要想实现快速的任务计算处理,高性能计算系统的存储能力是关键。

因为计算开始时,要从存储系统中读取数据;计算结束时,要在存储系统中写入计算后的结果。如果这之间的读取和写入速度不匹配,不仅会拖延高性能项目的完成周期,低延迟还会严重影响高性能创造价值的能力。

通常,高性能计算要求存储系统能够满足性能、可扩展性要求,保护投资回报:吞吐量达到几个甚至几十个GB/s,容量能扩展至PB级甚至更高。

因此,如何满足存储的高并发和高扩展性,以适应高性能运算的需求,是用户目前最关注问题之一。针对这样的存储要求,目前Dell EMC给出的答案是分布式并行文件存储系统,其核心产品为Lustre和Isilon 2个存储解决方案。


Lustre分布式并行存储系统

Lustre是一个面向大规模集的存储架构,全球超级计算市场Top 100的用户中有70%使用,Intel Enterprise Edition for Lustre是其中一个成熟稳定且不断向前演进的商业版本。针对当前HPC存储市场的需求、并行文件系统技术的发展趋势,Dell EMC在采用领先的服务器、存储、网络产品之余,也和Intel 公司合作,共同推出了Dell Intel Lustre 高性能存储解决方案。

该解决方案智能、丰富且直观的管理界面(即IML,Intel Manager for Lustre ),大大简化了所有硬件和存储系统组件的管理和监控程序。此外,它在容量和性能方面易于扩展的特性,也为未来增长提供了方便。

>>>>

提供高性能的并行文件系统Lustre

Lustre是一种并行文件系统,它通过并行数据访问和分布式锁定功能实现高性能。一个Lustre安装实例由以下三个关键要素组成:元数据子系统、对象存储子系统(数据)以及用来访问和操作数据的计算客户端。

>>>>

元数据子系统

由元数据目标(MDT)、管理目标(MGT)和元数据服务器(MDS)组成。MDT存储文件系统的所有元数据,包括文件名、权限、时间戳和数据对象在对象存储系统中的位置;MGT存储管理数据(如配置信息和注册表);MDS管理MDT的专用服务器。

>>>>

对象存储子系统

对象存储子系统,由一个或多个对象存储目标(OST)和一个或多个对象存储服务器(OSS)组成。OST存储文件对象数据,OSS则管理一个或多个OST。通常,在任何时候都有多个OSS处于活动状态。

Lustre中,增加OSS会提高现有的网络吞吐量,增加OST会扩大存储容量。下图显示了典型的Lustre配置里MDS、MDT、MGS、OSS和OST组件之间的关系。

Dell EMC Lustre分布式并行文件存储方案具有以下五大特点:

高性能

  • 采用基于面向对象的并行文件系统,Intel Enterprise Edition for Lustre

  • 采用高性能的Dell EMC服务器产品,配置高性能Intel 处理器和Dell MD3 12Gb SAS 存储产品

  • 采用40/56Gb 无阻塞以太网网络

  • 设计借助动态存储扩展,每构建块的读取速率和写入速率峰值能分别达到18.5GB/s 、15.1 GB/s

高可靠性

  • MDS和OSS采用成对HA配置

  • 配置冗余磁盘控制器

  • 对磁盘组进行RAID 配置

  • Intel 公司原代码级的技术支持服务

易于管理

  • 配置单独的管理服务器

  • 自动安装

  • 图形化界面

多平台支持

  • 可以通过CIFS网关提供对CIFS 文件系统的访问,CIFS可以配置集群

  • 可以提供IB转以太网网络的网关,支持以太网客户端访问连接IB 的Lustre 文件系统

  • 支持Hadoop 大数据文件系统

支持分层存储

通过Dell MD存储设备的Snapshot功能和IELL软件可以实现Lustre文件系统的数据备份归档。

内含Intel EE for Lustre软件的Dell HPC存储设备解决方案,集合了基于并行文件系统的横向扩展存储的所有好处,可充分满足高性能计算需求。

中海油、华大基因、清华大学、百迈客生物科技、中科院自动化所等皆采用了lustre并行文件系统构建自己的专业存储平台。


Isilon分布式并行存储系统

DeLL EMC Isilon 横向扩展存储解决方案专为需要管理数据(而非存储)的企业设计。该存储系统功能强大,安装、管理却很简单,并可扩展至几乎任何大小。Isilon 存储有全闪存、混合或归档节点可供选择,能满足最苛刻的需求。

此外,与传统企业存储不同,无论将来增加多少存储容量、需要多高性能或者业务需求如何变化,Isilon 解决方案都会一如既往地保持简单。

>>>>

Scale-Out架构:

Dell EMC Isilon的Scale-Out设计,使每个节点上的系统都有自己的机头带动控制,任何一个节点宕机,都不会影响其他节点的应用。同时随着节点数量的扩展,Scale-Out架构下的Isilon系统性能也随之提高。

Scale-Out强调灵活的扩展性,与扩展成倍增长的性能。从数十TB 扩展到数十PB,对 Scale-Out来讲非常轻松。3个节点到144个节点的扩展,只需60秒就可以完成,且中间无需停机。正是Scale-Out架构成就了Dell EMC Isilon强大简易的扩展性。

>>>>

OneFS操作系统 :

Dell EMC Isilon 之所以能够成为Scale-Out架构典范,与它的灵魂软件分不开——OneFS单一文件系统OS。Dell EMC Isilon OneFS 将传统存储体系结构的文件系统、卷管理器和数据保护三层合并为一个统一的软件层,从而构建了一个跨集群中所有节点的单一智能文件系统。

 横向扩展数据湖 

经验证,由于数据量和数据源已大幅扩展,处理现代企业生产和管理的海量数据时,使用传统的信息存储和分析技术既过于昂贵,也过于缓慢。

而使用 Isilon,既可获得高度灵活且高效的存储基础架构,又能将数据湖从边缘扩展到核心和云。通过将大数据资产整合到企业数据湖中,消除效率低下的存储孤岛,各类或传统或新一代的工作负载与应用程序都可有效运行。

❖ 无与伦比的灵活性和性能

变化是不可避免的。正是基于这一考虑,Isilon系统采用了能够简单迅速进行调整的设计。OneFS允许存储系统在需要更多的空间和处理能力时平衡增长或独立增长,并能够根据业务需求轻松扩展存储。

使用 Isilon可扩展性能——从单个机箱250,000次的每秒文件操作数(IOPS)扩展到单个群集高达900万次;

使用Isilon还可扩展吞吐量——从单个机箱15GB/秒(GB/s)扩展到单个Isilon群集540GB/s的聚合读取吞吐量。 

❖ 效率和成本节约 

在OneFS的精密协调下,Isilon群集中所有组件密切配合以创建统一的高效存储池,其中存储利用率超过80%。通过Isilon SmartDedupe的重复数据消除功能,可将跨多个源的冗余数据环境中的数据存储需求进一步降低35%。

Isilon存储系统无与伦比的高效率意味着:容纳相同数据量所需的物理存储和空间更小,可有效降低初始开支和后续成本。而且,利用Isilon AutoBalance,能轻松快速添加节点,而没有宕机、手动数据迁移或应用程序逻辑重新配置的问题,从而节省宝贵的IT资源。此外,Isilon存储非常便于管理,相应地存储管理所需的IT资源比传统存储系统更少,又能进一步降低总体运营成本。 

 简单的互操作性 

用户可以利用Isilon精简存储基础架构,整合大规模文件和非结构化数据资产,消除存储思洛。

Isilon横向扩展NAS集成了对多种行业标准协议的支持,包括Internet协议IPv4和IPv6、NFS、SMB、HTTP、FTP以及基于OpenStack Swift的对象访问,以支撑云计划和本机Hadoop分布式文件系统(HDFS),由此可以简化工作流、加快业务分析速度、支持云基础架构计划并从企业应用程序和数据中获取更多价值。

优秀的性能表现、与时俱进的闪存技术、良好的数据保护策略,Scale-Out架构下OneFS智能文件系统,为Dell EMC Isilon奠定了完善的平台基础,将全闪存、混合存储、归档存储上的产品全面组合到一起。

之前中国石化、中国石油和中国海油等企业早已成为Dell EMC Isilon的用户,下一步Dell EMC Isilon会继续依靠大数据发展的大趋势,将集群存储产品与方案打进更多领域,比如对高性能运算有需求的地质、地震数据处理和钻井开发等。

Dell EMC相信,Lustre和Isilon分布式并行文件存储,必将成为HPC和AI领域的定海神针



 
戴尔易安信技术支持 更多文章 Connectrix 光纤缆线 清洁演示 戴尔@你:加入校园招聘计划,成为你最想成为的样子! Unity: 短时间内插拔SPA和SPB的管理口连线可能会导致SP自动重启。 Connectrix SFP 光纤更换演示 Unity 25-Drive DAE PS(电源)更换演示
猜您喜欢 【奋起】2016年世界100强终于公布:阿里,京东都在...... 从小公司,一路跌跌撞撞到腾讯,论高级DBA的自我修养! 朱铎先:要用20年打造世界级的中国工业软件 [北京沙龙] TesterHome 北京沙龙第 8 期 (精彩 to 从总统闺女到平民,外国人学习中文到底有多难?