微信号:ICT_Architect

介绍:分析和交流ICT行业最前沿技术,分享云计算、存储、服务器、数据中心、网络、软件定义和虚拟化等相关知识,旨在知识交流、开放共享和共同进步.

从Intel Optane系列Coldstream和AEP谈全闪存性能优化

2017-08-15 18:05 Hardy


      从P3500、P3600、P3700  MLC PCIe卡到SSD DC P4500和P4600 系列(3D NAND TLC颗粒)PCIe卡/NVMe固态盘(同时支持PCIe卡和2.5英寸的U.2两种NVMe产品形态),Intel一直引领闪存技术的发展。随着推出一种新的3D XPoint固态存储介质,更是让其成为磁盘介质技术讨论的焦点。


      3D XPoint作为一种SCM(存储级内存),相比做内存DRAM,具备数据掉电也不丢失特性;相比传统SSD的NAND Flash,不但读写速度更快,而且还支持字节级访问(因为NAND Flash要求必须按照Page读写,按照几百个Page的Block擦除)。

      Intel Optane(3DXPoint颗粒)DC P4800X支持PCIe板卡和U.2是标的SSD,基于3D XPoint 和NVMe协议。 PCIe板卡和U.2(SFF-8639连接器)这两种接口的区别在于PCIe板卡需要插在服务器PCIe插槽,不方便热插拔,数量也不会太多;U.2是标准的SSD容易实现热插拔,支持更多数量,在灵活性和扩展性上更符合企业级存储应用的要求。

      Intel Optane产品系列除了P4800X PCIe卡和U.2 SSD外,还包括Optane Memory(16GB和32GB)。由于CPU的Cache、Memory和存储之间存在容量、性能和时延的差距,所以Intel把 Optane SSD定义为内存和闪存NVMe SSD之间的Cache,对存储层次模型进行重新划分和定义。

      Intel称Optane Memory为Apache Pass(AEP),为高性能和灵活性而设计的革命性的SCM,称Optane NVMe SSD为Clodstream,为世界上最快、可用性和可服务性最好的SSD。

      3D XPoint(包括Apache Pass DIMM和Clodstream SSD)位于DRAMNAND之间,填补DRAM和NAND之间的性能和时延GAP。理论上,3D XPoint可以比NAND快100-1000倍,Apache Pass DIMM比DRAM高出8-10倍,其成本优势明显;与DRAM相比,其具有非易失性的另一大优势。与Flash Flash相比,由于写入方式不同,Apache Pass DIMM也比Flash NAND更耐用。

      从应用场景分析,Clodstream SSD主要用在NAND Flash SSD之上,对系统日志、Memory Page和系统元数据进行加速;然而Apache Pass DIMM主要定位是用于替代DRAM,支撑持久Memory或In-Memory应用。

      关于存储系统优化的话题,从SSD一出现就不断的讨论,从SSD Cahe、Storage Tier分级到SSD子Tier分层,这都是传统HDD存储常用的优化措施,下面简单描述一下SSD子Tier分层。


      在Hybrid混合存储中,Dell Compellent存储提供了Data Progression分级特性,可以分3层Tier,Tier1 SSD层可以配SLC和MLC的子层,SLC配RAID10,MLC配RAID5;SLC用来写,MLC负责读。

  • SLC耐擦写性好,写入速度更快,RAID10的写入性能也好,这两种优势结合起来用作写层;

  • MLC耐擦写差一点,不过主要用来读也很可以了,RAID5的读性能也还好,不过容量利用率比较高,这两点结合起来用作读层,也是挺合理的。


      这个做法的关键好处在于写入数据都始终写入性能最好的层,起到了一点类似写Cache的作用,而根据数据热度,主要的读取数据也基本都集中在性能最好的SLC和MLC上。这种配置方式的最大优势是,能够在释放容量的同时保持读写性能,读写是隔离开的。


      那么,全闪存(NAND Flash SSD)如何优化系统性能呢,传统的HDD和SSD混合形态已经不存在了,只有寻找比NAND Flash性能和时延更好的存储介质才能对闪存系统进行性能优化,所以3D XPoint是一个不错的选择


      随着新介质3D Xpoint的出现,性能介于DRAM和SSD的ColdStream成为下一个热点,各存储厂商都在积极推出基于ColdStream的应用。华为OceanStor Dorado V3全闪存系统计划引入3D Xpoint介质ColdStream SSD盘,并通过设计高效的数据结构和算法为系统元数据加速层,进一步提升Dorado NAND Flash系统性能。


      目前各大厂商也对于3D XPoint的应用处于不断探索阶段,现阶段华为主要研究如何将ColdStream与OceanStor Dorado v3结合,充分发挥新型介质的优势,帮助产品提升大容量下的性能,降低在同等容量及性能下的成本。目前针对它主要有两个应用场景。

  • 第一是在Dorado v3Coldstream做元数据读缓存,对元数据访问进行加速,提升大容量下产品的性能;

  • 第二是在Dorado v3中使用Coldstream做数据读缓存,降低在热点场景下的读时延。

      随着SSD单盘的容量在不断变大,元数据的量也在不断增大。当元数据增加到一定程度时,DRAM已无法全缓存,采用ColdStream作为扩展缓存,将元数据缓存在ColdStream上,并且配合相应的算法,可以加速大容量下元数据访问性能,从而提升阵列在大容量下的整体性能。通过对Hash,Radix tree,B+树等各种索引数据结构和算法充分比较,选取对ColdStream上的存储内容高效的索引数据结构和算法,使得既能快速访问索引和ColdStream上内容,又占用的CPU和内存资源又少


      在实际应用中,大部分的应用都存在热点数据。在数据Cache的设计中,使用了高效的热点识别算法对数据进行识别,同时设置了多级热度管理的机制,频繁访问的热数据缓存在内存中,次热数据缓存在ColdStream盘中,使得热数据直接从内存或ColdStream访问,减少下SSD读取数据的操作,从而降低时延,最大限度的加速热点数据的访问速度。系统还设计了精准的淘汰算法,将盘中的冷数据及时进行淘汰,释放存储空间。我们还精细地设计了顺序流识别算法,对数据进行预取,从而降低读延时。


      使用ColdStream作为数据读缓存,通过使用有效的热点识别、顺序流识别和精准冷数据淘汰算法,可识别95%以上的热数据。将这些热数据进行缓存之后,相比无读缓存,在热点场景下(如OLTP)的平均读时延会显著降低。据了解,目前该技术已经在华为实验室中得到全流程的验证,商业产品将在明年正式问世。



温馨提示:
请搜索“ICT_Architect”“扫一扫”下面二维码关注公众号,获取更多精彩内容。

听说点赞和分享的朋友都已走上人生巅峰

 
架构师技术联盟 更多文章 从事DevOps的人应该抓住的Gdevops 从Google统计的IPv6普及率来谈IP迁移的复杂性 [收藏] 深度解析高性能计算知识系列 视频直播CDN系统架构简析 vCPU之后还需要vGPU吗?
猜您喜欢 NB-IoT的前世今生 十个免费的 Web 压力测试工具 Python执行Linux系统命令的4种方法 以《星际争霸》为例,阿里多智能体协作网络BiCNet展现人工集体智能无限潜力 每个程序员都需要学习 JavaScript 的7个理由