什么样的数据架构才能满足ZB时代数据存储需求？_互联网资讯

2019年的存储市场遇到了需求趋缓、价格下跌、库存积压等不利因素的影响，但并没有影响存储市场需求的不断增长和产品技术的不断提升。在不久前于深圳举办的闪存市场峰会(CFMS 2019)上，西部数据公司高级副总裁兼中国区总经理Steven Craig在大会上进行了“ZB时代的数据存储核心架构–机遇、挑战和阶段”的主题演讲，在演讲中Steven也对存储市场的前景表示乐观，他认为，NAND闪存市场将会在年底重拾上行之势。

　　图1：西部数据公司高级副总裁兼中国区总经理Steven Craig认为NAND闪存将会重拾上行之势。

　　存储技术赶不上数据产生速度

　　做出这个判断的原因是，他看到现在的数据产生量在不断攀升中，2018年约产生了32ZB的数据，ZB是个什么概念呢?我们现在的手机存储容量一般是64GB，1ZB=1024EB=1024×1024PB=1024×1024×1024TB=1024×1024×1024×1024GB，即1040GB，约1万亿GB。这是一个超级庞大的数字，“到2023年，预计会产生103ZB的数据。” Steven Craig进一步指出。这些数据主要来源于末端的边缘数据、在边缘进行整合后的数据，以及在云端经过了处理和转换的智能信息。

　　在Steven Craig看来，这些看似庞大的数据其实只有小部分会被存储下来，比如说2018年的数据存储量是5ZB左右，占产生数据的15%;预计到2023年，存储下来的数据为12ZB左右，占产生数据的11%，其他的数据将会失散掉，而且将永远也不可能找回来了。

　　存下来的数据如此少，是有原因的，其中一个重要原因就是我们的存储技术和设备没有赶上数据增长的新趋势。因此，Steven Craig指出，“我们必须转变我们的思维模式，为未来更大规模的数据存储做准备，准备好相关的技术。”

　　图2：2018年产生的数据为32ZB，存储的数据量为5ZB;预计2023年将会产生103ZB的数据。

　　主流3D NAND闪存已达96层仍不够用，QLC崛起

　　随着数据量的迅速增大，主流存储技术也在迅速向前推进中。3D NAND闪存从2014年的24层，到2016年的48层，到2017年的64层，再到2018年的96层，以及明年的1XX层，技术更新速度越来越快。

　　图3：NAND闪存技术的快速发展。

　　不过，Steven Craig在主题演讲中也提到，单纯地增加层数，看似简单，但实际上并没有帮助生产企业降低成本，而是增加了更多的成本，而且有可能会出现错误。增加层数，意味着需要制造更多的晶圆，从而导致成本上升，他拿48层扩展到64层举例说，当时的成本大概是8000美元每平方米。“当然，我们可以通过规模化生产来降低成本。” Steven Craig指出。

　　目前，扩大闪存的容量主要有三种方法：一是增加存储孔密度;二是增加存储单元密度;三是通过逻辑扩展增加比特密度。

　　图4：增加闪存容量的三种维度。

　　三种维度增加容量的效果各不相同，“从64层扩展到96层时，存储孔密度大概增加了10%;存储单元密度增加了68%;TLC比特密度增加了65%。综合这三种方法就可以看到整个闪存容量的增长了。” Steven Craig在演讲中表示。

　　逻辑扩展中，目前主流的技术是TLC，不过下一代将会是QLC，QLC可以实现每个存储单元4比特的数据，他预计到2025年，整个QLC的市场占有率会增加到50%，这包括企业级、消费级和移动类的闪存应用。

　　图5：QLC与TLC增加的比特密度对比。

　　虽然QLC具有可扩展、成本/TCO效益和极佳的访问和读取性能等优点，未来可能会迅速崛起，但是不是会一帆风顺地接班TLC呢?那也未必，因为目前QLC也面临着一些关键的挑战，比如说写入限制。

　　面临写入限制挑战的不止有QLC，还有叠瓦式磁记录(SMR)，该技术在制造工艺方面的变动非常微小，但却可以大幅提高磁盘存储密度。SMR盘将盘片上的数据磁道部分重叠，就像屋顶上的瓦片一样。

　　尽管SMR盘的读行为和普通磁盘相同，但它的写行为有了巨大的变化：不再支持随机写和原地更新写。这是由于SMR盘上新写入的磁道会覆盖与之重叠的所有磁道，从而摧毁其上的数据。换言之，相较传统磁盘而言，SMR盘不再支持随机写，只能进行顺序追加写。写入方式的限制给欲使用SMR盘的存储系统带来了巨大的挑战。

　　分区存储解决高容量存储盘的写入限制挑战

　　为了应对QLC和SMR这两种高容量存储盘面临的写入限制挑战，不能停留在介质本身，而是要看整个数据的基础架构，因此西部数据提出了一个开源的标准化的分区存储技术，Steven Craig表示，希望西部数据的分区存储架构可以赋能应用层、主机和存储，互相协调数据存放位置，充分利用在SMR HDD上可以实现的大存储容量，以及在融入新兴分区命名空间(ZNS)标准的NVMe SSD上实现更好的耐久性、可预测的低延迟和QoS(服务质量)性能。

　　图6：西部数据公司产品市场部副总裁朱海翔。

　　西部数据公司产品市场部副总裁朱海翔表示，分区存储技术可应对新兴应用带来的数据爆炸，帮助用户在ZB级容量的存储时代保持具有竞争力的总体拥有成本，并实现更大的规模效益。

　　“自从西部数据6月份推出分区存储技术后，我们已经和全球基本上所有的大型云服务商和大型OEM系统厂商共同携手，能够实现整个系统层面的智能化数据安全，可以很好地帮助大存储密度的QLC在数据中心的大规模部署。“朱海翔在媒体群访时表示。

　　对于数据安全，他特别指出包括三个方面的保障：

　　第一，从存储器的固件上，西部数据的固件提供了多种加密选项供系统厂商选择，比如说SE、ISE、SED，各种加密的选择标准都可以满足，这样的话可以很好的配合系统层，甚至一些国家的规定，增加在系统端对于存储硬件、软件顺利的加密。

　　第二，从产品的特性上，西部数据的产品有一个Host Lock，当你插入系统或拔出系统都有一个“握手”的过程，如果说“握手”不成功，就根本没有办法得出数据，这是通过软件层面实现的。该技术，在SD卡上叫Host Lock，HDD上叫ATA。

　　第三，从元器件的健康管理上，以硬盘为例，西部数据有两种健康管理。一种是基于设备，西部数据能够根据设备上的超过几百种参数，通过人工智能的方式预测硬盘在什么时候会坏。这样，可以预先进行维护、更换或者迁移数据。

　　图7：西部数据提出的分区存储架构。

　　在演讲中，Steven Craig还介绍了西部数据在分区存储技术生态系统中的两种硬盘，其15GB的SMR HDD硬盘已经批量出货，20TB的SMR HDD预计将在明年正式上市;ZNS NVMe SSD平台也推出了一款产品DC SN340。

　　Steven Craig认为，SMR和ZNS将通过提供智能化应用架构成为当前和未来ZB级数据时代的关键基石。

　　图8：开源的分区存储生态。

　　三种全新存储解决方案满足多种物联网和工业应用场景需求

　　除了分享闪存技术的发展趋势，西部数据在本次CFMS2019上带来了专为工业4.0时代和物联网设备设计的三款全新解决方案：iNAND IX EM132嵌入式闪存盘、IX LD342 SD存储卡和IX QD342 microSD存储卡。

　　图9：西部数据推出的面向工业和物联网应用的三款全新解决方案：iNAND IX EM132嵌入式闪存盘、IX LD342 SD存储卡和IX QD342 microSD存储卡。

　　谈到发布这三款工业级产品的原因，西部数据公司产品市场部总监张丹解释说，他们经过对现在及未来ZB时代数据的分析和研判后发现了数据的两个趋势：一是数据上云;二是算力下发。

　　数据上云很好理解，算力下发就是指边缘计算，以后会有越来越多的计算能力会放在边缘端，也就是说边缘端的计算能力会越来越强，边缘计算增强后，会创建出很多新的商业模式，比如自动笑脸、无人商超、智能安防、自动驾驶、智慧工厂等等。这些不断变化的物联网和工业解决方案，都会实时生成海量的数据。因此，“为了适配增强的计算能力，以及由该计算能力推动的数据变化，我们推出了一些列配合边缘计算的产品。”张丹指出。

　　图10：西部数据公司产品市场部总监张丹在介绍西部数据的系列产品。

　　虽然都是边缘存储的需求，但因为物联网和工业的应用场景太多了，而不同应用场景对存储的要求其实是不一样的。张丹按照存储要求的不同，将物联网和工业的应用场景分成了四类：

　　一是基于图像，尤其是需要进行图像分析的应用场景，比如安防、无人机、交通、穿戴式摄像头等。该场景下存储器的工作负载非常大。它是以高码率的数据流、图像流，长时间持续的写入。这对存储器件的带宽和写入寿命有一定要求，或者是非常严苛的要求。

　　二是工业网关、工业自动化和自动建筑应用场景。该场景下，可能没有高频的数据流的写入，但要求高可靠性，因为存储器件工作的环境非常的严苛，器件能不能适合严苛的、潮湿的或是多震、高海拔的等等不可控、不可抗，甚至是特殊的应用场景，也要在设计中考虑覆盖这部分的应用需求。

　　三是物联网模块、智慧医疗、自动售货、嵌入式数据等新兴应用场景。这类应用场景，未来不知道会发展到什么程度，还有太多未知的领域和数据链条可能要去探讨。

　　四是数字标牌、销售点、控制平台等传统的应用场景。这类应用场景需要满足可靠性、有效性、数据的互通性，以及跟平台的配合性等需求。

　　总的来说，要想满足这些不同应用场景下的物联网和工业需求，存储产品需要满足温度、使用寿命、可靠性等需求。

　　随后，张丹详细介绍了西部数据新推出的工业级存储产品。

　　其中，iNAND IX EM132嵌入式闪存盘，是西部数据首款专为工业及物联网设备应用而设计的e.MMC嵌入式闪存盘，搭载了西部数据高可靠性的64层3D NAND技术，大容量已经提升到256GB。该产品有两种版本的宽温范围，分别是-25°C至+ 85°C以及-40°C至85°C。

　　她特别提到，iNAND IX EM132嵌入式闪存盘是西部数据第一款基于3D技术的工业级产品，前两代产品都是基于2D的MLC。虽然采用的是3D TLC，但该闪存盘还是延续了其2D产品需要的3000次PE循环，支持最新的e.MMC5.0标准，随机写入速度可达200M/s以上。同时，它也支持高级运行状况管理、热管理、智能分区、自动和手动读刷新等特性，以及达到了JEDEC标准的数据保持力。

　　“经过我们的设计，TLC可以达到3000次PE，但当在对耐久性有更高要求的新兴应用场景种，我们还可以通过智能分区特性，将我们器件里的一部分或者全部还原成SLC，SLC的寿命或者读写次数可以达到10万次/100k。”张丹进一步解释说，“智能分区还有一个好处是，在还原SLC的过程中，可实现纯粹的物理分区或隔离。”·

　　IX LD342 SD存储卡和IX QD342 microSD采用的也是3D NAND闪存技术，SD存储卡高可提供512GB的容量，microSD存储卡高可提供256GB的容量。且都具有3000P/E循环，可支持工业和物联网设备的存储需求。

　　这两款产品同于具有运行状况管理和热管理等特性，同时在存储卡内址如了一种功能，即主控锁定，这在一定程度上可以保证数据的安全性，只有跟主控对密成功的主控才可以读取存储卡内的数据。这样就可以防止任何人都能读取公共摄像头内存储的数据。

　　产品展示

　　上面提到的这些新产品在此次闪存市场峰会的西部数据展台都有展示。