以5G、物聯(lián)網(wǎng)、數(shù)據(jù)中心、人工智能等為代表的新型基礎(chǔ)設(shè)施已成為引領(lǐng)數(shù)字經(jīng)濟(jì)高質(zhì)量發(fā)展的全新引擎。在數(shù)字經(jīng)濟(jì)時(shí)代，數(shù)據(jù)是第一生產(chǎn)要素，其存儲(chǔ)、管理、分析和應(yīng)用對(duì)于預(yù)測(cè)經(jīng)濟(jì)形勢(shì)、規(guī)劃經(jīng)濟(jì)活動(dòng)至關(guān)重要，數(shù)據(jù)的存儲(chǔ)與管理需求推動(dòng)存儲(chǔ)技術(shù)不斷升級(jí)：一方面，作為數(shù)據(jù)存儲(chǔ)的底層介質(zhì)，存儲(chǔ)芯片的特性向高性能、低功耗、小尺寸等方向快速發(fā)展；另一方面，以存儲(chǔ)芯片和器件為基礎(chǔ)，結(jié)合互聯(lián)協(xié)議與軟件平臺(tái)構(gòu)建的存儲(chǔ)系統(tǒng)，在極致性能、融合擴(kuò)展和高效管理方面不斷提升，二者共同為新型基礎(chǔ)設(shè)施構(gòu)筑數(shù)據(jù)底座。
作者：中國(guó)信息通信研究院泰爾系統(tǒng)實(shí)驗(yàn)室 韓超 李婷婷
數(shù)字化推動(dòng)我國(guó)存儲(chǔ)產(chǎn)業(yè)快速
發(fā)展與技術(shù)升級(jí)
在數(shù)字化、信息化的浪潮下，全球社會(huì)產(chǎn)生的數(shù)據(jù)量快速增長(zhǎng)，例如視頻清晰度4K到4K VR，數(shù)據(jù)量將提升6倍以上；L4等級(jí)自動(dòng)駕駛訓(xùn)練產(chǎn)生數(shù)據(jù)量高達(dá)100EB；城市中超過(guò)200萬(wàn)個(gè)的攝像頭每天會(huì)產(chǎn)生超過(guò)80PB的圖片數(shù)據(jù)。我國(guó)在數(shù)字經(jīng)濟(jì)發(fā)展戰(zhàn)略的引領(lǐng)下，目前已成為全球數(shù)據(jù)產(chǎn)生量最大的國(guó)家，并且隨著新型基礎(chǔ)設(shè)施為數(shù)字經(jīng)濟(jì)注入新的動(dòng)力，未來(lái)數(shù)據(jù)量將進(jìn)一步增長(zhǎng)。根據(jù)IDC預(yù)測(cè)，從2019年到2025年，全球數(shù)據(jù)量將從45ZB增長(zhǎng)至175ZB，其中以圖片、音頻、視頻為主的非結(jié)構(gòu)化數(shù)據(jù)占比將超過(guò)80%，我國(guó)數(shù)據(jù)量將達(dá)到50ZB，在全球占比接近30%。
數(shù)據(jù)量快速增長(zhǎng)對(duì)存儲(chǔ)系統(tǒng)需求的提高，有力推動(dòng)了我國(guó)存儲(chǔ)產(chǎn)業(yè)的發(fā)展，2017年~2019年我國(guó)外部存儲(chǔ)市場(chǎng)平均增速為22.3%，2019年市場(chǎng)規(guī)模達(dá)到31億美元，其中以存儲(chǔ)非結(jié)構(gòu)化數(shù)據(jù)為主的第二存儲(chǔ)成為產(chǎn)業(yè)增長(zhǎng)的主要著力點(diǎn)，2019年增長(zhǎng)高達(dá)160%。伴隨新基建帶動(dòng)數(shù)字經(jīng)濟(jì)的繁榮發(fā)展，數(shù)據(jù)價(jià)值挖掘與分析利用需求的日益凸顯對(duì)存儲(chǔ)系統(tǒng)提出了越來(lái)越高的要求：海量非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)對(duì)單節(jié)點(diǎn)存儲(chǔ)容量需求上升到PB級(jí)別；銀行、電商、高性能計(jì)算等場(chǎng)景大量高速的數(shù)據(jù)交互對(duì)存儲(chǔ)系統(tǒng)性能要求不斷提升；智慧應(yīng)用下沉催生的云邊協(xié)同模式離不開(kāi)高效存儲(chǔ)數(shù)據(jù)管理的支撐。
采用全閃存陣列是存儲(chǔ)系統(tǒng)
性能提升的方向
隨著數(shù)字經(jīng)濟(jì)的深入發(fā)展，數(shù)字化應(yīng)用對(duì)存儲(chǔ)系統(tǒng)的性能要求不斷提升。例如銀行和大型電商每天超過(guò)1億筆交易，需要核心業(yè)務(wù)系統(tǒng)IOPS超過(guò)20萬(wàn)，且時(shí)延需要保持在1ms左右；承載數(shù)據(jù)庫(kù)、Web應(yīng)用等業(yè)務(wù)的服務(wù)器虛擬化在高負(fù)載下需要高達(dá)5000 IOPS/TB的數(shù)據(jù)吞吐速率?；贖DD的傳統(tǒng)磁盤(pán)陣列面對(duì)高性能負(fù)載應(yīng)用已捉襟見(jiàn)肘，基于SSD的全閃存陣列是存儲(chǔ)系統(tǒng)獲得極致性能提升的主要手段。
SSD基于NAND-Flash構(gòu)成，與HDD相比，其關(guān)鍵性能大幅提升，例如HDD的隨機(jī)I/O典型為400IO/s，SSD則高達(dá)6000IO/s，同時(shí)SSD降低了功耗、提高了可靠性。相對(duì)于傳統(tǒng)的磁盤(pán)陣列，基于SSD構(gòu)建的全閃存陣列主要有以下優(yōu)勢(shì)：一方面，可以極大提升存儲(chǔ)系統(tǒng)的IOPS和時(shí)延性能，有效滿足金融交易系統(tǒng)、VDI、高性能計(jì)算等追求極致性能應(yīng)用場(chǎng)景的需求；另一方面，得益于SSD的低功耗與高可靠特性，存儲(chǔ)系統(tǒng)的總體功耗和制冷設(shè)備能耗，以及故障維護(hù)費(fèi)用可以得到有效降低，進(jìn)而節(jié)省系統(tǒng)的總體擁有成本。
目前主流存儲(chǔ)系統(tǒng)提供商，如Dell EMC、NetApp、華為、Pure Storage、IBM等，60%以上的主存儲(chǔ)產(chǎn)品均采用全閃存陣列。2018年~2019年采用全閃存陣列的存儲(chǔ)系統(tǒng)市場(chǎng)增長(zhǎng)超過(guò)20%，到2023年在存儲(chǔ)市場(chǎng)的占比預(yù)計(jì)達(dá)到50%。
基于分布式的超融合架構(gòu)成為
構(gòu)建企業(yè)云的重要解決方案
從存儲(chǔ)資源的擴(kuò)展模式來(lái)看，存儲(chǔ)系統(tǒng)架構(gòu)可分為兩種：集中式存儲(chǔ)和分布式存儲(chǔ)，其中集中式存儲(chǔ)包括DAS直接存儲(chǔ)和SAN/NAS網(wǎng)絡(luò)存儲(chǔ)。相對(duì)于集中式存儲(chǔ)，分布式存儲(chǔ)采用橫向擴(kuò)展的節(jié)點(diǎn)集群模式，將數(shù)據(jù)分散到多個(gè)存儲(chǔ)服務(wù)器節(jié)點(diǎn)，各節(jié)點(diǎn)通過(guò)網(wǎng)絡(luò)構(gòu)成虛擬的存儲(chǔ)整體對(duì)外提供存儲(chǔ)服務(wù)，因而具有以下優(yōu)勢(shì)：一是橫向擴(kuò)展模式可按需靈活配置存儲(chǔ)節(jié)點(diǎn)，單節(jié)點(diǎn)容量可提升到PB甚至EB級(jí)別；二是存儲(chǔ)可與計(jì)算資源同步橫向擴(kuò)展，使系統(tǒng)得到線性提升；三是易于對(duì)不同廠商的產(chǎn)品進(jìn)行整合和管理，降低擴(kuò)展成本。分布式架構(gòu)已成為存儲(chǔ)系統(tǒng)容量擴(kuò)展、應(yīng)對(duì)非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)的基本特點(diǎn)。當(dāng)前市場(chǎng)主流存儲(chǔ)系統(tǒng)產(chǎn)品均基于分布式架構(gòu)，根據(jù)IDC預(yù)測(cè)，到2023年超過(guò)40%的存儲(chǔ)系統(tǒng)都是分布式的。
近幾年，企業(yè)上云率不斷提升，“公有云﹢私有云”的混合云架構(gòu)在企業(yè)云存儲(chǔ)解決方案中的優(yōu)勢(shì)越發(fā)凸顯，企業(yè)云數(shù)據(jù)中心的部署對(duì)存儲(chǔ)系統(tǒng)提出了差異化的要求。相對(duì)于大規(guī)模云數(shù)據(jù)中心，企業(yè)云的部署主要有以下核心訴求：一是敏捷性，提高資源交付的靈活性與運(yùn)維難度，縮短業(yè)務(wù)系統(tǒng)的部署與應(yīng)用流程；二是穩(wěn)定性，提高容錯(cuò)性，妥善應(yīng)對(duì)硬件、網(wǎng)絡(luò)等故障，保障業(yè)務(wù)的連續(xù)；三是統(tǒng)一管理，將計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)等資源融合管理，同時(shí)將不同區(qū)域、不同業(yè)務(wù)系統(tǒng)數(shù)據(jù)資源打通，消除數(shù)據(jù)孤島。特別是對(duì)于工業(yè)互聯(lián)網(wǎng)應(yīng)用，工業(yè)場(chǎng)景分散、業(yè)務(wù)數(shù)據(jù)獨(dú)立管理易形成數(shù)據(jù)孤島，傳統(tǒng)IT架構(gòu)管理平臺(tái)割裂增大管理難度和故障風(fēng)險(xiǎn)，工業(yè)互聯(lián)網(wǎng)的推進(jìn)對(duì)企業(yè)云的穩(wěn)定性和統(tǒng)一管理提出更加迫切的需求。
基于分布式的超融合架構(gòu)為企業(yè)建云提供了強(qiáng)有力的支撐。超融合架構(gòu)基于x86服務(wù)器和分布式存儲(chǔ)，在同一套單元設(shè)備中融合計(jì)算、網(wǎng)絡(luò)、存儲(chǔ)和服務(wù)器虛擬化等資源及技術(shù)，多套單元設(shè)備通過(guò)網(wǎng)絡(luò)聚合，實(shí)現(xiàn)模塊化的橫向擴(kuò)展，形成統(tǒng)一的資源池。與傳統(tǒng)架構(gòu)相比，超融合架構(gòu)具有以下特點(diǎn)：基于x86服務(wù)器的特性降低了建設(shè)與擴(kuò)充成本，一體化的設(shè)計(jì)降低了系統(tǒng)資源構(gòu)建、運(yùn)維與管理難度，提升了可用性；分布式的架構(gòu)實(shí)現(xiàn)資源彈性擴(kuò)展與分散配置，避免單點(diǎn)故障對(duì)系統(tǒng)的影響；存儲(chǔ)虛擬化將不同業(yè)務(wù)系統(tǒng)數(shù)據(jù)資源打通，避免了數(shù)據(jù)孤島。分布式超融合架構(gòu)可較好滿足企業(yè)云敏捷性、穩(wěn)定性與統(tǒng)一管理的部署需求，特別是在支撐大型企業(yè)工業(yè)互聯(lián)網(wǎng)建設(shè)方面有較大優(yōu)勢(shì)。隨著工業(yè)互聯(lián)網(wǎng)的深入推進(jìn)，未來(lái)企業(yè)云在各個(gè)行業(yè)的深入部署與應(yīng)用將有力帶動(dòng)分布式超融合架構(gòu)的發(fā)展，根據(jù)IDC的預(yù)測(cè)，未來(lái)兩年超融合架構(gòu)存儲(chǔ)的年復(fù)合增長(zhǎng)率達(dá)到25.2%。
云存儲(chǔ)的協(xié)同發(fā)展對(duì)數(shù)據(jù)管理
提出更高要求
在新基建的帶動(dòng)下，云數(shù)據(jù)中心的規(guī)?；ㄔO(shè)與邊緣計(jì)算節(jié)點(diǎn)和終端設(shè)備的部署，將極大提升數(shù)據(jù)跨云流動(dòng)和云邊交互的協(xié)同需求，進(jìn)而對(duì)存儲(chǔ)系統(tǒng)的數(shù)據(jù)管理能力提出更高的要求。
一方面，協(xié)同架構(gòu)要求存儲(chǔ)系統(tǒng)實(shí)現(xiàn)高效的生命周期分級(jí)管理。根據(jù)讀寫(xiě)頻率不同，不同生命周期的數(shù)據(jù)對(duì)存儲(chǔ)需求各異。例如邊端傳感器采集的信息，或金融系統(tǒng)實(shí)時(shí)處理的交易，數(shù)據(jù)的實(shí)時(shí)性強(qiáng)，讀寫(xiě)頻率高，對(duì)存儲(chǔ)系統(tǒng)的時(shí)延、IOPS要求較高；實(shí)時(shí)數(shù)據(jù)經(jīng)處理后存檔，在一定時(shí)間內(nèi)存在檔案查詢或價(jià)值挖掘等需求，讀寫(xiě)頻率較低，對(duì)存儲(chǔ)系統(tǒng)吞吐量、海量文件的存取效率要求較高；當(dāng)數(shù)據(jù)不再需要讀寫(xiě)，作為容災(zāi)備份進(jìn)行長(zhǎng)期保存時(shí)，對(duì)存儲(chǔ)系統(tǒng)性能要求低，但對(duì)成本要求較高。隨著云存儲(chǔ)的普及，分散在邊緣云或中心云的數(shù)據(jù)對(duì)存儲(chǔ)性能需求將呈現(xiàn)較大差異，云邊協(xié)同和云網(wǎng)協(xié)同的架構(gòu)要求存儲(chǔ)系統(tǒng)實(shí)現(xiàn)數(shù)據(jù)生命周期的分級(jí)管理，實(shí)現(xiàn)資源的最大化利用。
另一方面，協(xié)同架構(gòu)要求存儲(chǔ)系統(tǒng)具備協(xié)同管理能力，滿足多樣化數(shù)據(jù)交互需求。當(dāng)前“公有云﹢私有云”的應(yīng)用模式實(shí)現(xiàn)了數(shù)據(jù)存儲(chǔ)成本、靈活性與安全性的有機(jī)結(jié)合，融合多云與混合云的多云架構(gòu)成為越來(lái)越多的企業(yè)數(shù)據(jù)存儲(chǔ)的部署方案，云網(wǎng)協(xié)同的架構(gòu)對(duì)存儲(chǔ)系統(tǒng)跨云的數(shù)據(jù)統(tǒng)一調(diào)度與協(xié)同管理要求不斷上升。隨著5G、工業(yè)互聯(lián)網(wǎng)、物聯(lián)網(wǎng)的應(yīng)用，更多的數(shù)據(jù)將在移動(dòng)終端、攝像頭、傳感器等邊緣設(shè)備產(chǎn)生且在邊緣節(jié)點(diǎn)進(jìn)行處理，云邊協(xié)同的架構(gòu)需要存儲(chǔ)系統(tǒng)能夠基于互聯(lián)協(xié)議對(duì)云邊節(jié)點(diǎn)的數(shù)據(jù)進(jìn)行訪問(wèn)和管理，實(shí)現(xiàn)云端與邊緣側(cè)數(shù)據(jù)的匯聚與分發(fā)。
我國(guó)存儲(chǔ)系統(tǒng)產(chǎn)業(yè)發(fā)展問(wèn)題和
應(yīng)對(duì)策略
雖然我國(guó)存儲(chǔ)系統(tǒng)產(chǎn)業(yè)增速較快，但放眼全球格局，我國(guó)仍處于競(jìng)爭(zhēng)劣勢(shì)。從產(chǎn)業(yè)市場(chǎng)來(lái)看，存儲(chǔ)系統(tǒng)的市場(chǎng)呈現(xiàn)向美日巨頭高度集中的特點(diǎn)。根據(jù)2020年第一季度全球外部存儲(chǔ)市場(chǎng)數(shù)據(jù)，排名前五位的均為美日企業(yè)（Dell EMC/NetApp/ HPE/Hitachi/IBM），市場(chǎng)總占比高達(dá)73%。我國(guó)華為位列第六，市場(chǎng)占比為5.9%；聯(lián)想與NetApp成立合資公司后首次躋身第九，市場(chǎng)占比為1.2%。我國(guó)本土化企業(yè)在全球市場(chǎng)的業(yè)務(wù)實(shí)力有待進(jìn)一步提升。
目前我國(guó)存儲(chǔ)系統(tǒng)產(chǎn)業(yè)主要存在以下幾個(gè)問(wèn)題：一是產(chǎn)業(yè)起步較晚，國(guó)內(nèi)大多數(shù)企業(yè)基于開(kāi)源技術(shù)構(gòu)建存儲(chǔ)系統(tǒng)軟件基礎(chǔ)，核心技術(shù)欠缺，與國(guó)際巨頭差距較大；二是產(chǎn)業(yè)鏈自主化程度不足，存儲(chǔ)芯片等產(chǎn)業(yè)鏈核心環(huán)節(jié)對(duì)國(guó)外供應(yīng)依賴性較強(qiáng)，產(chǎn)品成本與供應(yīng)存在一定風(fēng)險(xiǎn)；三是目前存儲(chǔ)系統(tǒng)產(chǎn)品較為單一，產(chǎn)業(yè)同質(zhì)化競(jìng)爭(zhēng)較為激烈，核心優(yōu)勢(shì)有所欠缺。
要提升我國(guó)存儲(chǔ)系統(tǒng)產(chǎn)業(yè)的全球競(jìng)爭(zhēng)力，一是要加強(qiáng)軟件的研發(fā)投入與產(chǎn)學(xué)研結(jié)合，以自主核心技術(shù)構(gòu)建創(chuàng)新實(shí)力壁壘，推動(dòng)產(chǎn)業(yè)界痛點(diǎn)問(wèn)題與學(xué)術(shù)界的聯(lián)合攻關(guān)和學(xué)術(shù)界創(chuàng)新成果的轉(zhuǎn)化落地，突破存儲(chǔ)軟件的短板；二是要加強(qiáng)產(chǎn)業(yè)鏈核心環(huán)節(jié)的資金投入與技術(shù)攻關(guān)，努力擺脫長(zhǎng)期受制于人的局面；三是要把握國(guó)內(nèi)市場(chǎng)需求，在新基建的引導(dǎo)下，針對(duì)不同的場(chǎng)景需求開(kāi)發(fā)差異化產(chǎn)品，提升產(chǎn)業(yè)差異化競(jìng)爭(zhēng)優(yōu)勢(shì)。
