你好，歡迎您來(lái)到福建信息主管(CIO)網(wǎng)! 設(shè)為首頁(yè)|加入收藏|會(huì)員中心
許多企業(yè)在推出人工智能項(xiàng)目時(shí)都專注于計(jì)算能力和網(wǎng)絡(luò)能力。但他們可能忽略了自己對(duì)海量存儲(chǔ)需求的大局。
圖源：OPTIMARC（圖片上傳者，可以譯為用戶OPTIMARC，或者OPTIMARC）?/?SHUTTERSTOCK
隨著企業(yè)開(kāi)始部署和使用人工智能，許多人意識(shí)到，他們將需要獲得巨大的計(jì)算能力和快速的網(wǎng)絡(luò)能力，但存儲(chǔ)需求可能會(huì)被忽視。
一些人工智能和存儲(chǔ)專家說(shuō)，啟動(dòng)聊天機(jī)器人或應(yīng)用人工智能助手不太可能對(duì)大多數(shù)企業(yè)的存儲(chǔ)能力征稅，但可以訪問(wèn)數(shù)百萬(wàn)個(gè)數(shù)據(jù)點(diǎn)的大型人工智能項(xiàng)目可能需要數(shù)TB的新存儲(chǔ)，這可能會(huì)花費(fèi)數(shù)千萬(wàn)美元。
Duos Technologies（是一家位于美國(guó)佛羅里達(dá)州杰克遜維爾的公司，專注于設(shè)計(jì)、開(kāi)發(fā)、部署和運(yùn)營(yíng)智能技術(shù)解決方案，這些解決方案支持北美地區(qū)的鐵路、物流、多式聯(lián)運(yùn)和政府客戶，旨在簡(jiǎn)化操作、提高安全性和降低成本。公司提供包括企業(yè)信息管理軟件平臺(tái)Centraco和集成平臺(tái)truevue360在內(nèi)的多種解決方案，這些平臺(tái)能夠開(kāi)發(fā)和部署實(shí)時(shí)應(yīng)用的人工智能算法。Duos Technologies?還擁有專利應(yīng)用，例如?Railcar Inspection Portal，它為鐵路客戶提供了在列車全速行駛時(shí)進(jìn)行全自動(dòng)軌道車檢測(cè)的能力。此外，公司還開(kāi)發(fā)了自動(dòng)化物流信息系統(tǒng)/ALIS，使大型物流和多式聯(lián)運(yùn)設(shè)施的閘口操作自動(dòng)化。還提供咨詢服務(wù)，包括咨詢和審計(jì)、軟件許可、客戶服務(wù)培訓(xùn)以及維護(hù)支持。）的首席技術(shù)官Jeffrey Necciai（杰弗里·內(nèi)西亞伊）表示，存在幾種存儲(chǔ)選項(xiàng)，對(duì)于某些人工智能功能，云存儲(chǔ)或傳統(tǒng)硬盤可能就足夠了。Duos Technologies使用人工智能和成像來(lái)檢查運(yùn)動(dòng)中的火車。
但Necciai（內(nèi)西亞伊）和其他專家表示，對(duì)于需要提供即時(shí)響應(yīng)或信息的人工智能系統(tǒng)來(lái)說(shuō)，距離人工智能工作負(fù)載位置數(shù)百英里的硬盤和云存儲(chǔ)可能太慢了。
例如，Necciai（內(nèi)西亞伊）說(shuō)，Duos Technologies在軌道車被掃描后60秒內(nèi)發(fā)出通知。在這種情況下，Duos需要與AI計(jì)算單元協(xié)同工作的超高速存儲(chǔ)。
“如果你的輪子壞了，你現(xiàn)在就想知道，”他說(shuō)，“我們不一定要在云中處理任何東西，因?yàn)楹苊黠@，我們不想要延遲。我們需要盡快公布這些信息。”
一、不僅僅是驅(qū)動(dòng)器的大小
Necciai（內(nèi)西亞伊）表示，考慮大型人工智能項(xiàng)目的企業(yè)需要同時(shí)考慮他們需要的存儲(chǔ)量和他們同時(shí)處理多個(gè)任務(wù)的能力。
“對(duì)于多個(gè)線程，我們需要同時(shí)快速向存儲(chǔ)中寫入數(shù)據(jù)，對(duì)于多個(gè)線索，我們需要快速?gòu)墓适麓鎯?chǔ)中讀取數(shù)據(jù)?！彼a(bǔ)充道，“對(duì)我們來(lái)說(shuō)，同時(shí)對(duì)存儲(chǔ)進(jìn)行操作的能力非常重要。”
去年，Duos掃描了850萬(wàn)輛軌道車，每次掃描可能生成1050多張圖像。Duos Railcar Inspection Portal使用四個(gè)高性能存儲(chǔ)陣列，每個(gè)陣列包含16個(gè)NVMe驅(qū)動(dòng)器，總?cè)萘考s為500 TB。
該公司還使用約25TB的更傳統(tǒng)的存儲(chǔ)空間用于內(nèi)部培訓(xùn)和開(kāi)發(fā)其人工智能，對(duì)即時(shí)結(jié)果的需求較小。“我們希望利用所有這些來(lái)做我們需要做的事情?！盢ecciai（內(nèi)西亞伊）說(shuō)，“這實(shí)際上歸結(jié)為為正確的工作選擇合適的工具?！?/span>
二、強(qiáng)烈的數(shù)據(jù)需求
與Duos一樣，其他一些運(yùn)行大型人工智能項(xiàng)目的企業(yè)也在轉(zhuǎn)向高容量SSDs（Solid State Disk或Solid State Drive，固態(tài)硬盤，又稱固態(tài)驅(qū)動(dòng)器，是用固態(tài)電子存儲(chǔ)芯片陣列制成的硬盤。）或NAND（Not AND，是一種閃存技術(shù)）閃存來(lái)滿足其存儲(chǔ)需求。
高速內(nèi)存選項(xiàng)比硬盤貴得多，每GB的成本高達(dá)1000美元，但它們還提供了其他優(yōu)勢(shì)。例如，企業(yè)SSD制造商Solidigm的領(lǐng)導(dǎo)力營(yíng)銷高級(jí)總監(jiān)羅杰·科雷爾表示，它們的能效幾乎是服務(wù)器和硬盤機(jī)架的三倍，占用的空間也更少。
高速內(nèi)存選項(xiàng)比hd要貴得多，每gb的成本高達(dá)1000美元，但它們還提供了其他優(yōu)勢(shì)。例如，企業(yè)SSD制造商Solidigm（是由韓國(guó)半導(dǎo)體供應(yīng)商?SK?海力士株式會(huì)社/SK hynix Inc.成立的獨(dú)立美國(guó)子公司。專注于數(shù)據(jù)中心NAND存儲(chǔ)器市場(chǎng)，并將成為固態(tài)存儲(chǔ)器客戶的首選合作伙伴。）領(lǐng)導(dǎo)營(yíng)銷高級(jí)主管Roger Corell（羅杰·科雷爾）說(shuō)，它們的能效幾乎是服務(wù)器和硬盤機(jī)架的三倍，占用的空間也更少。
他說(shuō)，隨著企業(yè)應(yīng)用更復(fù)雜、多模式的人工智能項(xiàng)目，越來(lái)越多的員工開(kāi)始使用人工智能工具，對(duì)高容量、多線程存儲(chǔ)選項(xiàng)的需求只會(huì)增加。
Corell（科雷爾）補(bǔ)充說(shuō)：“人工智能在需要存儲(chǔ)的數(shù)據(jù)量以及需要訪問(wèn)這些海量數(shù)據(jù)集的速度方面非常密集。”
此外，除了SSD或NAND選項(xiàng)外，一些公司還使用私有云或共置設(shè)施來(lái)滿足他們的存儲(chǔ)需求，MinIO（是一家提供對(duì)象存儲(chǔ)解決方案的公司，專為人工智能/AI和機(jī)器學(xué)習(xí)/ML項(xiàng)目設(shè)計(jì)。它由Anand Babu Periasamy在2014年創(chuàng)建，是一個(gè)開(kāi)源項(xiàng)目，擁有活躍的開(kāi)發(fā)者社區(qū)，專注于提供高性能、高可靠性和靈活的對(duì)象存儲(chǔ)服務(wù)。MinIO的對(duì)象存儲(chǔ)系統(tǒng)以其輕量級(jí)、易于部署和強(qiáng)大的S3兼容性而聞名，支持各種規(guī)模的數(shù)據(jù)存儲(chǔ)需求，從小型項(xiàng)目到大型企業(yè)級(jí)應(yīng)用。MinIO支持在多種環(huán)境中部署，包括本地?cái)?shù)據(jù)中心、公共云和混合云環(huán)境。它的輕量級(jí)特性簡(jiǎn)化了部署和管理過(guò)程，同時(shí)提供了高可用性和可擴(kuò)展性。MinIO還提供了豐富的數(shù)據(jù)管理工具，以適應(yīng)不同用戶的需求。）首席技術(shù)官Ugur Tigli（烏古爾·蒂利）說(shuō)，MinIO專注于人工智能和機(jī)器學(xué)習(xí)項(xiàng)目。
他說(shuō)，采用人工智能的MinIO客戶通常會(huì)將其存儲(chǔ)容量增加4到10倍，他鼓勵(lì)大規(guī)模人工智能用戶將存儲(chǔ)需求擴(kuò)展到公共云之外，因?yàn)槭褂盟接性苹騾f(xié)同定位服務(wù)的成本可能比公共云低60%。
“在數(shù)百PB或一兩EB的規(guī)模下，經(jīng)濟(jì)性在公共云中是行不通的。”他說(shuō)，“根據(jù)容量、分層和數(shù)據(jù)訪問(wèn)配置文件的不同，每年的總成本將在數(shù)千萬(wàn)到數(shù)億美元之間?！?/span>
Tigli（蒂利）補(bǔ)充道，企業(yè)用戶可以自行構(gòu)建私有云，并在需要額外的GPU使用時(shí)“爆發(fā)”到云端。他說(shuō)：“關(guān)鍵在于計(jì)算是彈性的，但數(shù)據(jù)具有引力，并且以一種可預(yù)測(cè)的——盡管加速——速率增長(zhǎng)，因此需要相應(yīng)地進(jìn)行架構(gòu)設(shè)計(jì)。”
三、存儲(chǔ)作為一個(gè)平臺(tái)
數(shù)字化轉(zhuǎn)型公司AHEAD的現(xiàn)場(chǎng)首席技術(shù)官Priyanka Karan（普里揚(yáng)卡·卡蘭）補(bǔ)充道，另一種選擇涉及PB級(jí)存儲(chǔ)平臺(tái)。PB級(jí)存儲(chǔ)平臺(tái)“旨在減少數(shù)據(jù)移動(dòng)的挑戰(zhàn)，將數(shù)據(jù)從最初到達(dá)的地方轉(zhuǎn)移到可以用于人工智能訓(xùn)練的地方，”她說(shuō)，“我們的目標(biāo)不是創(chuàng)建一個(gè)新的存儲(chǔ)筒倉(cāng)?！?/span>
她說(shuō)，一些可用的存儲(chǔ)平臺(tái)是基于NAND閃存構(gòu)建的，NAND閃存提供了高吞吐量和低延遲，這對(duì)于向GPU和TPU提供數(shù)據(jù)至關(guān)重要。
有幾種選擇，一些人工智能用戶和專家表示，所需的存儲(chǔ)量和類型取決于組織正在部署的人工智能項(xiàng)目。
Karan（卡蘭）說(shuō)，離線批處理的內(nèi)存需求低于實(shí)時(shí)工作負(fù)載。她補(bǔ)充道，在某些情況下，輔助存儲(chǔ)選項(xiàng)可用于保存訓(xùn)練和運(yùn)行AI模型所需的大量數(shù)據(jù)。
選擇正確的存儲(chǔ)選項(xiàng)還取決于經(jīng)常提到的數(shù)據(jù)重力——數(shù)據(jù)集的大小，是否可以將其移動(dòng)到云端進(jìn)行處理，或者對(duì)數(shù)據(jù)進(jìn)行處理是否有意義。在一些人工智能項(xiàng)目中，數(shù)據(jù)存儲(chǔ)與人工智能計(jì)算位于數(shù)據(jù)中心、另一個(gè)公共云中或創(chuàng)建數(shù)據(jù)的邊緣。
企業(yè)還有許多其他因素需要考慮，包括安全性、監(jiān)管或合規(guī)挑戰(zhàn)。對(duì)于云存儲(chǔ)，“網(wǎng)絡(luò)、距離和延遲都是這些因素，但他們必須考慮額外的成本變量，”Karan（卡蘭）說(shuō)。
此外，除了存儲(chǔ)器本身的成本外，還可能還有數(shù)據(jù)傳輸費(fèi)、訪問(wèn)費(fèi)和異地存儲(chǔ)器的管理費(fèi)。另一方面，本地存儲(chǔ)選項(xiàng)可能包括大量的前期投資，以及維護(hù)、電力和冷卻，還有員工工資。
Karan（卡蘭）說(shuō)：“組織必須評(píng)估他們的具體需求，包括性能、成本和可擴(kuò)展性，為他們的人工智能計(jì)劃選擇最佳解決方案。”
作者：Grant Gross（格蘭特·格羅斯）
Grant Gross（格蘭特·格羅斯）是CIO的資深撰稿人，是一名長(zhǎng)期的科技記者。他曾擔(dān)任華盛頓記者，后來(lái)?yè)?dān)任IDG新聞服務(wù)的高級(jí)編輯。在他職業(yè)生涯的早期，他曾擔(dān)任Linux.com的總編輯和科技職業(yè)網(wǎng)站Techies.com的新聞編輯。在遙遠(yuǎn)的過(guò)去，他曾在明尼蘇達(dá)州和達(dá)科他州的報(bào)紙擔(dān)任記者和編輯。
譯者：寶藍(lán)
【睿觀】大型人工智能項(xiàng)目對(duì)存儲(chǔ)的需求概述
隨著人工智能項(xiàng)目的實(shí)施，企業(yè)需要考慮巨大的存儲(chǔ)需求。這不僅僅是存儲(chǔ)容量的問(wèn)題，還涉及存儲(chǔ)速度、延遲和成本等因素。
（一）關(guān)鍵要點(diǎn)：
大型人工智能項(xiàng)目可能需要數(shù)TB的新存儲(chǔ)，這可能會(huì)花費(fèi)數(shù)千萬(wàn)美元。
一些人工智能和存儲(chǔ)專家建議使用高性能存儲(chǔ)選項(xiàng)，例如SSD或NAND閃存，以滿足即時(shí)響應(yīng)或信息的需求。
除了存儲(chǔ)器本身的成本外，還可能還有數(shù)據(jù)傳輸費(fèi)、訪問(wèn)費(fèi)和異地存儲(chǔ)器的管理費(fèi)。
企業(yè)需要評(píng)估其具體需求，包括性能、成本和可擴(kuò)展性，為其人工智能計(jì)劃選擇最佳存儲(chǔ)解決方案。
（二）具體建議：
考慮同時(shí)需要存儲(chǔ)大量數(shù)據(jù)并快速處理多個(gè)任務(wù)的能力。
評(píng)估數(shù)據(jù)重力——數(shù)據(jù)集的大小以及是否可以將其移動(dòng)到云端進(jìn)行處理。
考慮安全性、監(jiān)管或合規(guī)挑戰(zhàn)。
比較本地存儲(chǔ)和云存儲(chǔ)的成本和優(yōu)勢(shì)。
（三）案例研究：
Duos Technologies使用人工智能和成像來(lái)檢查運(yùn)動(dòng)中的火車。他們使用四個(gè)高性能存儲(chǔ)陣列，每個(gè)陣列包含16個(gè)NVMe驅(qū)動(dòng)器，總?cè)萘考s為500 TB。
MinIO是一家為人工智能和機(jī)器學(xué)習(xí)項(xiàng)目提供對(duì)象存儲(chǔ)解決方案的公司。他們的客戶通常會(huì)將其存儲(chǔ)容量增加4到10倍。
AHEAD是一家數(shù)字化轉(zhuǎn)型公司。他們建議使用PB級(jí)存儲(chǔ)平臺(tái)，旨在減少數(shù)據(jù)移動(dòng)的挑戰(zhàn)，并將數(shù)據(jù)從最初到達(dá)的地方轉(zhuǎn)移到可以用于人工智能訓(xùn)練的地方。
隨著人工智能項(xiàng)目的增長(zhǎng)和復(fù)雜性的提高，對(duì)高容量、低延遲和可擴(kuò)展存儲(chǔ)的需求將會(huì)增加。企業(yè)需要仔細(xì)考慮他們的存儲(chǔ)需求，選擇最佳解決方案，以支持他們的AI計(jì)劃。
