許多企業(yè)在推出人工智能項目時都專注于計算能力和網(wǎng)絡(luò)能力。但他們可能忽略了自己對海量存儲需求的大局。
圖源：OPTIMARC（圖片上傳者，可以譯為用戶OPTIMARC，或者OPTIMARC）?/?SHUTTERSTOCK
隨著企業(yè)開始部署和使用人工智能，許多人意識到，他們將需要獲得巨大的計算能力和快速的網(wǎng)絡(luò)能力，但存儲需求可能會被忽視。
一些人工智能和存儲專家說，啟動聊天機器人或應(yīng)用人工智能助手不太可能對大多數(shù)企業(yè)的存儲能力征稅，但可以訪問數(shù)百萬個數(shù)據(jù)點的大型人工智能項目可能需要數(shù)TB的新存儲，這可能會花費數(shù)千萬美元。
Duos Technologies（是一家位于美國佛羅里達州杰克遜維爾的公司，專注于設(shè)計、開發(fā)、部署和運營智能技術(shù)解決方案，這些解決方案支持北美地區(qū)的鐵路、物流、多式聯(lián)運和政府客戶，旨在簡化操作、提高安全性和降低成本。公司提供包括企業(yè)信息管理軟件平臺Centraco和集成平臺truevue360在內(nèi)的多種解決方案，這些平臺能夠開發(fā)和部署實時應(yīng)用的人工智能算法。Duos Technologies?還擁有專利應(yīng)用，例如?Railcar Inspection Portal，它為鐵路客戶提供了在列車全速行駛時進行全自動軌道車檢測的能力。此外，公司還開發(fā)了自動化物流信息系統(tǒng)/ALIS，使大型物流和多式聯(lián)運設(shè)施的閘口操作自動化。還提供咨詢服務(wù)，包括咨詢和審計、軟件許可、客戶服務(wù)培訓以及維護支持。）的首席技術(shù)官Jeffrey Necciai（杰弗里·內(nèi)西亞伊）表示，存在幾種存儲選項，對于某些人工智能功能，云存儲或傳統(tǒng)硬盤可能就足夠了。Duos Technologies使用人工智能和成像來檢查運動中的火車。
但Necciai（內(nèi)西亞伊）和其他專家表示，對于需要提供即時響應(yīng)或信息的人工智能系統(tǒng)來說，距離人工智能工作負載位置數(shù)百英里的硬盤和云存儲可能太慢了。
例如，Necciai（內(nèi)西亞伊）說，Duos Technologies在軌道車被掃描后60秒內(nèi)發(fā)出通知。在這種情況下，Duos需要與AI計算單元協(xié)同工作的超高速存儲。
“如果你的輪子壞了，你現(xiàn)在就想知道，”他說，“我們不一定要在云中處理任何東西，因為很明顯，我們不想要延遲。我們需要盡快公布這些信息。”
一、不僅僅是驅(qū)動器的大小
Necciai（內(nèi)西亞伊）表示，考慮大型人工智能項目的企業(yè)需要同時考慮他們需要的存儲量和他們同時處理多個任務(wù)的能力。
“對于多個線程，我們需要同時快速向存儲中寫入數(shù)據(jù)，對于多個線索，我們需要快速從故事存儲中讀取數(shù)據(jù)?！彼a充道，“對我們來說，同時對存儲進行操作的能力非常重要。”
去年，Duos掃描了850萬輛軌道車，每次掃描可能生成1050多張圖像。Duos Railcar Inspection Portal使用四個高性能存儲陣列，每個陣列包含16個NVMe驅(qū)動器，總?cè)萘考s為500 TB。
該公司還使用約25TB的更傳統(tǒng)的存儲空間用于內(nèi)部培訓和開發(fā)其人工智能，對即時結(jié)果的需求較小。“我們希望利用所有這些來做我們需要做的事情?！盢ecciai（內(nèi)西亞伊）說，“這實際上歸結(jié)為為正確的工作選擇合適的工具?！?/span>
二、強烈的數(shù)據(jù)需求
與Duos一樣，其他一些運行大型人工智能項目的企業(yè)也在轉(zhuǎn)向高容量SSDs（Solid State Disk或Solid State Drive，固態(tài)硬盤，又稱固態(tài)驅(qū)動器，是用固態(tài)電子存儲芯片陣列制成的硬盤。）或NAND（Not AND，是一種閃存技術(shù)）閃存來滿足其存儲需求。
高速內(nèi)存選項比硬盤貴得多，每GB的成本高達1000美元，但它們還提供了其他優(yōu)勢。例如，企業(yè)SSD制造商Solidigm的領(lǐng)導力營銷高級總監(jiān)羅杰·科雷爾表示，它們的能效幾乎是服務(wù)器和硬盤機架的三倍，占用的空間也更少。
高速內(nèi)存選項比hd要貴得多，每gb的成本高達1000美元，但它們還提供了其他優(yōu)勢。例如，企業(yè)SSD制造商Solidigm（是由韓國半導體供應(yīng)商?SK?海力士株式會社/SK hynix Inc.成立的獨立美國子公司。專注于數(shù)據(jù)中心NAND存儲器市場，并將成為固態(tài)存儲器客戶的首選合作伙伴。）領(lǐng)導營銷高級主管Roger Corell（羅杰·科雷爾）說，它們的能效幾乎是服務(wù)器和硬盤機架的三倍，占用的空間也更少。
他說，隨著企業(yè)應(yīng)用更復雜、多模式的人工智能項目，越來越多的員工開始使用人工智能工具，對高容量、多線程存儲選項的需求只會增加。
Corell（科雷爾）補充說：“人工智能在需要存儲的數(shù)據(jù)量以及需要訪問這些海量數(shù)據(jù)集的速度方面非常密集。”
此外，除了SSD或NAND選項外，一些公司還使用私有云或共置設(shè)施來滿足他們的存儲需求，MinIO（是一家提供對象存儲解決方案的公司，專為人工智能/AI和機器學習/ML項目設(shè)計。它由Anand Babu Periasamy在2014年創(chuàng)建，是一個開源項目，擁有活躍的開發(fā)者社區(qū)，專注于提供高性能、高可靠性和靈活的對象存儲服務(wù)。MinIO的對象存儲系統(tǒng)以其輕量級、易于部署和強大的S3兼容性而聞名，支持各種規(guī)模的數(shù)據(jù)存儲需求，從小型項目到大型企業(yè)級應(yīng)用。MinIO支持在多種環(huán)境中部署，包括本地數(shù)據(jù)中心、公共云和混合云環(huán)境。它的輕量級特性簡化了部署和管理過程，同時提供了高可用性和可擴展性。MinIO還提供了豐富的數(shù)據(jù)管理工具，以適應(yīng)不同用戶的需求。）首席技術(shù)官Ugur Tigli（烏古爾·蒂利）說，MinIO專注于人工智能和機器學習項目。
他說，采用人工智能的MinIO客戶通常會將其存儲容量增加4到10倍，他鼓勵大規(guī)模人工智能用戶將存儲需求擴展到公共云之外，因為使用私有云或協(xié)同定位服務(wù)的成本可能比公共云低60%。
“在數(shù)百PB或一兩EB的規(guī)模下，經(jīng)濟性在公共云中是行不通的。”他說，“根據(jù)容量、分層和數(shù)據(jù)訪問配置文件的不同，每年的總成本將在數(shù)千萬到數(shù)億美元之間?！?/span>
Tigli（蒂利）補充道，企業(yè)用戶可以自行構(gòu)建私有云，并在需要額外的GPU使用時“爆發(fā)”到云端。他說：“關(guān)鍵在于計算是彈性的，但數(shù)據(jù)具有引力，并且以一種可預測的——盡管加速——速率增長，因此需要相應(yīng)地進行架構(gòu)設(shè)計。”
三、存儲作為一個平臺
數(shù)字化轉(zhuǎn)型公司AHEAD的現(xiàn)場首席技術(shù)官Priyanka Karan（普里揚卡·卡蘭）補充道，另一種選擇涉及PB級存儲平臺。PB級存儲平臺“旨在減少數(shù)據(jù)移動的挑戰(zhàn)，將數(shù)據(jù)從最初到達的地方轉(zhuǎn)移到可以用于人工智能訓練的地方，”她說，“我們的目標不是創(chuàng)建一個新的存儲筒倉?！?/span>
她說，一些可用的存儲平臺是基于NAND閃存構(gòu)建的，NAND閃存提供了高吞吐量和低延遲，這對于向GPU和TPU提供數(shù)據(jù)至關(guān)重要。
有幾種選擇，一些人工智能用戶和專家表示，所需的存儲量和類型取決于組織正在部署的人工智能項目。
Karan（卡蘭）說，離線批處理的內(nèi)存需求低于實時工作負載。她補充道，在某些情況下，輔助存儲選項可用于保存訓練和運行AI模型所需的大量數(shù)據(jù)。
選擇正確的存儲選項還取決于經(jīng)常提到的數(shù)據(jù)重力——數(shù)據(jù)集的大小，是否可以將其移動到云端進行處理，或者對數(shù)據(jù)進行處理是否有意義。在一些人工智能項目中，數(shù)據(jù)存儲與人工智能計算位于數(shù)據(jù)中心、另一個公共云中或創(chuàng)建數(shù)據(jù)的邊緣。
企業(yè)還有許多其他因素需要考慮，包括安全性、監(jiān)管或合規(guī)挑戰(zhàn)。對于云存儲，“網(wǎng)絡(luò)、距離和延遲都是這些因素，但他們必須考慮額外的成本變量，”Karan（卡蘭）說。
此外，除了存儲器本身的成本外，還可能還有數(shù)據(jù)傳輸費、訪問費和異地存儲器的管理費。另一方面，本地存儲選項可能包括大量的前期投資，以及維護、電力和冷卻，還有員工工資。
Karan（卡蘭）說：“組織必須評估他們的具體需求，包括性能、成本和可擴展性，為他們的人工智能計劃選擇最佳解決方案。”
作者：Grant Gross（格蘭特·格羅斯）
Grant Gross（格蘭特·格羅斯）是CIO的資深撰稿人，是一名長期的科技記者。他曾擔任華盛頓記者，后來擔任IDG新聞服務(wù)的高級編輯。在他職業(yè)生涯的早期，他曾擔任Linux.com的總編輯和科技職業(yè)網(wǎng)站Techies.com的新聞編輯。在遙遠的過去，他曾在明尼蘇達州和達科他州的報紙擔任記者和編輯。
譯者：寶藍
【睿觀】大型人工智能項目對存儲的需求概述
隨著人工智能項目的實施，企業(yè)需要考慮巨大的存儲需求。這不僅僅是存儲容量的問題，還涉及存儲速度、延遲和成本等因素。
（一）關(guān)鍵要點：
大型人工智能項目可能需要數(shù)TB的新存儲，這可能會花費數(shù)千萬美元。
一些人工智能和存儲專家建議使用高性能存儲選項，例如SSD或NAND閃存，以滿足即時響應(yīng)或信息的需求。
除了存儲器本身的成本外，還可能還有數(shù)據(jù)傳輸費、訪問費和異地存儲器的管理費。
企業(yè)需要評估其具體需求，包括性能、成本和可擴展性，為其人工智能計劃選擇最佳存儲解決方案。
（二）具體建議：
考慮同時需要存儲大量數(shù)據(jù)并快速處理多個任務(wù)的能力。
評估數(shù)據(jù)重力——數(shù)據(jù)集的大小以及是否可以將其移動到云端進行處理。
考慮安全性、監(jiān)管或合規(guī)挑戰(zhàn)。
比較本地存儲和云存儲的成本和優(yōu)勢。
（三）案例研究：
Duos Technologies使用人工智能和成像來檢查運動中的火車。他們使用四個高性能存儲陣列，每個陣列包含16個NVMe驅(qū)動器，總?cè)萘考s為500 TB。
MinIO是一家為人工智能和機器學習項目提供對象存儲解決方案的公司。他們的客戶通常會將其存儲容量增加4到10倍。
AHEAD是一家數(shù)字化轉(zhuǎn)型公司。他們建議使用PB級存儲平臺，旨在減少數(shù)據(jù)移動的挑戰(zhàn)，并將數(shù)據(jù)從最初到達的地方轉(zhuǎn)移到可以用于人工智能訓練的地方。
隨著人工智能項目的增長和復雜性的提高，對高容量、低延遲和可擴展存儲的需求將會增加。企業(yè)需要仔細考慮他們的存儲需求，選擇最佳解決方案，以支持他們的AI計劃。
