并非所有企業(yè)用例都最適合大型語言模型。新型人工智能（New?AI）的多模態(tài)生成式?AI?模型和較小的模型有望滿足利基需求。
來源：GORODENKOFF / SHUTTERSTOCK
【睿觀：生成式人工智能（Gen AI）在各行業(yè)中的應(yīng)用不斷擴(kuò)展，但并非所有企業(yè)用例都最適合大型語言模型（LLMs）。雖然LLMs在自然語言處理和文本生成方面具有強(qiáng)大能力，但一些IT領(lǐng)導(dǎo)者認(rèn)為LLMs并不能完全滿足所有需求，導(dǎo)致他們將目光轉(zhuǎn)向新型人工智能（New?AI），如多模態(tài)生成式AI模型和較小規(guī)模的模型。這些模型能夠處理包括文本、音頻、圖像和視頻在內(nèi)的多種數(shù)據(jù)模式，并提供更加精準(zhǔn)和專用的結(jié)果。
（一）現(xiàn)狀與挑戰(zhàn)
目前，LLMs是生成式AI實(shí)驗(yàn)的主流選擇。然而，一些企業(yè)發(fā)現(xiàn)，簡單依賴LLMs無法解決他們的特定需求。這導(dǎo)致了多模態(tài)模型的興起，例如，具備處理動(dòng)態(tài)表格數(shù)據(jù)、視頻、音頻數(shù)據(jù)能力的模型，這些模型比只處理文本的LLMs更具優(yōu)勢。
例如，Northwestern Medicine與戴爾的合作展示了多模態(tài)LLM在醫(yī)療圖像分析中的成功應(yīng)用，大幅提高了診斷效率。同樣，MakeShift正采用麻省理工學(xué)院初創(chuàng)公司Ikigai Labs的新型大型圖形模型（LGM）來處理復(fù)雜的預(yù)測性調(diào)度問題，這些模型可以處理高度結(jié)構(gòu)化和相互關(guān)聯(lián)的數(shù)據(jù)。
（二）多模態(tài)模型與較小規(guī)模模型的優(yōu)勢
1.多模態(tài)模型： 能夠綜合處理文本、圖像、音頻和視頻數(shù)據(jù)。例如，Google Gato、OpenAI GPT-4o和Microsoft LLaVA能夠提供跨模式的綜合分析，這對于需要整合多種數(shù)據(jù)來源的應(yīng)用尤為重要。
2.較小模型的專業(yè)化： 例如，Ikigai Labs社自稱的LGM為高度結(jié)構(gòu)化數(shù)據(jù)提供了概率表示，可以更有效地處理特定領(lǐng)域的問題。較小的模型由于專注于特定任務(wù)，具有更高的效率和經(jīng)濟(jì)性。
3.開源與定制化： 開源模型提供了企業(yè)定制化的靈活性，企業(yè)可以在開源模型的基礎(chǔ)上進(jìn)行微調(diào)和優(yōu)化，以滿足特定需求。
（三）未來趨勢與結(jié)論
Gartner的分析指出，雖然擁有多模態(tài)功能的LLMs正在崛起，但由于成本和計(jì)算資源的限制，企業(yè)可能更傾向于使用小規(guī)模的專業(yè)化模型。Databricks的Naveen Rao也強(qiáng)調(diào)了通過開源和定制化來降低模型部署成本。
企業(yè)將繼續(xù)探索和發(fā)展適合他們具體業(yè)務(wù)需求的AI模型。通過結(jié)合多模態(tài)模型和較小規(guī)模的專用模型，企業(yè)能夠更有效地解決復(fù)雜的業(yè)務(wù)問題，提高效率和創(chuàng)新能力。
這種向?qū)I(yè)化和多模態(tài)模型發(fā)展的趨勢表明，通用人工智能在企業(yè)中的應(yīng)用將變得更加細(xì)分和實(shí)用，滿足企業(yè)多樣化的需求，同時(shí)降低成本和復(fù)雜度。未來，隨著硬件技術(shù)的進(jìn)步和開源生態(tài)系統(tǒng)的成熟，這些新型AI模型的應(yīng)用將更加廣泛和普及。】
隨著生成式人工智能淘金熱的如火如荼，一些CIO和?IT?領(lǐng)導(dǎo)者發(fā)現(xiàn)生成式?AI?的第一波寵兒——大型語言模型 （LLM）——可能無法滿足其更有前途的用例。
LLM憑借其理解和生成文本的先進(jìn)能力，已成為集體思維中生成式?AI?的近乎替身。與代碼生成副駕駛和文本到圖像生成器（利用?LLM?和擴(kuò)散處理的組合）一起，LLM?是當(dāng)今商業(yè)中大多數(shù)生成式?AI?實(shí)驗(yàn)的核心。
但是，一些IT領(lǐng)導(dǎo)者表示，并非所有問題都可以使用LLMs解決，這開啟了下一波多模態(tài)模型的浪潮，這些模型超越了語言，提供了更有目的的結(jié)果，例如，處理存儲(chǔ)在電子表格和矢量數(shù)據(jù)庫中的動(dòng)態(tài)表格數(shù)據(jù)、視頻和音頻數(shù)據(jù)。
根據(jù)?IDC?的《市場概覽：生成式基礎(chǔ)?AI?模型》，多模態(tài)基礎(chǔ)模型結(jié)合了文本、音頻、圖像和視頻等多種模式，能夠?yàn)閳D像生成標(biāo)題或回答有關(guān)圖像的問題。IDC指出，例子包括Google Gato，OpenAI GPT-4o，Microsoft LLaVA，Nvidia NeVA，Vicuna，BLIP2和Flamingo。
Northwestern Medicine的先進(jìn)技術(shù)團(tuán)隊(duì)與戴爾的?AI?創(chuàng)新團(tuán)隊(duì)合作，構(gòu)建了一個(gè)專有的多模態(tài)?LLM，可以解釋胸部?X?射線圖像并創(chuàng)建關(guān)鍵發(fā)現(xiàn)的摘要。使用此模型，患者獲得結(jié)果的速度比以前快了近?80%。接下來，西北大學(xué)和戴爾將開發(fā)用于CAT掃描和MRI的增強(qiáng)型多模態(tài)LLM，以及整個(gè)電子病歷的預(yù)測模型。
“這個(gè)模型非常有趣，因?yàn)槟壳皼]有多少人使用多模態(tài)，”西北大學(xué)麻醉師兼先進(jìn)技術(shù)醫(yī)學(xué)主任Mozziyar Etemadi博士說。Etemadi?指出，當(dāng)前的模型為放射科醫(yī)生節(jié)省了?40%?的時(shí)間，不再需要編寫文本注釋，并且由于該模型能夠分析圖像，因此節(jié)省了更多時(shí)間。“模型通常只是LLM，以及一些文本或Excel，但現(xiàn)在我們可以容納圖像和X射線。這真是太棒了。
一、將新模型投入使用
勞動(dòng)力調(diào)度SaaS MakeShift?是另一個(gè)超越?LLM?的組織，旨在幫助其醫(yī)療保健、零售和制造客戶執(zhí)行復(fù)雜的預(yù)測性調(diào)度。
MakeShift首席技術(shù)官?Danny McGuinness?說：“我們使用?LLM?為管理員和員工提供聊天支持，但當(dāng)你進(jìn)入矢量數(shù)據(jù)和具有幾億行相互關(guān)聯(lián)數(shù)據(jù)的大型圖形結(jié)構(gòu)時(shí)，你想要優(yōu)化未來的預(yù)測模型，你無法使用?LLM?取得任何進(jìn)展?！?/span>
取而代之的是，MakeShift正在接受麻省理工學(xué)院初創(chuàng)公司Ikigai Labs所倡導(dǎo)的正在申請專利的新型大型圖形模型（LGM）。
McGuinness說：“我們正在利用具有復(fù)雜結(jié)構(gòu)化數(shù)據(jù)的大型圖形模型，建立這些相互關(guān)系、因果關(guān)系和相關(guān)性?！?/span>
MakeShift與?Medico、HSBC、Spirit Halloween、Taager.com、Future Metals?和?WIO?等公司一起部署了?Ikigai Labs?的表格和時(shí)間序列數(shù)據(jù)無代碼模型。Ikigai Labs?由麻省理工學(xué)院人工智能和數(shù)據(jù)科學(xué)系主任?Devavrat Shah?和?Vinayak Ramesh?共同創(chuàng)立，為按行和列組織的表格數(shù)據(jù)提供?AI。該公司在過去六個(gè)月中將員工人數(shù)翻了一番，并在去年年底獲得了2500萬美元的投資。
其他類型的支持視頻的多模態(tài)模型也出現(xiàn)在嚴(yán)重依賴計(jì)算機(jī)視覺和視頻的軟件服務(wù)中，這為首席信息官提供了大量新工具，以利用適合其特定需求的人工智能模型。
對于MakeShift?及其客戶來說，日程安排是一個(gè)業(yè)務(wù)流程，其?24 x7?的運(yùn)營以及工會(huì)法規(guī)和集體談判協(xié)議帶來的細(xì)微要求使流程變得復(fù)雜。MakeShift?工程師去年開始使用?Ikigai Labs?的?API?和模型，現(xiàn)已全面投入生產(chǎn)。使用基于新型大型圖形模型（LGM） 的?AI?可以更輕松地進(jìn)行預(yù)測性調(diào)度，以應(yīng)對不斷變化的數(shù)據(jù)集和程序，“McGuinness?說。MakeShift使用人工智能的好處開始成倍增加。
“它開始發(fā)展，因?yàn)槿斯ぶ悄苷趯W(xué)習(xí)，我們已經(jīng)開始看到我們可以將其他類型的數(shù)據(jù)整合到這些模型中，”McGuiness說，并指出一些客戶正在引入其他數(shù)據(jù)類型來改進(jìn)調(diào)度功能?！拔覀兊囊晃涣闶劭蛻糸_始談?wù)撎崛√鞖鈹?shù)據(jù)。我們可以開始整合公共數(shù)據(jù)，例如天氣預(yù)報(bào)、與公共交通的接近程度以及商店中的人流密度。”
McGuiness說，MakeShift?使用?Ikigai?模型的另一個(gè)好處是“在相關(guān)性和因果關(guān)系方面，呈現(xiàn)出你不會(huì)想到的場景，并開始提出其他問題來詢問數(shù)據(jù)?！?/span>我們的首批醫(yī)療保健客戶之一正在研究其他用例，除了歷史調(diào)度、某些涉及金融交易的流程和事件。”
當(dāng)然，LLM也可以通過標(biāo)記語言處理表格和其他形式的數(shù)據(jù)，Databricks的AI副總裁Naveen Rao指出，該公司去年收購了他的公司Mosaic。
但是，像Ikigai這樣的替代模型的興起，以及通過更廣泛適用的LLM可以很容易地完成的工作的灰色地帶，凸顯了CIO目前面臨的生成式AI市場的狂野西部牛仔性質(zhì)。
二、大模型正在變小
Gartner AI分析師?Arun Chandrasekaran?表示，LLM?向更強(qiáng)大的多模態(tài)模型的演變是意料之中的，但他認(rèn)為，由于成本巨大，此類模型在商業(yè)使用中所占的比例較小。
“在2023?年，它確實(shí)由帶有文本和代碼的模型主導(dǎo)，”Chandrasekaran?說?！叭缓笪覀冮_始看到具有計(jì)算機(jī)視覺的模型，并看到了許多其他模態(tài)的跡象，例如語音模型。但從根本上說，構(gòu)建這些模型在計(jì)算和數(shù)據(jù)資源方面仍然非常昂貴?！?/span>
相反，Chandrasekaran認(rèn)為許多企業(yè)通過縮小規(guī)模來超越LLM。
“這些功能強(qiáng)大的模型肯定在企業(yè)的幾個(gè)用例中占有一席之地，”他指出?！暗覀儠?huì)看到定價(jià)會(huì)定期優(yōu)先考慮模型的大小，因?yàn)檩^小的模型更便宜，而且足以完成企業(yè)旨在部署它們的任務(wù)?！?/span>
Databricks的?Naveen Rao?對此表示贊同，并指出構(gòu)建一個(gè)大型模型的成本可能高達(dá)?2?億美元。根據(jù)?Rao?的說法，絕大多數(shù)成本不是在所需的計(jì)算能力上，而是在數(shù)據(jù)標(biāo)記和數(shù)據(jù)管理上，這決定了模型的性能。
Rao創(chuàng)立了?Mosaic，旨在構(gòu)建任何企業(yè)都更實(shí)惠、更易于使用的模型，他認(rèn)為專業(yè)化是大多數(shù)人的前進(jìn)方向。
“這真的是關(guān)于專業(yè)化與泛化，”Rao說。“較大的模型傾向于使用大量令牌或大量通用文本和功能進(jìn)行訓(xùn)練。較小的模型是一個(gè)子集，傾向于專注于一件事?！?/span>
Rao說，在這里，開源可以幫助CIO們站穩(wěn)腳跟。
“你可以從頭開始，用自己的數(shù)據(jù)構(gòu)建自己的模型，也可以采用現(xiàn)有的開源模型，根據(jù)自己的數(shù)據(jù)進(jìn)行微調(diào)和定制，”他說。
Baldor Specialty Foods是一家旨在部署較小模型的組織，其首席信息和數(shù)字官認(rèn)為這些模型可以針對沒有偏見或錯(cuò)誤的定制解決方案進(jìn)行培訓(xùn)。
“我將使用較小的模型，因?yàn)橛袝r(shí)[LLM]?會(huì)產(chǎn)生幻覺，”在?UPS?擔(dān)任高級?IT?職位數(shù)十年的?Satyan Parameswaran?說?！澳悴幌霃氖略O(shè)計(jì)模型的工作。你可以從Hugging Face獲得一個(gè)小模型，然后根據(jù)你的特定任務(wù)進(jìn)行定制。
三、生成式?AI?的新方程式
如今，一些企業(yè)AI?供應(yīng)商在?AI?市場中提供較小的模型，包括?C3.ai、Anaplan、Dataiku?和?Hugging Face。
至于Ikigai Labs，其自我描述的?LGM?為表格時(shí)間戳數(shù)據(jù)（例如電子表格）提供數(shù)據(jù)的概率表示，首席執(zhí)行官?Shah?說。在訓(xùn)練模型時(shí)，它們會(huì)學(xué)習(xí)隨機(jī)變量之間的關(guān)系、可能缺少的數(shù)據(jù)或兩個(gè)電子表格之間哪些行看起來相似，從而促進(jìn)新的見解。
“這意味著你現(xiàn)在可以開始將數(shù)據(jù)拼接在一起，”Shah說，并補(bǔ)充說，用戶可以在電子表格中生成新的行，“如果你在進(jìn)行預(yù)測時(shí)是時(shí)間性的，如果變量在兩者之間開始變化，你正在檢測變化點(diǎn)。你正在捕捉異常。
由此，用戶將能夠從多個(gè)維度的多個(gè)電子表格創(chuàng)建和生成數(shù)據(jù)。Shah說：“你使用大型圖形模型對你的數(shù)據(jù)（而且僅是你的數(shù)據(jù)）進(jìn)行模擬或合成持續(xù)時(shí)間，以便從數(shù)據(jù)中獲得良好和有意義的學(xué)習(xí)?！?/span>
當(dāng)然，成本將是決定這些模型定制程度的主要因素。目前，純文本LLM?需要巨大的計(jì)算能力。隨著大型芯片制造商甚至云提供商競相開發(fā)能夠提供更充足的計(jì)算能力供應(yīng)的半導(dǎo)體，企業(yè)將繼續(xù)試驗(yàn)并投入生產(chǎn)各種類型的大型和小型模型，這些模型將產(chǎn)生新的見解，使他們的業(yè)務(wù)更加高效和創(chuàng)新。
目前，許多企業(yè)正在通過實(shí)驗(yàn)接觸LLM，隨著效率的確認(rèn)而進(jìn)入生產(chǎn)。LLM?和?LGM?的使用仍處于起步階段，但?MakeShift?的?McGuiness?等早期采用者正在看到回報(bào)。
他說：“我們希望（幫助我們的客戶）在正確的時(shí)間用正確的技能以最佳方式安排人員。”當(dāng)你對此進(jìn)行預(yù)測時(shí)，你必須納入工會(huì)協(xié)議，其中人們有資歷，或者在不同地點(diǎn)之間移動(dòng)，或者有不同的工會(huì)協(xié)議。這些規(guī)則都必須應(yīng)用，[你必須考慮]倦怠、加班成本，所有這些事情都進(jìn)入了模型。
McGuiness說，如果沒有人工智能的幫助，這項(xiàng)任務(wù)所涉及的復(fù)雜性和提升是相當(dāng)大的。但是，由于新的多模態(tài)模型和專注于特定任務(wù)的小型模型，它變得越來越容易。
