當(dāng)生成式AI和“環(huán)境文檔記錄”（自動(dòng)監(jiān)聽并生成病歷）技術(shù)殺入醫(yī)療保健領(lǐng)域時(shí)，臨床醫(yī)生們歡呼雀躍：終于不用在鍵盤上浪費(fèi)生命了！然而，面對受保護(hù)健康信息（PHI）泄露的致命風(fēng)險(xiǎn)，醫(yī)療CIO們正被夾在“創(chuàng)新速度”與“極致合規(guī)”的夾縫中。
面對這場狂飆，醫(yī)療IT領(lǐng)導(dǎo)者并沒有踩下剎車，而是正在重修賽道：
守護(hù)“人在回路”的底線：絕不將生殺大權(quán)交給AI。目前的AI只能是“超級助理”，起草病歷、總結(jié)圖表，但最終的審核與簽字權(quán)必須牢牢攥在醫(yī)生手里。
馴服“影子AI”：堵不如疏。醫(yī)生為了提效，很容易將敏感數(shù)據(jù)偷偷復(fù)制到公共大模型中。聰明的CIO不再迷信單純的“技術(shù)封鎖”，而是為醫(yī)生搭建經(jīng)過數(shù)據(jù)脫敏的“安全沙盒（跑道）”，讓他們在受控環(huán)境中自由實(shí)驗(yàn)。
對抗AI驅(qū)動(dòng)的黑客：攻防兩端都在進(jìn)化。面對激增十倍的AI自動(dòng)化密碼爆破攻擊，以及第三方AI供應(yīng)商帶來的數(shù)據(jù)外溢風(fēng)險(xiǎn)，CISO們正在將AI風(fēng)險(xiǎn)直接送上董事會的監(jiān)控儀表盤，實(shí)行從“單次合規(guī)檢查”到“持續(xù)動(dòng)態(tài)監(jiān)控”的轉(zhuǎn)變。
總結(jié)：在醫(yī)療AI的賽道上，未來的贏家絕不是跑得最快的盲目部署者，而是那些最早建好“安全防護(hù)欄”的長期主義團(tuán)隊(duì)。
全文：醫(yī)療保健領(lǐng)域的CIO重新思考AI部署
隨著環(huán)境文檔記錄（ambient documentation，指利用人工智能技術(shù)，在不干擾人類自然行為的前提下，?自動(dòng)、實(shí)時(shí)地生成文檔內(nèi)容?）和生成式AI在臨床工作流程中普及，醫(yī)療保健IT領(lǐng)導(dǎo)者正在重新評估治理、安全和架構(gòu)，以在不放緩創(chuàng)新的前提下保護(hù)受保護(hù)健康信息。
圖源：Chay_Tee / Shutterstock
醫(yī)療保健組織在將生成式AI（人工智能）投入運(yùn)營方面面臨巨大壓力。但與許多行業(yè)不同的是，它們不能先快速推進(jìn)然后再解決問題。最早的大規(guī)模部署，尤其是環(huán)境臨床記錄，已經(jīng)帶來了可衡量的收益。但與此同時(shí)，它們也在受保護(hù)健康信息（PHI，Protected Health Information，指受法律保護(hù)的個(gè)人健康信息）和臨床信任方面暴露出新的問題。
出現(xiàn)的情況并不是AI的采用速度放緩，而是對其引入方式的重新設(shè)計(jì)。醫(yī)療保健領(lǐng)域的首席信息官（CIO）、首席信息安全官（CISO）和臨床信息學(xué)領(lǐng)導(dǎo)者逐漸達(dá)成了一個(gè)共識，即安全地?cái)U(kuò)展AI需要同時(shí)重新思考治理、安全控制和基礎(chǔ)設(shè)施。
Parkview Health的首席醫(yī)療信息官兼電子健康記錄高級副總裁Mark Mabus（馬克·馬布斯）表示，環(huán)境記錄，也被稱為環(huán)境監(jiān)聽或AI圖表記錄，已迅速成為醫(yī)療保健領(lǐng)域最引人注目的生成式AI用例。通過捕獲和總結(jié)醫(yī)患對話，該技術(shù)有望減輕臨床醫(yī)生倦怠，同時(shí)提高文檔質(zhì)量。他說：“它幫助我們的醫(yī)生更快地完成病歷記錄。它減少了打字量和他們的認(rèn)知負(fù)擔(dān)。”
然而，這類AI應(yīng)用的快速落地正迫使IT領(lǐng)導(dǎo)者面對傳統(tǒng)醫(yī)療保健架構(gòu)無法解答的新運(yùn)營問題。組織越接近生產(chǎn)規(guī)模，風(fēng)險(xiǎn)狀況就變得越復(fù)雜。
Mabus（馬布斯）問道：“音頻在哪里處理？是在現(xiàn)場還是在云端？受保護(hù)健康信息是否被保留在其中？誰來驗(yàn)證輸出結(jié)果？這些都是在考慮將工具投入生產(chǎn)之前必須評估和驗(yàn)證的問題。”
新興的醫(yī)療保健人工智能策略的核心觀點(diǎn)是，所有決策都由人類做出。輔助系統(tǒng)可以起草記錄、總結(jié)圖表或提出回復(fù)建議，但臨床醫(yī)生仍牢牢處于決策流程中。Mabus（馬布斯）說：“醫(yī)生仍然必須對其進(jìn)行編輯并簽字確認(rèn)。”
這種“human-in-the-loop（人在回路）”的要求不僅僅是為了滿足監(jiān)管機(jī)構(gòu)的要求——它還塑造了組織對風(fēng)險(xiǎn)進(jìn)行分級和確定部署優(yōu)先級的方式。在Parkview，AI用例根據(jù)臨床影響和自動(dòng)化水平進(jìn)行正式分類，高風(fēng)險(xiǎn)場景面臨更嚴(yán)格的審查。這種謹(jǐn)慎的態(tài)度反映了從早期試點(diǎn)中吸取的寶貴經(jīng)驗(yàn)。Mabus（馬布斯）說，在某些情況下，技術(shù)上令人印象深刻的工具未能帶來臨床價(jià)值。“當(dāng)我期望三行內(nèi)容，卻得到了九個(gè)段落時(shí)，這反而產(chǎn)生了額外的認(rèn)知負(fù)擔(dān)，”他說。
這一經(jīng)驗(yàn)強(qiáng)化了目前在整個(gè)醫(yī)療保健IT領(lǐng)域引起共鳴的一個(gè)更廣泛的觀點(diǎn)，即臨床易用性和合規(guī)準(zhǔn)備必須同步推進(jìn)。
一、影子AI（shadow AI）的治理難題
即使正式部署在不斷擴(kuò)大，醫(yī)療保健領(lǐng)域的領(lǐng)導(dǎo)者仍在努力解決一個(gè)常見的企業(yè)問題，即用戶在未經(jīng)批準(zhǔn)的渠道進(jìn)行試驗(yàn)。Mabus（馬布斯）說：“這讓我想起醫(yī)療保健環(huán)境中的短信使用情況。即使提供了安全工具，人們?nèi)匀粫l(fā)短信。這就是人性。”
這個(gè)類比很有啟發(fā)性。就像安全消息平臺從未完全消除短信替代方案一樣，僅靠生成式AI政策不太可能阻止臨床醫(yī)生在認(rèn)為能提高工作效率時(shí)嘗試使用公共工具。
一些組織嘗試技術(shù)封鎖，但經(jīng)驗(yàn)表明這些措施有其局限性。用戶可以通過個(gè)人設(shè)備和蜂窩網(wǎng)絡(luò)連接迅速繞過網(wǎng)絡(luò)控制。相反，許多醫(yī)療系統(tǒng)正在將政策與教育以及企業(yè)級替代方案相結(jié)合。目標(biāo)不是消除試驗(yàn)，而是安全地引導(dǎo)試驗(yàn)。
不受管理的試驗(yàn)的風(fēng)險(xiǎn)并非理論上的。Mabus（馬布斯）說：“我見過大型語言模型給出完全不同的回復(fù)。如果使用其中一個(gè)回復(fù)，可能會對患者造成傷害。”這種可變性正促使醫(yī)療保健組織在傳統(tǒng)合規(guī)控制的基礎(chǔ)上強(qiáng)調(diào)驗(yàn)證、透明度和臨床醫(yī)生培訓(xùn)。
更廣泛地說，醫(yī)療保健行業(yè)正在重新認(rèn)識一個(gè)企業(yè)IT領(lǐng)導(dǎo)者熟悉的教訓(xùn)：治理既是技術(shù)問題，也是行為問題。
二、威脅曲線上升
當(dāng)臨床團(tuán)隊(duì)專注于工作流程整合時(shí)，安全領(lǐng)導(dǎo)者們正關(guān)注著另一個(gè)趨勢：由AI驅(qū)動(dòng)的攻擊自動(dòng)化程度與頻率顯著提升。MemorialCare的首席信息安全官兼信息技術(shù)副總裁Kevin Torres（凱文·托雷斯）說：“不一定是攻擊的復(fù)雜性，而是速度。它以無情的態(tài)勢向我們襲來。”他指出，最近針對他所在的醫(yī)療系統(tǒng)的一次密碼噴灑攻擊（Password Spraying，是一種?低檢測風(fēng)險(xiǎn)的暴力破解變體）攻擊活動(dòng)顯示，失敗的登錄嘗試激增了十倍，這表明對手越來越多地對憑據(jù)攻擊進(jìn)行自動(dòng)化操作。
與此同時(shí)，由人工智能驅(qū)動(dòng)的臨床工具的普及正在擴(kuò)大第三方風(fēng)險(xiǎn)范圍。環(huán)境監(jiān)聽平臺、分析引擎和生成式輔助工具通常在電子健康記錄的傳統(tǒng)邊界之外處理高度敏感的患者互動(dòng)信息。作為回應(yīng)，MemorialCare加強(qiáng)了對供應(yīng)商的審查。Torres（托雷斯）說：“我們經(jīng)過詳盡的第三方風(fēng)險(xiǎn)管理流程，評估與他們共享數(shù)據(jù)是否安全。”審查內(nèi)容包括與美國國家標(biāo)準(zhǔn)與技術(shù)研究院（NIST，National Institute of Standards and Technology，負(fù)責(zé)制定和推廣標(biāo)準(zhǔn)的美國聯(lián)邦機(jī)構(gòu)）標(biāo)準(zhǔn)的一致性、滲透測試歷史、訪問控制以及數(shù)據(jù)泄露記錄。
高管們對AI風(fēng)險(xiǎn)的關(guān)注度不斷提高，這也在重塑治理模式。Torres（托雷斯）表示，他所在的組織現(xiàn)在為其董事會提供一個(gè)企業(yè)風(fēng)險(xiǎn)管理儀表盤，該儀表盤明確地將與AI相關(guān)的風(fēng)險(xiǎn)敞口與網(wǎng)絡(luò)安全和業(yè)務(wù)連續(xù)性風(fēng)險(xiǎn)一起進(jìn)行跟蹤。即使有了這些控制措施，不確定性仍然很高。他說：“我們現(xiàn)在不知道我們不知道什么。我認(rèn)為我們可能會遇到某個(gè)核心AI供應(yīng)商的重大變故。”
這種預(yù)期正在強(qiáng)化一種更廣泛的轉(zhuǎn)變，即從一次性的合規(guī)檢查轉(zhuǎn)向持續(xù)監(jiān)控。
三、醫(yī)療架構(gòu)必須為AI重建
在政策和安全層面之下，存在一個(gè)更深層次的結(jié)構(gòu)性問題，即許多醫(yī)療保健環(huán)境并不是為生成式AI工作流程的速度和流暢性而設(shè)計(jì)的。云計(jì)算公司思杰（Citrix，成立于1989年，是一家提供桌面虛擬化、應(yīng)用交付和云服務(wù)等技術(shù)的公司）的醫(yī)療保健領(lǐng)域首席技術(shù)官Cletis Earle（克萊蒂斯·厄爾）表示，當(dāng)臨床醫(yī)生開始試用外部工具時(shí)，最初的問題往往就會出現(xiàn)。他說：“如果你沒有具有去標(biāo)識化信息的安全環(huán)境，臨床醫(yī)生會認(rèn)為自己在做一件好事，但這會引發(fā)數(shù)據(jù)安全與合規(guī)風(fēng)險(xiǎn)。”
問題不在于惡意行為，而在于工作流程摩擦。當(dāng)經(jīng)過批準(zhǔn)的工具落后于用戶需求時(shí)，臨床醫(yī)生可能會復(fù)制粘貼數(shù)據(jù)到消費(fèi)級AI服務(wù)中以節(jié)省時(shí)間，從而無意中暴露PHI。
傳統(tǒng)的邊界控制不太適合這種模式。因此，Earle（厄爾）認(rèn)為組織需要為AI創(chuàng)新構(gòu)建許多人現(xiàn)在所說的“安全實(shí)驗(yàn)跑道”——一種既能進(jìn)行實(shí)驗(yàn)又能控制風(fēng)險(xiǎn)的架構(gòu)方法。他說：“你需要?jiǎng)?chuàng)建沙盒環(huán)境，讓臨床醫(yī)生進(jìn)行實(shí)驗(yàn)。但要確保數(shù)據(jù)經(jīng)過脫敏且受到控制。”在實(shí)踐中，這意味著更嚴(yán)格的數(shù)據(jù)分段、自動(dòng)化脫敏流程以及隔離的環(huán)境，在這些環(huán)境中可以在不接觸生產(chǎn)環(huán)境中的受保護(hù)健康信息的情況下測試模型。
另一個(gè)新出現(xiàn)的風(fēng)險(xiǎn)在于概念驗(yàn)證（POC，Proof - of - Concept，用于驗(yàn)證某個(gè)想法或技術(shù)可行性的演示）可能會很快超出其最初設(shè)定的限制。“概念驗(yàn)證至關(guān)重要，但如果做得不徹底，它們可能會在以后破壞架構(gòu)框架，”Earle（厄爾）說。這一警告凸顯了醫(yī)療保健信息技術(shù)領(lǐng)導(dǎo)者們?nèi)找嬖鲩L的擔(dān)憂，即早期的AI試點(diǎn)項(xiàng)目必須經(jīng)過精心設(shè)計(jì)，以便治理、身份控制和監(jiān)控能夠隨著成功的部署而擴(kuò)展。
總體而言，這些經(jīng)驗(yàn)正開始在各個(gè)醫(yī)療系統(tǒng)中形成一種可識別的運(yùn)營模式。許多組織不再追求完全自主的AI，而是通過一種精心規(guī)劃的分階段方法來推進(jìn)。以輔助功能為先的部署方式讓臨床醫(yī)生保持控制權(quán)，同時(shí)團(tuán)隊(duì)對模型性能和數(shù)據(jù)處理建立信心。風(fēng)險(xiǎn)分級框架有助于將低影響的自動(dòng)化與臨床敏感的用例區(qū)分開來。沙盒環(huán)境允許在不暴露生產(chǎn)環(huán)境中的PHI的情況下進(jìn)行實(shí)驗(yàn)。
與此同時(shí)，安全團(tuán)隊(duì)正在加強(qiáng)對第三方的審查并擴(kuò)大行為監(jiān)測，而董事會則要求更清晰地了解AI相關(guān)的企業(yè)風(fēng)險(xiǎn)。教育也成為核心支柱。領(lǐng)先的組織不再僅僅依賴技術(shù)限制，而是在臨床醫(yī)生培訓(xùn)以及關(guān)于AI在哪些地方可以安全使用、哪些地方不可以安全使用的透明溝通方面進(jìn)行投資。
結(jié)果并不是創(chuàng)新速度放緩，而是采用了一種更具規(guī)劃性的規(guī)?；椒?，這種方法將合規(guī)性和安全性視為設(shè)計(jì)約束條件，而非事后控制措施。
四、合規(guī)設(shè)計(jì)：CIO的新使命
目前，輔助性AI仍然是醫(yī)療保健領(lǐng)域的主導(dǎo)模式。但大多數(shù)領(lǐng)導(dǎo)者預(yù)計(jì)，隨著模型的改進(jìn)以及供應(yīng)商將更先進(jìn)的功能推向臨床工作流程，對更高自動(dòng)化程度的壓力將會增加。這種轉(zhuǎn)變可能會以更高的緊迫性重新引發(fā)當(dāng)今許多治理問題。自主訂購、自主性工作流程以及跨系統(tǒng)協(xié)調(diào)將帶來新的安全和問責(zé)挑戰(zhàn)，而當(dāng)前的框架只能部分解決這些問題。
特別是安全團(tuán)隊(duì)，正在進(jìn)入一個(gè)更加動(dòng)蕩的階段。正如Torres（托雷斯）所說，AI賦能顛覆的真正影響仍在未來，不斷上升的攻擊速度和不斷擴(kuò)大的威脅范圍可能會考驗(yàn)當(dāng)前的防御措施。此外，目前“人在回路”的平衡狀態(tài)不太可能無限期地維持下去。
如果說當(dāng)今醫(yī)療保健領(lǐng)域采用AI有一個(gè)統(tǒng)一的主題，那就是動(dòng)力與謹(jǐn)慎齊頭并進(jìn)。醫(yī)療系統(tǒng)并沒有從生成式AI上退縮。環(huán)境文檔記錄、臨床總結(jié)和智能工作流程支持已經(jīng)帶來了切實(shí)的好處。但最有信心向前推進(jìn)的組織是那些在治理重新設(shè)計(jì)、架構(gòu)控制和持續(xù)風(fēng)險(xiǎn)監(jiān)測方面進(jìn)行早期投資的組織。
對于醫(yī)療保健領(lǐng)域的CIO來說，教訓(xùn)正變得越來越清晰。挑戰(zhàn)不再是是否部署AI，而是如何構(gòu)建能夠讓其安全擴(kuò)展的保障措施。醫(yī)療保健領(lǐng)域AI的未來將屬于最擅長構(gòu)建安全實(shí)驗(yàn)跑道的團(tuán)隊(duì)，而不是最快的采用者。
