來自多個(gè)行業(yè)的IT領(lǐng)導(dǎo)者討論了他們團(tuán)隊(duì)的實(shí)際工作，以及他們?yōu)樘岣唔憫?yīng)計(jì)劃和能力而獲得的早期成果。
圖源：GORODENKOFF（圖片上傳者，可以譯為用戶GORODENKOFF，或者GORODENKOFF）?/ SHUTTERSTOCK
Mike Mainiero（邁克·邁尼耶羅）在7月19日凌晨2點(diǎn)左右被其事故響應(yīng)團(tuán)隊(duì)喚醒。Catholic Health（Catholic Health Services of Long Island 是位于美國紐約長島的一家健康服務(wù)機(jī)構(gòu)。?該機(jī)構(gòu)全資收購了斯特林外科中心，?這筆交易擴(kuò)大了其在該地區(qū)的門診眼科和胃腸外科手術(shù)服務(wù)。此外，其?還計(jì)劃部署由ElectrifAi公司生產(chǎn)的未經(jīng)測(cè)試的人工智能產(chǎn)品，?以減輕急診病房處理病患的壓力。?）的IT系統(tǒng)及其合作伙伴的系統(tǒng)出現(xiàn)故障，其中一家放射學(xué)供應(yīng)商是首批遇到技術(shù)困難的供應(yīng)商之一。
這家位于長島的醫(yī)療保健系統(tǒng)擁有近16，000名員工，支持六家急癥護(hù)理醫(yī)院、三家療養(yǎng)院、一個(gè)家庭健康服務(wù)中心、一個(gè)臨終關(guān)懷中心和一個(gè)醫(yī)生診所網(wǎng)絡(luò)提供支持。Catholic Health的高級(jí)副總裁兼CDIO（Chief Information and Digital Officer，首席信息和數(shù)字官）的Mainiero（邁尼耶羅）表示，該機(jī)構(gòu)成立了一個(gè)分診團(tuán)隊(duì)，負(fù)責(zé)召集IT人員，并建立網(wǎng)絡(luò)安全和其他事件的指揮中心。
他說：“我們需要立即召集團(tuán)隊(duì)，首先嘗試了解發(fā)生了什么，然后進(jìn)行分流、溝通和緩解。”他補(bǔ)充說，要員們很快意識(shí)到這是一個(gè)一級(jí)優(yōu)先事件?！帮@然，當(dāng)醫(yī)院里發(fā)生任何事情時(shí)，人們都會(huì)出大事?！?/span>
和Mainiero（邁尼耶羅）一樣，許多首席信息官在7月19日驚覺，他們的組織由于網(wǎng)絡(luò)安全公司CrowdStrike（是一家提供網(wǎng)絡(luò)安全產(chǎn)品和服務(wù)以阻止違規(guī)行為的公司。它提供跨端點(diǎn)、云工作負(fù)載、身份和數(shù)據(jù)、威脅情報(bào)、托管安全服務(wù)、IT運(yùn)營管理、威脅搜索、零信任身份保護(hù)和日志管理的云交付保護(hù)。CrowdStrike為全球客戶提供服務(wù)，致力于幫助客戶發(fā)現(xiàn)攻擊即將到來時(shí)的征兆，并在漏洞出現(xiàn)前采取措施。公司成立于2011年，總部位于美國德克薩斯州奧斯汀市。）的軟件更新故障而遭遇了宕機(jī)。全球數(shù)百萬臺(tái)運(yùn)行微軟Windows（Microsoft Windows是美國微軟公司以圖形用戶界面為基礎(chǔ)研發(fā)的操作系統(tǒng)，主要運(yùn)用于計(jì)算機(jī)、智能手機(jī)等設(shè)備。共有普通版本、服務(wù)器版本/Windows Server、手機(jī)版本/Windows Phone等、嵌入式本/Windows CE等各子系列，是全球應(yīng)用最廣泛的操作系統(tǒng)之一。）的計(jì)算機(jī)崩潰，顯示“藍(lán)屏死機(jī)”錯(cuò)誤消息。
然后，Mainiero（邁尼耶羅）開始向最高管理層發(fā)送消息，告知他們情況，并讓他們了解到指揮中心已經(jīng)建立。
Mainiero（邁尼耶羅）說，Catholic Health收到了CrowdStrike的通知，其中包含了有關(guān)補(bǔ)救措施的信息，這些補(bǔ)救措施必須手動(dòng)應(yīng)用于數(shù)百臺(tái)服務(wù)器。隨后，對(duì)患者護(hù)理環(huán)境中的臺(tái)式機(jī)和工作站進(jìn)行了修復(fù)。
指揮中心向所有醫(yī)療系統(tǒng)設(shè)施的運(yùn)營負(fù)責(zé)人提供接觸點(diǎn)更新。他說：“我們能夠減輕這種情況，所以我們不必取消任何手術(shù)或預(yù)約，他們的設(shè)施仍然能夠?yàn)榛颊咛峁┳o(hù)理，工作人員會(huì)在紙上做筆記。到當(dāng)天下午5點(diǎn)，所有關(guān)鍵問題都得到了緩解。”
Mainiero（邁尼耶羅）指出，如果停擺發(fā)生在白天，影響將會(huì)更大?！霸卺t(yī)院里，你會(huì)不想把病人轉(zhuǎn)移到另一個(gè)環(huán)境中，我們能夠避免所有的轉(zhuǎn)移?！彼f，“所以這肯定會(huì)影響到最終用戶，而非病人。由于我們的快速反應(yīng)，我們能夠減輕傷害?！?/span>
一、全體人員響應(yīng)
雖然并非所有危及生命的情況，但這種情況在全球各地的組織中都發(fā)生了。對(duì)于許多首席信息官來說，做好準(zhǔn)備，制定災(zāi)難恢復(fù)和業(yè)務(wù)連續(xù)性計(jì)劃，并與利益相關(guān)者不斷溝通，可以減輕停擺的影響。
雖然不是所有危及生命的情況，但同樣的情況在全球各地的組織中都發(fā)生過。對(duì)于許多首席信息官來說，做好準(zhǔn)備、制定災(zāi)難恢復(fù)和業(yè)務(wù)連續(xù)性計(jì)劃，以及與利益相關(guān)者的持續(xù)溝通，減少了中斷的影響。
“我們能夠在三個(gè)小時(shí)內(nèi)讓所有服務(wù)器重新運(yùn)行起來，并且……到那個(gè)星期五下午，所有筆記本電腦也都重新運(yùn)行了，”全國性注冊(cè)會(huì)計(jì)師事務(wù)所The Bonadio Group（是一家提供會(huì)計(jì)、?稅務(wù)和咨詢服務(wù)的前50名全國排名CPA公司。它不僅在紐約州外是最大的獨(dú)立會(huì)計(jì)、?商業(yè)咨詢和金融服務(wù)提供商之一，?而且已經(jīng)從最初的兩個(gè)人發(fā)展到現(xiàn)在擁有超過1，000名員工。?）的首席信息官John Roman（約翰·羅曼）估計(jì)，每1100臺(tái)設(shè)備中大約有300臺(tái)受到了影響?！拔覀兡軌蜃龅竭@一點(diǎn)，是因?yàn)槲覀儗?shí)施了事件響應(yīng)計(jì)劃。大多數(shù)事件響應(yīng)計(jì)劃都是在發(fā)生某種惡意軟件事件時(shí)制定的。我們對(duì)計(jì)劃進(jìn)行了泛化，以考慮任何類型的事件，包括全球范圍的疫情。”
一旦部署了事件響應(yīng)計(jì)劃，第二步就是呼吁IT部門的每個(gè)人實(shí)施CrowdStrike為解決問題而創(chuàng)建的腳本，Roman（羅曼）說，他還通過全公司的短信服務(wù)、內(nèi)聯(lián)網(wǎng)門戶和電子郵件與公司領(lǐng)導(dǎo)和所有員工保持不斷的溝通。
和Mainiero（邁尼耶羅）一樣，Roman（羅曼）說，停擺產(chǎn)生了影響?！叭绻惺裁春孟⒌脑?，那就是我們是一家會(huì)計(jì)師事務(wù)所，我們?nèi)隉o休，不過，我們一年中最繁忙的時(shí)候可能是納稅季節(jié)?！彼f，“如果這發(fā)生在3月份，將會(huì)對(duì)業(yè)務(wù)產(chǎn)生重大影響，因?yàn)槲覀儫o法提供稅務(wù)服務(wù)，但因?yàn)樗l(fā)生在夏末，我們能夠盡快補(bǔ)救，對(duì)業(yè)務(wù)的影響微乎其微。”
這對(duì)stablecoin 2.0 ecosystem management（是指專注于管理和運(yùn)營穩(wěn)定幣，即?Stablecoin，?2.0生態(tài)系統(tǒng)的公司。?穩(wěn)定幣是一種加密貨幣，?其價(jià)值與某種資產(chǎn)，?如美元，?保持固定匯率，?旨在提供一種價(jià)格穩(wěn)定的數(shù)字貨幣。?Stablecoin 2.0生態(tài)系統(tǒng)指的是第二代穩(wěn)定幣系統(tǒng)的構(gòu)建和運(yùn)營，?這可能包括技術(shù)創(chuàng)新、?去中心化治理、?用戶賦權(quán)等特征。?這樣的生態(tài)系統(tǒng)管理公司負(fù)責(zé)維護(hù)和擴(kuò)展穩(wěn)定幣生態(tài)，?確保其穩(wěn)定運(yùn)行，?同時(shí)推動(dòng)創(chuàng)新和用戶參與，?以提供更加全面和高效的金融服務(wù)。）公司Black Wallet（是一家提供數(shù)字貨幣錢包服務(wù)的公司，?其服務(wù)主要涉及加密貨幣錢包的管理和使用。?該公司通過提供安全、?便捷的數(shù)字資產(chǎn)管理解決方案，?幫助用戶存儲(chǔ)、?發(fā)送和接收多種加密貨幣，?包括比特幣、?以太坊等。?Black Wallet注重用戶隱私和安全，?采用先進(jìn)的加密技術(shù)保護(hù)用戶資產(chǎn)，?同時(shí)也提供易于使用的界面，?使得即使是初學(xué)者也能輕松管理自己的數(shù)字資產(chǎn)。?此外，?該公司還積極參與加密貨幣社區(qū)，?為用戶提供最新的市場(chǎng)信息和交易建議，?幫助用戶更好地理解和利用加密貨幣。）的影響更為顯著。首席信息官Remi Alli（雷米·阿里）將其描述為“對(duì)我們的組織來說是一次具有挑戰(zhàn)性的經(jīng)歷”，并表示停擺持續(xù)了數(shù)小時(shí)，“在此期間，我們無法訪問關(guān)鍵的安全功能，這影響到了我們的服務(wù)器和筆記本電腦?！?/span>
Alli（阿里）說，如果無法訪問CrowdStrike的服務(wù)，“我們無法有效地監(jiān)控和應(yīng)對(duì)潛在威脅，這引發(fā)了對(duì)我們整體安全態(tài)勢(shì)的擔(dān)憂。這是一個(gè)緊張而具有挑戰(zhàn)性的時(shí)期，因?yàn)槲覀儽仨氃诒３窒到y(tǒng)完整性的同時(shí)，克服停擺帶來的限制?！?/span>
二、保持冷靜是關(guān)鍵
Alli（阿里）做的第一件事是召集事件響應(yīng)小組評(píng)估情況，并制定公司的即時(shí)響應(yīng)計(jì)劃。Alli（阿里）說：“我們必須確保在解決停擺影響的同時(shí)保持業(yè)務(wù)連續(xù)性?！?。
溝通至關(guān)重要，Alli（阿里）定期向領(lǐng)導(dǎo)層和利益相關(guān)者通報(bào)情況以及IT正在采取的措施?！霸谶@種情況下很容易感到恐慌，但我們專注于保持透明和冷靜，這有助于保持團(tuán)隊(duì)腳踏實(shí)地，”Alli（阿里）說。
此外，Alli（阿里）說：“缺乏對(duì)關(guān)鍵安全見解的訪問使我們暫時(shí)處于風(fēng)險(xiǎn)之中，但更重要的是，這突顯了我們整體安全態(tài)勢(shì)中的漏洞。我們不得不迅速改變一些安全協(xié)議，并依賴其他措施，這提醒了我們制定強(qiáng)有力的備份計(jì)劃和冗余的重要性。”
Mainiero（邁尼耶羅）對(duì)此表示贊同，他說，在這種情況下，“你必須扮演一個(gè)角色——如果你驚慌失措，你的團(tuán)隊(duì)也會(huì)驚慌失措，”他說，訓(xùn)練教會(huì)了他永遠(yuǎn)不要提高嗓門?！暗覍?huì)應(yīng)用一種指揮和控制的語氣…我可能會(huì)堅(jiān)定[而且]毫不道歉，但總體是和藹的。你會(huì)想要激勵(lì)人們，因?yàn)橹灰悴活U氣指使，他們一般上會(huì)為你做得更多。”
三、經(jīng)驗(yàn)教訓(xùn)和其他收獲
應(yīng)付賬款軟件供應(yīng)商AvidXchange（AvidXchange Holdings, Inc.是一家為中間市場(chǎng)企業(yè)及其供應(yīng)商提供AP自動(dòng)化軟件和支付解決方案的領(lǐng)先供應(yīng)商。該公司基于SaaS的端到端軟件和支付平臺(tái)實(shí)現(xiàn)了AP工作流程的數(shù)字化和自動(dòng)化，?為7,000多家企業(yè)?提供了服務(wù)。?AvidXchange利用其深厚的專業(yè)知識(shí)，?專門構(gòu)建了一個(gè)強(qiáng)大的雙向網(wǎng)絡(luò)，?連接買家和供應(yīng)商，?推動(dòng)數(shù)字化轉(zhuǎn)型，?提高AP工作流程的效率和準(zhǔn)確性，?加速支付，?實(shí)現(xiàn)對(duì)關(guān)鍵分析的洞察，?并降低買家的運(yùn)營成本。?AvidXchange成立于2000年，?位于美國夏洛特市，?創(chuàng)始人為MichaelPraeger。）的部分面向客戶的產(chǎn)品組合受到停擺的影響，但首席信息官Angelic Gibson（安吉利·吉布森）表示，IT部門能夠在不到24小時(shí)內(nèi)完全恢復(fù)服務(wù)。她將這歸功于“過度準(zhǔn)備”，并在停擺時(shí)制定了場(chǎng)景計(jì)劃。
Gibson（吉布森）說：“我們按照我們的業(yè)務(wù)中斷計(jì)劃行事。采取措施進(jìn)行積極準(zhǔn)備，并建立正確的溝通渠道，使我們能夠在內(nèi)部工作以恢復(fù)系統(tǒng)運(yùn)行的同時(shí)，快速有效地與所有必要方進(jìn)行溝通。”
Gibson（吉布森）說，首席信息官們必須公開且頻繁地保持溝通，同時(shí)要對(duì)策略有信心并提供保證，確保他們有冗余，并準(zhǔn)備好動(dòng)員資源，以便IT能夠迅速行動(dòng)。
Catholic Health的Mainiero（邁尼耶羅）強(qiáng)調(diào)，有一個(gè)預(yù)先構(gòu)建的溝通計(jì)劃至關(guān)重要，包括人員名單和一個(gè)平臺(tái)，讓你能夠創(chuàng)建預(yù)設(shè)的主題行和文本。同樣重要的是擁有一個(gè)系統(tǒng)，讓你能夠“自動(dòng)召集你的團(tuán)隊(duì)進(jìn)行集合”。
他還建議隨時(shí)聯(lián)系供應(yīng)商。盡管Mainiero（邁尼耶羅）直接與CrowdStrike打交道，但他表示，鑒于Catholic Health與數(shù)百家供應(yīng)商合作，通知所有受停擺影響的人非常重要。
和其他組織一樣，the Bonadio Group的Roman（羅曼）說，一個(gè)組織的事故響應(yīng)計(jì)劃需要考慮到任何重大事件，而不僅僅是勒索軟件或惡意軟件攻擊。此外，僅僅制定一個(gè)計(jì)劃是不夠的；你必須踐行它。
Roman（羅曼）說：“我們每年都會(huì)進(jìn)行桌面演習(xí)，并在此基礎(chǔ)上更新我們的事件應(yīng)對(duì)計(jì)劃。”
根據(jù)你的IT部門的規(guī)模，如果有整個(gè)公司的停擺，它應(yīng)該隨時(shí)待命。
“然后是溝通，溝通，再溝通，”Roman（羅曼）說，“人們想知道在整個(gè)停擺期間發(fā)生了什么。我經(jīng)常旅行，最令人惱火的一件事可能是無緣無故的航班取消。但當(dāng)你知道原因時(shí)，你還是會(huì)感覺不太好……但你可能比一無所知時(shí)感覺好一點(diǎn)?！?/span>
Black Wallet的Alli（阿里）從停擺中吸取了一些關(guān)鍵的教訓(xùn)。首先是“為意外事件做好準(zhǔn)備。不管供應(yīng)商看起來多么可靠，都要有應(yīng)急計(jì)劃?！?span style="font-size: 16px; color: rgb(0, 0, 0); padding: 0px; outline: 0px; max-width: 100%;">Alli（阿里）說，“測(cè)試我們的事件響應(yīng)協(xié)議以應(yīng)對(duì)包括供應(yīng)商停擺在內(nèi)的各種情況是當(dāng)務(wù)之急。”
另一個(gè)是加強(qiáng)內(nèi)部溝通，不僅在IT內(nèi)部，而且在整個(gè)組織內(nèi)部。Alli（阿里）說，這可以幫助緩解恐慌，并確保每個(gè)人都意見一致。
停擺還促使我們“深入研究我們的第三方依賴關(guān)系，不僅審查CrowdStrike，還有所有關(guān)鍵供應(yīng)商。了解我們對(duì)他們的依賴，可以更積極地管理這些關(guān)系，并更好地進(jìn)行風(fēng)險(xiǎn)評(píng)估。”
Alli（阿里）說，這還加強(qiáng)了Black Wallet在組織內(nèi)部培養(yǎng)強(qiáng)大的網(wǎng)絡(luò)安全習(xí)慣的必要性。
恢復(fù)后，Black Wallet“進(jìn)行了徹底的事后分析，不僅分析哪里出了問題，還分析我們是如何反應(yīng)的，”Alli（阿里）說，“這種反思性實(shí)踐將有助于我們改進(jìn)自己的流程?！?/span>
總體來說，雖然CrowdStrike宕機(jī)是一次艱難的經(jīng)歷，但它也提醒了組織“在我們的網(wǎng)絡(luò)安全方法中，彈性和適應(yīng)性的重要性，”Alli（阿里）說，“恢復(fù)過程不僅涉及技術(shù)修復(fù)，還包括加強(qiáng)我們組織在安全和風(fēng)險(xiǎn)管理方面的文化。”
四、保持忠誠
Roman（羅曼）和Mainiero（邁尼耶羅）都強(qiáng)調(diào)，停擺不會(huì)影響他們與CrowdStrike的關(guān)系。
盡管該公司受到了批評(píng)，但“CrowdStrike是一家了不起的公司，我們看看供應(yīng)商的工程文化，”Mainiero（邁尼耶羅）說，“他們犯了一個(gè)錯(cuò)誤?！彼a(bǔ)充說，醫(yī)療系統(tǒng)必須為任何可能出現(xiàn)的故障做好準(zhǔn)備。
注意到CrowdStrike被一些人指責(zé)在行業(yè)中擁有壟斷地位，Mainiero（邁尼耶羅）說，這一事件是一個(gè)質(zhì)量保證問題。隨著系統(tǒng)和集成變得更加復(fù)雜和精密，他說，行業(yè)應(yīng)該團(tuán)結(jié)起來討論如何處理質(zhì)量保證問題。
Roman（羅曼）也表達(dá)了同樣的觀點(diǎn)，他說：“我們都是人。我們都會(huì)犯錯(cuò)誤。如果你傾向放棄CrowdStrike……你就必須考慮放棄任何基于云的提供商。到目前為止，CrowdStrike一直運(yùn)作良好，并阻止了病毒和惡意軟件的爆發(fā)，他們的支持非常出色，我們?nèi)匀恢铝τ谂c他們保持關(guān)系。”
作者：Esther Shein（埃斯特·謝恩）
Esther Shein（埃斯特·謝恩）是一名記者，在紙媒和網(wǎng)絡(luò)寫作方面具有豐富的寫作和編輯經(jīng)驗(yàn)，專注于業(yè)務(wù)和技術(shù)，以及教育和普羅大眾。
譯者：寶藍(lán)
