作者：ELIAS GROLL、CHRISTIAN VASQUEZ和AJ VICENS

編譯：代碼衛(wèi)士

(資料圖)

在網(wǎng)絡(luò)安全行業(yè)，放眼望去，無論是大會、交易博覽會還是新聞頭條，規(guī)模最大的企業(yè)都在聲稱，生成式AI將會改變網(wǎng)絡(luò)防御的一切并將勝過黑客。

不管是微軟的 Security Copilot、谷歌基于安全的大語言模型、Recorded Future 的AI 威脅情報分析師助手、IBM 基于AI 的安全服務(wù)，還是Veracode 新推出機器學(xué)習(xí)工具查找代碼漏洞，科技公司正在爭先恐后地為網(wǎng)絡(luò)安全行業(yè)推出最新的AI服務(wù)。

在上個月舉行的 RSA 大會上，幾乎每走一步就有銷售人員兜售自己公司新出的AI產(chǎn)品。從嘩眾取寵的廣告、夸夸其談的論調(diào)，再到國家安全官員更為克制的討論，人人都在討論AI。

近年來機器學(xué)習(xí)取得的快速進(jìn)步使得AI的力量顯而易見。不為人注意的是，AI將如何被部署到安全上下文中以及它是否將取得擁躉們所承諾的巨大突破？

在數(shù)十次訪談中，研究人員、投資者、政府官員和網(wǎng)絡(luò)管理人員都在說他們看到了生成式 AI 的防御潛能，其中混雜著批判和興奮。他們批判認(rèn)為營銷炒作錯誤地展現(xiàn)了AI真正能做的事情，而且認(rèn)為AI可能會催生出一系列難以理解的安全漏洞。

但這種批判被真實的興奮所撫平。通過將人類語言處理為真實語音而不是代碼，自然語言處理技術(shù)賦能人類和機器已新的方式進(jìn)行交互，且受益不可預(yù)測。網(wǎng)絡(luò)安全公司 SentinelOne 的研究部門 SentinelLabs 高級總監(jiān) Juan Andres Guerrero-Saade 表示，“這是我們在人類計算機交互中見到的根本改變時刻之一，計算機更接近于我們自然做事的方式?！?/p>

對于網(wǎng)絡(luò)安全行業(yè)的老兵而言，圍繞AI的火熱炒作似曾相識。生成式AI（可復(fù)刻人類語音并與用戶交互的工具）近期取得的進(jìn)步雖然引人注目，但其底層的機器學(xué)習(xí)技術(shù)已在過去十年中廣泛被網(wǎng)絡(luò)安全公司部署。機器學(xué)習(xí)工具已經(jīng)驅(qū)動反病毒、垃圾郵件過濾和釣魚檢測工具，而“智能”網(wǎng)絡(luò)防御（使用機器學(xué)習(xí)適應(yīng)攻擊模式的防御）的提法已成為網(wǎng)絡(luò)安全行業(yè)的基本營銷要素。

網(wǎng)絡(luò)安全公司 Protect AI 的首席信息安全官 Diana Kelley 指出，“這些機器學(xué)習(xí)工具在人類無法從海量數(shù)據(jù)中發(fā)現(xiàn)的模式方面表現(xiàn)出色?！?/p>

在網(wǎng)絡(luò)安全語境中，機器學(xué)習(xí)工具主要位于后臺，推動關(guān)鍵功能的發(fā)展，但生成式AI的革命可能會改變這一點。這在很大程度上是因為AI行業(yè)領(lǐng)導(dǎo)者 OpenAI 的激進(jìn)型，它已發(fā)布了生成式 AI 產(chǎn)品。

隨著近年來AI技術(shù)的發(fā)展，AI孵化器如谷歌盡管是使如今的生成式AI工具成為可能的很多技術(shù)的先驅(qū)，但對于公開發(fā)布產(chǎn)品還是猶豫不決。而 OpenAI 更加快速地推出 AI 工具并構(gòu)建了絲滑的用戶界面，讓其與語言模型的工作極其容易。微軟為 OpenAI 的工作豪擲數(shù)十萬美元和云計算資源，目前正在將該初創(chuàng)公司的大語言模型集成到產(chǎn)品服務(wù)中，從而讓 OpenAI 觸及龐大的客戶基數(shù)。

競爭者們奮起直追。最近，谷歌首席執(zhí)行官 Sundar Pichai在開發(fā)者大會上的主旨演講中提到數(shù)十次AI，相關(guān)剪輯視頻在網(wǎng)絡(luò)瘋傳。

AI 企業(yè)是經(jīng)濟(jì)放緩時期仍然還能吸引風(fēng)投的少數(shù)技術(shù)行業(yè)，很多初創(chuàng)企業(yè)迅速聞風(fēng)而動，對外宣傳自己也在服務(wù)中集成了生成式AI。在上個月舉行的 RSA 會議上，與會投資者被淹沒在聲稱能將AI融入網(wǎng)絡(luò)安全環(huán)境中的企業(yè)中，但情況常常是：作為商業(yè)搭配的生成式AI似乎不過是空頭支票。

風(fēng)投公司 Gallos 的網(wǎng)絡(luò)安全領(lǐng)域投資者 William Kilmer 提到，“我們在現(xiàn)場看到的情況是，很多人都在靠攏 ChatGPT 說，‘嘿，看下這個很酷的產(chǎn)品’。”他認(rèn)為夸夸其談?wù)弑?，對于使用生成?AI 則言之甚少。

現(xiàn)實情況如何？

隨著企業(yè)忙于吸引資本和客戶，生成式AI 的現(xiàn)實情況在資料中可被輕松掩蓋。Guerrero-Sade 提到，“我們面臨的最大問題就是營銷，資料營銷。大家把這些資料打包并聲稱安全問題已解決——結(jié)束了，我們走吧！但這些毫無真實性可言。”

因此，區(qū)分炒作和實際是投資者、技術(shù)者、客戶和政策制定者所面臨的艱難挑戰(zhàn)。

白宮的最高網(wǎng)絡(luò)安全顧問 Anne Neuberger 認(rèn)為生成式 AI 能夠大大提升計算機系統(tǒng)防御能力，不過認(rèn)為AI的潛能尚未完全展現(xiàn)。Neuberger 認(rèn)為，生成式AI可用于清理老舊的代碼庫、識別缺乏專門維護(hù)人員的開源倉庫中的漏洞，甚至可用于通過人類難以編寫的正式語言生產(chǎn)經(jīng)過驗證的安全代碼。她認(rèn)為，運行大量端點安全系統(tǒng)且可訪問所生成數(shù)據(jù)的企業(yè)有很好的機會訓(xùn)練有效的安全模型。

Neuberger 提到，“AI技術(shù)的底線是創(chuàng)造了很多提升網(wǎng)絡(luò)安全和網(wǎng)絡(luò)防御的機會。我們想要做的是在攻防追逐中，防御方能夠行動得更快。有了大語言模型，惡意軟件的生成速度要比之前更快，這種情況更需要防御方更快?！?/p>

但另一方面，在安全敏感情境中有效地執(zhí)行大語言模型面臨很多重大挑戰(zhàn)。在她任職美國國家安全局期間，Neuberger 提到，當(dāng)NSA 開始使用大語言模型輔助分析師工作時在語言翻譯和情報分析師應(yīng)當(dāng)優(yōu)先審查的任務(wù)方面，她親自見證了這些障礙。

清理數(shù)據(jù)以便機器學(xué)習(xí)使用，這項工作需要投入時間和資源，而當(dāng)NSA開始為分析師推出模型時，一些人是抵觸態(tài)度擔(dān)心自己被取代。她提到，“意識到這類模型可分類并讓他們發(fā)揮更有效的作用頗費周折?！?/p>

對于像 Guerrero-Saade 一樣的網(wǎng)絡(luò)安全踐行者而言，最令人興奮的生成式 AI 應(yīng)用在于逆向工程。惡意軟件研究社區(qū)迅速接受了生成式AI并在 ChatGPT 發(fā)布的一個月內(nèi)，推出了集成了ChatGPT 的 IDA Pro 版本。即使具有數(shù)年逆向工程經(jīng)驗，Guerrero-Saade 仍然可從這些工具中習(xí)得新知識，如當(dāng)他最近參加一次培訓(xùn)時對培訓(xùn)內(nèi)容一無所知，于是借助 ChatGPT 開始上手。

紐約大學(xué)網(wǎng)絡(luò)安全中心的助理研究教授 Hammond Pearce 提到，ChatGPT 在充當(dāng)“膠水邏輯”時，令人刮目相看，它充當(dāng)互不關(guān)聯(lián)的程序之間的翻譯者。他指出，“并不是說 ChatGPT 不令人驚訝，因為它確實很厲害，而是當(dāng)新產(chǎn)品推出時， ChatGPT 和其它技術(shù)的結(jié)合將讓人們?yōu)橹畠A倒?！?/p>

目前，生成式 AI 的防御式網(wǎng)絡(luò)安全應(yīng)用還處于非常初期的階段。可能最引人矚目的此類產(chǎn)品微軟 Security Copilot 仍然僅處于與公司少部分客戶非公開預(yù)覽并收集反饋的階段。使用 Security Copilot 要求被集成到微軟安全棧中并運行該公司的其它安全工具中如 Intune、Defender 和 Sentinel。

Copilot 提供類似于 ChatGPT 的輸入系統(tǒng)，允許用戶對大語言模型進(jìn)行查詢，而該大語言模型使用 OpenAI 的 GPT-4 和微軟關(guān)于安全警報、事件和惡意代碼的模型。該系統(tǒng)的目標(biāo)是通過為分析師提供能夠快速解釋所審查代碼或事件以及能夠快速推出分析產(chǎn)品的工具，為分析師節(jié)省時間。

微軟副總裁兼AI安全架構(gòu)師 Chang Kawaguchi 認(rèn)為當(dāng)前機器學(xué)習(xí)與人類語言的協(xié)作能力是“一小步功能改變”。他和同事演示 Copilot 時獲得的最一致的反饋是，“哦，天哪，謝謝你為我們生成 PowerPoint。就像說，我討厭這部分工作?！?/p>

Kawaguchi 表示，“如果沒有上一代的機器學(xué)習(xí)，我們就無法實現(xiàn)它?！?/p>

幻覺？

盡管如此聰明，但當(dāng)前的機器學(xué)習(xí)工具仍然存在非常明顯的愚蠢性。即使在微軟為 Copilot 準(zhǔn)備的 YouTube 演示中，該公司的一名銷售女性員工也強調(diào)了它的局限性并提到該模型以 Windows 9（早已不存在的軟件）為例說明它如何可傳遞虛假信息。

隨著更廣范圍的部署，安全專家們擔(dān)心生成式 AI 工具可能會引入新的、難以理解的安全漏洞。加州大學(xué)伯克利分校的AI安全計劃總監(jiān) Jessica Newman 提到，“現(xiàn)在大家不應(yīng)該信任這些大語言模型是可靠的。”

Newman 將大語言模型類比為“遵循系統(tǒng)的指令”，說明它們可以被提供參與惡意行為的指令。這種攻擊類型即“提示符注入”，導(dǎo)致模型易受很多種難以預(yù)測的方式的操縱。另外，AI系統(tǒng)也具有常見的安全漏洞，且易受數(shù)據(jù)投毒攻擊或其底層算法易受攻擊。

這些漏洞尤其難以修復(fù)，因為大語言模型的性質(zhì)意味著我們經(jīng)常不理解它們?yōu)楹我敵黾榷ù鸢?，即所謂的“黑盒”問題。就像黑盒一樣，我們無法看到大語言模型內(nèi)部的情況，這就使得他們所做的工作難以理解。雖然語言模型在不斷進(jìn)步，但改進(jìn)其可解釋性的工具并未以相同的速度前進(jìn)。

Newman 表示，“創(chuàng)建這些系統(tǒng)的人無法肯定地說明它們是怎么做出決策的。這些高階AI系統(tǒng)的黑盒性質(zhì)在處理變革性技術(shù)時是史無前例的。”

這使能源等行業(yè)中的安全關(guān)鍵系統(tǒng)操作人員對于大語言模型的部署速度深感擔(dān)心。西門子能源公司的工業(yè)網(wǎng)絡(luò)和數(shù)字化安全的副總裁兼全球主管 Leo Simonovich 提到，“我們擔(dān)心網(wǎng)絡(luò)-物理世界中LLM的采用和部署速度?！?/p>

Simonovichn 表示，運營技術(shù)領(lǐng)域?qū)I的采用一直緩慢“且合理”，“在我們領(lǐng)域，我們看到對于AI用于安全目的的猶豫不決，尤其是將由 AI 驅(qū)動的 IT 安全應(yīng)用帶到運營技術(shù)領(lǐng)域。”

隨著大語言模型的部署更為廣泛，安全專業(yè)人員也擔(dān)心缺乏描述其工作的正確語言。當(dāng)大語言模型自信地輸出不正確的信息時，研究人員將此類語句描述為“幻覺”，這一詞語指賦予非人類的計算機系統(tǒng)以人性。

大語言模型的這些特性可導(dǎo)致人與機器之間難以解釋的交互?！毒W(wǎng)絡(luò)安全實用架構(gòu)》的作者 Kelley 提問多個大語言模型她是否編寫了一本書。大語言模型并未描述她所寫的數(shù)，而是描述了一本她并未撰寫但可能會撰寫的零信任相關(guān)書籍。

Kelley 表示，“所以說這是一種巨大的幻覺？還是說只是一種古老的數(shù)據(jù)概率問題？雖然是第二種情況但被冠以幻覺這一稱謂。我們必須思考我們的談?wù)摲绞??！?/p>

原文鏈接

https://cyberscoop.com/generative-ai-chatbots-cybersecurity/

標(biāo)簽：