從研究傳統(tǒng)軟件安全的角度來說，大模型作為一種軟件、一種系統(tǒng)、一種軟件產(chǎn)品，是否也存在傳統(tǒng)軟件安全領(lǐng)域的問題？是否也會被入侵？它所運行的系統(tǒng)是否也會被攻擊者控制，進而去控制大模型的行為？

9月7日至8日的騰訊數(shù)字生態(tài)大會上，騰訊安全團隊發(fā)起對大模型網(wǎng)絡(luò)安全的討論。騰訊安全玄武實驗室負責(zé)人于旸表示，大模型自身存在的一些安全問題。

具體來說，清華大學(xué)計算機科學(xué)與技術(shù)系教授朱軍表示，人工智能幾大要素——數(shù)據(jù)、模型算法和應(yīng)用場景中，數(shù)據(jù)端存在的安全問題有隱私保護、儲存安全、數(shù)據(jù)惡意泄露等。模型算法端如目前使用較廣泛的深度學(xué)習(xí)，或經(jīng)典機器學(xué)習(xí)模型，本身也可能存在安全問題。另外，當(dāng)人工智能可以快速高效地生成一些以假亂真的內(nèi)容時，它可能會引起監(jiān)管和倫理上的風(fēng)險，即應(yīng)用端的安全問題。

(相關(guān)資料圖)

騰訊安全策略發(fā)展中心總經(jīng)理呂一平大會期間與多位行業(yè)人士交流，發(fā)現(xiàn)大家對大模型所帶來的新的網(wǎng)絡(luò)安全問題已有關(guān)注。此外，安全大模型能否應(yīng)用在類似于安全攻防環(huán)節(jié)中，也就是大模型成為了你的對手，如通過大模型高效生成社工腳本、生成惡意木馬等，這也是客戶比較關(guān)心的。

可能引發(fā)的安全危機該如何應(yīng)對？于旸表示，人工智能技術(shù)在網(wǎng)絡(luò)安全行業(yè)的應(yīng)用已有一段時間了，當(dāng)時很多探索者將圖像算法運用在網(wǎng)絡(luò)安全檢測上，并取得了不錯的效果，但一直沒有得到特別大規(guī)模的應(yīng)用。很多較為成功的案例僅僅聚焦在一些特定場景和領(lǐng)域，并未真正實現(xiàn)行業(yè)性的變革。由此可見，短期內(nèi)深度學(xué)習(xí)相關(guān)技術(shù)在安全行業(yè)仍有一定的局限性。

這與深度學(xué)習(xí)技術(shù)難以獲得足夠多的數(shù)據(jù)有關(guān)，于旸歸納了三方面原因：第一，在網(wǎng)絡(luò)安全領(lǐng)域很難獲得足夠的打標數(shù)據(jù)；第二，如果用相關(guān)技術(shù)去研究漏洞，則需要有足夠多的漏洞數(shù)據(jù)去進行訓(xùn)練，但現(xiàn)存的網(wǎng)絡(luò)安全漏洞量級并不足以形成足夠的、成熟的、可用的數(shù)據(jù)；第三，數(shù)據(jù)打標需要相關(guān)技術(shù)人員去操作，這需要消耗很多昂貴的技術(shù)人力。這些原因?qū)е铝松疃葘W(xué)習(xí)技術(shù)在安全領(lǐng)域的應(yīng)用存在掣肘。

這一局面有可能被大模型技術(shù)改變。于旸表示，當(dāng)用大模型來開展一些檢測分析工作時，它不需要通過“投喂”大量相關(guān)數(shù)據(jù)進行學(xué)習(xí)訓(xùn)練了，基于其強大的推理能力，在少量的調(diào)整下就可以實現(xiàn)指令的執(zhí)行。

在于旸看來，大模型和深度學(xué)習(xí)等方法不太一樣，大模型可以使用工具，包括網(wǎng)絡(luò)攻防的工具、編程的工具等，通過借助外部工具并對工具處理結(jié)果進行分析，判斷是否需要再用別的工具，從而完成任務(wù)需求。這樣一來，大模型的能力越大，能夠改變的領(lǐng)域也越多。

但在眼下的風(fēng)險應(yīng)對舉措上，呂一平對記者表示，短期來看，騰訊云安全中心將發(fā)布類似于微軟AI Copilot的產(chǎn)品，幫助客戶分析安全事件，將安全運營、安全分析的能力門檻降低。另在7日上午的主峰會上，騰訊云總裁邱躍鵬發(fā)布了一款由玄武實驗室研發(fā)的隱私保護工具。通過一種生成式雙向脫敏技術(shù)，保障用戶在使用AIGC類產(chǎn)品時，隱私信息不會隨著prompt提交給模型方泄密。

長期來看，呂一平認為目前行業(yè)對大模型的關(guān)注度實在太高，但還遠未到廣泛應(yīng)用的階段。安全是伴隨的屬性，伴隨著技術(shù)的應(yīng)用落地才會逐漸誕生對應(yīng)的策略。

“網(wǎng)絡(luò)安全產(chǎn)業(yè)之前一直面臨一個問題，有很多事情必須要依靠人去做，這就帶來了一個問題：成本居高不下。網(wǎng)絡(luò)安全威脅是全球化的，地球上每一分鐘都有還沒有睡覺的攻擊者，這種問題在之前可能都是矛盾，今天有了大模型技術(shù)的加持，我們看到相關(guān)的問題解決可能出現(xiàn)了曙光。”于旸稱。

如果從大模型看更大范圍的“智能化”趨勢，騰訊集團副總裁、騰訊安全總裁丁珂表示，產(chǎn)業(yè)互聯(lián)網(wǎng)進入“智能化”下半場，企業(yè)安全建設(shè)將面臨四個方面的挑戰(zhàn)：企業(yè)安全防御的半徑將大幅增加、遭遇攻擊后的反應(yīng)窗口期將進一步縮短、辨別“人”和“機器”的難度增大、現(xiàn)存的安全“情報庫”逐漸失效。

在此趨勢下，丁珂提出三個調(diào)整思路：擁抱智能化時代，需要建立發(fā)展驅(qū)動的安全建設(shè)理念；建立可度量的安全體系，評估安全建設(shè)的有效性；應(yīng)對智能化時代的攻防趨勢，企業(yè)需要打造內(nèi)在自適應(yīng)的“安全免疫力”。

標簽：