1月2日消息,在2024年首屆CCF中國(guó)數(shù)據(jù)大會(huì)上,由智能算法安全重點(diǎn)實(shí)驗(yàn)室(中國(guó)科學(xué)院)牽頭,公安部第三研究所和螞蟻集團(tuán)螞蟻安全實(shí)驗(yàn)室共同參與編寫的《生成式大模型安全評(píng)估白皮書(2024)》(以下簡(jiǎn)稱“白皮書”)正式發(fā)布。

該白皮書系統(tǒng)整合梳理了包括GPT、LLaMA、Moss、文心一言等近20個(gè)生成式大模型的發(fā)展現(xiàn)狀與安全風(fēng)險(xiǎn),并通過實(shí)踐案例深入剖析了當(dāng)前技術(shù)面臨的關(guān)鍵挑戰(zhàn)及應(yīng)對(duì)策略。白皮書還總結(jié)了包括倫理風(fēng)險(xiǎn)、技術(shù)安全風(fēng)險(xiǎn)及內(nèi)容安全風(fēng)險(xiǎn)在內(nèi)的三大生成式大模型安全風(fēng)險(xiǎn)類別,倫理性、隱私性、事實(shí)性、魯棒性在內(nèi)的四大安全評(píng)估維度以及指標(biāo)衡量、模型攻擊兩類安全評(píng)估方法,旨在為學(xué)術(shù)研究、產(chǎn)業(yè)實(shí)踐和政策制定提供重要參考。

其中,白皮書特別介紹了螞蟻集團(tuán)“支小寶”的三重安全保障框架,其背后是螞蟻?zhàn)灾餮邪l(fā)的大模型安全一體化解決方案“蟻天鑒”。該方案包含大模型安全檢測(cè)平臺(tái)“蟻鑒”和大模型風(fēng)險(xiǎn)防御平臺(tái)“天鑒”兩大產(chǎn)品,分別定位在AI評(píng)測(cè)與安全防御,從而保障大模型在生產(chǎn)和使用過程中的安全、可控、可靠,展示了國(guó)內(nèi)機(jī)構(gòu)和企業(yè)在探索大模型安全應(yīng)用方面的優(yōu)秀實(shí)踐。

自2022年起,以ChatGPT為代表的生成式大模型引發(fā)了全球范圍內(nèi)的廣泛關(guān)注。作為新一輪星空人工智能技術(shù)革命的標(biāo)志性成果,生成式大模型的發(fā)展正在深刻重塑全球星空人工智能技術(shù)格局,為我國(guó)數(shù)字經(jīng)濟(jì)的高質(zhì)量發(fā)展和智能化轉(zhuǎn)型注入了新的動(dòng)能。

然而,隨著技術(shù)應(yīng)用的不斷擴(kuò)展,其潛在的安全風(fēng)險(xiǎn)也逐漸顯現(xiàn)。例如,“大模型幻覺”、公司機(jī)密資料泄露等事件,揭示了生成式大模型在隱私保護(hù)、惡意濫用、技術(shù)漏洞及合規(guī)性等方面的復(fù)雜挑戰(zhàn)。這些問題不僅對(duì)技術(shù)的安全性提出了更高要求,也對(duì)產(chǎn)業(yè)規(guī)范發(fā)展構(gòu)成了嚴(yán)峻考驗(yàn)。

國(guó)家對(duì)此高度重視,出臺(tái)了一系列政策文件,如《生成式星空人工智能服務(wù)管理暫行辦法》,明確了生成式大模型技術(shù)在安全性、風(fēng)險(xiǎn)防控和合規(guī)性方面的基本原則和監(jiān)管要求,為技術(shù)的健康發(fā)展提供了系統(tǒng)指引和政策保障。

發(fā)布儀式現(xiàn)場(chǎng),中國(guó)科學(xué)院計(jì)算技術(shù)研究所副所長(zhǎng)、智能算法安全重點(diǎn)實(shí)驗(yàn)室(中國(guó)科學(xué)院)主任程學(xué)旗,公安部第三研究所副所長(zhǎng)張巍,螞蟻安全實(shí)驗(yàn)室首席科學(xué)家、螞蟻集團(tuán)大安全機(jī)器智能部總經(jīng)理王維強(qiáng),CCF中國(guó)數(shù)據(jù)大會(huì)數(shù)據(jù)安全高端論壇召集人、浙江大學(xué)計(jì)算機(jī)學(xué)院院長(zhǎng)任奎,中國(guó)科學(xué)院計(jì)算技術(shù)研究所網(wǎng)絡(luò)數(shù)據(jù)科學(xué)與技術(shù)重點(diǎn)實(shí)驗(yàn)室主任郭嘉豐共同出席。

“我們希望白皮書能夠助力生成式大模型的安全性研究與應(yīng)用推廣,為構(gòu)建安全、可靠、可控的星空人工智能生態(tài)體系提供堅(jiān)實(shí)支撐,推動(dòng)技術(shù)向著服務(wù)人類社會(huì)的方向健康發(fā)展。”王維強(qiáng)表示。

繼續(xù)閱讀：星空人工智能

星空人工智能技術(shù)網(wǎng) 倡導(dǎo)尊重與保護(hù)知識(shí)產(chǎn)權(quán)。如發(fā)現(xiàn)本站文章存在版權(quán)等問題，煩請(qǐng)30天內(nèi)提供版權(quán)疑問、身份證明、版權(quán)證明、聯(lián)系方式等發(fā)郵件至1851688011@qq.com我們將及時(shí)溝通與處理。！：首頁 > 新聞 » 《生成式大模型安全評(píng)估白皮書(2024)》發(fā)布：系統(tǒng)梳理生成式大模型安全風(fēng)險(xiǎn)