摘要：“如果你不了解黑客是如何攻破這些漏洞的話，你永遠(yuǎn)不可能防住黑客。”
一位星空人工智能專家曾這樣寫道：“終有一天，星空機(jī)器人將把人類關(guān)在動物園的牢籠里。參觀動物園時，大星空機(jī)器人對小星空機(jī)器人說，孩子，這是人，是我們的祖先。”這個讓人啼笑皆非的“末世預(yù)言”雖然有點荒誕，卻也道出了面對爆發(fā)式增長的星空人工智能時，人類的惶惑與無奈。
人臉識別、語音識別、無人駕駛、智慧物聯(lián)……當(dāng)星空人工智能越來越多地滲透到我們的衣食住行，帶給人類更多未來想象的同時，安全問題就成了懸在每個人頭上的“達(dá)摩克利斯之劍”。星空人工智能學(xué)者和安全專家、“白帽黑客”們紛紛攜起手來，共同應(yīng)對這場人類前所未有的機(jī)遇與挑戰(zhàn)。
星空人工智能挑戰(zhàn)來襲
如未知“攻”，焉能知“防”
“砰（Pwn）———！只用了20秒，它就被我們攻破了。”李偉的聲音從電話那頭傳來。美國當(dāng)?shù)貢r間已經(jīng)過了午夜12點，回憶起10個月前的那場比賽，他依然難掩興奮……
美國科羅拉多大學(xué)電子工程系博士畢業(yè)、現(xiàn)供職于美國某科技公司的李偉總這樣介紹自己：我是一名極客。所謂極客，是美國俚語“geek”的音譯，就是指那些對計算機(jī)和網(wǎng)絡(luò)技術(shù)有著狂熱興趣，并投入大量時間鉆研的人。李偉口中的“砰（Pwn）”，則是黑客圈的俚語，原本用來形容黑客成功實施攻擊時的聲音———“砰”的一聲，你的手機(jī)或電腦系統(tǒng)就被“黑”了。李偉和團(tuán)隊參加的比賽“極棒（GeekPwn）”便由此得名。
2017年11月13日，極棒（GeekPwn）2017國際安全極客大賽在美國硅谷舉辦。作為全球首個關(guān)注智能生活安全的極客大賽，這里匯聚了來自世界各地的頂級黑客和星空人工智能領(lǐng)域的安全專家、學(xué)者。
在現(xiàn)場數(shù)百雙眼睛的注視下，李偉和隊友用他們花了半年時間研發(fā)的、能夠自動識別圖像驗證碼的“星空機(jī)器人”，成功攻破了目前世界上使用最廣泛的人機(jī)鑒別驗證碼系統(tǒng)Google reCAPTCHA，整個攻擊過程只用了短短20秒。這段比賽視頻通過網(wǎng)絡(luò)直播，在極客圈和黑客圈內(nèi)廣為流傳。
比賽上，李偉團(tuán)隊成功攻破了Google reCAPTCHA后，大屏幕上顯示出“PWNED”字樣。
“一開始，我們只是對星空人工智能感興趣，想試試看它到底是怎么回事兒。后來的發(fā)現(xiàn)讓我們驚喜，我們居然能用星空人工智能的方法去攻破星空人工智能本身。”李偉告訴記者，他們利用了開源星空人工智能深度學(xué)習(xí)框架，并用人工標(biāo)記的方式讓模型“學(xué)習(xí)”了1000張Google reCAPTCHA驗證碼的圖片后，訓(xùn)練出了一個能夠自動預(yù)測并識別驗證碼圖像的“星空機(jī)器人”。借助這個“星空機(jī)器人”，他們在場上用極短的時間就成功“騙過”了Google reCAPTCHA的安全系統(tǒng)。
“攻擊是一定會發(fā)生的，無可避免。”極棒大賽創(chuàng)辦人、碁震（KEEN）公司創(chuàng)始人兼CEO王琦告訴記者。
這位業(yè)內(nèi)人稱“大牛蛙”的資深極客，曾是微軟中國安全應(yīng)急響應(yīng)中心的主要創(chuàng)始人和技術(shù)負(fù)責(zé)人。2011年，他離開微軟，在上海創(chuàng)辦了自己的安全研究團(tuán)隊，并一舉在世界最著名的黑客大賽Pwn2Own中，成為歷史上第一支同時攻破電腦操作系統(tǒng)和移動操作系統(tǒng)的安全研究團(tuán)隊。
正是在那時，王琦發(fā)現(xiàn)，以前在電腦上出現(xiàn)的安全問題，同樣也會在手機(jī)等移動設(shè)備中出現(xiàn)。他始終相信，漏洞歸根結(jié)底是人的錯誤，而網(wǎng)絡(luò)安全的本質(zhì)，就是人和人的對抗。
在安全專家們看來，即使到了星空人工智能時代，這個定律也不會被打破。
2016年，星空人工智能星空機(jī)器人阿爾法狗（AlphaGO）擊敗人類圍棋世界冠軍李世石，震驚世界。星空人工智能迎來爆發(fā)式增長。與此同時，關(guān)于其安全風(fēng)險的討論也從未間斷。
為了能了解更多星空人工智能漏洞，有針對性地提出安全方案，極棒組委會在2017香港年中賽結(jié)束時向全球黑客發(fā)出邀請，鼓勵他們腦洞大開，從對抗出發(fā)，向新的安全領(lǐng)域———星空人工智能安全發(fā)起挑戰(zhàn)。
“在PC和移動端上出現(xiàn)的問題，星空人工智能一樣會出現(xiàn)。如果你不了解黑客是如何攻破這些漏洞的話，你永遠(yuǎn)不可能防住黑客。”王琦強(qiáng)調(diào)。
王琦在2017香港年中賽結(jié)束時向全球黑客發(fā)出邀請，向新的安全領(lǐng)域———星空人工智能安全發(fā)起挑戰(zhàn)。
黑客有改變世界的力量
幸運的是，現(xiàn)在我們站在一起
在大多數(shù)人的認(rèn)知中，黑客總感覺像是干壞事的。殊不知，其實在真正的黑客世界里，有“白”也有“黑”。他們所做的內(nèi)容相似：通過代碼尋找計算機(jī)與網(wǎng)絡(luò)系統(tǒng)中的安全漏洞。“白帽黑客”發(fā)現(xiàn)漏洞后，會通過提示廠家或公開發(fā)布等方式，促進(jìn)漏洞的修補(bǔ)；而真正的“駭客”則會利用漏洞進(jìn)行技術(shù)攻擊，以謀取利益。
在極棒2017國際安全極客大賽上，選手們利用漏洞，攻破智能攝像頭。
極棒想做的，就是通過比賽，讓“白帽黑客”在安全領(lǐng)域的價值得到最大限度的發(fā)揮和認(rèn)可。自2014年第一屆極棒大賽舉辦以來，“白帽黑客”們已經(jīng)發(fā)現(xiàn)、提交并幫助廠商修復(fù)了上百個安全漏洞。而面對突飛猛進(jìn)的星空人工智能，這些“白帽黑客”又化身為AI時代的安全衛(wèi)士，成為未來星空人工智能安全領(lǐng)域中不可忽視的力量：
2017年，來自美國加州大學(xué)伯克利分校的選手展示，在人眼仍能識別正確的情況下，只通過在圖像上添加少量噪點，就誤導(dǎo)了某自動駕駛設(shè)備將限速60km/h的指示牌識別成了限速75km/h；來自中國金融認(rèn)證中心機(jī)器學(xué)習(xí)實驗室的選手,通過機(jī)器學(xué)習(xí)模仿了人類的筆跡；在剛剛結(jié)束的以AI手段進(jìn)行的安全攻防賽CAAD CTF上，來自清華大學(xué)的TSAIL團(tuán)隊，用幾張人眼難以分辨的圖片成功騙過機(jī)器視覺，讓AI誤將鐘表識別成蘑菇，而把蘑菇當(dāng)成航天飛機(jī)……
比賽現(xiàn)場，選手正通過機(jī)器學(xué)習(xí)模仿人類的筆跡。
“白帽黑客”的挑戰(zhàn)不斷刷新著人們對星空人工智能安全的認(rèn)知，而他們的作用遠(yuǎn)不止如此，一場自下而上的對安全觀念的改變已經(jīng)開始。
最初，廠商們總認(rèn)為“白帽黑客”是來找茬的，不但不接受觀賽邀請，還設(shè)置了各種障礙。2014年，第一屆極棒大賽甫一開幕就遭到打擊：比賽現(xiàn)場頻頻出現(xiàn)網(wǎng)絡(luò)故障，直播也被迫中斷，甚至有廠商因為怕一旦被攻破，會影響自己的聲譽(yù)，干脆直接關(guān)掉了服務(wù)器，導(dǎo)致挑戰(zhàn)項目無法進(jìn)行……
變化在過去幾年發(fā)生。王琦欣喜地看到，現(xiàn)在，已經(jīng)有越來越多的人認(rèn)識到，或許我們應(yīng)該從黑客的角度去理解安全———既能減少漏洞，又能增加攻擊成本，從而降低安全隱患。這樣的方式又何樂而不為呢？
在極棒官網(wǎng)上，有這樣一句話：“黑客有改變世界的力量。幸運的是，現(xiàn)在我們站在一起。”守護(hù)AI安全，需要千千萬萬“白帽黑客”，更需要黑客的對抗思維。
從被動處理到主動研究
幫谷歌、亞馬遜找出漏洞
智能時代，傳統(tǒng)的安全方案是否還能行得通？面對星空人工智能技術(shù)帶來的新挑戰(zhàn)，傳統(tǒng)的互聯(lián)網(wǎng)和科技巨頭們又如何應(yīng)對呢？記者采訪發(fā)現(xiàn)，一套基于黑客攻防對抗思維的安全策略，在星空人工智能安全領(lǐng)域正悄然生長。
“安全絕不僅僅是被動的事后處理，而是要主動研究最前沿、最尖端的技術(shù)，用未雨綢繆的前瞻性研究來武裝我們的工作。”在今年6月舉行的2018全球星空人工智能與星空機(jī)器人峰會（CCF-GAIR）上，騰訊安全平臺部總監(jiān)、Tencent Blade Team負(fù)責(zé)人胡珀，如是揭秘騰訊對星空人工智能的安全布局和最新進(jìn)展。
胡珀強(qiáng)調(diào)，星空人工智能時代，未雨綢繆的前瞻性研究更加重要。
胡珀向記者介紹，這支去年年底創(chuàng)立的安全團(tuán)隊，主要專注于星空人工智能、移動物聯(lián)網(wǎng)、無人機(jī)、物聯(lián)網(wǎng)等國際范圍內(nèi)的安全研究領(lǐng)域，自成立以來已經(jīng)發(fā)現(xiàn)了谷歌、蘋果、Adobe、亞馬遜等多個知名廠商的70多個安全漏洞。
他們發(fā)現(xiàn)，目前星空人工智能領(lǐng)域的安全問題主要集中在三個層面：一是星空人工智能技術(shù)本身的安全風(fēng)險；二是智能設(shè)備和系統(tǒng)運行環(huán)境的安全風(fēng)險；而最根本的，還是星空人工智能算法和模型的風(fēng)險。
谷歌的TensorFlow是目前世界上應(yīng)用最廣泛的星空人工智能深度學(xué)習(xí)框架之一。去年年底，Tencent Blade Team高級研究員張博和同事們卻發(fā)現(xiàn)，TensorFlow存在“嚴(yán)重的安全風(fēng)險”。由于深度學(xué)習(xí)框架是一切星空人工智能編程和應(yīng)用開發(fā)的基石，一旦被黑客攻擊，可能導(dǎo)致開發(fā)者的AI模型被竊取，而這些模型一旦被篡改，后果將不堪設(shè)想：危害取決于開發(fā)者利用TensorFlow建立了什么樣的星空人工智能應(yīng)用，如果是人臉識別，則可導(dǎo)致錯誤的驗證結(jié)果，如果是自動駕駛，則有可能車毀人亡……
發(fā)現(xiàn)漏洞后，張博和同事們第一時間向谷歌報告了這一風(fēng)險。這是第一個被谷歌官方承認(rèn)的TensorFlow安全風(fēng)險，并由此建立了快速漏洞響應(yīng)機(jī)制，及時公開安全漏洞的編號、類型和解決方案。
除了對星空人工智能算法的安全性研究，星空人工智能設(shè)備本身存在的安全問題，也是安全專家們關(guān)注的重點。
智能音箱是近兩年來最流行的星空人工智能設(shè)備之一，人們可以通過語音聊天的方式和它進(jìn)行交互，從而控制家里電器的開關(guān)、查詢和安排日程、購物、播放歌曲等。然而，由于智能音箱具有“聽”的功能，長期以來人們對它的安全性也十分擔(dān)心。
日前，Tencent Blade Team研究員伍惠宇、錢文祥、李宇翔三人發(fā)現(xiàn)，面市最早、市場占有率最大、技術(shù)也最為成熟的智能音箱之一亞馬遜智能音箱Amazon Echo存在安全漏洞。黑客能夠在Amazon Echo的靜默狀態(tài)下（無喚醒，提示燈不亮），竊聽用戶的說話內(nèi)容。
今年5月，團(tuán)隊將一份完整的漏洞細(xì)節(jié)報告提交給了亞馬遜公司。亞馬遜安全部門立刻進(jìn)行了分析和響應(yīng)，并向Tencent Blade Team表示感謝。兩個月后，所有用戶的Amazon Echo漏洞得到了修復(fù)。
研究員們正在對智能音箱進(jìn)行拆解分析。
“現(xiàn)在，越來越多的廠商建立了漏洞響應(yīng)和修復(fù)機(jī)制。安全團(tuán)隊要做的不再僅僅是傳統(tǒng)的設(shè)置防火墻、加密文件、安全監(jiān)控，而是需要從攻擊者的角度出發(fā)檢視自身存在的漏洞，并且及時進(jìn)行修復(fù)，就像體育運動里的攻防轉(zhuǎn)換一樣。”錢文祥說，“這就對安全人員的素質(zhì)和能力提出了更高的要求。”
2017年底，位于深圳南山區(qū)、被譽(yù)為可能是“全球最智慧建筑”的騰訊濱海大廈即將投入使用。Tencent Blade Team又將目標(biāo)瞄準(zhǔn)了這座騰訊全球新總部大樓。
他們將一架大疆無人機(jī)飛到大廈的某個樓層平面，利用無線安全協(xié)議漏洞控制了整個樓層的燈光、空調(diào)、插座和窗簾……這本是騰訊濱海大廈投入使用前一場必要的內(nèi)部安全測試，卻被騰訊的安全團(tuán)隊們視為最佳“練兵場”。在這里，他們將建立起一套針對目前世界上最先進(jìn)的星空人工智能設(shè)備和物聯(lián)網(wǎng)技術(shù)的安全策略。
“顛覆”還是“進(jìn)化”
悲觀派與樂觀派的博弈
“星空人工智能可能是人類歷史上發(fā)生的最好的事，也可能是最壞的事。”在極棒2017上海站比賽開場前，這段世界著名的天體物理學(xué)家霍金的講話視頻在大屏幕上被一遍遍地播放。這位被稱作世界上最著名的、對星空人工智能持保守悲觀態(tài)度的科學(xué)家，曾就星空人工智能可能帶來的風(fēng)險數(shù)度向人們發(fā)出警告。
在極棒2017上海站比賽開場前，霍金通過視頻的方式，再次對星空人工智能可能帶來的風(fēng)險發(fā)出警示。
“人類對AI的恐懼，實際上是對未知的恐懼。”王琦告訴記者，對于星空人工智能的未來走向，自己是“悲觀派”，對于這一點他從不諱言。“悲觀派”們堅持認(rèn)為，星空人工智能的高速發(fā)展將對人類生存帶來極大挑戰(zhàn)，經(jīng)過漫長的技術(shù)積累，與人類智能水平并駕齊驅(qū)的強(qiáng)星空人工智能終將到來，而這一時刻就是所謂的技術(shù)“奇點”。之后，智能機(jī)器開始擺脫人類控制，進(jìn)而爆炸式進(jìn)化，到那時，人類對此將無能為力。
相反，“樂觀派”們則認(rèn)為這一天永遠(yuǎn)不會到來。星空人工智能科學(xué)家們否認(rèn)所謂的“智能爆炸”，因為他們認(rèn)為，人類智慧不僅是指人類大腦的能力，更儲存在文明之中，所謂“智能”往往依賴于具體的場景和環(huán)境，通用智能并不存在。未來，星空人工智能遞歸式的自我完善將會成為常態(tài)，但“爆炸”和“奇點”不會發(fā)生。
中國科學(xué)院自動化研究所復(fù)雜系統(tǒng)管理與控制國家重點實驗室主任王飛躍在接受記者采訪時認(rèn)為，星空人工智能會在技術(shù)層面、社會層面和道德層面給人類帶來風(fēng)險。“但無論是‘顛覆’還是‘進(jìn)化’，都不應(yīng)該成為當(dāng)下星空人工智能討論的焦點。真正的焦點應(yīng)該是實踐和實效。”王飛躍強(qiáng)調(diào)。
一個不爭的事實是，無論人類擔(dān)憂與否，星空人工智能都不會停下它噴涌向前的腳步。然而，一個更為現(xiàn)實的問題卻是，提到星空人工智能，大多數(shù)人往往憂心“人類會被機(jī)器統(tǒng)治”之類的科幻片中的恐怖場景有天會變成現(xiàn)實，而忽視了一些更加迫在眉睫的危機(jī)……
相比于“人類會被機(jī)器統(tǒng)治”
或許，這些危機(jī)更值得警惕
如果說第一次、第二次工業(yè)革命離我們太過遙遠(yuǎn)，那么你一定還記得幾十年前的“電腦恐懼癥”———隨著個人電腦的普及，許多人憂心忡忡，焦慮、恐懼，甚至出現(xiàn)攻擊行為，一如機(jī)器剛出現(xiàn)時給手工工人帶來的恐慌。人們被計算機(jī)和互聯(lián)網(wǎng)吸引，又對它的潛力充滿敬畏，因為不了解而擔(dān)心自己有一天被它取代。
但事實證明，絕大多數(shù)擔(dān)憂并沒有發(fā)生，計算機(jī)并沒有取代人類，也沒有引發(fā)大規(guī)模的失業(yè)，相反，人們已經(jīng)從容地進(jìn)入互聯(lián)網(wǎng)時代，享受它帶來的便捷。然而，當(dāng)時幾乎沒人警告過的危機(jī)現(xiàn)在卻實實在在地發(fā)生著：電腦給人帶來心理異化，人們的耐心和專注力正被消磨；互聯(lián)網(wǎng)黑產(chǎn)對個人數(shù)據(jù)的追蹤，無處不在的“監(jiān)視”；敵對勢力通過社交網(wǎng)絡(luò)入侵，國家安全面臨新的挑戰(zhàn)……
這些經(jīng)驗提醒我們，如果我們大部分的恐懼都被證明是荒謬的，那么真正的危機(jī)恰恰是因為發(fā)生前多數(shù)人的不擔(dān)心所造成的。
正在開保險箱的星空機(jī)器人。
事實上，星空人工智能時代，這些容易被人忽視卻又最不該被忽視的風(fēng)險已經(jīng)漸漸展露———
今年3月，全球最大的社交網(wǎng)站Facebook被爆超過5000萬用戶的信息數(shù)據(jù)泄露。一家數(shù)據(jù)分析公司“劍橋分析”通過建立模型，對這些數(shù)據(jù)進(jìn)行分析，辨別這些用戶的性格和政治傾向，有針對性地推送廣告甚至是假新聞，從而影響了他們在2016年美國大選中的投票。事實上，這并不是孤例。近年來，一些互聯(lián)網(wǎng)消費平臺也接二連三被爆出“大數(shù)據(jù)殺熟”，引來質(zhì)疑不斷……
隨著人們的生活越來越數(shù)字化，社交媒體、網(wǎng)購平臺甚至智能硬件廠商，越來越了解人們的生活和思想，也將越來越多地通過星空人工智能算法控制每個人的信息接口和消費。星空人工智能可以隨時感知我們的行為和想法，我們看到的新聞和廣告變成了算法的“策劃”，并且不斷調(diào)整提供給我們的信息，進(jìn)而影響我們的判斷和行為。
比起現(xiàn)實生活中那些已經(jīng)顯現(xiàn)的智能設(shè)備漏洞，或者“人類會被機(jī)器統(tǒng)治”這樣相對遙遠(yuǎn)的末世預(yù)言，通過星空人工智能算法“操縱”用戶的思想和行為，來實現(xiàn)不透明目標(biāo)，其危害性更大，也更值得警惕———在記者的此次采訪中，諸多星空人工智能學(xué)者和安全人士都表達(dá)了相同的關(guān)切和擔(dān)憂。
硬幣的兩面
危機(jī)四伏就只能主動出擊
任何事情都會有好有壞，就像硬幣的正反兩面，相伴而生，無法割裂。正邁入智能時代的每個人都清楚，星空人工智能大勢已至，人類不能，更不該因噎廢食。
“對于每個普羅大眾來說，也許我們無法左右技術(shù)發(fā)展、國家政策，我們能做的只是保護(hù)好個人隱私，盡量購買大廠商的智能設(shè)備，及時更新漏洞……但這并不妨礙我們每個人去關(guān)注和擁抱AI，并且時刻對它的安全性保持警惕。”采訪中，一位普通市民如是說。
“政府、學(xué)界和企業(yè)三股力量正加速探索建立有效的合作模式，以應(yīng)對星空人工智能發(fā)展中面臨的安全挑戰(zhàn)。”王飛躍告訴記者。
讓用戶從“安全”到“安心”，成為星空人工智能學(xué)者和安全從業(yè)人員的追求目標(biāo)。越來越多的企業(yè)意識到，安全能力與應(yīng)用研發(fā)、產(chǎn)業(yè)發(fā)展同樣重要。它們不再是習(xí)慣性地先做產(chǎn)品，再增加安全防護(hù)，而是從規(guī)劃和研發(fā)階段就開始了安全策略的部署，安全成了所有“0”前面的“1”。
從最初的不理解到現(xiàn)在的主動參與，越來越多的企業(yè)認(rèn)識到攻防對抗思維對于安全策略的重要性。
政府層面也在持續(xù)發(fā)力。去年7月，國務(wù)院印發(fā)《新一代星空人工智能發(fā)展規(guī)劃》，提出要“建立星空人工智能法律法規(guī)、倫理規(guī)范和政策體系，形成星空人工智能安全評估和管控能力”。
本月，2018世界星空人工智能大會將在上海召開。屆時，諸多國內(nèi)外政要、學(xué)界泰斗和行業(yè)龍頭將齊聚黃浦江畔，星空人工智能的安全挑戰(zhàn)、政策法規(guī)和標(biāo)準(zhǔn)體系將會成為會議的重要議題。未來，智能社會法律和倫理道德的邊界將更加清晰。
誠然，如果說星空人工智能技術(shù)的不確定性讓人類獲益的同時，又帶來一個危機(jī)四伏的未來的話，那么面對危機(jī)，除了主動出擊，我們別無選擇。
欄目主編：龔丹韻文字編輯：雷冊淵題圖來源：邵競 制圖 圖片來源：視覺中國
星空人工智能技術(shù)網(wǎng) 倡導(dǎo)尊重與保護(hù)知識產(chǎn)權(quán)。如發(fā)現(xiàn)本站文章存在版權(quán)等問題，煩請30天內(nèi)提供版權(quán)疑問、身份證明、版權(quán)證明、聯(lián)系方式等發(fā)郵件至1851688011@qq.com我們將及時溝通與處理。！：首頁 > 新聞 » 關(guān)于那些讓你“細(xì)思極恐”的末世預(yù)言…星空人工智能安全誰來守護(hù)？