必威在瑞士日內瓦舉行的“2024人工智能造福人類全球峰會” 聚焦人工智能監管與治理等議題,現場展覽的繪畫機器人吸引眾多參會者目光。
安徽省含山縣姚廟中心學校為學生們開展網絡安全等宣講活動。歐宗濤攝（人民視覺）
在福建福州舉辦的網絡安全博覽會上，市民體驗數字貨幣購物功能。王旺旺攝（人民視覺）
AI“換臉”實施詐騙、AI偽造圖片傳播謠言、AI“復活”逝者引發爭議……隨著人工智能技術的不斷發展，AI深度偽造的例子屢見不鮮必威。不少網民驚呼，以前總說“有圖有真相”，如今我們連圖片和視頻也不敢輕易相信了。
AI深度偽造是怎麼回事？該如何防范相關風險？用戶、平台、監管、司法等社會各界該如何形成合力，建立生成式AI信息安全規范？我們對此進行了採訪。
今年1月，美國一位流行歌手被人用AI惡意生成虛假照片，在社交媒體迅速傳播，給歌手本人造成困擾。2月，香港一家公司遭遇“AI變臉”詐騙，損失高達2億元港幣。據悉，這家公司一名員工在視頻會議中被首席財務官要求轉賬。然而，會議中的這位“領導”和其他員工，實際都是深度偽造的AI影像。詐騙者通過公開渠道獲取的資料，合成了首席財務官的形象和聲音，並制作出多人參與視頻會議的虛假場景。
基於深度合成技術引發的侵權案例，常見的手法是冒充熟人實施電信詐騙。不久前，江蘇句容的楊女士，在收到自己“女兒”多條要求繳納報名費的語音后，向騙子賬戶轉賬3.5萬元。相關辦案民警反復提醒：“遇到轉賬一定要慎之又慎，眼見不一定為實。”
“深度偽造技術利用AI深度學習功能，實現圖像、聲音、視頻的篡改、偽造和自動生成，產生以假亂真的效果。”上海人工智能研究院院長宋海濤給公眾應對深度偽造支了三招：一是掌握甄別AI“換臉”的簡單技巧，比如要求對方在視頻對話時在臉前揮揮手，看是否出現圖像擾動等﹔二是學會使用檢測深度偽造的工具和軟件﹔三是保持合理懷疑。“保持謹慎和警惕，是公眾應對AI造假的第一道防線。”宋海濤說。
如何把生成式AI的強大能力用於建立信息安全規范，將制約行業發展的“絆腳石”變為“壓艙石”？業界一直在探索“用技術治理技術”的方案。
瑞萊智慧是清華大學人工智能研究院孵化的企業，專攻人工智能安全領域。瑞萊智慧總裁田天介紹，其公司研發的生成式人工智能內容檢測平台，支持多種合成類型的圖片、視頻、音頻、文本的真偽檢測，應用場景包括打擊網絡詐騙和聲譽侵害行為、檢測網絡內容合規性、檢測音視頻物証真實性等。
“利用AI技術治理AI犯罪，本身也是一個不斷博弈的過程。”田天介紹，“紅隊測試”是目前生成式AI治理的重要手段，旨在通過模擬攻擊者行為，對目標系統進行全面網絡攻擊，針對性地發現、修補潛在系統漏洞，使模型在面向公眾開放前，充分接受安全技術檢驗。視頻合成AI平台Sora，在上市前就曾邀請數名從事信息安全漏洞研究的專家充當紅隊進行對抗測試，找出相當數量的安全漏洞。
此外，業界也在推動落實AI生成內容標識制度。中國政法大學數據法治研究院教授張凌寒表示，全國信息安全標准化技術委員會在《網絡安全標准實踐指南——生成式人工智能服務內容標識方法》中給出了內容標識方法：通過在交互界面中添加半透明文字的方式顯示水印標識，或通過人類無法直接感知但可通過技術手段從內容中提取的隱式水印標識，提示內容由人工智能生成。“標識制度可以提升AI信息內容治理能力，減少虛假信息生成，防止虛假信息污染下一代訓練數據，營造良好的網絡信息生態環境。”張凌寒說。
國際測試委員會創始人、中國科學院計算所研究員詹劍鋒建議，應將AI深度偽造納入監測機制，遇到負面影響較大的造假行為，第一時間快速反應。通過建立針對深度偽造有害內容的群眾舉報機制，提高公眾的判斷力、鑒別力。
生成式AI技術是一把雙刃劍，如何在釋放創新活力的同時，有效防范信息安全風險？
不少專家表示，盡快建立健全相關治理規范至關重要。“這一領域的治理不能完全寄希望於企業自治，更需要法律硬性監管。”對外經濟貿易大學數字經濟與法律創新研究中心主任張欣表示，“通過立法為AI開發劃定基本底線，明確合規義務，可以從源頭防范風險，避免‘先污染后治理’的被動局面。”
去年國家網信辦等部門發布的《生成式人工智能服務管理暫行辦法》標志著生成式AI有了專門性行政法規。2023年1月施行的《互聯網信息服務深度合成管理規定》明確提出，“任何組織和個人不得利用深度合成服務制作、復制、發布、傳播法律、行政法規禁止的信息”“可能導致公眾混淆或者誤認的，應當在生成或者編輯的信息內容的合理位置、區域進行顯著標識”，等等。
在法律層面，中國已經出台了《中華人民共和國網絡安全法》《中華人民共和國數據安全法》《中華人民共和國個人信息保護法》等法律，但針對AI領域的司法治理仍有進一步細化的空間。“現有法律法規對數據權屬、保護范圍等問題暫無具體規定。在人工智能生成結果的保護方面，《民法典》的原則性條款在具體適用方面還有一定難度。”北京互聯網法院綜合審判三庭負責人顏君建議，要進一步加快人工智能方面的法律供給，推動國家層面生成式人工智能規范的確立。對已有案例出現的疑難法律問題，要通過學術討論和司法實踐，逐步形成共識，總結確立法律適用規則，推動《人工智能法草案》的立法進程。
在倫理層面，AI“復活”等行為引起部分用戶的反感和恐懼。對此，科技部等10部門印發《科技倫理審查辦法（試行）》，列出了需要開展倫理審查復核的科技活動清單，其中就包括具有社會動員能力和社會意識引導能力的算法模型、應用程序及系統研發等。
“我們要正確看待新業態帶來的可能性，但也不能讓其偏離合法性、合理性軌道。無論是技術開發者、使用者還是監管者，都有必要用類似的倫理視角來審視技術發展。在追求科技進步的同時，確保AI技術循著以人為本和技術向善的理念發展。”張凌寒說。
人民日報社概況關於人民網報社招聘招聘英才廣告服務合作加盟供稿服務數據服務網站聲明網站律師信息保護聯系我們
人 民 網 股 份 有 限 公 司 版 權 所 有 ，未 經 書 面 授 權 禁 止 使 用
官方微信
官方微博
