為保護(hù)用戶權(quán)益，防止賬號(hào)被盜，很多社交軟件都設(shè)置了人臉識(shí)別的登錄驗(yàn)證環(huán)節(jié)。然而，這一驗(yàn)證環(huán)節(jié)可能并不需要本人來(lái)操作，在湖北黃石就剛剛破獲一起用AI換臉技術(shù)解鎖社交賬號(hào)并倒賣獲利的詐騙案。
前段時(shí)間，湖北黃石的王先生偶然進(jìn)入某炒股直播間，王先生添加了直播間推送的社交賬號(hào)后，跟對(duì)方一起進(jìn)行股票投資。隨著投資金額不斷增加，當(dāng)王先生想要提現(xiàn)時(shí)，發(fā)現(xiàn)對(duì)方的社交賬號(hào)因涉嫌詐騙已被凍結(jié)，資金無(wú)法取出。
受害人 王先生：一直取不出來(lái)，這個(gè)時(shí)候就發(fā)現(xiàn)了不對(duì)，因?yàn)樗鲜钦腋鞣N理由讓你取不了錢。后來(lái)我發(fā)現(xiàn)他的社交賬號(hào)被凍結(jié)了。
警方在偵辦案件過(guò)程中，意外發(fā)現(xiàn)該涉案社交賬號(hào)突然解凍并重新登錄，推測(cè)可能有團(tuán)伙幫助詐騙嫌疑人解封了賬號(hào)。調(diào)查發(fā)現(xiàn)賬號(hào)IP所在地在河南，黃石警方在當(dāng)?shù)嘏浜舷�，很快抓獲三名嫌疑人，現(xiàn)場(chǎng)查獲13臺(tái)電腦、9部平板、119部手機(jī)和80張電話卡。經(jīng)訊問(wèn)，高某與許某2023年9月底開始在網(wǎng)上販賣和幫他人解鎖社交賬號(hào)，通過(guò)AI換臉融合的動(dòng)態(tài)視頻幫人解鎖一些被平臺(tái)凍結(jié)的交友賬號(hào)。
湖北省黃石市公安局下陸分局指揮中心民警 王楚奇：他通過(guò)自己在網(wǎng)上購(gòu)買的一款視頻合成軟件，按照社交賬號(hào)要求解封作認(rèn)證的這些規(guī)定動(dòng)作，利用他自己的人臉和他合成的那個(gè)視頻，生成的AI視頻上傳到社交賬號(hào)的后臺(tái)，來(lái)進(jìn)行認(rèn)證。
據(jù)了解，這個(gè)團(tuán)伙每解鎖一個(gè)賬號(hào)收費(fèi)15元至30元不等，其中許多賬號(hào)是因涉嫌詐騙被凍結(jié)的賬號(hào)。該團(tuán)伙共解凍了2107個(gè)賬號(hào)，從中獲利40萬(wàn)元。民警告訴記者，AI合成視頻已經(jīng)成為新型網(wǎng)絡(luò)詐騙的重要手段。
湖北省黃石市公安局下陸分局新下陸派出所治安巡防副隊(duì)長(zhǎng) 張軍：不要將自己的身份證號(hào)、身份證頭像、手機(jī)號(hào)等等自己的隱私信息在網(wǎng)上進(jìn)行暴露，加強(qiáng)自己的隱私信息的保護(hù)。
眼見不一定為實(shí)
單張照片可實(shí)時(shí)視頻換臉
我們常說(shuō)“眼見為實(shí)”，但在AI時(shí)代，肉眼所看見的也不一定是真相。一些不法分子利用“AI換臉”技術(shù)實(shí)施詐騙，已成為一種新型騙局。一張“肖像照片”、一段“貌似熟人的視頻”，都可能被不法分子利用作為詐騙的手段和工具。
在工業(yè)和信息化部反詐專班的實(shí)驗(yàn)室里，技術(shù)人員向記者演示了兩種常用的AI換臉技術(shù)。通過(guò)一張事先從網(wǎng)絡(luò)上公開獲取的記者本人照片，經(jīng)過(guò)一段時(shí)間的模型訓(xùn)練。這張照片就能在演示者的控制下像真人一樣做出轉(zhuǎn)頭、張嘴、眨眼、微笑等表情和動(dòng)作。
工業(yè)和信息化部反詐工作專班專家 李坤：不法分子首先會(huì)通過(guò)各種公開的渠道獲取受害人的個(gè)人肖像或視頻，然后利用AI技術(shù)，對(duì)這些照片中的面容特征進(jìn)行學(xué)習(xí)，從而模仿眨眼、搖頭等動(dòng)作，實(shí)現(xiàn)以假亂真的效果。
李坤表示，除了讓照片上的人像活化，AI換臉技術(shù)還能實(shí)現(xiàn)在即時(shí)視頻通信狀態(tài)下的實(shí)時(shí)換臉。技術(shù)人員也通過(guò)AI換臉技術(shù)讓記者體驗(yàn)了一下與另一個(gè)“自己”視頻對(duì)話的效果。
工業(yè)和信息化部反詐工作專班 技術(shù)人員：主要找了一些公開的社交媒體平臺(tái)，去拉取一些公共的視頻。拿了這些數(shù)據(jù)，整體的訓(xùn)練時(shí)間差不多花了1天，24小時(shí)達(dá)到目前這個(gè)效果。 如果時(shí)間長(zhǎng)點(diǎn)的話，我們畫面的清晰會(huì)有所提升。
技術(shù)人員告訴記者，所有用于AI換臉訓(xùn)練的記者照片和視頻都是從網(wǎng)上公開收集的，總共只用了四五張照片和不到五分鐘的素材。如果有充足的訓(xùn)練時(shí)間，仿真效果會(huì)更好。除了面容以外，聲音也可以通過(guò)同樣的技術(shù)來(lái)仿冒。專家指出，雖然目前AI換臉和仿聲有一定的技術(shù)門檻和較高的實(shí)現(xiàn)成本，但如果被不法分子掌握，就可能在即時(shí)通信或者社交軟件上偽裝成他人，開展相應(yīng)的詐騙活動(dòng)。
AI換臉詐騙檢測(cè)與預(yù)警技術(shù)正在測(cè)試中
利用AI技術(shù)制作換臉視頻或合成聲音來(lái)實(shí)施詐騙的確讓人防不勝防，那么如何防范這種風(fēng)險(xiǎn)呢？有關(guān)部門正在開發(fā)相關(guān)的反制技術(shù)和手段。
工業(yè)和信息化部反詐專班專家 李坤：我們正在會(huì)同行業(yè)內(nèi)的手機(jī)終端企業(yè)，將推出AI換臉詐騙風(fēng)險(xiǎn)提醒功能。這項(xiàng)功能僅在手機(jī)端來(lái)本地運(yùn)行，能夠有效保護(hù)用戶數(shù)據(jù)不泄露，經(jīng)過(guò)用戶授權(quán)后，可為用戶提供AI換臉詐騙風(fēng)險(xiǎn)預(yù)警提醒。
記者在反詐專班的實(shí)驗(yàn)室現(xiàn)場(chǎng)體驗(yàn)了正在測(cè)試中的AI換臉詐騙檢測(cè)與預(yù)警技術(shù)。當(dāng)用AI換了臉的技術(shù)人員與記者發(fā)起視頻通話時(shí)，測(cè)試手機(jī)終端提示“對(duì)方疑似假冒身份”。點(diǎn)擊檢測(cè)按鈕，經(jīng)過(guò)圖像掃描，系統(tǒng)提示“AI換臉合成概率93%”。
據(jù)了解，AI換臉主要是使用深度合成技術(shù)。《互聯(lián)網(wǎng)信息服務(wù)深度合成管理規(guī)定》提出了算法備案、安全評(píng)估的手段，要求深度合成服務(wù)提供者對(duì)深度合成的內(nèi)容添加顯式或隱式水印。
中國(guó)信通院人工智能所安全與元宇宙部專家 陳文弢：要對(duì)生成合成的內(nèi)容去添加一些水印，這個(gè)水印的本質(zhì)其實(shí)就是要一方面去提示公眾這個(gè)內(nèi)容是由AI生成或者合成的，另一方面也是要追溯它的來(lái)源。
專家提醒，AI詐騙是隱私信息泄露與詐騙陷阱的結(jié)合，要加強(qiáng)對(duì)個(gè)人隱私的保護(hù)，不輕易提供人臉、指紋等個(gè)人生物信息給他人，不過(guò)度公開或分享動(dòng)圖、視頻等，尤其涉及“朋友”“領(lǐng)導(dǎo)”等熟人要求轉(zhuǎn)賬、匯款的，務(wù)必通過(guò)多種途徑核實(shí)確認(rèn)，不要未經(jīng)核實(shí)隨意轉(zhuǎn)賬匯款。
