315重磅：AI換臉視頻真假難辨！手機二手主板隱藏驚天黑產(chǎn)。
作者 | 云鵬 李水青
智東西3月16日報道，昨天晚上，年度“打假夜”央視3.15晚會如約而至，今年爆火的生成式AI技術(shù)“闖禍了”。
這是不久前央視3.15欄目記者調(diào)查到的真實事件：一位女士接到女兒被綁架的電話，對方開口就要敲詐80萬元，傳來的女兒的哭聲令女士慌了陣腳。實際上，這哭聲是犯罪分子通過AI擬聲技術(shù)偽造出來的。
一個公司職員收到了老板的視頻電話，在指導(dǎo)下把186萬元轉(zhuǎn)了出去，但后來卻得知老板并沒有跟他視頻通話。原來，這個視頻中的老板是犯罪分子利用AI技術(shù)合成的假老板。
深度偽造不是一項全新的技術(shù)，但過去一年生成式AI技術(shù)的爆發(fā)大大降低了其門檻，增強了偽造的真實感，這才使得不法分子的騙術(shù)變得更加防不勝防。
除了生成式AI技術(shù)登上今年315，圍繞智能手機主板和互聯(lián)網(wǎng)水軍也曝出令人咋舌的不法黑產(chǎn)。
有不法商家把廢舊的百元手機主板集合在一起，做成充當(dāng)網(wǎng)絡(luò)“水軍”的手機主板機，操縱游戲、操縱發(fā)帖數(shù)量，操控網(wǎng)絡(luò)投票，甚至成為網(wǎng)絡(luò)世界里可以操控一切的王者，并給信息安全帶來不小的麻煩。
AI、消費電子、云計算等技術(shù)正在把我們帶進一個萬物互聯(lián)的智能新世界，但與此同時一些網(wǎng)絡(luò)黑產(chǎn)和不法行為也開始出現(xiàn)，讓我們每個人都不得不提高警惕。
推薦智東西年度會議。 4月18-19日，2024中國生成式AI大會將在北京舉行。 免費報名或購票通道開放中，期待你的參會~
01 .
AI換臉換聲以假亂真
但“摸摸臉、摸摸鼻子”就能破解
這次，AI換臉變聲上了315。
AI技術(shù)被詐騙分子利用，竟然可以有如此嚴重的影響，315上的鮮活案例給我們敲響了警鐘。
作為315晚會的保留項目之一，信息技術(shù)實驗室這次公布了一系列利用AI技術(shù)進行的“新型詐騙”。
雖然科技含量不高，但套路滿滿，讓人防不勝防。
第一個案例，是一位女士睡著覺突然接到了女兒被綁架的電話。電話中一開始傳來的是女兒的哭聲，然后女兒說自己被綁架了。這位女士還沒來得及回答，電話就被另一個人搶走，這個人說要她準備80萬元，女兒在他手上。
報警后，警方最終確認女兒并未被綁架。結(jié)果證明，這通電話是由詐騙分子借用虛擬號碼，再通過AI擬聲技術(shù)進行的詐騙行為。
第二個案例，一位男士接到國外好友的求助，說是買機票遇到了難題，由于國際漫游限制，讓他幫忙轉(zhuǎn)賬給航空公司。
當(dāng)然，一開始因為涉及錢財，這位男士并不信任對方，但這位朋友打了視頻電話過來，視頻中竟然是“朋友本人”，所以他就相信了。
隨后朋友以國外網(wǎng)絡(luò)不好迅速掛斷了電話，發(fā)來了相關(guān)轉(zhuǎn)賬信息，最終騙走了這位男士的49000多元。
后來這位男士跟朋友本人聊天才發(fā)現(xiàn)自己被騙了。
第三個案例，是一個公司職員收到了老板的視頻電話，讓她立刻轉(zhuǎn)賬186萬元到一個指定賬號，由于聲音、圖像都跟老板本人一樣，所以這位職員就相信并將款項轉(zhuǎn)了過去。
但隨后當(dāng)這位職員上傳憑證給財務(wù)時，才發(fā)現(xiàn)老板根本既沒有跟她視頻通話，也沒有下達過轉(zhuǎn)賬的指示。
報警后，警方對接反詐中心，聯(lián)系相關(guān)銀行緊急止付，最終追回了156萬元。
顯然，這些案件背后，都是犯罪分子利用AI技術(shù)對人的面部形象、說話聲音進行了模仿。受害者眼見不一定為實，耳聽的也有可能為虛。
警方提醒稱，不管是AI擬聲，還是AI視頻通話，時間一般都很短，只有幾秒鐘。
這主要是因為這些視頻通話中用到的都是提前制作好的仿冒視頻，在目前技術(shù)條件下，想要在點對點的視頻實時通話過程當(dāng)中實現(xiàn)仿真程度極高的AI換臉是很難的，這需要繞過視頻通話軟件的安防體系，其次還需要投喂大量的數(shù)據(jù)、專業(yè)算法的支撐和不斷迭代，才可以實現(xiàn)。
比較好的辨別方法就是，在視頻通話的時候覺得可疑的話，可以讓對方摸摸臉、按一下鼻子，這些動作會對面部數(shù)據(jù)造成干擾，偽造的人臉就會產(chǎn)生抖動、閃現(xiàn)。
當(dāng)然，不隨意接聽陌生來電，減少個人人臉、聲音信息的泄露，也是比較重要的。
02 .
100元一塊的報廢手機主板
成網(wǎng)絡(luò)世界的毒瘤
大家在生活當(dāng)中是不是經(jīng)常會收到一些垃圾信息、低劣廣告或是推廣視頻，這究竟是怎么回事？
其實秘密就在一塊報廢手機的主板當(dāng)中。
有不法商家把這些手機主板集合在一起，做了一款手機主板機。它不僅會給消費者帶來種種的困擾，甚至還會給信息安全帶來不小的麻煩。
據(jù)記者調(diào)查，有廠家宣稱，20塊手機主板組裝成一臺主板機，一個人就可以組建成千上萬臺手機的網(wǎng)絡(luò)矩陣，虛假地修改發(fā)布地址，執(zhí)行同一個操作。
這類二手手機主板一塊的價格在100元到150元之間，一臺主板機成本至少需要2000多元。擁有這樣的設(shè)備，在網(wǎng)絡(luò)世界里，這個人可以操縱游戲、操縱發(fā)帖數(shù)量，操控網(wǎng)絡(luò)投票，成為網(wǎng)絡(luò)世界里可以操控一切的王者。
使用這些機器的人是誰？
記者在一家名為云承未來科技的公司碰到一位前來購買主板件的經(jīng)理，他是某電商平臺的推廣負責(zé)人，工作內(nèi)容就是廣發(fā)信息，推廣獲客。
《中華人民共和國反不正當(dāng)競爭法》第12條明確規(guī)定，經(jīng)營者不得利用技術(shù)手段，通過影響用戶選擇或者其他方式實施妨礙、破壞其他經(jīng)營者合法提供的網(wǎng)絡(luò)產(chǎn)品或者服務(wù)正常運行的行為。
二手手機主板機操控網(wǎng)絡(luò)的違法之處不僅在此。
許多主板機配置清單上的手機主板很多并不具備入網(wǎng)資格?！?span style="font-weight: 700;">中華人民共和國電信條例》第53條明確規(guī)定，接入公用電信網(wǎng)的電信終端設(shè)備、無線電通信設(shè)備和涉及網(wǎng)間互聯(lián)的設(shè)備，必須符合國家規(guī)定的標準，并取得進網(wǎng)許可證。
03 .
結(jié)語：新興產(chǎn)業(yè)巨大利益誘惑
刺激黑產(chǎn)生長，AI雙刃劍效應(yīng)凸顯
在今天的315晚會中，我們看到的案例更多是跟普通老百姓生活息息相關(guān)的，比如食品安全、消防安全、車輛安全、信息安全，其中也不乏與消費科技和AI相關(guān)的新型違法犯罪。
二手手機主板回收再利用形成的“主板機”黑產(chǎn)，從根本上來說還是“需求驅(qū)動”的，如今直播行業(yè)熱度頗高，流量經(jīng)濟中存在不少“灰色地帶”，如果不能從源頭規(guī)范平臺制度，主板機還會以其他形式繼續(xù)滋長。
與此同時，我們看到AI技術(shù)在深入我們生活的過程中，也帶來了一些風(fēng)險，違法犯罪分子利用AI技術(shù)實現(xiàn)了更難以識別的“換聲換臉”詐騙。當(dāng)下AI給千行百業(yè)帶來了增長新動能，各行各業(yè)也應(yīng)當(dāng)在應(yīng)用AI技術(shù)的過程中嚴格規(guī)范。
普通消費者在享受AI帶來便利的同時，也應(yīng)當(dāng)提高自身對新型AI詐騙的敏感性。