隨著文生文、文生圖、文生視頻等領(lǐng)域應(yīng)用成熟，隨之而來的信任危機(jī)也同步爆發(fā)。為此，騰訊宣布推出AI 生成文本檢測(cè)/AI 生成圖像檢測(cè)工具。

　　騰訊官方稱，雖然 AI 生成的圖像在細(xì)節(jié)紋理上越來越逼真，但依然有跡可循，朱雀實(shí)驗(yàn)室研發(fā)了一款 AI 生成圖片檢測(cè)系統(tǒng)，將圖片上傳 —— 等待驗(yàn)證 —— 判斷是否由 AI 生成，整個(gè)過程只有幾秒鐘，就能用魔法打敗魔法 —— 用 AI“檢測(cè)”AI 生成。

　　究其背后的檢測(cè)邏輯，主要是捕捉真實(shí)圖片與 AI 生圖之間的差異來進(jìn)行區(qū)分，例如AI 生圖有時(shí)不符合常識(shí)邏輯、AI 生成圖片需要“加水印”、AI 生成圖片包含隱層特征。

　　騰訊指出，鑒別 AI 生成往往不能依靠單一依據(jù)。因此，AI 生成圖片檢測(cè)系統(tǒng)需要利用 AI 模型來捕捉真實(shí)圖片與 AI 生圖之間各類特征的差異，包括圖片的紋理、語義及隱形特征。

　　為了提升系統(tǒng)的檢測(cè)效果，其使用了 140 萬份正負(fù)樣本進(jìn)行模型訓(xùn)練，考慮了多種生成內(nèi)容場(chǎng)景，如人體、人像、風(fēng)景、地標(biāo)、植物、電影、游戲、新聞等，最終測(cè)試檢出率達(dá) 95% 以上，還在持續(xù)優(yōu)化提升中。

　　IT之家注意到，朱雀實(shí)驗(yàn)室還同步開發(fā)了文本檢測(cè)系統(tǒng)，通過對(duì)AI 生成文本和人類寫作內(nèi)容的海量數(shù)據(jù)學(xué)習(xí)來實(shí)現(xiàn)文本檢測(cè)。

　　與圖片內(nèi)容檢測(cè)一樣，文本檢測(cè)系統(tǒng)背后也搜集了大量正負(fù)樣本進(jìn)行訓(xùn)練，涵蓋不同領(lǐng)域、不同大語言模型的生成文本。此外，還運(yùn)用了對(duì)比的方式，將檢測(cè)文本與大模型預(yù)測(cè)內(nèi)容進(jìn)行重疊度對(duì)比，來推斷文章的 AI 生成概率，以增強(qiáng)對(duì)未見過數(shù)據(jù)的檢測(cè)能力。

　　目前，AI 生成文本檢測(cè)系統(tǒng)涵蓋了新聞通訊、公文、小說、散文等多樣化文體，接下來還會(huì)對(duì)詩(shī)歌等體裁進(jìn)行補(bǔ)強(qiáng)，用于提高文本識(shí)別的準(zhǔn)確率。