隨著大模型逐漸變成學(xué)習(xí)、工作中不可或缺的生產(chǎn)力工具，其伴生的問(wèn)題也日益凸顯。AI經(jīng)常會(huì)“一本正經(jīng)地胡說(shuō)八道”，生成看似合理的虛假信息；一些人利用AI工具代寫(xiě)作業(yè)甚至畢業(yè)論文，極大沖擊著學(xué)術(shù)誠(chéng)信和規(guī)范；AI生成內(nèi)容的流暢性和邏輯性越來(lái)越強(qiáng)，人類(lèi)識(shí)別困難，但論文AI率檢測(cè)系統(tǒng)有待完善，論文被誤判的問(wèn)題時(shí)有發(fā)生……如何精準(zhǔn)識(shí)別AI生成內(nèi)容，成為亟待解決的問(wèn)題。
南開(kāi)大學(xué)計(jì)算機(jī)學(xué)院媒體計(jì)算實(shí)驗(yàn)室近日取得的一項(xiàng)研究成果，或?yàn)榻鉀Q這些難題提供可行方案。該成果創(chuàng)新性地提出直接差異學(xué)習(xí)（DDL）優(yōu)化策略，教會(huì)AI用“火眼金睛”辨別人機(jī)不同，實(shí)現(xiàn)AI檢測(cè)性能的巨大突破。相關(guān)成果論文已被ACM MM 2025（第33屆ACM國(guó)際多媒體會(huì)議）接收。
目前AI生成內(nèi)容檢測(cè)主要有兩種路線。一種是基于訓(xùn)練的檢測(cè)方法，使用特定數(shù)據(jù)訓(xùn)練一個(gè)專(zhuān)用的分類(lèi)模型；另一種是零樣本檢測(cè)方法，直接使用一個(gè)預(yù)訓(xùn)練的語(yǔ)言模型并設(shè)計(jì)某種分類(lèi)標(biāo)準(zhǔn)進(jìn)行分類(lèi)。多項(xiàng)研究表明，現(xiàn)有檢測(cè)方法在應(yīng)對(duì)復(fù)雜的現(xiàn)實(shí)場(chǎng)景時(shí)面臨困境。
為何現(xiàn)有的AI檢測(cè)工具會(huì)“誤判”？“如果把AI文本檢測(cè)看作一場(chǎng)考試，那么現(xiàn)有檢測(cè)方法就好比機(jī)械刷題、死記硬背答案的固定套路，難以學(xué)會(huì)答題邏輯，一旦遇到全新難題，準(zhǔn)確率就會(huì)顯著下降。”論文第一作者、南開(kāi)大學(xué)計(jì)算機(jī)學(xué)院計(jì)算機(jī)科學(xué)卓越班2023級(jí)本科生付嘉晨解釋道，“要想實(shí)現(xiàn)通用檢測(cè)，理論上需收集所有大模型的數(shù)據(jù)進(jìn)行訓(xùn)練，但這在大模型迭代飛速的今天幾乎不可能?！?/p>
讓檢測(cè)器學(xué)會(huì)“舉一反三”，提升其泛化性能，是增強(qiáng)AI文本檢測(cè)能力的關(guān)鍵。為此，研究團(tuán)隊(duì)另辟蹊徑，提出DDL方法，通過(guò)直接優(yōu)化模型預(yù)測(cè)的文本條件概率差異與人為設(shè)定的目標(biāo)值之間的差距，幫助模型學(xué)習(xí)AI文本檢測(cè)的內(nèi)在知識(shí)。這種方法可精準(zhǔn)捕捉人機(jī)文本間的深層語(yǔ)義差異，從而大幅提升檢測(cè)器的泛化能力與魯棒性。
“使用DDL訓(xùn)練得到的檢測(cè)器如同有了‘火眼金睛’，即便只‘學(xué)習(xí)’過(guò)DeepSeek-R1的文本，也能精準(zhǔn)識(shí)別像GPT-5這樣最新大模型生成的內(nèi)容?！备都纬空f(shuō)。
團(tuán)隊(duì)還提出了一個(gè)全面的測(cè)試基準(zhǔn)數(shù)據(jù)集MIRAGE，該數(shù)據(jù)集使用13種主流的商用大模型以及4種先進(jìn)的開(kāi)源大模型，生成了接近10萬(wàn)條“人類(lèi)—AI”文本對(duì)。
“MIRAGE是目前唯一聚焦商用大語(yǔ)言模型檢測(cè)的基準(zhǔn)數(shù)據(jù)集。如果說(shuō)之前的基準(zhǔn)數(shù)據(jù)集是由少且能力簡(jiǎn)單的大模型命題出卷，那么MIRAGE則是由17個(gè)能力強(qiáng)大的大模型聯(lián)合命題，形成一套高難度、又有代表性的檢測(cè)試卷?！闭撐耐ㄓ嵶髡?、南開(kāi)大學(xué)計(jì)算機(jī)學(xué)院副教授郭春樂(lè)說(shuō)。
在MIRAGE的測(cè)試結(jié)果顯示，現(xiàn)有檢測(cè)器的準(zhǔn)確率從在簡(jiǎn)單數(shù)據(jù)集上的90%驟降至約60%；而使用DDL訓(xùn)練的檢測(cè)器仍保持85%以上的準(zhǔn)確率。與斯坦福大學(xué)提出的AI生成文本檢測(cè)工具DetectGPT相比，使用DDL方法訓(xùn)練的檢測(cè)器性能提升71.62%；與馬里蘭大學(xué)、卡內(nèi)基梅隆大學(xué)等共同提出的AI生成文本檢測(cè)方法Binoculars相比，性能提升68.03%。
“AIGC發(fā)展日新月異，我們將持續(xù)迭代升級(jí)評(píng)估基準(zhǔn)和技術(shù)，致力于實(shí)現(xiàn)更快、更準(zhǔn)、更低成本的AI生成文本檢測(cè)。”研究團(tuán)隊(duì)負(fù)責(zé)人、南開(kāi)大學(xué)計(jì)算機(jī)學(xué)院教授李重儀說(shuō)。